Vous allez vous exercer à la détection de la langue sur un petit jeu de données appelé non_english_reviews. Il s'agit d'un échantillon d'évaluations non anglophones tirées des évaluations de produits Amazon.

Vous parcourrez les lignes du jeu de données, détecterez la langue de chaque ligne et l'ajouterez à une liste vide. Il faut ensuite nettoyer la liste pour ne conserver que le code de langue de l'évaluation, par exemple 'en' pour English, au lieu de la sortie habituelle en:0.9987654. N'oubliez pas que la fonction de détection peut retourner plus d'une langue et que le premier élément de la liste retournée est le candidat le plus probable. Enfin, vous assignerez la liste à une nouvelle colonne.

La logique est la même que dans le diaporama et l'exercice précédent, mais au lieu d'appliquer la fonction à une liste, vous travaillez avec un jeu de données.

Aller plus en détail avec les n-grammes

Create Your Free Account