1. Nauka
    2. /
  2. Kursy
    3. /
  3. Principes de Big Data avec PySpark
Connected

Ćwiczenie

Retirer les mots vides et réduire l'ensemble de données

Dans cet exercice, vous allez retirer les mots vides de vos données. Les mots vides sont des mots très fréquents qui apportent peu d'information, par exemple « I », « the », « a », etc. Vous pouvez enlever plusieurs mots vides évidents à l'aide de votre propre liste. Mais pour cet exercice, vous utiliserez simplement la liste soignée stop_words qui est fournie dans votre environnement.

Après avoir retiré les mots vides, vous créerez un RDD de paires où chaque élément est un tuple (k, v) où k représente la clé et v la valeur. Dans cet exemple, le RDD de paires est formé de (w, 1) où w correspond à chaque mot du RDD et 1 est un nombre. Enfin, vous combinerez les valeurs ayant la même clé dans le RDD de paires pour compter le nombre d'occurrences de chaque mot.

Rappelez-vous que vous avez déjà un SparkContext sc et splitRDD dans votre espace de travail, ainsi que la variable de liste stop_words.

Instrukcje

100 XP
  • Filtrez splitRDD pour retirer les mots vides répertoriés dans la variable stop_words.
  • Créez un tuple RDD de paires contenant le mot (en utilisant l'itérateur w) et le nombre 1 pour chaque élément mot de splitRDD.
  • Obtenez le décompte des occurrences de chaque mot (fréquence des mots) dans le RDD de paires. Utilisez une transformation qui agit sur les paires clé-valeur (k, v). Réfléchissez bien à la fonction à utiliser ici.