S'exercer à lire des plans de requête 2

Trois DataFrames sont disponibles : part2_df, part3_df et part4_df. Les questions de cet exercice peuvent être résolues en inspectant la sortie de explain() pour chaque DataFrame.

Notez que Spark annote chaque nom de colonne avec un descripteur, délimité par le symbole #. Par exemple, word#0, id#1L, part#2 et title#3. Pour les besoins de cet exercice, vous pouvez ignorer ces descripteurs.

Cette activité fait partie du cours

Introduction à Spark SQL en Python

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Introduction à Spark SQL en Python

SkillTag.level.advancedSkillTag.label

4.7+

Commencer le cours gratuitement

Dans ce chapitre, vous apprendrez à créer et à interroger une table SQL dans Spark. Spark SQL apporte la richesse d'expression de SQL à Spark. Vous apprendrez aussi à utiliser les fonctions de fenêtre SQL dans Spark. Les fonctions de fenêtre effectuent un calcul sur des lignes liées à la ligne courante. Elles simplifient grandement l'obtention de résultats difficiles à exprimer avec seulement des jointures et des agrégations traditionnelles. Nous utiliserons des fonctions de fenêtre pour effectuer des sommes cumulées, des différences successives et d'autres opérations qui sont exigeantes à réaliser en SQL de base.

Exercise 1: Créer et interroger une table SQL dans Spark Exercise 2: Créer une table SQL à partir d'un dataframe Exercise 3: Déterminer les noms de colonnes d'une table Exercise 4: SQL avec fonctions de fenêtrage Exercise 5: Sommes cumulatives avec les fonctions de fenêtre en SQL Exercise 6: Corriger la requête défectueuse Exercise 7: Notation pointée et SQL Exercise 8: Agrégation, étape par étape Exercise 9: Agrégations doubles sur la même colonne Exercise 10: Agrégats en notation par points SQL Exercise 11: Convertir une fonction de fenêtre de la notation par points vers SQL

Dans ce chapitre, vous chargerez du texte en langue naturelle. Vous appliquerez ensuite une analyse à fenêtre mobile pour trouver des séquences de mots fréquentes.

Exercise 1: Charger du texte en langue naturelle Exercise 2: Charger un dataframe à partir d'un fichier Parquet Exercise 3: Fractionner et exploser une colonne de texte Exercise 4: Utiliser monotonically_increasing_id()Exercise 5: Analyse à fenêtre glissante Exercise 6: Créer des données de caractéristiques avec fenêtre de contexte Exercise 7: Repartitionner les données Exercise 8: Séquences de mots courantes Exercise 9: De quel type de données s'agit-il Exercise 10: Repérer les séquences de mots courantes Exercise 11: 5-uplets uniques en ordre trié Exercise 12: 3-uplets les plus fréquents par chapitre

Dans les chapitres précédents, vous avez appris à exploiter la richesse d'expression des fonctions de fenêtre en SQL. Cette expressivité rend maintenant essentiel de bien comprendre comment mettre en cache correctement les DataFrames et les tables SQL. Il est aussi important de savoir évaluer votre application. Vous verrez comment le faire avec l'interface Spark. Vous apprendrez également une pratique exemplaire pour la journalisation dans Spark. Spark SQL fournit un autre outil utile pour optimiser les problèmes de performance des requêtes : le plan d'exécution. Vous apprendrez à utiliser le plan d'exécution pour évaluer la provenance d'un DataFrame.

Exercise 1: Mise en cache Exercise 2: Mettre en pratique la mise en cache : partie 1 Exercise 3: Pratique du cache : le SQL Exercise 4: Pratique de la mise en cache : tout rassembler Exercise 5: Mettre en cache et retirer du cache des tables Exercise 6: L'interface utilisateur de Spark Exercise 7: Onglet Storage de la Spark UI Exercise 8: Inspecter la mémoire cache dans l'interface Spark UI Exercise 9: Journalisation Exercise 10: Pratique du journalisation Exercise 11: Mettre en pratique la journalisation 2 Exercise 12: Plans d'exécution Exercise 13: S'exercer avec les plans de requête Exercise 14: S'exercer à lire des plans de requête 2

Exercice en cours

Les chapitres précédents vous ont donné les outils pour charger du texte brut, le tokenizer et en extraire des séquences de mots. C'est déjà très utile pour l'analyse, mais ça l'est aussi pour le Machine Learning. Ce que vous avez appris converge maintenant avec l'utilisation de la régression logistique pour classifier du texte. À la fin de ce chapitre, vous aurez chargé des données textuelles brutes en langue naturelle et vous les aurez utilisées pour entraîner un classificateur de texte.

Exercise 1: Extraire, transformer, sélectionner Exercise 2: Pratique : créer une UDF Exercise 3: Pratique avec une colonne de tableaux Exercise 4: Créer des données de caractéristiques pour la classification Exercise 5: Créer un UDF pour des données vectorielles Exercise 6: Appliquer un UDF à des données vectorielles Exercise 7: Transformer du texte en format vectoriel Exercise 8: Classification de texte Exercise 9: Attribuer des étiquettes aux données Exercise 10: Diviser les données Exercise 11: Entraîner le classificateur Exercise 12: Prédire et évaluer Exercise 13: Évaluer le classificateur Exercise 14: Prédire les données de test Exercise 15: Récapitulatif