De quel type de données s'agit-il

Les mots, les identifiants de chansons et les identifiants de vidéos sont tous des exemples de quel type de données?

Cette activité fait partie du cours

Introduction à Spark SQL en Python

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Introduction à Spark SQL en Python

SkillTag.level.advancedSkillTag.label

4.7+

158 reviews

Commencer le cours gratuitement

Dans ce chapitre, vous apprendrez à créer et à interroger une table SQL dans Spark. Spark SQL apporte la richesse d'expression de SQL à Spark. Vous apprendrez aussi à utiliser les fonctions de fenêtre SQL dans Spark. Les fonctions de fenêtre effectuent un calcul sur des lignes liées à la ligne courante. Elles simplifient grandement l'obtention de résultats difficiles à exprimer avec seulement des jointures et des agrégations traditionnelles. Nous utiliserons des fonctions de fenêtre pour effectuer des sommes cumulées, des différences successives et d'autres opérations qui sont exigeantes à réaliser en SQL de base.

Exercise 1: Créer et interroger une table SQL dans Spark Exercise 2: Créer une table SQL à partir d'un dataframe Exercise 3: Déterminer les noms de colonnes d'une table Exercise 4: SQL avec fonctions de fenêtrage Exercise 5: Sommes cumulatives avec les fonctions de fenêtre en SQL Exercise 6: Corriger la requête défectueuse Exercise 7: Notation pointée et SQL Exercise 8: Agrégation, étape par étape Exercise 9: Agrégations doubles sur la même colonne Exercise 10: Agrégats en notation par points SQL Exercise 11: Convertir une fonction de fenêtre de la notation par points vers SQL

Dans ce chapitre, vous chargerez du texte en langue naturelle. Vous appliquerez ensuite une analyse à fenêtre mobile pour trouver des séquences de mots fréquentes.

Exercise 1: Charger du texte en langue naturelle Exercise 2: Charger un dataframe à partir d'un fichier Parquet Exercise 3: Fractionner et exploser une colonne de texte Exercise 4: Utiliser monotonically_increasing_id()Exercise 5: Analyse à fenêtre glissante Exercise 6: Créer des données de caractéristiques avec fenêtre de contexte Exercise 7: Repartitionner les données Exercise 8: Séquences de mots courantes Exercise 9: De quel type de données s'agit-il

Exercice en cours

Exercise 10: Repérer les séquences de mots courantes Exercise 11: 5-uplets uniques en ordre trié Exercise 12: 3-uplets les plus fréquents par chapitre

Dans les chapitres précédents, vous avez appris à exploiter la richesse d'expression des fonctions de fenêtre en SQL. Cette expressivité rend maintenant essentiel de bien comprendre comment mettre en cache correctement les DataFrames et les tables SQL. Il est aussi important de savoir évaluer votre application. Vous verrez comment le faire avec l'interface Spark. Vous apprendrez également une pratique exemplaire pour la journalisation dans Spark. Spark SQL fournit un autre outil utile pour optimiser les problèmes de performance des requêtes : le plan d'exécution. Vous apprendrez à utiliser le plan d'exécution pour évaluer la provenance d'un DataFrame.

Exercise 1: Mise en cache Exercise 2: Mettre en pratique la mise en cache : partie 1 Exercise 3: Pratique du cache : le SQL Exercise 4: Pratique de la mise en cache : tout rassembler Exercise 5: Mettre en cache et retirer du cache des tables Exercise 6: L'interface utilisateur de Spark Exercise 7: Onglet Storage de la Spark UI Exercise 8: Inspecter la mémoire cache dans l'interface Spark UI Exercise 9: Journalisation Exercise 10: Pratique du journalisation Exercise 11: Mettre en pratique la journalisation 2 Exercise 12: Plans d'exécution Exercise 13: S'exercer avec les plans de requête Exercise 14: S'exercer à lire des plans de requête 2

Les chapitres précédents vous ont donné les outils pour charger du texte brut, le tokenizer et en extraire des séquences de mots. C'est déjà très utile pour l'analyse, mais ça l'est aussi pour le Machine Learning. Ce que vous avez appris converge maintenant avec l'utilisation de la régression logistique pour classifier du texte. À la fin de ce chapitre, vous aurez chargé des données textuelles brutes en langue naturelle et vous les aurez utilisées pour entraîner un classificateur de texte.

Exercise 1: Extraire, transformer, sélectionner Exercise 2: Pratique : créer une UDF Exercise 3: Pratique avec une colonne de tableaux Exercise 4: Créer des données de caractéristiques pour la classification Exercise 5: Créer un UDF pour des données vectorielles Exercise 6: Appliquer un UDF à des données vectorielles Exercise 7: Transformer du texte en format vectoriel Exercise 8: Classification de texte Exercise 9: Attribuer des étiquettes aux données Exercise 10: Diviser les données Exercise 11: Entraîner le classificateur Exercise 12: Prédire et évaluer Exercise 13: Évaluer le classificateur Exercise 14: Prédire les données de test Exercise 15: Récapitulatif