CommencezCommencez gratuitement

Accueil
Cours
Mise à l'échelle et optimisation des pipelines de données avec Polars

Écrire de grandes requêtes sur disque

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Cette activité fait partie du cours

Mise à l'échelle et optimisation des pipelines de données avec Polars

SkillTag.level.intermediateSkillTag.label

4.9+

Commencer le cours gratuitement

Apprenez à garder les requêtes en mode paresseux pour une optimisation maximale, à lire et interpréter les plans de requête, et à débloquer des voies rapides grâce au profilage et aux données triées.

Exercise 1: Exécution efficace des requêtes Exercise 2: Prévisualiser les données en mode paresseux Exercise 3: Résumer les prêts numériques Exercise 4: Collecter deux rapports en même temps Exercise 5: Optimisation et plans de requête Exercise 6: Lire le plan naïf Exercise 7: Lire le plan optimisé Exercise 8: Ce que l'optimisation de requête fait réellement Exercise 9: Exploiter pleinement l'optimisation Exercise 10: Pivot paresseux vers un format large Exercise 11: Profiler une requête paresseuse Exercise 12: Filtrage rapide sur des données triées

Apprenez à lire et écrire des fichiers Parquet, à analyser des CSV désordonnés, à balayer des jeux de données multifichiers et à partitions de type Hive, et à interroger des bases de données depuis Polars.

Exercise 1: Travailler avec les fichiers Parquet Exercise 2: Inspecter le schéma d'un fichier Parquet Exercise 3: Résumer des données Parquet Exercise 4: Écrire un instantané Parquet Exercise 5: Analyser des fichiers CSV Exercise 6: Analyser un CSV brouillon Exercise 7: Remplacer le schéma inféré Exercise 8: Ignorer les erreurs d'analyse Exercise 9: Travailler avec des jeux de données multifichiers Exercise 10: Balayer plusieurs fichiers Exercise 11: Insérer les colonnes manquantes Exercise 12: Balayer un jeu de données partitionné de type Hive Exercise 13: Travailler avec les bases de données Exercise 14: Lecture à partir de SQLite avec un URI Exercise 15: Ajouter à une table d'historique SQLite Exercise 16: Interroger DuckDB dans Polars

Ce chapitre couvre l'utilisation des colonnes List et Struct, le codage des chaînes répétées avec les types Categorical et Enum, et la réduction de l'utilisation de la mémoire par la conversion vers des types numériques plus petits.

Exercise 1: Manipuler des données de type tableau Exercise 2: Extraire le genre principal Exercise 3: Compter les genres par film Exercise 4: Compter la popularité des genres Exercise 5: Travailler avec des colonnes imbriquées Exercise 6: Extraire production_country Exercise 7: Renommer les champs de pays Exercise 8: Créer un dtype Object Exercise 9: Utiliser les types Categorical et Enum Exercise 10: Créer une colonne de type Categorical Exercise 11: Utiliser une expression catégorielle Exercise 12: Créer une colonne Enum Exercise 13: Réduire la pression sur la mémoire Exercise 14: Inspecter l'étendue numérique Exercise 15: Réduire la taille des colonnes numériques (downcasting)Exercise 16: Estimation de la taille d'un DataFrame

Apprenez à utiliser les moteurs de diffusion en continu et GPU, à verser directement sur disque de grands résultats de requête avec partitionnement, et à tester des pipelines grâce aux assertions intégrées de Polars.

Exercise 1: Travailler avec les moteurs de diffusion en continu et GPU Exercise 2: Cibler le moteur de diffusion Exercise 3: Traiter les résultats de requête par lots Exercise 4: Écrire de grandes requêtes sur disque

Exercice en cours

Exercise 5: Exporter un extrait nettoyé vers Parquet Exercise 6: Multiplexage de « sinks » Parquet Exercise 7: Utiliser un récepteur de lots personnalisé Exercise 8: Mettre à l'épreuve les pipelines Polars Exercise 9: Comparer des DataFrames avec equals Exercise 10: Tester les schémas Exercise 11: Tester des DataFrames complets Exercise 12: Félicitations !