CommencezCommencez gratuitement

Accueil
Cours
Traitement de données évolutif en R

Qu'est-ce que le traitement des données à l'échelle?

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Cette activité fait partie du cours

Traitement de données évolutif en R

SkillTag.level.advancedSkillTag.label

4.7+

Commencer le cours gratuitement

Dans ce chapitre, nous expliquons pourquoi il faut appliquer de nouvelles techniques quand les jeux de données dépassent la mémoire vive disponible. Nous montrons que l'importation et l'exportation de données à l'aide des fonctions de base de R peuvent être lentes, et proposons des moyens simples d'y remédier. Enfin, nous présentons le forfait bigmemory.

Exercise 1: Qu'est-ce que le traitement des données à l'échelle?

Exercice en cours

Exercise 2: Pourquoi votre code est-il lent?Exercise 3: Comment le temps de traitement varie-t-il selon la taille des données ?Exercise 4: Travailler avec des objets « hors mémoire » avec le projet bigmemory Exercise 5: Lire un objet big.matrix Exercise 6: Attacher un objet big.matrix Exercise 7: Créer des tableaux avec des objets big.matrix Exercise 8: Résumé des données avec bigsummary Exercise 9: Références ou copies Exercise 10: Copier des matrices et des grandes matrices

Maintenant que vous avez un peu d'expérience avec bigmemory, nous allons passer en revue des techniques simples d'exploration et d'analyse de données. En particulier, nous verrons comment créer des tableaux et mettre en œuvre l'approche diviser-appliquer-combiner.

Exercise 1: La suite de modules bigmemory Exercise 2: Créer des tableaux avec bigtable Exercise 3: Origine ethnique et race des emprunteurs par année (I)Exercise 4: Diviser-appliquer-combiner Exercise 5: Proportion d'emprunteuses Exercise 6: Fractionner Exercise 7: Appliquer Exercise 8: Combiner Exercise 9: Visualisez vos résultats avec le tidyverse Exercise 10: Visualiser la proportion d'emprunteuses Exercise 11: Le ratio de revenu de l'emprunteur Exercise 12: Des grandes tables bien rangées Exercise 13: Limites de bigmemory Exercise 14: Dans quels cas devriez-vous utiliser bigmemory?

Nous utiliserons le forfait iotools, qui peut traiter des données numériques et textuelles, et présenterons le concept de traitement par blocs.

Exercise 1: Introduction au traitement par blocs Exercise 2: Pouvez-vous faire un split-compute-combine?Exercise 3: Opérations repliables (I)Exercise 4: Opérations pliables (II)Exercise 5: Premiers pas avec iotools : importer des données Exercise 6: Comparer read.delim() et read.delim.raw()Exercise 7: Lire des données brutes et les convertir en structure de données Exercise 8: chunk.apply Exercise 9: Lire des blocs sous forme de matrice Exercise 10: Lire des blocs sous forme de data.frame Exercise 11: Paralléliser les appels à chunk.apply

Dans les chapitres précédents, nous avons présenté les données sur l'habitation et montré comment calculer avec des données dont la taille est comparable ou supérieure à la quantité de mémoire vive d'une seule machine. Dans ce chapitre, nous ferons une analyse préliminaire des données en comparant diverses tendances dans le temps.

Exercise 1: Aperçu des types d'analyse pour ce chapitre Exercise 2: Représentation raciale et ethnique dans les données hypothécaires Exercise 3: Comparer la race/l'ethnicité des emprunteurs et leurs proportions Exercise 4: Les données sont-elles manquantes de façon aléatoire ?Exercise 5: Repérer une absence de données prévisible Exercise 6: Un peu plus sur les valeurs manquantes Exercise 7: Analyse des données sur le logement Exercise 8: Origine ethnique et race des emprunteurs par année (II)Exercise 9: Visualiser les tendances démographiques ajustées Exercise 10: Variation relative de la tendance démographique Exercise 11: Tendances de prêt des emprunteurs : ville vs milieu rural Exercise 12: Région de l'emprunteur par année Exercise 13: Qui obtient des prêts garantis par le fédéral?Exercise 14: Félicitations !