CommencerCommencer gratuitement

Page d’accueil
Cours
Traitement de données à grande échelle en R

Manipuler des objets « out-of-core » avec le projet bigmemory

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Cet exercice fait partie du cours

Traitement de données à grande échelle en R

AvancéNiveau de compétence

4.7+

Commencer le cours gratuitement

Dans ce chapitre, nous expliquons pourquoi il est nécessaire d’adopter de nouvelles techniques lorsque les jeux de données sont plus volumineux que la RAM disponible. Nous montrons que l’import et l’export de données avec les fonctions de base de R peuvent être lents, et présentons quelques moyens simples d’y remédier. Enfin, nous introduisons le package bigmemory.

Exercise 1: Qu’est-ce que le traitement de données à l’échelle ?Exercise 2: Pourquoi votre code est-il lent ?Exercise 3: Comment le temps de traitement varie-t-il selon la taille des données ?Exercise 4: Manipuler des objets « out-of-core » avec le projet bigmemory

Exercice en cours

Exercise 5: Lecture d’un objet big.matrix Exercise 6: Attacher un objet big.matrix Exercise 7: Créer des tableaux avec des objets big.matrix Exercise 8: Résumé des données avec bigsummary Exercise 9: Références vs. copies Exercise 10: Copier des matrices et des big matrices

Maintenant que vous avez un peu d’expérience avec bigmemory, nous allons passer en revue des techniques simples d’exploration et d’analyse de données. En particulier, nous verrons comment créer des tableaux et mettre en œuvre l’approche split-apply-combine.

Exercise 1: La suite de packages Bigmemory Exercise 2: Créer des tableaux avec bigtable Exercise 3: Origine et ethnicité des emprunteurs par année (I)Exercise 4: Diviser–Appliquer–Combiner Exercise 5: Proportion d’emprunteuses Exercise 6: Découper Exercise 7: Appliquer Exercise 8: Combiner Exercise 9: Visualisez vos résultats avec le tidyverse Exercise 10: Visualiser la proportion d’emprunteuses Exercise 11: Le ratio de revenu de l’emprunteur Exercise 12: Mettre en forme de grandes tables avec tidy Exercise 13: Limites de bigmemory Exercise 14: Dans quels cas utiliser bigmemory ?

Nous utiliserons le package iotools, capable de traiter des données numériques comme textuelles, et introduirons le concept de traitement par blocs (chunk-wise processing).

Exercise 1: Introduction au traitement par blocs Exercise 2: Pouvez-vous le faire en scinder-calculer-combiner ?Exercise 3: Opérations pliables (I)Exercise 4: Opérations repliables (II)Exercise 5: Premiers pas avec iotools : importer des données Exercise 6: Comparer read.delim() et read.delim.raw()Exercise 7: Lire des données brutes et les transformer en structure de données Exercise 8: chunk.apply Exercise 9: Lire des blocs sous forme de matrice Exercise 10: Lire des blocs en tant que data.frame Exercise 11: Paralléliser les appels à chunk.apply

Dans les chapitres précédents, nous avons présenté les données immobilières et montré comment calculer avec des données dont la taille est comparable ou supérieure à la quantité de RAM d’une seule machine. Dans ce chapitre, nous réaliserons une analyse préliminaire des données en comparant différentes tendances au fil du temps.

Exercise 1: Aperçu des types d’analyses de ce chapitre Exercise 2: Représentation raciale et ethnique dans les données hypothécaires Exercise 3: Comparer la race/l’ethnicité des emprunteurs et leurs proportions Exercise 4: Les données sont-elles manquantes de façon aléatoire ?Exercise 5: Rechercher une absence prévisible Exercise 6: Encore un mot sur les données manquantes Exercise 7: Analyser les données immobilières Exercise 8: Origine ethnique et race des emprunteurs par année (II)Exercise 9: Visualiser les tendances démographiques ajustées Exercise 10: Évolution relative de la tendance démographique Exercise 11: Tendances de prêt des emprunteurs : ville vs milieu rural Exercise 12: Région de l’emprunteur par année Exercise 13: Qui obtient des prêts garantis au niveau fédéral ?Exercise 14: Félicitations !