ÎncepețiÎncepe gratuit

Acasă
Cursuri
Procesarea scalabilă a datelor în R

Prezentare generală a tipurilor de analiză din acest capitol

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Acest exercițiu face parte din cursul

Procesarea scalabilă a datelor în R

SkillTag.level.advancedSkillTag.label

4.7+

Începe cursul gratuit

În acest capitol, vom explica de ce este nevoie de tehnici noi atunci când seturile de date depășesc memoria RAM disponibilă. Vom arăta că importul și exportul datelor cu funcțiile de bază din R pot fi lente și vom prezenta câteva soluții simple. În final, vom face cunoștință cu pachetul bigmemory.

Exercise 1: Ce este procesarea scalabilă a datelor?Exercise 2: De ce rulează codul tău lent?Exercise 3: Cum variază timpul de procesare în funcție de dimensiunea datelor?Exercise 4: Lucrul cu obiecte „Out-of-Core" folosind proiectul Bigmemory Exercise 5: Citirea unui obiect big.matrix Exercise 6: Atașarea unui obiect big.matrix Exercise 7: Crearea tabelelor cu obiecte big.matrix Exercise 8: Sumar de date cu bigsummary Exercise 9: Referințe vs. Copii Exercise 10: Copierea matricelor și a matricelor de tip big.matrix

Acum că ai dobândit experiență cu bigmemory, vom parcurge câteva tehnici simple de explorare și analiză a datelor. În special, vom vedea cum să creăm tabele și cum să implementăm abordarea split-apply-combine.

Exercise 1: Suita de pachete Bigmemory Exercise 2: Tabelarea cu bigtable Exercise 3: Rasa și etnia împrumutatului pe an (I)Exercise 4: Împarte-Aplică-Combină Exercise 5: Proporția împrumutătorilor de sex feminin Exercise 6: Împărțire Exercise 7: Aplicare Exercise 8: Combinare Exercise 9: Vizualizează-ți rezultatele folosind tidyverse Exercise 10: Vizualizarea proporției de împrumutătoare de sex feminin Exercise 11: Rata venitului împrumutatului Exercise 12: Tabele mari ordonate Exercise 13: Limitările bigmemory Exercise 14: Când ar trebui să folosești bigmemory?

Vom folosi pachetul iotools, care poate procesa atât date numerice, cât și șiruri de caractere, și vom introduce conceptul de procesare pe fragmente (chunk-wise processing).

Exercise 1: Introducere în procesarea pe blocuri Exercise 2: Poate fi aplicată abordarea split-compute-combine?Exercise 3: Operații pliabile (I)Exercise 4: Operații pliabile (II)Exercise 5: Prima privire asupra iotools: importul datelor Exercise 6: Compară read.delim() și read.delim.raw()Exercise 7: Citirea datelor brute și transformarea lor într-o structură de date Exercise 8: chunk.apply Exercise 9: Citirea fragmentelor ca matrice Exercise 10: Citirea fragmentelor ca data.frame Exercise 11: Paralelizarea apelurilor către chunk.apply

În capitolele anterioare, am prezentat datele imobiliare și am arătat cum să lucrezi cu date care sunt aproximativ egale sau mai mari decât cantitatea de RAM disponibilă pe o singură mașină. În acest capitol, vom realiza o analiză preliminară a datelor, comparând diverse tendințe în timp.

Exercise 1: Prezentare generală a tipurilor de analiză din acest capitol

Exercițiul curent

Exercise 2: Reprezentarea rasială și etnică în datele ipotecare Exercise 3: Compararea rasei/etniei împrumutaților și a proporțiilor acestora Exercise 4: Datele lipsesc aleatoriu?Exercise 5: În căutarea valorilor lipsă previzibile Exercise 6: Câteva aspecte suplimentare despre valorile lipsă Exercise 7: Analiza datelor imobiliare Exercise 8: Rasa și etnia împrumutaților pe an (II)Exercise 9: Vizualizarea tendințelor demografice ajustate Exercise 10: Modificarea relativă a tendinței demografice Exercise 11: Tendințe de creditare a debitorilor: Urban vs. Rural Exercise 12: Regiunea împrumutaților pe ani Exercise 13: Cine obține împrumuturi garantate federal?Exercise 14: Felicitări!