Zacznij terazZacznij za darmo

Strona główna
Kursy
Skalowalne przetwarzanie danych w R

Czy dane są losowo brakujące?

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

To ćwiczenie jest częścią kursu

Skalowalne przetwarzanie danych w R

SkillTag.level.advancedSkillTag.label

4.7+

Rozpocznij kurs za darmo

W tym rozdziale omawiamy, dlaczego praca z dużymi zbiorami danych – przekraczającymi dostępną pamięć RAM – wymaga nowych technik. Pokażemy, że importowanie i eksportowanie danych za pomocą bazowych funkcji R bywa wolne, oraz przedstawimy proste sposoby na poprawę wydajności. Na koniec wprowadzamy pakiet bigmemory.

Exercise 1: Czym jest skalowalne przetwarzanie danych?Exercise 2: Dlaczego twój kod działa wolno?Exercise 3: Jak czas przetwarzania zależy od rozmiaru danych?Exercise 4: Praca z obiektami „out-of-core" w pakiecie Bigmemory Exercise 5: Wczytywanie obiektu big.matrix Exercise 6: Dołączanie obiektu big.matrix Exercise 7: Tworzenie tabel z obiektami big.matrix Exercise 8: Podsumowanie danych z użyciem bigsummary Exercise 9: Referencje a kopie Exercise 10: Kopiowanie macierzy i obiektów big.matrix

Mając już pewne doświadczenie z bigmemory, przejdziemy do prostych technik eksploracji i analizy danych. Zobaczymy w szczególności, jak tworzyć tabele i wdrażać podejście split-apply-combine.

Exercise 1: Pakiety z rodziny Bigmemory Exercise 2: Tworzenie tabel za pomocą bigtable Exercise 3: Rasa i pochodzenie etniczne pożyczkobiorcy według roku (I)Exercise 4: Podział, zastosowanie i połączenie Exercise 5: Udział kobiet wśród kredytobiorców Exercise 6: Podział Exercise 7: Zastosowanie funkcji Exercise 8: Łączenie wyników Exercise 9: Wizualizacja wyników z użyciem tidyverse Exercise 10: Wizualizacja udziału kobiet wśród kredytobiorców Exercise 11: Wskaźnik dochodów kredytobiorcy Exercise 12: Porządkowanie dużych tabel Exercise 13: Ograniczenia bigmemory Exercise 14: Kiedy warto używać bigmemory?

Poznamy pakiet iotools, który obsługuje zarówno dane liczbowe, jak i tekstowe, oraz wprowadzamy koncepcję przetwarzania fragmentarycznego (chunk-wise).

Exercise 1: Wprowadzenie do przetwarzania fragmentarycznego Exercise 2: Czy da się to podzielić, obliczyć i połączyć?Exercise 3: Operacje składalne (I)Exercise 4: Operacje składalne (II)Exercise 5: Pierwsze kroki z iotools: importowanie danych Exercise 6: Porównanie read.delim() i read.delim.raw()Exercise 7: Wczytywanie surowych danych i przekształcanie ich w strukturę danych Exercise 8: chunk.apply Exercise 9: Wczytywanie fragmentów danych jako macierz Exercise 10: Wczytywanie fragmentów jako data.frame Exercise 11: Zrównoleglanie wywołań chunk.apply

W poprzednich rozdziałach przedstawiliśmy dane mieszkaniowe i pokazaliśmy, jak obliczać na danych zbliżonych rozmiarem do dostępnej pamięci RAM lub ją przekraczających. W tym rozdziale przeprowadzimy wstępną analizę tych danych, porównując różne trendy w czasie.

Exercise 1: Przegląd rodzajów analiz w tym rozdziale Exercise 2: Reprezentacja rasowa i etniczna w danych hipotecznych Exercise 3: Porównanie rasy/pochodzenia etnicznego kredytobiorców i ich proporcji Exercise 4: Czy dane są losowo brakujące?

Bieżące ćwiczenie

Exercise 5: Szukanie przewidywalnych braków danych Exercise 6: Trochę więcej o brakach danych Exercise 7: Analiza danych dotyczących rynku nieruchomości Exercise 8: Rasa i pochodzenie etniczne kredytobiorców według roku (II)Exercise 9: Wizualizacja skorygowanych trendów demograficznych Exercise 10: Względna zmiana trendu demograficznego Exercise 11: Trendy kredytowe pożyczkobiorców: miasto a obszary wiejskie Exercise 12: Region pożyczkobiorcy według roku Exercise 13: Kto zaciąga federalnie gwarantowane pożyczki?Exercise 14: Gratulacje!