LoslegenKostenlos loslegen

Startseite
Kurse
Skalierbare Datenverarbeitung in R

Arbeiten mit „Out-of-Core“-Objekten mit dem Bigmemory-Projekt

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Diese Übung ist Teil des Kurses

Skalierbare Datenverarbeitung in R

Hohe SchwierigkeitSchwierigkeitsgrad

4.7+

Kurs kostenlos starten

In diesem Kapitel erfährst du, warum du neue Techniken brauchst, wenn Datensätze größer sind als der verfügbare Arbeitsspeicher. Wir zeigen, dass das Importieren und Exportieren von Daten mit Basisfunktionen in R langsam sein kann, und stellen einfache Möglichkeiten vor, das zu verbessern. Abschließend führen wir das Paket bigmemory ein.

Exercise 1: Was ist skalierbare Datenverarbeitung?Exercise 2: Warum ist dein Code langsam?Exercise 3: Wie variiert die Verarbeitungszeit je nach Datenmenge?Exercise 4: Arbeiten mit „Out-of-Core“-Objekten mit dem Bigmemory-Projekt

Aktuelle Übung

Exercise 5: Ein big.matrix-Objekt einlesen Exercise 6: Ein big.matrix-Objekt anhängen Exercise 7: Tabellen mit big.matrix-Objekten erstellen Exercise 8: Daten zusammenfassen mit bigsummary Exercise 9: Referenzen vs. Kopien Exercise 10: Matrizen und Big-Matrizen kopieren

Nachdem du nun erste Erfahrung mit bigmemory gesammelt hast, schauen wir uns einfache Methoden zur Datenexploration und -analyse an. Insbesondere siehst du, wie man Tabellen erzeugt und den Split-Apply-Combine-Ansatz umsetzt.

Exercise 1: Die Bigmemory-Paketfamilie Exercise 2: Tabellieren mit bigtable Exercise 3: Race und Ethnizität der Kreditnehmenden nach Jahr (I)Exercise 4: Split-Apply-Combine Exercise 5: Anteil weiblicher Kreditnehmender Exercise 6: Split Exercise 7: Apply Exercise 8: Kombinieren Exercise 9: Visualisiere deine Ergebnisse mit dem tidyverse Exercise 10: Visualisierung des Anteils weiblicher Kreditnehmender Exercise 11: The Borrower Income Ratio Exercise 12: Aufgeräumte Big Tables Exercise 13: Einschränkungen von bigmemory Exercise 14: Wann solltest du bigmemory verwenden?

Wir verwenden das Paket iotools, das sowohl numerische als auch String-Daten verarbeiten kann, und führen das Konzept der verarbeitungsweisen in Blöcken (chunk-wise processing) ein.

Exercise 1: Einführung in die Chunk-weise Verarbeitung Exercise 2: Kannst du split-compute-combine anwenden?Exercise 3: Foldable-Operationen (I)Exercise 4: Faltbare Operationen (II)Exercise 5: Ein erster Blick auf iotools: Daten importieren Exercise 6: Vergleiche read.delim() und read.delim.raw()Exercise 7: Rohdaten einlesen und in eine Datenstruktur umwandeln Exercise 8: chunk.apply Exercise 9: Chunks als Matrix einlesen Exercise 10: Chunks als data.frame einlesen Exercise 11: Aufrufe von chunk.apply parallelisieren

In den vorherigen Kapiteln haben wir die Housing-Daten vorgestellt und gezeigt, wie man mit Daten rechnet, die ungefähr so groß sind wie der Arbeitsspeicher eines einzelnen Rechners – oder größer. In diesem Kapitel führen wir eine vorläufige Analyse der Daten durch und vergleichen verschiedene Trends im Zeitverlauf.

Exercise 1: Überblick über die Analysearten in diesem Kapitel Exercise 2: Rassen- und ethnische Repräsentation in den Hypothekendaten Exercise 3: Vergleich von Rasse/Ethnie der Kreditnehmenden und ihren Anteilen Exercise 4: Fehlen die Daten zufällig?Exercise 5: Vorhersagbare Missingness finden Exercise 6: Ein bisschen mehr zu fehlenden Werten Exercise 7: Analyse der Housing-Daten Exercise 8: Kreditnehmer: ethnische Zugehörigkeit und Herkunft nach Jahr (II)Exercise 9: Angepasste demografische Trends visualisieren Exercise 10: Relative Veränderung im demografischen Trend Exercise 11: Kreditvergabe-Trends bei Kreditnehmenden: Stadt vs. Land Exercise 12: Kreditnehmer-Region nach Jahr Exercise 13: Wer sichert bundesstaatlich garantierte Kredite ab?Exercise 14: Glückwunsch!