In diesem Kapitel lernst du, wie man Datendateien von Webservern über die Kommandozeile herunterlädt. Dabei schauen wir uns auch Handbuchseiten, Options-Flags und die Verarbeitung mehrerer Dateien an.

Daten mit curl herunterladen

curl-Dokumentation verwenden

Einzelne Datei mit curl herunterladen

Mehrere Dateien mit curl herunterladen

Daten mit Wget herunterladen

Wget installieren

Einzelne Datei mit wget herunterladen

Fortgeschrittenes Herunterladen mit Wget

Einschränkungen für mehrere Datei-Downloads festlegen

Wartezeit mit Wget festlegen

Daten mit Wget und curl herunterladen

Daten auf der Kommandozeile herunterladen

Wir setzen unsere Datenreise vom Herunterladen zur Verarbeitung fort. In diesem Kapitel nutzen wir die Kommandozeilenbibliothek csvkit, um Dateien zu konvertieren, vorab einzusehen, zu filtern und zu manipulieren, damit unsere Daten für weitere Analysen bereit sind.

Erste Schritte mit csvkit

Installation und Dokumentation für csvkit

Daten mit csvkit konvertieren und vorab ansehen

Dateikonvertierung und Übersichtsstatistiken mit csvkit

Daten filtern mit csvkit

Spaltenüberschriften mit csvkit ausgeben

Daten nach Spalte mit csvkit filtern

Daten zeilenweise mit csvkit filtern

Daten stapeln und Befehle mit csvkit verketten

Dateien mit csvkit stapeln

Befehle mit Operatoren verketten

Datenverarbeitung mit csvkit

Datenbereinigung und -aufbereitung auf der Kommandozeile

In diesem Kapitel tauchen wir tiefer in die Möglichkeiten der Bibliothek csvkit ein. Im Fokus stehen Datenbankoperationen, die wir auf der Kommandozeile durchführen können, darunter das Erstellen von Tabellen, das Auslesen von Daten und verschiedene ETL-Transformationen.

Daten aus der Datenbank abrufen

sql2csv-Dokumentation verwenden

sql2csv-Connector verstehen

Übe das Abrufen von Daten aus der Datenbank

Daten mit SQL-Syntax bearbeiten

SQL auf eine lokale CSV-Datei anwenden

Saubereres Scripting mit Shell-Variablen

Lokale CSV-Dateien mit SQL zusammenführen

Daten zurück in die Datenbank schreiben

Übe, Daten zurück in die Datenbank zu schreiben

Datenbank und SQL mit csvkit

Datenbankoperationen auf der Kommandozeile

Im letzten Kapitel schlagen wir die Brücke zwischen der Kommandozeile und anderen Data-Science-Sprachen und zeigen, wie sie zusammenarbeiten. Am Beispiel von Python lernst du, Python auf der Kommandozeile auszuführen, Abhängigkeiten mit dem Paketmanager pip zu installieren und eine komplette Modell-Pipeline über die Kommandozeile zu bauen.

Python in der Kommandozeile

Python-Version in der Kommandozeile finden

Python-Skript auf der Kommandozeile ausführen

Python-Paketinstallation mit pip

pip-Funktionen verstehen

Python-Abhängigkeiten installieren

Ein Python-Modell ausführen

Datenjobs mit cron automatisieren

Cron-Planungssyntax verstehen

Einen Job mit crontab einplanen

Modellbetrieb auf der Kommandozeile

Kursrückblick

Datenpipeline auf der Kommandozeile

Spotify Song Attributes

Spotify Songs Popularity Ranking

Wir leben in einer hektischen Welt mit engen Deadlines. Deshalb greifen wir oft zu dem, was vertraut und bequem ist, etwa GUI-Tools wie Visual Studio und RStudio. Auf lange Sicht lohnt es sich jedoch, Datenanalyse auf der Kommandozeile zu lernen: Das macht uns als Data People stärker und produktiver.

In diesem Kurs lernst du praxisnah einfache, leistungsfähige und datenspezifische Kommandozeilen-Skills. Anhand öffentlich verfügbarer Spotify-Datensätze zeigen wir, wie man Daten direkt über die Kommandozeile herunterlädt, verarbeitet, bereinigt und transformiert. Außerdem lernst du fortgeschrittene Techniken wie SQL-Datenbankoperationen auf der Kommandozeile. Zum Schluss kombinieren wir die Stärken von Kommandozeile und Python, um eine Datenpipeline zum Automatisieren eines Vorhersagemodells zu bauen.

Introduction to Shell

Intermediate Python

Intermediate SQL

Lerne leistungsstarke Befehlszeilenfähigkeiten zum Verarbeiten und Transformieren von Daten.

Datenverarbeitung in der Shell

Lerne leistungsstarke Kommandozeilen-Skills, um Daten herunterzuladen, zu verarbeiten und zu transformieren, inklusive Machine Learning-Pipeline.

Python-Paketinstallation mit pip

Create Your Free Account