In dit hoofdstuk leer je hoe je databestanden van webservers kunt downloaden via de command line. Onderweg maak je ook kennis met handleidingen, optievlaggen en het verwerken van meerdere bestanden.

Data downloaden met curl

De curl-documentatie gebruiken

Een enkel bestand downloaden met curl

Meerdere bestanden downloaden met curl

Gegevens downloaden met Wget

Wget installeren

Eén bestand downloaden met wget

Geavanceerd downloaden met Wget

Beperkingen instellen voor meerdere bestandsdownloads

Wachttijd instellen met Wget

Data downloaden met Wget en curl

Data downloaden via de command line

We gaan verder van data downloaden naar dataverwerking. In dit hoofdstuk gebruiken we de command line-bibliotheek csvkit om bestanden te converteren, te bekijken, te filteren en te bewerken zodat onze data klaar is voor verdere analyses.

Aan de slag met csvkit

Installatie en documentatie voor csvkit

Data converteren en een preview bekijken met csvkit

Bestandsconversie en samenvattende statistieken met csvkit

Gegevens filteren met csvkit

Kolomkoppen afdrukken met csvkit

Gegevens filteren per kolom met csvkit

Rijen filteren met csvkit

Data stapelen en opdrachten koppelen met csvkit

Bestanden stapelen met csvkit

Commando's koppelen met operators

Dataverwerking met csvkit

Data opschonen en prepareren via de command line

In dit hoofdstuk duiken we dieper in alles wat de csvkit-bibliotheek te bieden heeft. We focussen met name op databasebewerkingen die we op de command line kunnen doen, zoals het aanmaken van tabellen, data ophalen en diverse ETL-transformaties.

Data ophalen uit de database

De documentatie van sql2csv gebruiken

Begrijp sql2csv-connectors

Oefenen met data ophalen uit een database

Gegevens bewerken met SQL-syntaxis

SQL toepassen op een lokaal CSV-bestand

Nettere scripts met shell-variabelen

Lokale CSV-bestanden samenvoegen met SQL

Data terug naar de database schrijven

Oefen met data terugzetten naar de database

Database en SQL met csvkit

Databasebewerkingen via de command line

In het laatste hoofdstuk slaan we de brug tussen de command line en andere data science-talen en leer je hoe ze kunnen samenwerken. Met Python als casus leer je Python uitvoeren op de command line, afhankelijkheden installeren met de pakketbeheerder pip, en een volledige modelpijplijn bouwen via de command line.

Python op de opdrachtregel

De Python-versie vinden op de commandoregel

Een Python-script uitvoeren op de command line

Python-pakketten installeren met pip

Begrijpen wat pip kan

Python-afhankelijkheden installeren

Een Python-model uitvoeren

Datajobs automatiseren met cron

De cron-planningssyntaxis begrijpen

Een job plannen met crontab

Modelproductie op de command line

Cursusoverzicht

Datapijplijn via de command line

Spotify Song Attributes

Spotify Songs Popularity Ranking

We leven in een drukke wereld met strakke deadlines. Daardoor vallen we vaak terug op wat bekend en makkelijk is, zoals GUI's als Visual Studio en RStudio. Toch is tijd investeren in data-analyse via de command line op lange termijn heel waardevol: je wordt er sterker en productiever van als data professional.

In deze cursus pakken we het praktisch aan en leer je eenvoudige, krachtige en dataspecifieke command line-vaardigheden. Met openbaar beschikbare Spotify-gegevenssets leer je data downloaden, verwerken, opschonen en transformeren, allemaal via de command line. Ook behandelen we geavanceerde technieken zoals SQL-databasebewerkingen via de command line. Tot slot combineren we de kracht van de command line en Python om een datapijplijn te bouwen voor het automatiseren van een voorspellend model.

Introduction to Shell

Intermediate Python

Intermediate SQL

Leer krachtige commandoregelvaardigheden om data te downloaden, verwerken en transformeren, incl. ML-pijplijn.

Gegevens verwerken in de Shell

Leer krachtige command-linevaardigheden om data te downloaden, verwerken en transformeren, inclusief machine learning-pipeline.

Beperkingen instellen voor meerdere bestandsdownloads

Gegevens verwerken in de Shell

Interactieve oefening met praktijkervaring