V této kapitole se naučíš stahovat datové soubory z webových serverů přímo z příkazové řádky. Zároveň se seznámíš s dokumentačními manuály, přepínači a zpracováním více souborů najednou.

Stahování dat pomocí curl

Dokumentace curl

Stahování jednoho souboru pomocí curl

Stahování více souborů pomocí curl

Stahování dat pomocí Wget

Instalace Wget

Stahování jednoho souboru pomocí wget

Pokročilé stahování pomocí Wget

Nastavení omezení pro stahování více souborů

Nastavení čekací doby pomocí Wget

Stahování dat pomocí Wget a curl

Stahování dat z příkazové řádky

Pokračujeme tam, kde jsme přestali – od stahování dat přejdeme k jejich zpracování. V této kapitole využijeme knihovnu csvkit pro příkazovou řádku: naučíš se převádět, prohlížet, filtrovat a upravovat soubory, aby byla data připravena k dalším analýzám.

Začínáme s csvkit

Instalace a dokumentace pro csvkit

Převod a náhled dat pomocí csvkit

Převod souborů a souhrnné statistiky pomocí csvkit

Filtrování dat pomocí csvkit

Výpis názvů sloupců pomocí csvkit

Filtrování dat podle sloupce pomocí csvkit

Filtrování dat podle řádků pomocí csvkit

Skládání dat a řetězení příkazů s csvkit

Skládání souborů pomocí csvkit

Řetězení příkazů pomocí operátorů

Zpracování dat s csvkit

Čištění a úprava dat na příkazové řádce

V této kapitole se hlouběji ponoříme do možností knihovny csvkit. Zaměříme se zejména na databázové operace, které lze provádět přímo na příkazové řádce – včetně vytváření tabulek, načítání dat a různých ETL transformací.

Načítání dat z databáze

Práce s dokumentací sql2csv

Konektory sql2csv

Procvičení načítání dat z databáze

Manipulace s daty pomocí SQL syntaxe

Použití SQL na lokální CSV soubor

Čistší skriptování pomocí proměnných shellu

Spojování lokálních CSV souborů pomocí SQL

Nahrávání dat zpět do databáze

Procvičení nahrávání dat zpět do databáze

Databáze a SQL s csvkit

Databázové operace na příkazové řádce

V poslední kapitole propojíme příkazovou řádku s dalšími datovými jazyky a ukážeme si, jak mohou spolupracovat. Na příkladu Pythonu se naučíš spouštět Python z příkazové řádky, instalovat závislosti pomocí správce balíčků pip a sestavit celý modelový pipeline přímo z příkazové řádky.

Python na příkazové řádce

Zjištění verze Pythonu na příkazovém řádku

Spuštění Python skriptu z příkazové řádky

Instalace Python balíčků pomocí pip

Možnosti nástroje pip

Instalace závislostí Pythonu

Spuštění modelu v Pythonu

Automatizace datových úloh pomocí cronu

Syntaxe plánování v cronu

Plánování úlohy pomocí crontabu

Nasazení modelu na příkazové řádce

Shrnutí kurzu

Datový pipeline na příkazové řádce

Spotify Song Attributes

Spotify Songs Popularity Ranking

Žijeme v uspěchané době, kde se termíny hroutí jeden za druhým. Proto přirozeně sáhneme po tom, co známe a co je pohodlné – grafická rozhraní jako Visual Studio nebo RStudio. Přesto se investice do práce s daty na příkazové řádce dlouhodobě vyplatí: staneš se zdatnějším a produktivnějším datovým analytikem.

V tomto kurzu se prakticky naučíš jednoduché, ale mocné příkazy zaměřené přímo na práci s daty. Na veřejně dostupných datasetech ze Spotify si ukážeme, jak stahovat, zpracovávat, čistit a transformovat data – a to vše přímo z příkazové řádky. Podíváme se také na pokročilé techniky, jako jsou databázové operace na příkazové řádce. Na závěr propojíme příkazovou řádku s Pythonem a společně postavíme datový pipeline pro automatizaci prediktivního modelu.

Introduction to Shell

Intermediate Python

Intermediate SQL

Naučte se příkazové dovednosti pro stahování, zpracování a transformaci dat včetně ML pipeline.

Data Processing in Shell

Naučte se silné dovednosti v příkazové řádce pro stahování, zpracování a transformaci dat, včetně pipeline strojového učení.

Data Person

Skládání dat a řetězení příkazů v csvkit

csvstack: skládání více CSV souborů

Řetězení příkazů příkazové řádky

Pojďme vše spojit dohromady!

Čištění a úprava dat na příkazové řádce - Skládání dat a řetězení příkazů s csvkit

Skládání dat a řetězení příkazů s csvkit

Create Your Free Account