I det här kapitlet lär vi oss hur man laddar ned datafiler från webbservrar via kommandoraden. På vägen lär vi oss också om dokumentationsmanual, flaggor och hantering av flera filer samtidigt.

Ladda ned data med curl

Använda curl-dokumentationen

Ladda ned en enskild fil med curl

Ladda ned flera filer med curl

Ladda ned data med Wget

Installera Wget

Ladda ned en enskild fil med wget

Avancerad nedladdning med Wget

Ange begränsningar för nedladdning av flera filer

Skapa väntetid med Wget

Datanedladdning med Wget och curl

Ladda ned data i kommandoraden

Vi fortsätter vår dataresa från nedladdning till bearbetning. I det här kapitlet använder vi kommandoradsbiblioteket csvkit för att konvertera, förhandsgranska, filtrera och manipulera filer så att datan är redo för vidare analys.

Kom igång med csvkit

Installation och dokumentation för csvkit

Konvertera och förhandsgranska data med csvkit

Filkonvertering och sammanfattande statistik med csvkit

Filtrera data med csvkit

Skriva ut kolumnrubriker med csvkit

Filtrera data efter kolumn med csvkit

Filtrera data per rad med csvkit

Stapla data och kedja kommandon med csvkit

Stapla filer med csvkit

Kedja kommandon med operatorer

Databearbetning med csvkit

Datarensning och databearbetning i kommandoraden

I det här kapitlet fördjupar vi oss i allt som csvkit-biblioteket har att erbjuda. Vi fokuserar särskilt på databasoperationer som kan utföras i kommandoraden, inklusive att skapa tabeller, hämta data och utföra olika ETL-transformationer.

Hämta data från en databas

Använda dokumentationen för sql2csv

Förstå sql2csv-anslutningar

Öva på att hämta data från en databas

Manipulera data med SQL-syntax

Tillämpa SQL på en lokal CSV-fil

Renare skriptning med skalvariabler

Sammanfoga lokala CSV-filer med SQL

Skicka tillbaka data till databasen

Öva på att skicka data tillbaka till databasen

Databaser och SQL med csvkit

Databasoperationer i kommandoraden

I det sista kapitlet bygger vi bryggan mellan kommandoraden och andra datavetenskapliga språk och utforskar hur de kan samverka. Med Python som exempel lär vi oss att köra Python i kommandoraden, installera beroenden med pakethanteraren pip och bygga en hel modellpipeline direkt från kommandoraden.

Python på kommandoraden

Hitta Python-versionen via kommandoraden

Köra ett Python-skript från kommandoraden

Installation av Python-paket med pip

Förstå pip:s funktioner

Installera Python-beroenden

Köra en Python-modell

Automatisering av datajobb med cron

Förstå cron-schemaläggningssyntax

Schemalägg ett jobb med crontab

Modellproduktion på kommandoraden

Kurssammanfattning

Datapipeline i kommandoraden

Spotify Song Attributes

Spotify Songs Popularity Ranking

Vi lever i en hektisk värld med snäva deadlines. Det gör att vi ofta faller tillbaka på det vi känner till och det som är enkelt – grafiska gränssnitt som Visual Studio och RStudio. Men att ta sig tid att lära sig dataanalys i kommandoraden är en lönsam investering på lång sikt, eftersom det gör dig till en mer kompetent och produktiv dataperson.

I den här kursen tar vi ett praktiskt grepp för att lära oss enkla, kraftfulla och dataspecifika färdigheter i kommandoraden. Med hjälp av offentligt tillgängliga Spotify-datamängder lär vi oss att ladda ned, bearbeta, rensa och transformera data – allt via kommandoraden. Vi går även igenom avancerade tekniker som SQL-databasoperationer i kommandoraden. Avslutningsvis kombinerar vi kommandoraden med Python för att bygga en datapipeline som automatiserar en prediktiv modell.

Introduction to Shell

Intermediate Python

Intermediate SQL

Lär dig kraftfulla kommandoradstekniker för att ladda ner, bearbeta och omvandla data med maskininlärning.

Databehandling i kommandoraden

Lär dig kraftfulla kommandoradskunskaper för att ladda ner, bearbeta och transformera data, inklusive maskininlärningspipeline.

Data Person

csvstack: stapla flera CSV-filer

kedja kommandon på kommandoraden

Nu kör vi en övning!

Datarensning och databearbetning i kommandoraden - Stapla data och kedja kommandon med csvkit

Stapla data och kedja kommandon med csvkit

Create Your Free Account