In questo capitolo impari a scaricare file di dati dai server web tramite la riga di comando. Nel frattempo, vedrai anche come usare i manuali della documentazione, i flag delle opzioni e l’elaborazione di più file.

Scaricare dati con curl

Usare la documentazione di curl

Scaricare un singolo file con curl

Scaricare più file con curl

Scaricare dati con Wget

Installare Wget

Scaricare un singolo file con wget

Download avanzati con Wget

Impostare vincoli per download di più file

Impostare un tempo di attesa con Wget

Download dei dati con Wget e curl

Scaricare dati dalla riga di comando

Proseguiamo il nostro percorso dai download dei dati alla loro elaborazione. In questo capitolo utilizziamo la libreria da riga di comando csvkit per convertire, visualizzare in anteprima, filtrare e manipolare i file, preparando i dati per analisi successive.

Prime basi con csvkit

Installazione e documentazione di csvkit

Conversione e anteprima dei dati con csvkit

Conversione di file e statistiche descrittive con csvkit

Filtrare i dati con csvkit

Stampare le intestazioni delle colonne con csvkit

Filtrare i dati per colonna con csvkit

Filtrare i dati per riga con csvkit

Impilare i dati e concatenare comandi con csvkit

Impilare file con csvkit

Collegare comandi usando gli operatori

Elaborazione dei dati con csvkit

Pulizia e preparazione dei dati dalla riga di comando

In questo capitolo approfondiamo tutto ciò che offre la libreria csvkit. In particolare, ci concentriamo sulle operazioni di database che possiamo eseguire dalla riga di comando, tra cui creazione di tabelle, estrazione dei dati e varie trasformazioni ETL.

Estrarre dati dal database

Usare la documentazione di sql2csv

Capire i connettori di sql2csv

Esercitati a estrarre dati dal database

Manipolare i dati usando la sintassi SQL

Applicare SQL a un file CSV locale

Script più puliti con variabili di shell

Unire file CSV locali usando SQL

Inviare i dati al database

Esercitati a inviare i dati di nuovo al database

Database e SQL con csvkit

Operazioni su database dalla riga di comando

Nell’ultimo capitolo colleghiamo la riga di comando ad altri linguaggi di data science e vediamo come possano lavorare insieme. Usando Python come caso di studio, impari a eseguire Python dalla riga di comando, a installare le dipendenze con il gestore pacchetti pip e a costruire un’intera pipeline di modello tramite la riga di comando.

Python dalla riga di comando

Trovare la versione di Python da riga di comando

Eseguire uno script Python dalla riga di comando

Installazione di pacchetti Python con pip

Capire le funzionalità di pip

Installare le dipendenze di Python

Esecuzione di un modello Python

Automazione dei job di dati con cron

Comprendere la sintassi di pianificazione di cron

Pianificare un job con crontab

Messa in produzione del modello da riga di comando

Riepilogo del corso

Pipeline di dati dalla riga di comando

Spotify Song Attributes

Spotify Songs Popularity Ranking

Viviamo in un mondo frenetico con scadenze serrate. Di conseguenza, tendiamo a rifugiarci in ciò che è familiare e semplice, preferendo interfacce GUI come Visual Studio e RStudio. Tuttavia, dedicare del tempo a imparare l’analisi dei dati dalla riga di comando è un ottimo investimento a lungo termine, perché ci rende professionisti dei dati più forti e produttivi.

In questo corso adotteremo un approccio pratico per imparare competenze da riga di comando semplici, potenti e specifiche per i dati. Utilizzando insiemi di dati pubblici di Spotify, impareremo a scaricare, elaborare, pulire e trasformare i dati, tutto tramite la riga di comando. Impareremo anche tecniche avanzate come le operazioni su database SQL dalla riga di comando. Infine, combineremo la potenza della riga di comando e di Python per creare una pipeline di dati che automatizzi un modello predittivo.

Introduction to Shell

Intermediate Python

Intermediate SQL

Impara abilità di comando per scaricare, elaborare e trasformare dati, inclusa una pipeline ML.

Elaborazione dei dati in Shell

Impara potenti competenze da riga di comando per scaricare, elaborare e trasformare dati, inclusa la pipeline di Machine Learning.

Data Person

Accodare dati e concatenare comandi con csvkit

csvstack: accodare più file CSV

concatenare comandi da riga di comando

Mettiamo tutto insieme!

Pulizia e preparazione dei dati dalla riga di comando - Impilare i dati e concatenare comandi con csvkit

Impilare i dati e concatenare comandi con csvkit

Create Your Free Account