Pada bab ini, kita mempelajari cara mengunduh berkas data dari server web melalui command line. Dalam prosesnya, kita juga mempelajari manual dokumentasi, flag opsi, dan pemrosesan multi-berkas.

Mengunduh data menggunakan curl

Menggunakan dokumentasi curl

Mengunduh satu berkas menggunakan curl

Mengunduh banyak berkas menggunakan curl

Mengunduh data menggunakan Wget

Memasang Wget

Mengunduh satu berkas menggunakan wget

Pengunduhan tingkat lanjut menggunakan Wget

Menetapkan batasan untuk pengunduhan banyak file

Membuat waktu jeda menggunakan Wget

Mengunduh Data dengan Wget dan curl

Mengunduh Data di Command Line

Kita melanjutkan perjalanan data dari pengunduhan data ke pemrosesan data. Pada bab ini, kita memanfaatkan pustaka command line csvkit untuk mengonversi, meninjau, memfilter, dan memanipulasi berkas guna menyiapkan data untuk analisis lebih lanjut.

Mulai menggunakan csvkit

Instalasi dan dokumentasi untuk csvkit

Mengonversi dan melihat pratinjau data dengan csvkit

Konversi file dan statistik ringkas dengan csvkit

Memfilter data menggunakan csvkit

Mencetak header kolom dengan csvkit

Menyaring data berdasarkan kolom dengan csvkit

Menyaring data per baris dengan csvkit

Menumpuk data dan merangkai perintah dengan csvkit

Menumpuk file dengan csvkit

Merangkai perintah menggunakan operator

Pemrosesan data dengan csvkit

Pembersihan dan Pengolahan Data di Command Line

Pada bab ini, kita menggali lebih dalam semua kemampuan yang ditawarkan pustaka csvkit. Secara khusus, kita berfokus pada operasi basis data yang dapat kita lakukan di command line, termasuk pembuatan tabel, penarikan data, dan berbagai transformasi ETL.

Menarik data dari basis data

Menggunakan dokumentasi sql2csv

Memahami konektor sql2csv

Latihan menarik data dari database

Memanipulasi data menggunakan sintaks SQL

Menerapkan SQL pada file CSV lokal

Penulisan skrip lebih rapi dengan variabel shell

Menggabungkan file CSV lokal menggunakan SQL

Mendorong data kembali ke basis data

Latihan mendorong data kembali ke basis data

Database dan SQL dengan csvkit

Operasi Basis Data di Command Line

Pada bab terakhir, kita menjembatani koneksi antara command line dan bahasa ilmu data lainnya serta mempelajari bagaimana keduanya dapat bekerja bersama. Dengan Python sebagai studi kasus, kita mempelajari cara mengeksekusi Python di command line, memasang dependensi menggunakan pengelola paket pip, dan membangun keseluruhan pipeline model menggunakan command line.

Python di baris perintah

Menemukan versi Python di command line

Menjalankan skrip Python di command line

Instalasi paket Python dengan pip

Memahami kapabilitas pip

Menginstal dependensi Python

Menjalankan model Python

Otomatisasi pekerjaan data dengan cron

Memahami sintaks penjadwalan cron

Menjadwalkan job dengan crontab

Produksi model di command line

Rekapitulasi kursus

Pipeline Data di Command Line

Spotify Songs Popularity Ranking

Spotify Song Attributes

Kita hidup di dunia yang serba sibuk dengan tenggat waktu ketat. Akibatnya, kita cenderung kembali pada hal yang familiar dan mudah, seperti antarmuka GUI seperti Visual Studio dan RStudio. Namun, meluangkan waktu untuk mempelajari analisis data di command line adalah investasi jangka panjang yang sangat berharga karena membuat kita menjadi praktisi data yang lebih andal dan produktif.

Dalam kursus ini, kita akan mengambil pendekatan praktis untuk mempelajari keterampilan command line yang sederhana, kuat, dan khusus untuk data. Dengan menggunakan himpunan data Spotify yang tersedia publik, kita akan belajar cara mengunduh, memproses, membersihkan, dan mentransformasikan data, semuanya melalui command line. Kita juga akan mempelajari teknik lanjutan seperti operasi basis data berbasis command line dengan SQL. Terakhir, kita akan menggabungkan kekuatan command line dan Python untuk membangun pipeline data guna mengotomatisasi sebuah model prediktif.

Introduction to Shell

Intermediate Python

Intermediate SQL

Pelajari keterampilan command-line untuk mengunduh, memproses, dan mengubah data dengan pipeline ML.

Pemrosesan Data di Shell

Pelajari keterampilan command-line yang kuat untuk mengunduh, memproses, dan mengubah data, termasuk pipeline machine learning.

Data Person

csvstack: menumpuk beberapa file CSV

Merangkai perintah baris perintah

Mari kita gabungkan semuanya!

Pembersihan dan Pengolahan Data di Command Line - Menumpuk data dan merangkai perintah dengan csvkit

Menumpuk data dan merangkai perintah dengan csvkit

Create Your Free Account