本章將學習如何透過命令列從網頁伺服器下載資料檔。同時也會認識說明文件、選項旗標，以及一次處理多個檔案的方法。

使用 curl 下載資料

使用 curl 說明文件

使用 curl 下載單一檔案

使用 curl 下載多個檔案

使用 Wget 下載資料

安裝 Wget

使用 wget 下載單一檔案

使用 Wget 的進階下載

為多個檔案下載設定限制

使用 Wget 設定等待時間

使用 Wget 與 curl 下載資料

在命令列下載資料

我們把旅程從下載延伸到資料處理。本章將使用命令列函式庫 csvkit 來轉換、預覽、篩選與操作檔案，為後續分析做好準備。

csvkit 起步

安裝與文件：csvkit

使用 csvkit 轉換並預覽資料

使用 csvkit 進行檔案轉換與摘述統計

使用 csvkit 過濾資料

使用 csvkit 列印欄位標題

使用 csvkit 依欄位篩選資料

使用 csvkit 依列過濾資料

使用 csvkit 疊合資料並串接指令

使用 csvkit 進行檔案堆疊

使用運算子串接指令

使用 csvkit 進行資料處理

在命令列清理與整理資料

本章將更深入探索 csvkit 函式庫的功能，特別聚焦於可在命令列完成的資料庫操作，包括建立資料表、擷取資料，以及各種 ETL 轉換。

從資料庫擷取資料

查閱 sql2csv 說明文件

了解 sql2csv 的連線器

練習從資料庫擷取資料

使用 SQL 語法操作資料

將 SQL 套用到本機 CSV 檔案

透過 shell 變數讓腳本更乾淨

使用 SQL 連接本機 CSV 檔案

將資料寫回資料庫

練習將資料推回資料庫

使用 csvkit 進行資料庫與 SQL

在命令列進行資料庫操作

在最後一章，我們將銜接命令列與其他資料科學語言，學習如何協同運作。以 Python 為例，你會學到如何在命令列執行 Python、使用套件管理工具 pip 安裝相依套件，並以命令列建立完整的模型管線。

命令列上的 Python

在命令列查詢 Python 版本

在命令列執行 Python 指令稿

使用 pip 安裝 Python 套件

了解 pip 的功能

安裝 Python 相依套件

執行 Python 模型

使用 cron 自動化資料作業

理解 cron 排程語法

使用 crontab 排程工作

在命令列部署模型

課程重點回顧

在命令列建立資料管線

Spotify Song Attributes

Spotify Songs Popularity Ranking

我們的生活忙碌且期限緊湊，因此常會依賴熟悉又直覺的 GUI 介面，如 Visual Studio 與 RStudio。不過，花時間學習在命令列上做資料分析，是一項長期報酬很高的投資，能讓你成為更強、更有效率的資料工作者。

在本課程中，我們以實作為主，學習簡潔有力、專為資料而設計的命令列技巧。透過公開的 Spotify 資料集，你會學會如何用命令列下載、處理、清理與轉換資料。我們也會學進階技巧，例如在命令列上操作 SQL 資料庫。最後，將結合命令列與 Python 的威力，打造自動化預測模型的資料管線。

Introduction to Shell

Intermediate Python

Intermediate SQL

學習強大的命令列技巧來下載、處理和轉換數據，包括機器學習管道。

在 Shell 中進行資料處理

掌握強大的指令列技能，下載、處理並轉換資料，涵蓋 machine learning pipeline。

使用 csvkit 疊合資料並串接指令

Create Your Free Account