在本章中，您将学习如何通过命令行从网页服务器下载数据文件。在此过程中，您还会了解文档手册、选项标志以及多文件处理。

使用 curl 下载数据

使用 curl 文档

使用 curl 下载单个文件

使用 curl 下载多个文件

使用 Wget 下载数据

安装 Wget

使用 wget 下载单个文件

使用 Wget 的高级下载

为多文件下载设置约束

使用 Wget 设置等待时间

使用 Wget 和 curl 下载数据

在命令行下载数据

我们将把旅程从数据下载推进到数据处理。本章将使用命令行库 csvkit 对文件进行格式转换、预览、筛选与操作，为后续分析做好准备。

csvkit 入门

安装与文档：csvkit

使用 csvkit 转换并预览数据

使用 csvkit 进行文件转换与摘要统计

使用 csvkit 过滤数据

使用 csvkit 打印列名

使用 csvkit 按列筛选数据

使用 csvkit 按行筛选数据

使用 csvkit 叠加数据并串联命令

使用 csvkit 堆叠文件

使用运算符串联命令

使用 csvkit 进行数据处理

在命令行进行数据清洗与整理

本章将更深入地探索 csvkit 库的功能。我们将重点关注可在命令行完成的数据库操作，包括建表、拉取数据，以及各类 ETL 转换。

从数据库提取数据

使用 sql2csv 文档

了解 sql2csv 的连接器

练习：从数据库提取数据

使用 SQL 语法处理数据

将 SQL 应用于本地 CSV 文件

用 shell 变量让脚本更清爽

使用 SQL 连接本地 CSV 文件

将数据写回数据库

练习：将数据写回数据库

使用 csvkit 进行数据库与 SQL 操作

在命令行进行数据库操作

在最后一章中，我们将把命令行与其他数据科学语言衔接起来，学习它们如何协同工作。以 Python 为案例，您将学习如何在命令行执行 Python、使用包管理器 pip 安装依赖，并使用命令行构建完整的模型流水线。

命令行中的 Python

在命令行中查找 Python 版本

在命令行执行 Python 脚本

使用 pip 安装 Python 包

了解 pip 的功能

安装 Python 依赖

运行 Python 模型

使用 cron 实现数据作业自动化

理解 cron 调度语法

使用 crontab 调度作业

在命令行中将模型投入生产

课程回顾

在命令行构建数据流水线

Spotify Song Attributes

Spotify Songs Popularity Ranking

我们生活节奏紧张、截止日期密集，因此往往依赖熟悉且省心的 GUI 界面，如 Visual Studio 和 RStudio。然而，花时间学习在命令行进行数据分析是非常值得的长期投入，因为这会让我们成为更强大、更高效的数据从业者。

本课程将以实践为导向，学习简单而强大的、面向数据的命令行技能。我们将使用公开的 Spotify 数据集，学习如何在命令行中下载、处理、清洗和转换数据。我们还将学习进阶技巧，例如在命令行中进行基于 SQL 的数据库操作。最后，我们会结合命令行与 Python 的能力，构建一个用于自动化预测模型的数据流水线。

Introduction to Shell

Intermediate Python

Intermediate SQL

学习强大的命令行技能以下载、处理和转换数据，包括机器学习管道。

Shell 中的数据处理

掌握强大的命令行技能，下载、处理并转换数据，包括机器学习流水线。

使用 cron 实现数据作业自动化

Create Your Free Account