在本章中，您将认识超文本标记语言（HTML），这是一种用于构建现代网站的声明式语言。借助 rvest 库，您将学习如何查询简单的 HTML 元素，并完成第一个表格的抓取。

HTML 入门

读取 HTML

当心语法错误！

浏览 HTML

选择列表的所有子元素

将超链接解析为数据框

抓取您的第一个表格

表格元素的正确顺序

使用 html_table() 将表格转换为数据框

HTML 与网页抓取入门

层叠样式表（CSS）用于描述网页上 HTML 元素的展示方式，包括颜色、字体和整体布局。在本章中，您将了解为何 CSS 选择器与连接符是网页抓取的关键工具。

CSS 入门

选择多个 HTML 类型

按返回结果数量为 CSS 选择器排序

CSS 类与 ID

识别正确的选择器类型

利用 ID 的唯一性

使用伪类选择最后一个子元素

CSS 组合器

使用子代选择器选择直接后代

会返回多少个元素？

越简单越好！

并非所有同级元素都一样

使用 CSS 进行导航与选择

上一章介绍的 CSS 选择器功能强大，但也有局限。例如，若您希望根据后代节点的属性来选择节点时，就需要借助 XPath。使用这种查询语言，您可以在复杂甚至糟糕的 HTML 结构中也能自如导航与抓取。

XPATH 入门

找出正确的 CSS 对应写法

使用 XPATH 按类和 ID 选择

使用谓词根据子节点选择节点

XPATH 函数与高级谓词

寻找更优雅的 XPATH 替代写法

了解 position() 函数

根据子节点数量提取节点

XPATH 的 text() 函数

html_table() 在结构不佳的表格中的局限性

使用 XPATH 的 text() 从父元素直接选择

将提取的数据合并为一个数据框

基于文本抓取元素

用 XPATH 进行高级选择

既然您已经会从网页中提取内容，是时候看看"幕后"了。在最后一章中，您将学习为何 HTTP 请求是每一次抓取操作的基础，以及如何自定义请求以遵循网页抓取的最佳实践。

HTTP 请求的本质

以下关于 HTTP 的说法，哪一项是错误的？

用 httr 的方式来做

休斯顿，我们遇到 404 了！

使用自定义 User-Agent 表明您的身份

查看您的 User-Agent

添加自定义 user agent

如何温和地放慢请求速度

为限速函数自定义参数

对多页面爬虫应用限速

回顾：在 R 中进行网页抓取

抓取的最佳实践

您是否遇到过这样的网站：展示了大量统计数据、产品评价或价格信息，但并不便于直接用于数据分析？不少机构和数据提供方会以整齐的表格发布数据。然而，并非所有网站都提供下载按钮。别担心！在本课程中，您将学习如何使用 R 高效地从任意网站收集并下载数据。您将学习如何借助 rvest 和 httr 包自动抓取并解析 Wikipedia。通过动手练习，您还会加深对 HTML 和 CSS（网页的构建基石）的理解，从而让数据采集流程更稳健、更高效。

Intermediate R

Introduction to the Tidyverse

学习使用R通过rvest和httr包从网站收集下载数据，并自动抓取解析维基百科。

使用自定义 User-Agent 表明您的身份

Create Your Free Account