学习 HTML 的结构。我们先说明为什么网页爬取是您数据科学工具箱中的有价值补充，然后介绍 HTML 的基础知识。章节最后将简要介绍用于在 HTML 代码中导航元素的 XPath 表示法。

Web Scraping 概览

Web scraping 不是胡说八道！

HyperText Markup Language（HTML）

HTML 树的文字导航

从树到 HTML

属性

保持"类"范

查找 href

XPath 速成

我在哪儿？

是时候选中 p 了

有范儿的 span

HTML 入门

利用 XPath 语法探索 scrapy 选择器。这两个概念将帮助您逐步掌握抓取 HTML 文档。

XPath 细究

在真实页面中统计元素数量

Body 的子节点

选择 DataCamp！

非常规 XPath

Where it's @

检查您的 class

超（链接）活跃

秘密链接

Selector 对象

XPath 链式调用

分解这个练习

源代码的源头

通过检查确定课程的类名

请求一个 Selector

XPath 与选择器

学习 CSS 定位器语法，并尝试将 CSS 定位器与 XPath 进行链式组合。我们还将介绍 Response 对象。它的行为与 Selector 相似，但提供了额外工具，帮助我们将爬取扩展到多个网站。

从 XPath 到 CSS

通往 CSS 定位器的 (X)Path

在本课程中拿到一个"a"

CSS 通配符

CSS 属性与文本选择

您已被 `href` 住

顶层文本

所有层级的文本

请回应！

用 Response 揭晓

用 Selector 来响应

从一次选择中再选择

调查

标题党

使用子元素进行抓取

CSS 定位器、链式选择与响应

学习使用 scrapy 创建网络爬虫。这些 scrapy 爬虫会跨多页在网页间跳转，按照前几章所学的方法自动跟随链接抓取每一页。

您的第一个 Spider

继承 Spider

抛出这些 URL

Start Requests

自引用很"优雅"

从 Start Requests 开始

解析与爬取

笔名

爬虫时间

综合项目

开跑时间

DataCamp 课程描述

综合爬虫练习

收官之战

爬虫

DataCamp webpage HTML

构建能够从互联网检索并解析信息的工具，一直以来都是数据科学多个领域的重要能力。本课程将带您学习如何浏览并解析 HTML 代码，并构建自动抓取网站的工具。虽然课程主要使用功能强大的 Python 库 scrapy 进行爬取，但您在本课中学到的许多技巧也适用于其他常见的 Python 库，例如 BeautifulSoup 和 Selenium。完成本课程后，您将对 HTML 结构形成清晰的心智模型，能够构建工具来解析 HTML 代码并提取所需信息，并创建简单的 scrapy 爬虫，以规模化抓取网页。

CSS 属性与文本选择

Create Your Free Account