在本章中，你將認識超文件標示語言（HTML），這是一種用來構建現代網站結構的宣告式語言。你會使用 rvest 函式庫學習如何查詢簡單的 HTML 元素，並完成你的第一個表格爬取。

HTML 入門

讀取 HTML

當心語法錯誤！

瀏覽與導覽 HTML

選取清單的所有子元素

將超連結解析成資料框

擷取你的第一個表格

表格元素的正確順序

用 html_table() 把表格轉成資料框

HTML 與網頁爬蟲入門

階層式樣式表（CSS）描述了 HTML 元素在網頁上的呈現方式，包括顏色、字型與整體版面配置。在本章中，你將了解為何 CSS 選擇器與組合子是進行網頁爬蟲時不可或缺的關鍵工具。

CSS 入門

選取多種 HTML 類型

依回傳結果數量為 CSS 選擇器排序

CSS 類別與 ID

辨識正確的選擇器類型

善用 ID 的唯一性

使用偽類選取最後一個子元素

CSS 組合器

使用子代組合子選取直接子節點

會回傳多少個元素？

越簡單越好！

手足不一定都一樣

使用 CSS 的導覽與選取

你在上一章學到的 CSS 選擇器功能強大，但仍有其限制，例如當你想根據子孫節點的屬性來選取節點時。這時就輪到 XPath 出馬了！使用這套查詢語言，你可以在雜亂的 HTML 結構中進行導覽與爬取。

XPATH 入門

找出正確的等價 CSS 選擇器

使用 XPATH 依 class 與 ID 選取

使用述詞（predicate）依子代條件選取節點

XPATH 函式與進階述詞

找出更優雅的 XPATH 替代寫法

認識 position() 函式

依子節點數量擷取節點

XPATH 的 text() 函式

當表格結構不佳時，html_table() 的侷限

使用 XPATH 的 text() 從父層元素直接擷取

將擷取出的資料合併為資料框

根據文字擷取元素

使用 XPATH 的進階選取

既然你已經知道如何從網頁擷取內容，現在該揭開幕後原理。在最後一章中，你將學到為何 HTTP 請求是每個爬蟲動作的基礎，以及如何調整請求以符合網頁爬蟲的最佳實務。

HTTP 請求的本質

以下關於 HTTP 的哪一個敘述是錯的？

用 httr 的方式來做

Houston，我們遇到 404！

用自訂使用者代理字串表明你的身份

查看你的 user agent

加入自訂 user agent

如何溫和地放慢你的請求速度

對節流函式傳入自訂引數

對多頁爬蟲套用節流（throttling）

回顧：在 R 進行網頁爬蟲

爬蟲最佳實務

你是否看過某些網站呈現大量資料，例如統計數據、商品評價或價格，但格式並不適合直接拿來做資料分析？許多機關或資料提供者會把資料整理成表格，不過並非所有網站都提供下載按鈕。別擔心！在本課程中，你會學到如何使用 R 高效地從任何網站蒐集並下載資料。你將使用 rvest 與 httr 套件，自動化處理對維基百科的爬取與剖析。透過動手練習，你也會加深對 HTML 與 CSS（網頁的基礎組件）的理解，讓你的資料擷取流程更穩健且更有效率。

用自訂使用者代理字串表明你的身份

Create Your Free Account