In this chapter, you'll be introduced to Hyper Text Markup Language (HTML), a declarative language used to structure modern websites. Using the rvest library, you'll learn how to query simple HTML elements and scrape your first table.

Introduction to HTML

Read in HTML

Beware of syntax errors!

Navigating HTML

Select all children of a list

Parse hyperlinks into a data frame

Scrape your first table

The right order of table elements

Turn a table into a data frame with html_table()

Introduction to HTML and Web Scraping

Cascading Style Sheets (CSS) describe how HTML elements are displayed on a web page, including colors, fonts, and general layout. In this chapter, you'll learn why CSS selectors and combinators are a crucial ingredient for web scraping.

Introduction to CSS

Select multiple HTML types

Order CSS selectors by the number of results

CSS classes and IDs

Identify the correct selector types

Leverage the uniqueness of IDs

Select the last child with a pseudo-class

CSS combinators

Select direct descendants with the child combinator

How many elements get returned?

Simply the best!

Not every sibling is the same

Navigation and Selection with CSS

The CSS selectors you got to know in the last chapter are powerful but have their limitations. For example, if you want to select nodes based on the properties of their descendants. XPath to the rescue! Using this query language, you can navigate and scrape even the most hideous HTML.

Pengantar XPATH

Opsi

type.class

type > type

type type.class

Temukan padanan CSS yang benar

Pilih berdasarkan class dan ID dengan XPATH

Gunakan predikat untuk memilih node berdasarkan anaknya

Fungsi XPATH dan predikat lanjutan

Cari alternatif XPATH yang lebih elegan

Mengenal fungsi position()

Ekstrak node berdasarkan jumlah anaknya

Fungsi XPATH text()

Keterbatasan html_table() pada tabel yang strukturnya buruk

Memilih langsung dari elemen induk dengan text() milik XPATH

Gabungkan data yang diekstrak ke dalam data frame

Scrape elemen berdasarkan teksnya

Advanced Selection with XPATH

Now that you know how to extract content from web pages, it's time to look behind the curtains. In this final chapter, you’ll learn why HTTP requests are the foundation of every scraping action and how they can be customized to comply with best practices in web scraping.

The nature of HTTP requests

Which of these statements about HTTP is false?

Do it the httr way

Houston, we got a 404!

Telling who you are with custom user agents

Check out your user agent

Add a custom user agent

How to be gentle and slow down your requests

Custom arguments for throttled functions

Apply throttling to a multi-page crawler

Recap: Web Scraping in R

Scraping Best Practices

Pernahkah Anda menemukan situs web yang menampilkan banyak data seperti statistik, ulasan produk, atau harga dalam format yang tidak siap untuk analisis data? Sering kali, otoritas dan penyedia data lainnya menerbitkan data mereka dalam tabel yang tertata rapi. Namun, tidak semua situs tersebut menyertakan tombol unduh—jangan khawatir. Dalam kursus ini, Anda akan belajar cara mengumpulkan dan mengunduh data dari situs web mana pun dengan efisien menggunakan R. Anda akan mempelajari cara mengotomatiskan scraping dan parsing Wikipedia menggunakan paket rvest dan httr. Melalui latihan praktik, Anda juga akan memperluas pemahaman tentang HTML dan CSS, fondasi halaman web, sambil membuat alur kerja pengambilan data Anda lebih andal dan efisien.

Intermediate R

Introduction to the Tidyverse

Pelajari cara menggunakan R untuk mengumpulkan data dari situs web dan mengotomatisasi parsing Wikipedia.

Web Scraping di R

Pelajari cara mengumpulkan dan mengunduh data secara efisien dari situs web mana pun menggunakan R.

Cari alternatif XPATH yang lebih elegan

Web Scraping di R

Latihan interaktif praktis