Pada bab ini, Anda akan diperkenalkan pada Hyper Text Markup Language (HTML), bahasa deklaratif yang digunakan untuk menyusun situs web modern. Dengan pustaka rvest, Anda akan belajar cara melakukan kueri elemen HTML sederhana dan melakukan scraping tabel pertama Anda.

Pengantar HTML

Membaca HTML

Waspadai kesalahan sintaks!

Menavigasi HTML

Pilih semua child dari sebuah daftar

Mengurai hyperlink ke dalam data frame

Ambil tabel pertama Anda

Urutan elemen tabel yang benar

Ubah tabel menjadi data frame dengan html_table()

Pendahuluan HTML dan Web Scraping

Cascading Style Sheets (CSS) menjelaskan bagaimana elemen HTML ditampilkan pada halaman web, termasuk warna, font, dan tata letak umum. Pada bab ini, Anda akan mempelajari mengapa selektor dan penggabung (combinator) CSS merupakan komponen penting untuk web scraping.

Pengantar CSS

Pilih beberapa tipe HTML

Urutkan selector CSS berdasarkan jumlah hasil

Kelas dan ID CSS

Identifikasi tipe selektor yang benar

Manfaatkan keunikan ID

Pilih elemen anak terakhir dengan pseudo-class

Kombinator CSS

Pilih turunan langsung dengan child combinator

Berapa banyak elemen yang dikembalikan?

Sederhana tapi terbaik!

Tidak semua saudara setara

Navigasi dan Seleksi dengan CSS

Selektor CSS yang Anda pelajari di bab sebelumnya sangat kuat tetapi memiliki keterbatasan. Misalnya, ketika Anda ingin memilih node berdasarkan properti turunannya. XPath hadir sebagai solusi! Dengan menggunakan bahasa kueri ini, Anda dapat menavigasi dan melakukan scraping bahkan pada HTML yang paling rumit sekalipun.

Pengantar XPATH

Opsi

type.class

type > type

type type.class

Temukan padanan CSS yang benar

Pilih berdasarkan class dan ID dengan XPATH

Gunakan predikat untuk memilih node berdasarkan anaknya

Fungsi XPATH dan predikat lanjutan

Cari alternatif XPATH yang lebih elegan

Mengenal fungsi position()

Ekstrak node berdasarkan jumlah anaknya

Fungsi XPATH text()

Keterbatasan html_table() pada tabel yang strukturnya buruk

Memilih langsung dari elemen induk dengan text() milik XPATH

Gabungkan data yang diekstrak ke dalam data frame

Scrape elemen berdasarkan teksnya

Seleksi Lanjutan dengan XPATH

Sekarang Anda sudah tahu cara mengekstrak konten dari halaman web, saatnya melihat di balik layar. Pada bab terakhir ini, Anda akan mempelajari mengapa permintaan HTTP merupakan fondasi setiap aksi scraping dan bagaimana menyesuaikannya agar sesuai dengan praktik terbaik dalam web scraping.

Hakikat permintaan HTTP

Manakah pernyataan tentang HTTP berikut yang salah?

Lakukan dengan cara httr

Houston, kita mendapat 404!

Menyatakan identitas Anda dengan user agent kustom

Lihat user agent Anda

Tambahkan user agent kustom

Cara bersikap santun dan memperlambat permintaan Anda

Argumen kustom untuk fungsi yang ditahan lajunya

Terapkan throttling pada perayap multi-halaman

Rekap: Web Scraping di R

Praktik Terbaik Scraping

Pernahkah Anda menemukan situs web yang menampilkan banyak data seperti statistik, ulasan produk, atau harga dalam format yang tidak siap untuk analisis data? Sering kali, otoritas dan penyedia data lainnya menerbitkan data mereka dalam tabel yang tertata rapi. Namun, tidak semua situs tersebut menyertakan tombol unduh—jangan khawatir. Dalam kursus ini, Anda akan belajar cara mengumpulkan dan mengunduh data dari situs web mana pun dengan efisien menggunakan R. Anda akan mempelajari cara mengotomatiskan scraping dan parsing Wikipedia menggunakan paket rvest dan httr. Melalui latihan praktik, Anda juga akan memperluas pemahaman tentang HTML dan CSS, fondasi halaman web, sambil membuat alur kerja pengambilan data Anda lebih andal dan efisien.

Intermediate R

Introduction to the Tidyverse

Pelajari cara menggunakan R untuk mengumpulkan data dari situs web dan mengotomatisasi parsing Wikipedia.

Web Scraping di R

Pelajari cara mengumpulkan dan mengunduh data secara efisien dari situs web mana pun menggunakan R.

Cari alternatif XPATH yang lebih elegan

Web Scraping di R

Latihan interaktif langsung