Pelajari struktur HTML. Kita mulai dengan menjelaskan mengapa web scraping dapat menjadi tambahan yang berharga dalam perangkat data science Anda lalu membahas dasar-dasar HTML. Kita akhiri bab ini dengan pengantar singkat tentang notasi XPath, yang digunakan untuk menavigasi elemen dalam kode HTML.

Tinjauan Umum Web Scraping

Web-scraping bukan omong kosong!

HyperText Markup Language

Navigasi pohon HTML secara verbal

Dari Pohon ke HTML

Atribut

Tetap Elegan

Menemukan href

Kilasan Cepat tentang XPath

Di mana saya?

Saatnya ke P

Sebuah span yang berkelas

Pengantar HTML

Manfaatkan sintaks XPath untuk mengeksplorasi selector scrapy. Kedua konsep ini akan mengarahkan Anda untuk dapat melakukan scraping pada dokumen HTML.

XPathologi

Menghitung Elemen di Alam Bebas

Atribut pada Body

Pilih DataCamp!

Menjelajah XPath di Luar Jalur Umum

Di mana @ berada

Periksa Class Anda

Tautan (Hyper) Aktif

Tautan Rahasia

Objek Selector

Perangkai XPath

Bagi-bagi Div di Latihan Ini

Sumber dari Sumbernya

Kelas Kursus lewat Inspeksi

Meminta sebuah Selector

XPath dan Selector

Pelajari sintaks CSS Locator dan mulai bereksperimen dengan menggabungkan CSS Locator dengan XPath. Kami juga memperkenalkan objek Response, yang berperilaku seperti Selector namun memberi kita alat tambahan untuk menggerakkan upaya scraping di berbagai situs web.

Dari XPath ke CSS

(X)Path Menuju CSS Locator

Dapatkan huruf "a" di Kursus ini

Wildcard di CSS

Atribut CSS dan Pemilihan Teks

Anda telah di-`href`

Teks Tingkat Atas

Teks di Semua Tingkat

Mohon Respons!

Ungkap dengan Response

Merespons dengan Selector

Memilih dari Suatu Pilihan

Survei

Titular

Scraping dengan Children

CSS Locator, Chaining, dan Response

Pelajari cara membuat perayap web dengan scrapy. Spider scrapy ini akan merayapi web melalui beberapa halaman, mengikuti tautan untuk melakukan scraping pada setiap halaman tersebut secara otomatis sesuai prosedur yang telah kita pelajari di bab sebelumnya.

Spider Pertama Anda

Mewarisi Spider

Lempar URL

Mulai Requests

Rujukan Diri Itu Keren

Memulai dengan Start Requests

Mengurai dan Menjelajah

Nama Pena

Waktunya Crawler

Proyek Akhir

Saatnya Menjalankan

Deskripsi DataCamp

Perayap Capstone

Penutup

Spider

DataCamp webpage HTML

Kemampuan untuk membangun alat yang dapat mengambil dan mengurai informasi yang tersimpan di seluruh internet telah dan akan terus bernilai dalam berbagai aspek data science. Dalam kursus ini, Anda akan mempelajari cara menavigasi dan mengurai kode HTML, serta membangun alat untuk merayapi situs web secara otomatis. Meskipun proses scraping kita dilakukan menggunakan pustaka Python yang serbaguna, yaitu scrapy, banyak teknik yang Anda pelajari di kursus ini juga dapat diterapkan pada pustaka Python populer lainnya, termasuk BeautifulSoup dan Selenium. Setelah menyelesaikan kursus ini, Anda akan memiliki pemahaman yang kuat tentang struktur HTML, mampu membangun alat untuk mengurai kode HTML dan mengakses informasi yang diinginkan, serta membuat spider scrapy sederhana untuk merayapi web dalam skala besar.

Intermediate Python

Pelajari cara mengambil dan mengurai informasi dari internet menggunakan pustaka Python scrapy.

Web Scraping dengan Python

Pengembang Python

Menghitung Elemen di Alam Bebas

Web Scraping dengan Python

Latihan interaktif langsung