În acest capitol, vei face cunoștință cu HyperText Markup Language (HTML), un limbaj declarativ folosit pentru a structura site-urile web moderne. Folosind biblioteca rvest, vei învăța cum să interoghezi elemente HTML simple și să extragi primul tău tabel.

Introducere în HTML

Citește HTML

Atenție la erorile de sintaxă!

Navigarea în HTML

Selectează toți copiii unei liste

Parsează hyperlinkuri într-un data frame

Extrage primul tău tabel

Ordinea corectă a elementelor dintr-un tabel

Transformă un tabel într-un data frame cu html_table()

Introducere în HTML și Web Scraping

Cascading Style Sheets (CSS) descriu modul în care elementele HTML sunt afișate pe o pagină web, inclusiv culorile, fonturile și aspectul general. În acest capitol, vei înțelege de ce selectorii și combinatorii CSS sunt esențiali în web scraping.

Introducere în CSS

Selectează mai multe tipuri HTML

Ordonează selectorii CSS după numărul de rezultate

Clase și ID-uri CSS

Identifică tipurile corecte de selectori

Profită de unicitatea ID-urilor

Selectează ultimul copil cu o pseudo-clasă

Combinatori CSS

Selectează descendenții direcți cu combinatorul copil

Câte elemente sunt returnate?

Cât mai simplu!

Nu toți frații sunt la fel

Navigare și selecție cu CSS

Selectorii CSS pe care i-ai învățat în capitolul anterior sunt puternici, dar au limitările lor – de exemplu, nu pot selecta noduri pe baza proprietăților descendenților lor. Aici intervine XPath! Cu acest limbaj de interogare, poți naviga și extrage date chiar și din cel mai complex HTML.

Introducere în XPATH

Găsește echivalentul CSS corect

Selectează după clasă și ID cu XPATH

Folosește predicate pentru a selecta noduri pe baza elementelor copil

Funcții XPATH și predicate avansate

Găsește o alternativă XPATH mai elegantă

Descoperă funcția position()

Extrage noduri în funcție de numărul de copii ai acestora

Funcția text() în XPATH

Limitele funcției html_table() în cazul tabelelor structurate deficitar

Selectează direct dintr-un element părinte cu funcția text() din XPATH

Combină datele extrase într-un data frame

Extrage un element pe baza textului său

Selecție avansată cu XPATH

Acum că știi cum să extragi conținut din pagini web, e momentul să privești în culise. În acest ultim capitol, vei învăța de ce cererile HTTP stau la baza oricărei acțiuni de scraping și cum pot fi personalizate pentru a respecta bunele practici în web scraping.

Natura cererilor HTTP

Care dintre aceste afirmații despre HTTP este falsă?

Metoda httr

Houston, am primit un 404!

Cum te prezinți cu user agenți personalizați

Verifică agentul tău de utilizator

Adaugă un user agent personalizat

Cum să fii atent și să încetinești cererile

Argumente personalizate pentru funcțiile cu rată limitată

Aplică limitarea de viteză unui crawler multi-pagină

Recapitulare: Web Scraping în R

Bune practici în Web Scraping

Ai întâlnit vreodată un site web care afișează statistici, recenzii de produse sau prețuri într-un format nepotrivit pentru analiză? Autoritățile și furnizorii de date publică adesea informații în tabele bine formatate, dar nu toate site-urile oferă un buton de descărcare. Nu te îngrijora! În acest curs, vei învăța cum să colectezi și să descarci eficient date de pe orice site web folosind R. Vei automatiza extragerea și procesarea datelor de pe Wikipedia cu ajutorul pachetelor rvest și httr. Prin exerciții practice, îți vei aprofunda înțelegerea HTML și CSS – elementele de bază ale paginilor web – și vei crea fluxuri de lucru pentru colectarea datelor mai fiabile și mai eficiente.

Intermediate R

Introduction to the Tidyverse

Învață să folosești R pentru a colecta date de pe site-uri și a automatiza scraping-ul cu rvest și httr.

Web Scraping în R

Învață cum să colectezi și să descarci eficient date de pe orice site web folosind R.

Instructor

Cum să fii politicos și să îți încetinești cererile

Nu încercați acasă!

O modalitate mai elegantă de a solicita date de pe site-uri

O abordare ordonată a throttling-ului

Interogarea URL-urilor personalizate într-o funcție throttled

Iterarea peste o listă de URL-uri

Să aplicăm acest lucru într-un exemplu real!

Bune practici în Web Scraping - Cum să fii atent și să încetinești cererile

Cum să fii atent și să încetinești cererile

Create Your Free Account