V této kapitole se seznámíš s jazykem HTML (HyperText Markup Language) – deklarativním jazykem pro strukturování moderních webových stránek. S pomocí knihovny rvest se naučíš dotazovat se na jednoduché HTML elementy a stáhneš svoji první tabulku.

Úvod do HTML

Načtení HTML

Pozor na syntaktické chyby!

Navigace v HTML

Vyber všechny potomky seznamu

Zparsování hypertextových odkazů do datového rámce

Scrape svoji první tabulku

Správné pořadí prvků tabulky

Převod tabulky na datový rámec pomocí html_table()

Úvod do HTML a web scrapingu

Kaskádové styly (CSS) určují, jak se HTML elementy zobrazují na stránce – barvy, písma i celkové rozvržení. V této kapitole zjistíš, proč jsou CSS selektory a kombinátory klíčovým nástrojem při web scrapingu.

Úvod do CSS

Výběr více HTML typů

Seřaď CSS selektory podle počtu výsledků

CSS třídy a ID

Urči správné typy selektorů

Využij jedinečnost ID

Výběr posledního potomka pomocí pseudo-třídy

CSS kombinátory

Výběr přímých potomků pomocí child kombinátoru

Kolik elementů se vrátí?

Jednoduše nejlepší!

Ne každý sourozenec je stejný

Navigace a výběr pomocí CSS

CSS selektory, které jsi poznal/a v předchozí kapitole, jsou mocné, ale mají svá omezení – například když chceš vybírat uzly podle vlastností jejich potomků. Tady přichází na řadu XPath! S tímto dotazovacím jazykem zvládneš navigovat a scrapovat i ten nejsložitější HTML kód.

Úvod do XPath

Najdi správný ekvivalent v CSS

Výběr podle třídy a ID pomocí XPATH

Použij predikáty k výběru uzlů podle jejich potomků

Funkce XPath a pokročilé predikáty

Najdi elegantnější alternativu v XPATH

Seznamte se s funkcí position()

Výběr uzlů podle počtu jejich potomků

Funkce XPATH text()

Omezení funkce html_table() při špatně strukturovaných tabulkách

Přímý výběr z nadřazeného prvku pomocí funkce text() v XPATHu

Zkombinuj extrahovaná data do datového rámce

Extrahování elementu podle jeho textu

Pokročilý výběr pomocí XPATH

Teď, když umíš extrahovat obsah z webových stránek, je čas nahlédnout za oponu. V závěrečné kapitole se dozvíš, proč jsou HTTP požadavky základem každé scrapingové akce a jak je přizpůsobit tak, aby odpovídaly osvědčeným postupům při web scrapingu.

Povaha HTTP požadavků

Které z těchto tvrzení o HTTP je nepravdivé?

Způsob httr

Houston, máme 404!

Představ se pomocí vlastního user agenta

Podívej se na svůj user agent

Přidání vlastního user agenta

Jak být ohleduplný a zpomalit své požadavky

Vlastní argumenty pro zpomalené funkce

Použití throttlingu v crawleru pro více stránek

Rekapitulace: Web Scraping v R

Osvědčené postupy při scrapingu

Narazil/a jsi někdy na web plný dat – statistik, recenzí produktů nebo cen – v podobě, která se nedá rovnou použít pro analýzu? Úřady i jiní poskytovatelé dat zveřejňují své informace v přehledně naformátovaných tabulkách. Jenže ne každý takový web nabízí tlačítko pro stažení dat. Nevadí – v tomto kurzu se naučíš, jak data z libovolného webu efektivně sbírat a stahovat pomocí R. Zjistíš, jak automatizovat scraping a parsování Wikipedie s balíčky rvest a httr. Díky praktickým cvičením si zároveň prohloubíš znalosti HTML a CSS – základních stavebních kamenů webových stránek – a naučíš se, jak dělat svoje scrapingové workflow spolehlivější a efektivnější.

Intermediate R

Introduction to the Tidyverse

Naučte se používat R k získání dat z webů a automatizaci scrappingu Wikipedie pomocí rvest a httr.

Web Scraping v R

Naučte se efektivně sbírat a stahovat data z jakékoli webové stránky pomocí R.

Instructor

Jak být ohleduplný a zpomalit požadavky

Nezkoušejte to doma!

Vhodnější způsob odesílání požadavků na weby

Přehledný přístup k throttlingu

Dotazování vlastních URL v throttlované funkci

Iterace přes seznam URL

Použijme to na reálném příkladu!

Osvědčené postupy při scrapingu - Jak být ohleduplný a zpomalit své požadavky

Jak být ohleduplný a zpomalit své požadavky

Create Your Free Account