W tym rozdziale poznasz język HTML (HyperText Markup Language) – deklaratywny język służący do strukturyzowania nowoczesnych stron internetowych. Używając biblioteki rvest, nauczysz się odpytywać proste elementy HTML i zescrapujesz swoją pierwszą tabelę.

Wprowadzenie do HTML

Wczytaj HTML

Uważaj na błędy składniowe!

Nawigacja po HTML

Wybierz wszystkie elementy podrzędne listy

Parsowanie hiperłączy do ramki danych

Zescrapuj swoją pierwszą tabelę

Właściwa kolejność elementów tabeli

Zamień tabelę na ramkę danych za pomocą html_table()

Wprowadzenie do HTML i web scrapingu

Kaskadowe arkusze stylów (CSS) określają sposób wyświetlania elementów HTML na stronie – kolory, czcionki i ogólny układ. W tym rozdziale dowiesz się, dlaczego selektory i kombinatory CSS są kluczowym elementem web scrapingu.

Wprowadzenie do CSS

Wybieranie wielu typów HTML

Uporządkuj selektory CSS według liczby wyników

Klasy i identyfikatory CSS

Rozpoznaj typy selektorów

Wykorzystaj unikalność ID

Wybieranie ostatniego elementu potomnego za pomocą pseudoklasy

Kombinatory CSS

Wybieranie bezpośrednich potomków za pomocą kombinatora dziecka

Ile elementów zostanie zwróconych?

Po prostu najlepiej!

Nie każde rodzeństwo jest takie samo

Nawigacja i selekcja z CSS

Selektory CSS, które poznałeś w poprzednim rozdziale, są bardzo przydatne, ale mają swoje ograniczenia – na przykład wtedy, gdy chcesz wybrać węzły na podstawie właściwości ich potomków. Z pomocą przychodzi XPath! Używając tego języka zapytań, możesz nawigować i scrapować nawet najbardziej skomplikowany kod HTML.

Wprowadzenie do XPATH

Znajdź odpowiednik w CSS

Wybieranie po klasie i ID za pomocą XPATH

Użyj predykatów do wybierania węzłów na podstawie ich elementów potomnych

Funkcje XPATH i zaawansowane predykaty

Znajdź elegantszą alternatywę w XPATH

Poznaj funkcję position()

Wyodrębnianie węzłów na podstawie liczby ich potomków

Funkcja text() w XPATH

Ograniczenia funkcji html_table() w przypadku źle zbudowanych tabel

Bezpośrednie pobieranie danych z elementu nadrzędnego za pomocą funkcji XPATH text()

Połącz wyodrębnione dane w ramkę danych

Scrapowanie elementu na podstawie jego tekstu

Zaawansowana selekcja z XPATH

Skoro wiesz już, jak wyodrębniać treści ze stron internetowych, czas zajrzeć za kulisy. W tym ostatnim rozdziale poznasz żądania HTTP – podstawę każdej operacji scrapingu – i nauczysz się je dostosowywać zgodnie z dobrymi praktykami.

Czym są żądania HTTP

Które z tych stwierdzeń o HTTP jest fałszywe?

Zrób to po httr-owemu

Houston, mamy 404!

Przedstawianie się za pomocą niestandardowych user agentów

Sprawdź swojego user agenta

Dodaj niestandardowy user agent

Jak nie przeciążać serwera i zwalniać tempo zapytań

Niestandardowe argumenty dla funkcji z ograniczeniem tempa

Zastosuj ograniczanie częstotliwości w crawlerze wielostronicowym

Podsumowanie: Web Scraping w R

Dobre praktyki scrapingu

Czy zdarzyło ci się trafić na stronę internetową pełną danych – statystyk, recenzji produktów czy cen – w formacie, który nie nadaje się bezpośrednio do analizy? Władze publiczne i inne instytucje często publikują dane w starannie sformatowanych tabelach. Nie zawsze jednak znajdziesz na takiej stronie przycisk pobierania – i tu z pomocą przychodzi R. W tym kursie nauczysz się sprawnie zbierać i pobierać dane z dowolnych stron internetowych. Poznasz automatyczne scrapowanie i parsowanie Wikipedii przy użyciu pakietów rvest i httr. Dzięki ćwiczeniom praktycznym pogłębisz też wiedzę o HTML i CSS – podstawowych składnikach stron internetowych – i sprawisz, że twoje przepływy pracy do zbierania danych będą bardziej niezawodne i efektywne.

Intermediate R

Introduction to the Tidyverse

Naucz się używać R do pobierania danych z witryn i automatyzacji scrapingu Wikipedii za pomocą rvest i httr.

Web Scraping w R

Dowiedz się, jak efektywnie zbierać i pobierać dane z dowolnej strony internetowej za pomocą R.

Instructor

Jak być uprzejmym i spowalniać zapytania

Nie próbuj tego w domu!

Bardziej przyjazny sposób pobierania danych ze stron

Eleganckie podejście do throttlingu

Zapytania do niestandardowych adresów URL w funkcji z ograniczeniem

Iterowanie po liście adresów URL

Zastosujmy to do przykładu z rzeczywistości!

Dobre praktyki scrapingu - Jak nie przeciążać serwera i zwalniać tempo zapytań

Jak nie przeciążać serwera i zwalniać tempo zapytań

Create Your Free Account