In diesem Kapitel lernst du Hyper Text Markup Language (HTML) kennen – eine deklarative Sprache zur Strukturierung moderner Websites. Mit der rvest-Bibliothek lernst du, einfache HTML-Elemente abzufragen und deine erste Tabelle zu scrapen.

Einführung in HTML

HTML einlesen

Achtung, Syntaxfehler!

HTML navigieren

Alle Kinder einer Liste auswählen

Hyperlinks in ein Data Frame parsen

Scrape deine erste Tabelle

Die richtige Reihenfolge von Tabellenelementen

Wandle eine Tabelle mit html_table() in ein Data Frame um

Einführung in HTML und Web Scraping

Cascading Style Sheets (CSS) legen fest, wie HTML-Elemente auf einer Webseite dargestellt werden – einschließlich Farben, Schriften und allgemeinem Layout. In diesem Kapitel erfährst du, warum CSS-Selektoren und -Kombinatoren ein entscheidender Baustein fürs Web Scraping sind.

Einführung in CSS

Mehrere HTML-Typen auswählen

Ordne CSS-Selektoren nach der Anzahl der Ergebnisse

CSS-Klassen und -IDs

Bestimme die richtigen Selektortypen

Die Eindeutigkeit von IDs nutzen

Wähle das letzte Kind mit einer Pseudoklasse aus

CSS-Kombinatoren

Direkte Nachkommen mit dem Child-Kombinator auswählen

Wie viele Elemente werden zurückgegeben?

Einfach am besten!

Nicht jedes Geschwister ist gleich

Navigation und Auswahl mit CSS

Die CSS-Selektoren aus dem letzten Kapitel sind stark, haben aber Grenzen – etwa wenn du Knoten anhand der Eigenschaften ihrer Nachkommen auswählen willst. Hier kommt XPath ins Spiel! Mit dieser Abfragesprache kannst du selbst das unübersichtlichste HTML gezielt navigieren und scrapen.

Einführung in XPATH

Finde das passende CSS-Äquivalent

Nach Klasse und ID mit XPATH auswählen

Verwende Prädikate, um Knoten anhand ihrer Kindknoten auszuwählen

XPATH-Funktionen und fortgeschrittene Prädikate

Finde eine elegantere XPATH-Alternative

Lerne die Funktion position() kennen

Knoten anhand der Anzahl ihrer Kinder extrahieren

Die XPATH-Funktion text()

Die Schwächen von html_table() bei schlecht strukturierten Tabellen

Direkt aus dem Elternelement mit XPATHs text() auswählen

Extrahierte Daten zu einem Data Frame zusammenführen

Ein Element anhand seines Textes scrapen

Erweiterte Auswahl mit XPATH

Jetzt, da du Inhalte aus Webseiten extrahieren kannst, wird es Zeit, hinter die Kulissen zu schauen. In diesem letzten Kapitel lernst du, warum HTTP-Anfragen die Grundlage jeder Scraping-Aktion sind und wie du sie anpasst, um Best Practices im Web Scraping einzuhalten.

Die Natur von HTTP-Anfragen

Welche dieser Aussagen über HTTP ist falsch?

Mach es auf die httr-Art

Houston, wir haben eine 404!

Sich mit benutzerdefinierten User-Agents zu erkennen geben

Probier deinen User-Agent aus

Füge einen benutzerdefinierten User-Agent hinzu

Wie du rücksichtsvoll bist und deine Anfragen verlangsamst

Eigene Argumente für gedrosselte Funktionen

Drosselung bei einem Crawler über mehrere Seiten anwenden

Rückblick: Web Scraping in R

Best Practices fürs Scraping

Bist du schon mal auf eine Website gestoßen, die viele Daten wie Statistiken, Produktbewertungen oder Preise zeigt – aber in einem Format, das sich nicht direkt für die Datenanalyse eignet? Häufig veröffentlichen Behörden und andere Datenanbieter ihre Daten in sauber formatierten Tabellen. Dennoch bieten nicht alle Seiten einen Download-Button an. Kein Grund zur Sorge: In diesem Kurs lernst du, wie du mit R Daten effizient von jeder Website sammeln und herunterladen kannst. Du automatisierst das Scraping und Parsen von Wikipedia mit den Paketen rvest und httr. In praxisnahen Übungen vertiefst du außerdem dein Verständnis von HTML und CSS – den Bausteinen von Webseiten – und machst deine Workflows zur Datenerhebung robuster und effizienter.

Intermediate R

Introduction to the Tidyverse

Lerne, wie du mit R Daten von Websites sammelst und Wikipedia mit rvest und httr automatisierst.

Web Scraping in R

Hier lernst du, wie du mit R Daten von jeder Website effizient sammeln und herunterladen kannst.

Instructor

How to be gentle and slow down your requests

Don't try this at home!

A nicer way of requesting data from websites

A tidy approach to throttling

Query custom URLs in a throttled function

Looping over a list of URLs

Let's apply this to a real world example!

Best Practices fürs Scraping - Wie du rücksichtsvoll bist und deine Anfragen verlangsamst

Wie du rücksichtsvoll bist und deine Anfragen verlangsamst

Create Your Free Account