I det här kapitlet får du en introduktion till Hyper Text Markup Language (HTML), ett deklarativt språk som används för att strukturera moderna webbplatser. Med biblioteket rvest lär du dig att hämta enkla HTML-element och skrapa din första tabell.

Introduktion till HTML

Läs in HTML

Se upp för syntaxfel!

Navigera i HTML

Välj alla barn till en lista

Tolka hyperlänkar till en dataframe

Skrapa din första tabell

Rätt ordning på tabellelement

Omvandla en tabell till en dataframe med html_table()

Introduktion till HTML och webbskrapning

Cascading Style Sheets (CSS) beskriver hur HTML-element visas på en webbsida, inklusive färger, typsnitt och övergripande layout. I det här kapitlet lär du dig varför CSS-selektorer och kombinatorer är ett viktigt verktyg vid webbskrapning.

Introduktion till CSS

Välj flera HTML-typer

Sortera CSS-selektorer efter antal resultat

CSS-klasser och ID:n

Identifiera rätt selektortyper

Utnyttja ID:ns unikhet

Välj det sista barnet med en pseudoklass

CSS-kombinatorer

Välj direkta underordnade med barnkombinatorn

Hur många element returneras?

Enkelt är bäst!

Inte alla syskon är likadana

Navigering och urval med CSS

CSS-selektorerna du bekantade dig med i förra kapitlet är kraftfulla men har sina begränsningar – till exempel om du vill välja noder baserat på egenskaperna hos deras underordnade element. Då kommer XPath till undsättning! Med det här frågespråket kan du navigera och skrapa även den mest svårstrukturerade HTML.

Introduktion till XPATH

Hitta rätt CSS-motsvarighet

Välj med klass och ID i XPATH

Använd predikat för att välja noder baserat på deras underordnade element

XPATH-funktioner och avancerade predikat

Hitta ett mer elegant XPATH-alternativ

Lär känna funktionen position()

Extrahera noder baserat på antalet underordnade element

Funktionen text() i XPATH

Begränsningarna med html_table() vid dåligt strukturerade tabeller

Välj direkt från ett förälderelement med XPATH:s text()

Kombinera extraherad data till en dataram

Skrapa ett element baserat på dess text

Avancerat urval med XPATH

Nu när du vet hur man extraherar innehåll från webbsidor är det dags att titta bakom kulisserna. I det här avslutande kapitlet lär du dig varför HTTP-förfrågningar utgör grunden för varje skrapningsåtgärd och hur de kan anpassas för att följa bästa praxis inom webbskrapning.

HTTP-begärans natur

Vilket av dessa påståenden om HTTP är falskt?

Gör det på httr-sättet

Houston, vi har ett 404-fel!

Identifiera dig med anpassade user agents

Undersök din user agent

Lägg till en anpassad user agent

Hur du är rädd om servern och saktar ner dina förfrågningar

Egna argument till begränsade funktioner

Tillämpa hastighetsbegränsning på en flersidescrawler

Sammanfattning: webbskrapning i R

Bästa praxis för webbskrapning

Har du någonsin stött på en webbplats som visar massor av data – statistik, produktrecensioner eller priser – i ett format som inte är redo för dataanalys? Myndigheter och andra dataleverantörer publicerar ofta sin data i välformaterade tabeller. Men inte alla sådana webbplatser har en nedladdningsknapp – och det är just där den här kursen kommer in. Du lär dig hur du effektivt samlar in och laddar ned data från vilken webbplats som helst med hjälp av R. Du lär dig automatisera skrapning och tolkning av Wikipedia med paketen rvest och httr. Genom praktiska övningar fördjupar du också din förståelse för HTML och CSS – webbsidornas grundläggande byggstenar – och gör dina datainsamlingsflöden både mer tillförlitliga och mer effektiva.

Intermediate R

Introduction to the Tidyverse

Lär dig använda R för att samla och ladda ner data från webbplatser med rvest och httr-paketen.

Webbskrapning i R

Lär dig hur du effektivt samlar in och laddar ner data från vilken webbplats som helst med R.

Vilket av dessa påståenden om HTTP är falskt?

Webbskrapning i R

Interaktiv övning med praktiskt arbete