In this chapter, you'll be introduced to Hyper Text Markup Language (HTML), a declarative language used to structure modern websites. Using the rvest library, you'll learn how to query simple HTML elements and scrape your first table.

Introduction to HTML

Read in HTML

Beware of syntax errors!

Navigating HTML

Select all children of a list

Parse hyperlinks into a data frame

Scrape your first table

The right order of table elements

Turn a table into a data frame with html_table()

Introduction to HTML and Web Scraping

Cascading Style Sheets (CSS) describe how HTML elements are displayed on a web page, including colors, fonts, and general layout. In this chapter, you'll learn why CSS selectors and combinators are a crucial ingredient for web scraping.

Introduzione ai CSS

Seleziona più tipi di HTML

Numero di nodi restituiti

Ordina i selettori CSS per numero di risultati

Classi e ID in CSS

Selettori

Tipo + classe

Classi multiple

Uno o più tipi

Individua i tipi di selettori corretti

Sfrutta l'unicità degli ID

Seleziona l'ultimo figlio con una pseudo-classe

Combinatori CSS

Seleziona i discendenti diretti con il combinatore child

Quanti elementi vengono restituiti?

Semplicemente il meglio!

Non tutti i fratelli sono uguali

Navigation and Selection with CSS

The CSS selectors you got to know in the last chapter are powerful but have their limitations. For example, if you want to select nodes based on the properties of their descendants. XPath to the rescue! Using this query language, you can navigate and scrape even the most hideous HTML.

Introduction to XPATH

Find the correct CSS equivalent

Select by class and ID with XPATH

Use predicates to select nodes based on their children

XPATH functions and advanced predicates

Find a more elegant XPATH alternative

Get to know the position() function

Extract nodes based on the number of their children

The XPATH text() function

The shortcomings of html_table() with badly structured tables

Select directly from a parent element with XPATH's text()

Combine extracted data into a data frame

Scrape an element based on its text

Advanced Selection with XPATH

Now that you know how to extract content from web pages, it's time to look behind the curtains. In this final chapter, you’ll learn why HTTP requests are the foundation of every scraping action and how they can be customized to comply with best practices in web scraping.

The nature of HTTP requests

Which of these statements about HTTP is false?

Do it the httr way

Houston, we got a 404!

Telling who you are with custom user agents

Check out your user agent

Add a custom user agent

How to be gentle and slow down your requests

Custom arguments for throttled functions

Apply throttling to a multi-page crawler

Recap: Web Scraping in R

Scraping Best Practices

Ti è mai capitato di trovare un sito pieno di dati—statistiche, recensioni di prodotti o prezzi—ma in un formato poco adatto all’analisi? Spesso enti e altri fornitori pubblicano i dati in tabelle ben formattate. Tuttavia, non tutti questi siti includono un pulsante di download: niente panico. In questo corso imparerai a raccogliere e scaricare in modo efficiente dati da qualsiasi sito web usando R. Vedrai come automatizzare lo scraping e il parsing di Wikipedia con i pacchetti rvest e httr. Con esercizi pratici, approfondirai anche HTML e CSS, i mattoni delle pagine web, rendendo i tuoi flussi di raccolta dati meno soggetti a errori e più efficienti.

Intermediate R

Introduction to the Tidyverse

Impara a usare R per raccogliere dati da siti web e automatizzare lo scraping di Wikipedia con rvest e httr.

Web scraping in R

Scopri come raccogliere e scaricare dati da qualsiasi sito web in modo efficiente usando R.

Individua i tipi di selettori corretti

Web scraping in R

Esercizio pratico interattivo