In this chapter, you'll be introduced to Hyper Text Markup Language (HTML), a declarative language used to structure modern websites. Using the rvest library, you'll learn how to query simple HTML elements and scrape your first table.

Introduction to HTML

Read in HTML

Beware of syntax errors!

Navigating HTML

Select all children of a list

Parse hyperlinks into a data frame

Scrape your first table

The right order of table elements

Turn a table into a data frame with html_table()

Introduction to HTML and Web Scraping

Cascading Style Sheets (CSS) describe how HTML elements are displayed on a web page, including colors, fonts, and general layout. In this chapter, you'll learn why CSS selectors and combinators are a crucial ingredient for web scraping.

Introduction to CSS

Select multiple HTML types

Order CSS selectors by the number of results

CSS classes and IDs

Identify the correct selector types

Leverage the uniqueness of IDs

Select the last child with a pseudo-class

CSS combinators

Select direct descendants with the child combinator

How many elements get returned?

Simply the best!

Not every sibling is the same

Navigation and Selection with CSS

The CSS selectors you got to know in the last chapter are powerful but have their limitations. For example, if you want to select nodes based on the properties of their descendants. XPath to the rescue! Using this query language, you can navigate and scrape even the most hideous HTML.

Introduction to XPATH

Find the correct CSS equivalent

Select by class and ID with XPATH

Use predicates to select nodes based on their children

XPATH functions and advanced predicates

Find a more elegant XPATH alternative

Get to know the position() function

Extract nodes based on the number of their children

The XPATH text() function

The shortcomings of html_table() with badly structured tables

Select directly from a parent element with XPATH's text()

Combine extracted data into a data frame

Scrape an element based on its text

Advanced Selection with XPATH

Now that you know how to extract content from web pages, it's time to look behind the curtains. In this final chapter, you’ll learn why HTTP requests are the foundation of every scraping action and how they can be customized to comply with best practices in web scraping.

La nature des requêtes HTTP

Laquelle de ces affirmations sur HTTP est fausse ?

Faites-le à la manière de httr

Houston, on a un code 404 !

Vous identifier avec des user agents personnalisés

Examinez votre user agent

Ajouter un user agent personnalisé

Comment rester respectueux et ralentir vos requêtes

Arguments personnalisés pour les fonctions ralenties

Appliquer un throttling à un crawler multi‑pages

Récapitulatif : le web scraping en R

Scraping Best Practices

Vous êtes déjà tombé sur un site web qui affiche beaucoup de données — statistiques, avis produits, prix — dans un format peu adapté à l’analyse de données ? Il arrive que des organismes et autres producteurs publient leurs données dans des tableaux bien structurés. Mais tous ces sites n’offrent pas un bouton de téléchargement. Pas de panique : dans ce cours, vous apprendrez à collecter et télécharger efficacement des données depuis n’importe quel site avec R. Vous verrez comment automatiser le scraping et l’analyse de pages Wikipédia avec les packages rvest et httr. À travers des exercices pratiques, vous consoliderez aussi votre compréhension de HTML et CSS, les briques de base des pages web, pour rendre vos workflows de collecte plus fiables et plus efficaces.

Intermediate R

Introduction to the Tidyverse

Apprenez à utiliser R pour collecter des données de sites et automatiser le scraping avec rvest et httr.

Web scraping en R

Apprenez à collecter et télécharger efficacement des données à partir de n'importe quel site web à l'aide de R.

Laquelle de ces affirmations sur HTTP est fausse ?

Exercice interactif pratique