De retour au bureau

Vous travaillez toujours comme analyste de données dans une agence Web, et on vous a demandé de faire de l'exploration de données Web (web scraping). On vous a fourni une liste d'URL à analyser, une analyse que vous avez déjà commencée au chapitre précédent.

Vous vous attendez à ce que cette tâche revienne régulièrement : il ne fait aucun doute qu'on vous le redemandera dans quelques semaines. Pour vous faciliter la vie plus tard, vous avez décidé d'écrire dès aujourd'hui du code propre et clair, afin qu'il soit plus simple d'y revenir.

Nous allons commencer par combiner deux fonctions de httr vues au chapitre précédent : GET(), pour récupérer la page Web, et status_code(), pour extraire le code d'état, afin de créer un extracteur de code d'état.

Le vecteur urls est toujours disponible dans votre espace de travail. Nous avons conservé uniquement les URL accessibles.

Cette activité fait partie du cours

Programmation fonctionnelle intermédiaire avec purrr

Instructions de l’exercice

Chargez purrr et httr.
Composez un extracteur de statut avec GET() et status_code().
Essayez cette nouvelle fonction sur "https://www.thinkr.fr" et "https://en.wikipedia.org".
Appliquez directement cette fonction au vecteur urls.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Launch purrr and httr



# Compose a status extractor 
status_extract <- ___(___, ___)

# Try with "https://thinkr.fr" & "https://en.wikipedia.org"
___("https://thinkr.fr")
___("https://en.wikipedia.org")

# Map it on the urls vector, return a vector of numbers
___(urls, ___)

Modifier et exécuter le code

Cette activité fait partie du cours

Programmation fonctionnelle intermédiaire avec purrr

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les fonctions lambda, mappeurs et prédicats vous intimident? N'ayez crainte! Après un petit rappel sur purrr, nous plongerons dans les bases de la programmation fonctionnelle, nous découvrirons les fonctions anonymes et les prédicats, et nous verrons comment les utiliser pour nettoyer et explorer des données.

Exercise 1: Rappel des notions de base de purrr Exercise 2: Rafraîchir votre mémoire de purrr Exercise 3: Un autre rappel sur purrr Exercise 4: Introduction aux mappeurs Exercise 5: Créer des fonctions lambda Exercise 6: Fonctions lambda Exercise 7: Utiliser des mappeurs pour nettoyer vos données Exercise 8: Nettoyez vos données avec keep Exercise 9: Scinder avec keep() et discard()Exercise 10: Prédicats Exercise 11: Qu'est-ce qu'un prédicat ?Exercise 12: Explorer les données avec des prédicats

Prêt à aller plus loin avec la programmation fonctionnelle et purrr? Dans ce chapitre, nous découvrirons le concept de programmation fonctionnelle, nous explorerons la gestion des erreurs, notamment avec safely() et possibly(), et nous présenterons la fonction compact() pour épurer votre code.

Exercise 1: Programmation fonctionnelle en R Exercise 2: Tout ce qui se passe est un appel de fonction Exercise 3: Identifier les fonctions pures Exercise 4: Outils de programmation fonctionnelle avec purrr Exercise 5: Itérations sécurisées Exercise 6: Créer une fonction Exercise 7: Utiliser possibly()Exercise 8: Une version possibly() de read_lines()Exercise 9: Tout en un seul appel Exercise 10: Gérer les résultats des adverbes Exercise 11: Peaufiner notre fonction avec purrr Exercise 12: Extraire les codes d'état avec GET()

Dans ce chapitre, nous utiliserons purrr pour écrire un code plus clair, plus propre et plus facile à maintenir. Nous apprendrons à écrire des fonctions élégantes avec compose() et negate(). Nous utiliserons aussi partial() pour composer des fonctions en « préremplissant » des arguments à partir de fonctions existantes. Enfin, nous présenterons les colonnes de type liste (list-columns), une structure de données pratique qui nous aide à écrire du code soigné avec le Tidyverse.

Exercise 1: Pourquoi viser un code plus propre ?Exercise 2: Comment écrire compose()Exercise 3: De retour au bureau

Exercice en cours

Exercise 4: Créer des fonctions avec compose() et negate()Exercise 5: Créer une fonction Exercise 6: Compter les NA Exercise 7: Préremplir des fonctions Exercise 8: Un extracteur de contenu Exercise 9: Un autre extracteur Exercise 10: Colonnes de listes Exercise 11: À propos des colonnes de listes Exercise 12: Créer un data.frame avec une colonne de listes

Nous rassemblerons tout ce que nous savons sur purrr dans une étude de cas. Ici, nous utiliserons purrr pour analyser des données récupérées depuis Twitter. Nous écrirons un code propre pour organiser les données, puis nous identifierons les influenceurs Twitter de la conférence RStudio 2018.

Exercise 1: Découvrir l'ensemble de données Exercise 2: Jouer avec des tweets, ronde 1 Exercise 3: Identifier des profils Exercise 4: Extraire des renseignements à partir de l'ensemble de données Exercise 5: Compter les favoris Exercise 6: Extraire les mentions Exercise 7: Manipuler des URL Exercise 8: Analyse des URL Exercise 9: Jouer avec les URL Exercise 10: Repérer les personnes influentes Exercise 11: Scinder l'ensemble de données Exercise 12: Nous avons un gagnant !Exercise 13: Félicitations !