Neste capítulo, você será apresentado à Hyper Text Markup Language (HTML), uma linguagem declarativa usada para estruturar sites modernos. Usando a biblioteca rvest, você vai aprender a consultar elementos HTML simples e raspar sua primeira tabela.

Introdução ao HTML

Ler HTML

Cuidado com erros de sintaxe!

Navegando em HTML

Selecionar todos os filhos de uma lista

Converter hiperlinks em um data frame

Extraia sua primeira tabela

A ordem correta dos elementos de tabela

Transforme uma tabela em um data frame com html_table()

Introdução a HTML e Web Scraping

Cascading Style Sheets (CSS) descreve como os elementos HTML são exibidos em uma página web, incluindo cores, fontes e layout em geral. Neste capítulo, você vai entender por que seletores e combinadores CSS são um ingrediente essencial para web scraping.

Introdução ao CSS

Selecionar vários tipos de HTML

Ordene seletores CSS pelo número de resultados

Classes e IDs em CSS

Identifique os tipos corretos de seletores

Aproveite a exclusividade dos IDs

Selecione o último filho com uma pseudo-classe

Combinadores de CSS

Selecione descendentes diretos com o combinador de filho

Quantos elementos são retornados?

Simplesmente o melhor!

Nem todo irmão é igual

Navegação e seleção com CSS

Os seletores CSS que você conheceu no capítulo anterior são poderosos, mas têm limitações. Por exemplo, quando você quer selecionar nós com base nas propriedades de seus descendentes. Entra em cena o XPath! Com essa linguagem de consulta, você pode navegar e raspar até o HTML mais complicado.

Introdução ao XPATH

Opções

type.class

type > type

type type.class

Encontre o equivalente correto em CSS

Selecione por classe e ID com XPATH

Use predicados para selecionar nós com base em seus filhos

Funções XPATH e predicados avançados

Encontre uma alternativa XPATH mais elegante

Conheça a função position()

Extraia nós com base na quantidade de filhos

A função text() do XPATH

As limitações de html_table() com tabelas mal estruturadas

Selecionar diretamente do elemento pai com text() do XPATH

Combine os dados extraídos em um data frame

Raspe um elemento com base no seu texto

Seleção avançada com XPATH

Agora que você já sabe extrair conteúdo de páginas web, é hora de olhar por trás das cortinas. Neste capítulo final, você vai aprender por que as requisições HTTP são a base de toda raspagem e como personalizá-las para seguir as melhores práticas em web scraping.

A natureza das requisições HTTP

Qual destas afirmações sobre HTTP é falsa?

Faça do jeito do httr

Houston, recebemos um 404!

Informando quem você é com user agents personalizados

Veja o seu user agent

Adicionar um user agent personalizado

Como ser gentil e desacelerar suas requisições

Argumentos personalizados para funções com limitação de taxa

Aplicar throttling em um crawler de várias páginas

Recapitulando: Web Scraping em R

Boas práticas de raspagem

Já aconteceu de você encontrar um site cheio de dados — como estatísticas, avaliações de produtos ou preços — mas em um formato nada pronto para análise? Muitas vezes, órgãos e outros provedores publicam dados em tabelas bem organizadas. No entanto, nem todos esses sites têm um botão de download. Não se preocupe: neste curso, você vai aprender a coletar e baixar dados de qualquer site usando R. Você vai automatizar a raspagem e a extração do Wikipedia com os pacotes rvest e httr. Com exercícios práticos, você também vai aprofundar seu entendimento de HTML e CSS — a base das páginas web — enquanto torna seus fluxos de coleta de dados mais eficientes e menos propensos a erros.

Intermediate R

Introduction to the Tidyverse

Aprenda a usar R para coletar dados de sites e automatizar o scraping do Wikipedia com rvest e httr.

Web Scraping em R

Aprenda a coletar e baixar dados de qualquer site de forma eficiente usando o R.

A função text() do XPATH

Create Your Free Account