Começando com solicitações start
Na última lição, aprendemos a configurar o método start_requests
em um spider scrapy
. Aqui temos outro modelo básico de spider que, na verdade, não coleta nada, mas permite que você brinque com o método start_requests. O que queremos é que você comece a se familiarizar com os argumentos que passa para a chamada scrapy.Request
em start_requests
.
Assim como antes, criamos a função inspect_class
para examinar o que você está produzindo em start_requests
.
Este exercício faz parte do curso
Raspagem da Web em Python
Instruções de exercício
- Preencha o objeto
scrapy
exigido na classeYourSpider
necessária para criar o spiderscrapy
. - Preencha o espaço em branco na chamada
scrapy.Request
produzida dentro do métodostart_requests
para que a URL que esse spider comece a raspar seja"https://www.datacamp.com"
e use o métodoparse
(dentro da classeYourSpider
) como método para analisar o site.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Import scrapy library
import scrapy
# Create the spider class
class YourSpider( ____ ):
name = "your_spider"
# start_requests method
def start_requests( self ):
yield scrapy.Request( ____ )
# parse method
def parse( self, response ):
pass
# Inspect Your Class
inspect_class( YourSpider )