Partire con Start Requests
Nell'ultima lezione abbiamo visto come impostare il metodo start_requests all'interno di uno spider di scrapy. Qui abbiamo un altro spider di esempio che in realtà non estrae nulla, ma ti dà modo di fare pratica con il metodo start_requests. L'obiettivo è farti prendere confidenza con gli argomenti che passi alla chiamata scrapy.Request dentro start_requests.
Come prima, abbiamo creato la funzione inspect_class per esaminare ciò che stai restituendo in start_requests.
Questo esercizio fa parte del corso
Web Scraping in Python
Istruzioni dell'esercizio
- Compila l'oggetto
scrapyrichiesto nella classeYourSpider, necessario per creare lo spiderscrapy. - Completa lo spazio vuoto nella chiamata a
scrapy.Requestrestituita nel metodostart_requestsin modo che l'URL da cui questo spider inizierebbe a fare scraping sia"https://www.datacamp.com"e che utilizzi il metodoparse(all'interno della classeYourSpider) come metodo per analizzare il sito.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import scrapy library
import scrapy
# Create the spider class
class YourSpider( ____ ):
name = "your_spider"
# start_requests method
def start_requests( self ):
yield scrapy.Request( ____ )
# parse method
def parse( self, response ):
pass
# Inspect Your Class
inspect_class( YourSpider )