Lancer les URL

Dans la prochaine leçon, nous parlerons de la méthode start_requests à l'intérieur de la classe spider. Dans ce court exercice, nous vous demandons de modifier une variable dans la méthode start_requests, ce qui annonce une partie de ce que nous verrons ensuite. L'idée est de vous rendre à l'aise avec certains rouages d'une classe spider; ici, créer une liste urls dans la méthode start_requests.

Nous avons écrit une fonction inspect_class qui affichera la liste des éléments présents dans la variable urls de la méthode start_requests.

Remarque : dans les prochains exercices, vous écrirez du code pour compléter votre classe spider, mais celui-ci ne contient pas encore les éléments permettant de lancer réellement le spider; cela viendra à la fin.

Cette activité fait partie du cours

Extraction de données Web en Python

Voir le cours

Instructions de l’exercice

Remplissez le blanc dans la méthode start_requests pour affecter à la variable urls une liste contenant les deux chaînes : "https://www.datacamp.com" et "https://scrapy.org".

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import scrapy library
import scrapy

# Create the spider class
class YourSpider( scrapy.Spider ):
  name = "your_spider"
  # start_requests method
  def start_requests( self ):
    urls = ____
    for url in urls:
      yield url
  # parse method
  def parse( self, response ):
    pass
  
# Inspect Your Class
inspect_class( YourSpider )

Modifier et exécuter le code