Mit Startanfragen starten

In der letzten Lektion haben wir gelernt, wie man die Methode start_requests in einem scrapy-Spider einrichtet. Hier haben wir einen weiteren Spielzeug-Spider, der eigentlich nichts scrapt, aber dir die Möglichkeit gibt, mit der Methode start_requests zu spielen. Wir wollen, dass du dich mit den Argumenten vertraut machst, die du dem Aufruf von scrapy.Request in start_requests übergibst.

Wie zuvor haben wir die Funktion inspect_class erstellt, um zu untersuchen, was du in start_requests ermittelst.

Diese Übung ist Teil des Kurses

Web Scraping in Python

Kurs anzeigen

Anleitung zur Übung

Füge das benötigte scrapy-Objekt in die Klasse YourSpider ein, um den scrapy-Spider zu erstellen.
Fülle die Lücke im scrapy.Request-Aufruf innerhalb der Methode start_requests aus, damit die URL, für die dieser Spider mit dem Scraping beginnt, "https://www.datacamp.com" ist und die parse-Methode (innerhalb der YourSpider-Klasse) als Methode zum Parsen der Website verwendet wird.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

# Import scrapy library
import scrapy

# Create the spider class
class YourSpider( ____ ):
  name = "your_spider"
  # start_requests method
  def start_requests( self ):
    yield scrapy.Request( ____ )
  # parse method
  def parse( self, response ):
    pass
  
# Inspect Your Class
inspect_class( YourSpider )

Bearbeiten und Ausführen von Code