1. Nauka
    2. /
  2. Kursy
    3. /
  3. Web Scraping w Pythonie
Connected

ćwiczenie

Zaczynamy z metodą Start Requests

W poprzedniej lekcji poznaliśmy metodę start_requests w pająku scrapy. Tutaj masz do dyspozycji kolejny uproszczony pająk – nie wykonuje on żadnego scrapingu, ale daje ci szansę na zabawę z metodą start_requests. Chodzi o to, żebyś oswoił się z argumentami przekazywanymi do wywołania scrapy.Request wewnątrz start_requests.

Podobnie jak wcześniej, przygotowaliśmy funkcję inspect_class, która pozwala sprawdzić, co zwracasz w start_requests.

Instrukcje

100 XP
  • Uzupełnij klasę YourSpider o wymagany obiekt scrapy potrzebny do utworzenia pająka.
  • Wypełnij lukę w wywołaniu scrapy.Request wewnątrz metody start_requests tak, aby pająk rozpoczynał scrapowanie od adresu "https://www.datacamp.com" i używał metody parse (zdefiniowanej w klasie YourSpider) do parsowania strony.