Киньте URL-адреси в бій
У наступному уроці ми поговоримо про метод start_requests у класі павука (spider). У цій короткій вправі ми просимо вас змінити змінну всередині методу start_requests, що трохи забігає наперед до теми наступного уроку. Загалом, ми хочемо, щоб ви звикали «крутити ручки» в межах класу павука; у цьому випадку — створити список urls у методі start_requests.
Ми написали функцію inspect_class, яка виведе список елементів, що є у змінній urls усередині методу start_requests.
Примітка: у кількох наступних вправах ви писатимете код, щоб доповнити свій клас павука, але поки що в коді немає частин, які фактично дозволяють запустити павука; це буде наприкінці розділу.
Ця вправа є частиною курсу
Вебскрапінг у Python
Інструкції до вправи
- Заповніть пропуск у методі
start_requests, щоб присвоїти зміннійurlsсписок із двома рядками:"https://www.datacamp.com"та"https://scrapy.org".
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import scrapy library
import scrapy
# Create the spider class
class YourSpider( scrapy.Spider ):
name = "your_spider"
# start_requests method
def start_requests( self ):
urls = ____
for url in urls:
yield url
# parse method
def parse( self, response ):
pass
# Inspect Your Class
inspect_class( YourSpider )