Задайте URL-адреса
В следующем уроке мы рассмотрим метод start_requests внутри класса паука. В этом небольшом упражнении вам предстоит изменить переменную в методе start_requests — это станет хорошим введением в тему следующего урока. Главная цель сейчас — начать уверенно работать с внутренним устройством класса паука: в данном случае вы создадите список urls в методе start_requests.
Мы написали функцию inspect_class, которая выводит список элементов переменной urls из метода start_requests.
Примечание: в нескольких следующих упражнениях вы будете дописывать код класса паука, однако пока он не содержит всего необходимого для запуска паука — это будет добавлено в конце.
Это упражнение является частью курса
Веб-скрапинг на Python
Инструкции к упражнению
- Заполните пропуск в методе
start_requests: присвойте переменнойurlsсписок из двух строк:"https://www.datacamp.com"и"https://scrapy.org".
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import scrapy library
import scrapy
# Create the spider class
class YourSpider( scrapy.Spider ):
name = "your_spider"
# start_requests method
def start_requests( self ):
urls = ____
for url in urls:
yield url
# parse method
def parse( self, response ):
pass
# Inspect Your Class
inspect_class( YourSpider )