继承 Spider
在学习 scrapy 的爬虫时,我们看到需要调整的主要部分是爬虫的 class。为帮助您熟悉这个类,您将补全一小段代码,构建一个爬虫类代码的玩具示例。我们省略了实际运行爬虫的代码,仅保留用于创建类的必要部分。
正如课中提到的,class 大致就是将相关的变量和函数放在一起。有时一个类希望使用另一个类的方法,因此我们会从不同的类中继承方法。爬虫类就是这样做的。
我们编写了 inspect_class 函数来在您完成后检查您的类,如果您想测试您的解答,可以使用它!
本练习是课程的一部分
Python Web 爬取
练习说明
- 将
scrapy.Spider作为参数传给类YourSpider;这样YourSpider就会从scrapy.Spider中继承方法。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import scrapy library
import scrapy
# Create the spider class
class YourSpider(____):
name = "your_spider"
# start_requests method
def start_requests(self):
pass
# parse method
def parse(self, response):
pass
# Inspect Your Class
inspect_class(YourSpider)