开始使用免费开始使用

继承 Spider

在学习 scrapy 的爬虫时,我们看到需要调整的主要部分是爬虫的 class。为帮助您熟悉这个类,您将补全一小段代码,构建一个爬虫类代码的玩具示例。我们省略了实际运行爬虫的代码,仅保留用于创建类的必要部分。

正如课中提到的,class 大致就是将相关的变量和函数放在一起。有时一个类希望使用另一个类的方法,因此我们会从不同的类中继承方法。爬虫类就是这样做的。

我们编写了 inspect_class 函数来在您完成后检查您的类,如果您想测试您的解答,可以使用它!

本练习是课程的一部分

Python Web 爬取

查看课程

练习说明

  • scrapy.Spider 作为参数传给类 YourSpider;这样 YourSpider 就会从 scrapy.Spider继承方法。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Import scrapy library
import scrapy

# Create the spider class
class YourSpider(____):
  name = "your_spider"
  # start_requests method
  def start_requests(self):
    pass
  # parse method
  def parse(self, response):
    pass
  
# Inspect Your Class
inspect_class(YourSpider)
编辑并运行代码