我收到 [scrapy.core.scraper] 错误:蜘蛛错误处理 <GET https://www.zyte.com/blog/>

I am getting [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.zyte.com/blog/>

提问人:Bits Student 提问时间:11/4/2023 更新时间:11/4/2023 访问量:10

问:

我只是尝试了scrapy起始页中给出的示例代码来学习它,但是我尝试的每个网页都面临错误。不知道如何解决。

2023-11-04 07:14:14 [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.zyte.com/blog/> (referer: None)
Traceback (most recent call last):
  File "/usr/local/lib/python3.10/dist-packages/twisted/internet/defer.py", line 892, in _runCallbacks
    current.result = callback(  # type: ignore[misc]
  File "/usr/local/lib/python3.10/dist-packages/scrapy/spiders/__init__.py", line 79, in _parse
    return self.parse(response, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/scrapy/spiders/__init__.py", line 82, in parse
    raise NotImplementedError(
NotImplementedError: BlogSpider.parse callback is not defined
获取 网络爬虫 处理

评论

0赞 Maniac 11/22/2023
使用 Scrapy 时,您需要在爬虫中定义 parse 方法来处理响应并从网页中提取数据。您可以在此处找到更多信息:parse(response)

答: 暂无答案