scrapy 问答列表

Pip:将目录添加到 PATH

作者:Clms 提问时间:2/21/2020

我对安装 Python3 和 Pip 完全不知所措。 运行后,似乎已成功安装Python3。brew install Python3 现在我尝试再次运行 Scrapy,但出现此错误: -bash:...

代理在刮痧蜘蛛中使用时返回“死”

作者:AxelotlZ 提问时间:4/1/2023

我正在使用scrapy框架从站点中抓取数据。因为我发送了大量的请求,所以我使用了 scrapy-rotating-proxies 和我从 razorproxy.com 购买的 100 个 dc 代理的...

Python scrapy_selenium SeleniumMiddleware 从渲染器返回超时错误

作者:Arman Avetisyan 提问时间:12/20/2022

我正在使用 scrapy 使用 Selenium Webdriver 运行测试。大多数情况下,脚本工作正常,但有时它会在初始化 SeleniumMiddleware 时返回超时错误。 下面是我的自定...

如何欺骗刮擦的地理位置?

作者:Viktor Rzhaksinskii 提问时间:2/25/2022

目前,我正在开发一个带有在线商店的 scrapy 的解析器。我需要指定我的位置,以获取与定位相关的信息。有没有办法通过更改我的位置来设置 scrapy? 可以通过更改cookie来完成吗? 更新:我...

无头浏览器和抓取 - 解决方案 [已关闭]

作者: 提问时间:8/31/2013

闭。这个问题正在寻求有关书籍、工具、软件库等的建议。它不符合 Stack Overflow 准则。它目前不接受答案。 我们不允许向读者、工具、软件库等寻求推荐的问题。您可以编辑问题,以便用事实和引文...

如何在不被阻止的情况下在 booking.com 上使用scrapy?

作者:Julia 提问时间:3/7/2021

我正在尝试使用 python 插件 scrapy 从 booking.com 抓取酒店评论。 我的问题是,scrapy无法找到所需的数据(例如负面反馈)。我认为,这是因为网站中嵌入了 javascr...

通过将 URL 从其他 *.py 文件传递给 Scrapy 来从 url 获取数据

作者:Claire Duong 提问时间:6/14/2020

我正在使用 Scrapy 从网站获取数据,这是我在 Scrapy 文件夹蜘蛛中文件 spider.py 的代码 class ThumbSpider(scrapy.Spider): userInpu...

如何使用 scrapy、xpath、python 获取锚标签中的文本和 href 值

作者:Claire Duong 提问时间:6/12/2020

我有一个这样的HTML文件: <div ckass="jokes-nav"> <ul> <li><a href="http://link_1">Link 1</a></li> <li><a h...


共18条 当前第2页