挖掘 问答列表

通过将 URL 从其他 *.py 文件传递给 Scrapy 来从 url 获取数据

作者:Claire Duong 提问时间:6/14/2020

我正在使用 Scrapy 从网站获取数据,这是我在 Scrapy 文件夹蜘蛛中文件 spider.py 的代码 class ThumbSpider(scrapy.Spider): userInpu...

以编程方式在 R 中查找股票代码

作者:Hack-R 提问时间:9/3/2014

我有一个包含公司名称的数据字段,例如 company <- c("Microsoft", "Apple", "Cloudera", "Ford") > company Company 1 Mic...

刮擦蜘蛛的防御性抓网技术

作者:pbthehuman 提问时间:1/12/2021

我已经进行网络抓取大约 3 个月了,我注意到我的许多蜘蛛需要经常照顾孩子,因为网站在变化。我使用 scrapy、python 和 crawlera 来抓取我的网站。例如,2 周前我创建了一个蜘蛛,但由...

抓取 url 相同但位置在 c 搜索框中更改的网页#

作者:csharplearner 提问时间:10/11/2017

我必须在 c# 中抓取一个网页,并且我正在使用 Httpclient,我的问题是当我抓取一个 url 时,例如 https://somethng.com/search/?query=mobile,it...

如何在不被阻止的情况下在 booking.com 上使用scrapy?

作者:Julia 提问时间:3/7/2021

我正在尝试使用 python 插件 scrapy 从 booking.com 抓取酒店评论。 我的问题是,scrapy无法找到所需的数据(例如负面反馈)。我认为,这是因为网站中嵌入了 javascr...

原料药 |Coinimp 公司 |用户/提现 |无效参数 (POST)

作者:Mashwishi 提问时间:9/18/2021

这里有人使用 coinimp 并且对我有同样的问题吗? 你修好了吗?你可以帮我吗? 所以我正在尝试测试用户/提款的 POST,我按照它的文档进行了 https://www.coinimp.com/d...

如何避免 Selenium webdriver 被检测为机器人?[复制]

作者:NoobDev 提问时间:11/25/2021

这个问题在这里已经有答案了: 网站可以检测到您何时将 Selenium 与 chromedriver 一起使用吗? (26 个回答) reCAPTCHA 3 如何知道我正在使用 Selenium/ch...

Python 在读取 CSV 文件时添加额外的文本和大括号

作者:NoobDev 提问时间:11/29/2021

我想使用 python 从 csv 文件中读取数据,但在使用以下代码后,文本中有一些额外的字符和大括号,这些字符和大括号不在原始数据中。 请帮助删除它。 import csv with open(...

httr 的 POST 请求问题:未检索到所需的表

作者:Artem Kochnev 提问时间:9/10/2021

描述:尝试使用库从 Investing.com 检索历史数据httr 原文页面: https://www.investing.com/rates-bonds/austria-1-year-bond-...

ECLAT算法,用于查找最大和闭合频繁集

作者:Siddharth Pandalai 提问时间:4/25/2020

Transaction ID Items 1 {A, C, D} 2 {B, C, E} 3 {A, B, C, E} 4 {B, E} 5 {A, B, C, E} Minimum sup...


共41条 当前第4页