使用 Cheerio 和 NodeJS 在 Promis.map 中的请求之间添加一些延迟?
作者: 提问时间:7/16/2022
我有以下代码: urls有不同的 url,当我尝试抓取和抓取这些时,我遇到了一个错误,所以我决定在每个请求之间添加一些延迟,我添加了但没有改变。5000urls500{concurrency: 1}...
web-scraping 问答列表
作者: 提问时间:7/16/2022
我有以下代码: urls有不同的 url,当我尝试抓取和抓取这些时,我遇到了一个错误,所以我决定在每个请求之间添加一些延迟,我添加了但没有改变。5000urls500{concurrency: 1}...
作者:ALY ELTURKY 提问时间:9/11/2022
我是PHP新手 我正在尝试制作简单的脚本来抓取产品名称和价格 我正在使用 HTML DOM 解析器 它给出了 2 个错误 警告:file_get_contents(https://eg.ihe...
作者:Paul Corcoran 提问时间:11/24/2022
from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.w...
作者: 提问时间:1/9/2023
我已经查看了从XML解析器到XML解析器的各种方法,我认为必须有一种更简单的方法来遍历HTML文件以将信息解析为数据帧表。有很多关于特定章节标题的信息:BeautifulSoup <h2 class...
作者:Manisha Biswas 提问时间:1/29/2023
我正在尝试抓取一个网站并将所有网页下载为 .html 文件(包括所有 HTML 资产),以便本地下载的页面在服务器中打开,就像在服务器中一样。 目前使用 Selenium、Chrome Webdri...
作者:hina abbasi 提问时间:4/20/2023
我想获取具有相同类名的 Web 元素。我将使用它们来截取应用程序元素的屏幕截图。为此,我在 Python 中使用 Selenium。 url = "https://www.pexels.com/se...
作者:Paul 提问时间:5/5/2023
我必须抓取一个网页,我必须获取所有等于的元素并将它们放在 PC 类型的 ArrayList 中,其中它有一些属性。data-component-types-search-result 但是我不知道如...
作者:Paul Corcoran 提问时间:6/20/2023
我目前正在尝试从此页面检索相关的匹配链接,这些链接是 hrefs。我似乎无法使用硒/汤立即找到它们。 我知道它们可能来自 api,但我无法弄清楚如何在 mls-l-module mls-l-modul...
作者:BotheredNow 提问时间:7/22/2023
所以基本上我一直在试图弄清楚如何抓取 bigo.tv 聊天,我遇到的第一个问题是如何提取发送到聊天的每条消息,首先,由于发送的每条聊天消息都被赋予了相同的 div 容器 id,并且 div 框的类与发...
作者:Rao Sahab 提问时间:4/11/2018
我正在使用 selenium 来抓取一些数据。 我单击的页面上有一个按钮,上面写着“custom_cols”。此按钮为我打开了一个窗口,我可以在其中选择我的列。 这个新窗口有时需要一些时间才能打开...