web-scraping 问答列表

使用 Cheerio 和 NodeJS 在 Promis.map 中的请求之间添加一些延迟?

作者: 提问时间:7/16/2022

我有以下代码: urls有不同的 url,当我尝试抓取和抓取这些时,我遇到了一个错误,所以我决定在每个请求之间添加一些延迟,我添加了但没有改变。5000urls500{concurrency: 1}...

无法打开流:HTTP 请求失败 php

作者:ALY ELTURKY 提问时间:9/11/2022

我是PHP新手 我正在尝试制作简单的脚本来抓取产品名称和价格 我正在使用 HTML DOM 解析器 它给出了 2 个错误 警告:file_get_contents(https://eg.ihe...

单击页面上的选项卡以降低硒以抓取

作者:Paul Corcoran 提问时间:11/24/2022

from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.w...

如何迭代HTML文件并将特定数据解析为Dataframe?

作者: 提问时间:1/9/2023

我已经查看了从XML解析器到XML解析器的各种方法,我认为必须有一种更简单的方法来遍历HTML文件以将信息解析为数据帧表。有很多关于特定章节标题的信息:BeautifulSoup <h2 class...

使用 Selenium 和 Python 将整个网页下载为 HTML(包括 HTML 资产),而无需另存为弹出窗口

作者:Manisha Biswas 提问时间:1/29/2023

我正在尝试抓取一个网站并将所有网页下载为 .html 文件(包括所有 HTML 资产),以便本地下载的页面在服务器中打开,就像在服务器中一样。 目前使用 Selenium、Chrome Webdri...

按类名查找元素 Selenium Python 对我不起作用

作者:hina abbasi 提问时间:4/20/2023

我想获取具有相同类名的 Web 元素。我将使用它们来截取应用程序元素的屏幕截图。为此,我在 Python 中使用 Selenium。 url = "https://www.pexels.com/se...

Android Java rxjava 线程抓取网页

作者:Paul 提问时间:5/5/2023

我必须抓取一个网页,我必须获取所有等于的元素并将它们放在 PC 类型的 ArrayList 中,其中它有一些属性。data-component-types-search-result 但是我不知道如...

从 MLS 页面检索 hrefs

作者:Paul Corcoran 提问时间:6/20/2023

我目前正在尝试从此页面检索相关的匹配链接,这些链接是 hrefs。我似乎无法使用硒/汤立即找到它们。 我知道它们可能来自 api,但我无法弄清楚如何在 mls-l-module mls-l-modul...

使用 python 从同名的 HTML div 框中提取信息

作者:BotheredNow 提问时间:7/22/2023

所以基本上我一直在试图弄清楚如何抓取 bigo.tv 聊天,我遇到的第一个问题是如何提取发送到聊天的每条消息,首先,由于发送的每条聊天消息都被赋予了相同的 div 容器 id,并且 div 框的类与发...

WebDriverWait 未按预期工作

作者:Rao Sahab 提问时间:4/11/2018

我正在使用 selenium 来抓取一些数据。 我单击的页面上有一个按钮,上面写着“custom_cols”。此按钮为我打开了一个窗口,我可以在其中选择我的列。 这个新窗口有时需要一些时间才能打开...


共38条 当前第3页