网页抓取 问答列表

URL 错误...[WinError 3] (英语)系统找不到指定的路径

作者:Duc Nguyen 提问时间:11/16/2023

我正在运行此代码来读取包含数千篇新闻文章 URL 的 csv 文件并提取正文文本。它一直做得很好,直到第 20,000 个 URL 开始显示此错误:[WinError 3] The system ca...

无法使用 bs4 和 re 定位 html 标签

作者:Howard Zhu 提问时间:11/16/2023

我正在尝试使用 BS4 来取消收入发布的公开文件,有一个名为“reconciliation(s)”的关键字,所以我尝试使用 Regex 进行搜索。我发现所有的 reconciliation 关键字都应...

从AMFI网站提取每日共同基金资产净值数据并将其存储在MongoDB中

作者:dewashya 提问时间:11/16/2023

我想从AMFI网站下载所有方案的每日NAV(资产净值),并将其全部存储在MongoDB中。但是使用我当前的代码,下载所有数据并将其推送到数据库中需要将近 5 天的时间太长,因为我正在尝试更改数据的结构...

如何使用漂亮的汤进行网页抓取时解决服务器错误500?

作者:Newbie 提问时间:11/16/2023

import requests from bs4 import BeautifulSoup import os import time # Define the URL of the webpage...

是否可以实时从移动应用程序中抓取?

作者:Michael Frank 提问时间:8/9/2012

我希望能够从移动应用程序中抓取数据,该应用程序会根据我的位置实时生成结果。例如,我希望能够实时提取离我最近的出租车的数据,并将其显示为其他移动应用程序的一部分。...

无法通过网络抓取访问 Yahoo Finances [已关闭]

作者:Haiku 提问时间:11/16/2023

闭。此问题需要调试详细信息。它目前不接受答案。 编辑问题以包括所需的行为、特定问题或错误以及重现问题所需的最短代码。这将帮助其他人回答这个问题。 7天前关闭。 改进此问题 我根本无法通过网络抓...

如何从此产品URL中获取每张图片的URL?

作者:Danny_webb 提问时间:11/16/2023

问题描述: 本网站上的每个产品 https://www.asos.com/us/women/dresses/cat/?cid=8799 都有几张图片。例如,这是一件黑色连衣裙 https://www...

Python 在使用 dropDown.options[].text 时读取 Select Element/Website 下拉菜单的空字符串

作者:M Grant 提问时间:11/16/2023

我正在编写一个网络抓取代码,用于从美国农业部网络土壤调查网站抓取 PDF。有一个包含 for 循环的代码块。for 循环的目的是遍历“聚合方法”下拉菜单中的“深度到限制层”选项,然后选择“主导条件”。...

如何使用 Selenium Python 循环并单击所有图标以下载文件

作者:Jay Cheng 提问时间:11/15/2023

2023 年 11 月 15 日更新: 你好 在我修改代码后,能够通过在循环结束时重新查找pdf_links来解决 pdf 下载问题,如下所示: pdf_links = driver.find_...

从 Kimovil.com 抓取手机规格

作者:Remi Pelletier 提问时间:11/6/2023

问题陈述 我正在努力从 Kimovil 抓取许多手机上的技术数据。 我知道这个答案,但这只能访问手机的价格。是否有类似的 json 网页来收集技术数据,即例如此 Kimovil 网页上显示的所有内容...


共171条 当前第7页