如何解决python请求库每次调用时返回不同的html内容？[关闭]-解网

问：

想改进这个问题吗？通过编辑这篇文章添加详细信息并澄清问题。

6天前关闭。

改进此问题

我正在使用 python 请求抓取一个体育博彩网站，以制作一个 API 来检索体育博彩赔率。requests 库有时会从同一个 url 返回不同的 html 内容。我检测到了这个问题，因为我在终端中一遍又一遍地运行脚本，并且大约 4/5 次它可以工作，然后第 5 次我会收到错误，因为我尝试使用 BeautifulSoup 查找的 html 元素不再存在。

我知道 html 内容不同，因为在我的脚本中，我添加了几行，只需将请求返回的整个文档写入 txt 文件。成功运行一次后，我稍微更改了文件名以编写一个新文件。我一遍又一遍地运行它，直到由于前面提到的错误而导致网络抓取失败。那时我使用 filecmp 库来比较两个 txt 文件，它们并不相同。

我想这可能是一个与JavaScript相关的问题？发生该错误是因为我正在使用 BeautifulSoup 搜索具有特定类名的 html 元素，该元素有时显然存在，而有时则不存在，因此当我尝试对 html 元素执行某些操作时导致属性错误，BeautifulSoup 发现终端告诉我是类型 None。

以前有没有人遇到过这种情况？关于如何解决的任何想法？

网页抓取 python-requests html-content-extraction

如何解决python请求库每次调用时返回不同的html内容？[关闭]

How to solve python requests library returning different html content every time I call it? [closed]

评论