如何使用 Python 请求绕过 Steam(或类似网站)上的 Cloudfare?

How to bypass Cloudfare on Steam (or similar websites) using Python requests?

提问人:axerold 提问时间:4/14/2023 更新时间:4/14/2023 访问量:47

问:

我正在创建一个 python 机器人,它能够从帐户中收集有关购买的游戏、成就等的统计数据。

主要问题是解析页面(https://steamcommunity.com/id/axerold2000/games/?tab=all),因为 Steam 不允许获取它。正如我从响应的 HTML 页面中了解到的那样,这是因为 Cloudfare 保护。

例如,我将解析此用户的游戏:https://steamcommunity.com/id/axerold2000/games?tab=all

实际上就是这样:enter image description here

这就是我得到的回应(无论我是否使用 cloudscraper)

enter image description here

这是代码的一部分,我使用 cloudscraper 进行授权(因为未经授权我无法访问所需的网页)并执行请求:

#authorizing via steam api
user1 = wa.WebAuth(username='USERNAME')
session = user1.cli_login('PASSWORD')

#creating cloudscraper object and performing a request
link1 = 'https://steamcommunity.com/id/axerold2000/reviews/'

scraper = cloudscraper.create_scraper(browser={'browser':'chrome','platform':'windows','desktop': True}, sess=session)

resp = scraper.get(link1)

是否有任何可能的方法可以仅通过请求来做到这一点?我怀疑,那件事现在与 cloudfare 无关,因为其他页面(例如,有成就、评论被打开没有问题)

python-3.x python-requests html 解析 steam

评论


答: 暂无答案