如何返回在 Chrome 上为任何给定网站进行“检查”期间显示的代码?

How do I return the code presented during the "Inspect" on Chrome for any given website?

提问人:John Doe 提问时间:8/28/2019 更新时间:8/28/2019 访问量:17

问:

我目前正在运行网络抓取,我基本上想完全按照浏览器的解释返回代码,因为我然后通过 beautifulsoup 运行它并寻找特定的类/div。

问题是该网站部分是使用 javascript 创建的,所以我不能简单地使用常规请求,我尝试使用 Selenium,然后

driver.page_source

或者

driver.execute_script("return document.documentElement.outerHTML")

但是,这两种方法返回的内容与我在屏幕上看到的明显不同。我基本上只是希望它准确地返回我在使用检查工具时看到的内容,最好是以一种我可以运行 beautifulsoup 的格式。

我在这里几乎不知所措,并试图用谷歌搜索很长时间,但我无法找到答案。

任何和所有的想法都非常欢迎

Selenium 网络抓取 python-requests

评论

1赞 chitown88 8/28/2019
好吧,Selenium应该这样做。除非您更新提供您正在使用的特定代码和 url 的问题,否则要重现问题,不幸的是,很难帮助提供特定的解决方案。此外,提供所需输出的示例也会有所帮助。有机会时请阅读此处
0赞 John Doe 8/29/2019
知道了,谢谢,我会看的!

答: 暂无答案