抓取 url 相同但位置在 c 搜索框中更改的网页#

Webscrape a webpage that's url same but location changes in search box in c#

提问人:csharplearner 提问时间:10/11/2017 最后编辑:DisappointedByUnaccountableModcsharplearner 更新时间:2/1/2021 访问量:203

问:

我必须在 c# 中抓取一个网页,并且我正在使用 Httpclient,我的问题是当我抓取一个 url 时,例如 https://somethng.com/search/?query=mobile,its 给我结果没有找到产品,但是当我在网站中手动搜索并在网页的搜索文本框中给出位置时,例如:某个城市,它在页面上显示产品,但 url 与我想在我的应用程序中抓取的相同 https://somethng.com/search/?query=mobile,thereURL 中没有位置查询字符串。我的问题是如何在网络抓取中处理它?因为 URL 在我的应用程序中没有显示产品,但在我手动搜索时显示产品,并且两个 URL 相同。

C# 抓取 网页挖掘

评论

0赞 SLaks 10/11/2017
听起来它运行 Javascript。您需要一个无头浏览器。
0赞 SLaks 10/11/2017
或者直接发送其 AJAX 请求并解析其响应。
0赞 orhtej2 10/11/2017
或者发送一些特殊的标题/cookie。
0赞 csharplearner 10/11/2017
怎么做呢?当我点击搜索时,整个页面都被回传了。
0赞 theGleep 10/11/2017
我要采取的第一步是弄清楚 Web 浏览器如何处理页面加载。我会通过阅读页面中的代码,并观察它加载的内容和时间来做到这一点。我喜欢使用 Fiddler 进行监视。它将显示所有正在加载的页面,并且还应该允许您查看每个响应的内容。

答: 暂无答案