Web scrapping Dermnet 图像

Web scrapping Dermnet Images

提问人:sanchay vashist 提问时间:5/25/2023 更新时间:5/25/2023 访问量:31

问:

尝试从文本中抓取图像,但无法使用 Beutiful soup 访问 div 块,有什么解决方案吗?

我也尝试过使用硒,但它仍然不起作用。该网站正在使用 sava 脚本动态加载图像,我认为这是一个问题

JavaScript 网页抓取 BeautifulSoup HTML 解析

评论

0赞 Community 5/26/2023
请提供足够的代码,以便其他人可以更好地理解或重现问题。

答:

0赞 Tom 5/25/2023 #1

如果你在这个网站上打开开发者控制台,你可以看到它使用谷歌搜索 API 来列出图片 (cse.google.com)

因此,要获取图像列表,只需查看开发控制台中的“网络”选项卡,您将看到 https://cse.google.com/cse/element/v1?rsz=large&num=16&hl=en&source=gcsc&gss=.com&cselibv=8e77c7877b8339e2&searchtype=image&cx=015036873904746004277:nz7deehiccq&q=basal%20cell%20carcinoma%20dermoscopy&safe=off&cse_tok=AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721&exp=csqr,cc,bf&callback=google.search.cse.api10440

它返回带有“结果”的 JSON 对象,但它是分页的,因此请观察网络选项卡,参数如何根据结果的当前页面而变化。