关于使用请求模块的get函数后用python解析

About in parsing with python after using get function of request module

提问人:이경민 提问时间:10/4/2023 最后编辑:Laurel이경민 更新时间:10/5/2023 访问量:22

问:

import requests as rq
from bs4 import BeautifulSoup

url = 'https://kind.krx.co.kr/disclosure/todaydisclosure.do?method=searchTodayDisclosureMain&marketType=0'
krx = rq.get(url)

krx_html = BeautifulSoup(krx.content, 'html.parser')

krx_title = krx_html.select('section.wrapper-contents > section.contents')

print(krx_title)

我执行了这段代码。 请看下面的图片 显然,“article”标签在html元素中有许多tail标签。

在此处输入图像描述

但是执行的代码的结果没有tail标签,只有下面的代码:

<article class="pcontents" id="main-contents">
</article>

为什么会出现这个问题? 开发者阻止了它吗?

HTML 解析 网页抓取 网络爬虫

评论

0赞 John Gordon 10/5/2023
requests无法处理 JavaScript。大多数现代网页都依赖于 javascript。

答: 暂无答案