提问人:drossman 提问时间:11/14/2023 更新时间:11/14/2023 访问量:40
使用 BeautifulSoup 从 XML 中解析数据并写入 CSV 时是否有大小限制?[关闭]
Is there a size limit when using BeautifulSoup to parse out data from XML and write to a CSV? [closed]
问:
我正在尝试编写一个 python 脚本来获取 API 拉取的数据结果并将其写入 csv 文件。
该脚本在达到一定大小之前可以完美运行,因为为我提取的数据包含了更高级别的细节。我已经确认我在使用 BeautifulSoup 之前获得了完整的数据集,但是一旦它进入 BeautifulSoup 脚本,它就会删除大部分数据。
这是我在脚本中遇到问题的部分:
xml_data = requests.post('https://api.adaptiveinsights.com/api/v36', data=xml, headers=headers)
xml_data = xml_data.content
soup = BeautifulSoup(xml_data, 'xml')
csv_data = soup.find('output').text.strip()
csv_data = csv_data.replace('[', '').replace(']', '')
reader = csv.reader(io.StringIO(csv_data))
header = next(reader)
rows = [row for row in reader if len(row) == len(header)]
df = pd.DataFrame(rows, columns=header)
df.to_csv('output.csv', index=False)
当我在第 2 行之后进行打印时,我总是拥有完整的数据集。但是,当它达到一定尺寸并且我在第 6 行之后进行打印时,情况并非如此。有什么想法吗?努力寻找有关我做错了什么的任何信息。
答: 暂无答案
评论
output
print()
find('output')
output
find_all('output')
for
output