提问人：Ignacio Perez vilaplana 提问时间：11/17/2023 最后编辑：Ignacio Perez vilaplana 更新时间：11/19/2023 访问量：37
使用 scrapy 抓取东西时的空响应 （python）
Empty response when scraping things with scrapy (python)
问：
我正在尝试使用 scrapy 及其 ，特别是此页面来废弃一个网站（“ellenmacarthurfoundation”）：Selector.css
我正在尝试获取此网络中的所有引用（<a href=new-url />），但我无法获得不同的元素。
我使用的代码是：
>>> links = response.css('.section-container li.ais-InfiniteHits-item a::attr(href)').getall()
>>> links
[]
我不知道为什么我收到的答案是空的。如果有人能帮我处理我应该使用的字符串来获取所有链接，那就太好了。
谢谢大家！
答：
0赞
Alireza Fathi
11/19/2023
#1
本网站上的文章是动态加载的。您无法以通常的方式抓取此内容。你有硒选项，但我建议你在 Inspect > Network > xhr 中发送此内容的查找源 api：
并从网络部分提取数据和标头，并使用 POST 请求方法进行抓取，如下所示：
>>> req = scrapy.Request(url, body=json_data, method='post', headers=headers)
>>> fetch(req)
>>> response.json()
评论
lilihref<a>response.textscrapy.linkExtractor