已验证 Bingbot 未按照指南返回预期的主机名

Verified Bingbot is not returning expected hostname as per guidelines

提问人:Aryaman Agrawal 提问时间:10/27/2023 更新时间:10/27/2023 访问量:18

问:

根据官方指南: https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26,要验证我们是 bingbot,

使用日志中的 IP 地址执行反向 DNS 查找,以验证它是否解析为以 search.msn.com 结尾的名称 使用步骤 1 中的名称执行正向 DNS 查找,以确认它解析回相同的 IP 地址

现在,我收到了来自子网“40.77.202.0/24”的请求,其用户代理为:

Mozilla/5.0 (Linux;安卓 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36(KHTML,类似 Gecko) Chrome/112.0.0.0 Mobile Safari/537.36(兼容;bingbot/2.0; +http://www.bing.com/bingbot.htm)

鉴于用户代理中的“bingbot”,当我执行验证机器人的第 1 步时,我没有得到正确的主机名。一些 IP 查找工具只返回 IP 地址本身,而有些则说“没有从主机收到有效的反向 DNS 数据。请稍后再试“,而其他人根本不返回任何主机名。

因此,此子网中的所有 IP 都未通过第 1 步(反向 DNS 检查),因此应被视为有人欺骗?但是,

一个。根据官方 IP 地址列表,Bing 实际上声称此子网是 bingbot 使用的官方 IP 范围!?https://www.bing.com/toolbox/bingbot.json

B.当使用官方的“验证 Bingbot”工具验证上述子网中的任何 IP 地址时:https://www.bing.com/toolbox/verify-bingbot,然后它再次说它是一个有效的 bingbot IP!!

为什么会出现这种不一致以及得出什么结论?

此外,当我在 AbuseIP 数据库上查找一些 IP 时,我看到它们都被报告了。 请参见:https://www.abuseipdb.com/check/40.77.202.79

如果 IP 没有返回正确的主机名,那么如何信任它?

我希望 Bing 索引我的页面,尽管我不想要任何恶意流量。

Web-Crawler 主机名 Bing 反向 DNS BingBot

评论


答: 暂无答案