如何更改 Google 的抓取速度?

How can I change Google's crawl rate?

提问人:Andrew G. Johnson 提问时间:2/14/2012 更新时间:2/14/2012 访问量:426

问:

我刚刚切换了服务器;从共享主机到 EC2,并看到了更好的性能。我想谷歌也注意到了这一点,并提高了抓取率,不幸的是,对我来说,它目前太高了,我无法在我的网站上处理它。我怎样才能拒绝它?我做了一些阅读,人们说您可以在 Google 网站站长工具中执行此操作,但是您切换抓取率设置的区域显示以下消息:“您的网站已被分配了特殊的抓取率设置。您将无法更改抓取速度。

我的大部分流量都依赖于谷歌,所以我不想通过机器人.txt阻止他们,我只想让他们慢一点。有没有办法通过机器人.txt或其他方法做到这一点?

Google机器人

评论

0赞 Ken White 2/14/2012
这个问题在这里是题外话,因为它与编程或编程工具无关。投票决定在更合适的地方迁移到网站站长
0赞 Andrew G. Johnson 2/14/2012
@KenWhite - StackOverflow 上有 188 个 googlebot 问题不同意您的观点
0赞 Ken White 2/14/2012
安德鲁,我敢打赌,他们中的大多数人都喜欢创建网站管理员。不过,这并不重要 - 阅读常见问题解答。此外,仅仅因为您的搜索结果中提到了 Google,并不意味着这些问题在某种程度上与编程无关。你的不是。:)

答: 暂无答案