网址受 robots.txt 限制

当提交blogspot的rss地址给google网站管理员工具后,对于博客的收录确实明显加快了,可是登录网站管理员工具,提示“网址受 robots.txt 限制”。可惜的是我们根本就无法更改网站的robots.txt文件啊,gogle自家的服务,自己都没有协调好(当然不止这个,可能财报是单独的吧)。暂时没有什么太好的办法解决这个问题,不过有个法子可以表面上解决这个问题,当然只是治标不治本,因为robots.txt文件无法更改。
在“布局”-“修改HTML” 在下面添加


如图所示
INDEX 指令告诉搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去

相关日志

发表评论

您的电子邮箱地址不会被公开。