网址受 robots.txt 限制,是怎么回事？~~解决方法
zt~~~~~谷歌网站管理员工具新增robots.txt生成器！提高收录法宝！！！ [img]http://www.chinaz.com/upimg/allimg/080328/1958190.jpg[/img] [color=#f5fafe][中国站长站][/color]要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的[b][color=#ff0000]robots.txt[/color][/b]文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉[b][color=#ff0000]robots.txt[/color][/b]文件的编写，现在可以利用Google网站管理员工具新增的[b][color=#ff0000]robots.txt[/color][/b]文件生成器了。 [color=#f5fafe][中国站长站][/color]
进入控制台>工具>生成 [b][color=#ff0000]robots.txt[/color][/b]就可以看到有关选项：
[img]http://www.chinaz.com/upimg/allimg/080328/1958191.gif[/img] [color=#f5fafe]中国.站长站[/color]
你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件：
[img]http://www.chinaz.com/upimg/allimg/080328/1958192.gif[/img]
生成新的[b][color=#ff0000]robots.txt[/color][/b]文件后，还可以使用工具里的"分析 [b][color=#ff0000]robots.txt[/color][/b]"来分析它。
[color=darkred]站点演示：[/color][url=http://www.joylaugh.com/][color=darkred]http://www.joylaugh.com/[/color][/url]
[color=red][b]我站点的[/b][b][color=#ff0000]robots.txt[/color][/b]: [/color][url=http://www.joylaugh.com/robots.txt][b][color=red]http://www.joylaugh.com/[b][color=#ff0000]robots.txt[/color][/b][/color][/b][/url]
页:
[1]