家园首页 Php4手册 我的相册 家园下载 个人文集 给我留言
我形我塑,网络相册,www.5x54.com 相册 相册 心情相册,少女相册 免费申请,我形我塑免费相册
 家园 个人文集   http://www.5x54.com
 


教你如何使用robots.txt防止搜索引擎收入页面

作者：cnshark.net    点击： 读取中... 次

Robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的版权保护，请不要随意复制^%#$32371)98sa。^_^，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话版权保护，请不要随意复制^%#$32371)98sa。^_^，robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　如何放置 Robots.txt 文件  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效版权保护，请不要随意复制^%#$32371)98sa。^_^，因为漫游器只在域名的根目录中查找此文件。例如版权保护，请不要随意复制^%#$32371)98sa。^_^，http://www.example.com/robots.txt 是有效位置版权保护，请不要随意复制^%#$32371)98sa。^_^，http://www.example.com/mysite/robots.txt 则不是。  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　这里举一个robots.txt的例子：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： *  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /cgi-bin/  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /tmp/  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /~name/  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　使用 robots.txt 文件拦截或删除整个网站  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　要从搜索引擎中删除您的网站版权保护，请不要随意复制^%#$32371)98sa。^_^，并防止所有漫游器在以后抓取您的网站版权保护，请不要随意复制^%#$32371)98sa。^_^，请将以下 robots.txt 文件放入您服务器的根目录：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： *  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　要只从 Google 中删除您的网站版权保护，请不要随意复制^%#$32371)98sa。^_^，并只是防止 Googlebot 将来抓取您的网站版权保护，请不要随意复制^%#$32371)98sa。^_^，请将以下 robots.txt 文件放入您服务器的根目录：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： Googlebot  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　每个端口都应有自己的 robots.txt 文件。尤其是您通过 http 和 https 托管内容的时候版权保护，请不要随意复制^%#$32371)98sa。^_^，这些协议都需要有各自的 robots.txt 文件。例如版权保护，请不要随意复制^%#$32371)98sa。^_^，要让 Googlebot 只为所有的 http 网页而不为 https 网页编制索引版权保护，请不要随意复制^%#$32371)98sa。^_^，应使用下面的 robots.txt 文件。  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　对于 http 协议 （http://yourserver.com/robots.txt）：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： *  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Allow： /  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　对于 https 协议 （https：//yourserver.com/robots.txt）：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： *  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　允许所有的漫游器访问您的网页  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： *  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　（另一种方法： 建立一个空的 "/robots.txt" 文件版权保护，请不要随意复制^%#$32371)98sa。^_^， 或者不使用robot.txt。）  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　使用 robots.txt 文件拦截或删除网页  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　您可以使用 robots.txt 文件来阻止 Googlebot 抓取您网站上的网页。 例如版权保护，请不要随意复制^%#$32371)98sa。^_^，如果您正在手动创建 robots.txt 文件以阻止 Googlebot 抓取某一特定目录下（例如版权保护，请不要随意复制^%#$32371)98sa。^_^，private）的所有网页版权保护，请不要随意复制^%#$32371)98sa。^_^，可使用以下 robots.txt 条目：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： Googlebot  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /private  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　要阻止 Googlebot 抓取特定文件类型（例如版权保护，请不要随意复制^%#$32371)98sa。^_^，.gif）的所有文件版权保护，请不要随意复制^%#$32371)98sa。^_^，可使用以下 robots.txt 条目：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： Googlebot  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /*.gif$  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　要阻止 Googlebot 抓取所有包含 ？ 的网址（具体地说版权保护，请不要随意复制^%#$32371)98sa。^_^，这种网址以您的域名开头版权保护，请不要随意复制^%#$32371)98sa。^_^，后接任意字符串版权保护，请不要随意复制^%#$32371)98sa。^_^，然后是问号版权保护，请不要随意复制^%#$32371)98sa。^_^，而后又是任意字符串）版权保护，请不要随意复制^%#$32371)98sa。^_^，可使用以下条目：  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　User-agent： Googlebot  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　Disallow： /*？  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　尽管我们不抓取被 robots.txt 拦截的网页内容或为其编制索引版权保护，请不要随意复制^%#$32371)98sa。^_^，但如果我们在网络上的其他网页中发现这些内容版权保护，请不要随意复制^%#$32371)98sa。^_^，我们仍然会抓取其网址并编制索引。因此版权保护，请不要随意复制^%#$32371)98sa。^_^，网页网址及其他公开的信息版权保护，请不要随意复制^%#$32371)98sa。^_^，例如指 向该网站的链接中的定位文字版权保护，请不要随意复制^%#$32371)98sa。^_^，有可能会出现在 Google 搜索结果中。不过版权保护，请不要随意复制^%#$32371)98sa。^_^，您网页上的内容不会被抓取、编制索引和显示。  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
　　作为网站管理员工具的一部分版权保护，请不要随意复制^%#$32371)98sa。^_^，Google提供了robots.txt分析工具 。它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件版权保护，请不要随意复制^%#$32371)98sa。^_^，并且可为 Google user-agents（如 Googlebot）提供结果。我们强烈建议您使用它。 在创建一个 robots.txt 文件之前版权保护，请不要随意复制^%#$32371)98sa。^_^，有必要考虑一下哪些内容可以被用户搜得到版权保护，请不要随意复制^%#$32371)98sa。^_^，而哪些则不应该被搜得到。 这样的话版权保护，请不要随意复制^%#$32371)98sa。^_^，通过合理地使用 robots.txt 版权保护，请不要随意复制^%#$32371)98sa。^_^， 搜索引擎在把用户带到您网站的同时  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^
版权保护，请不要随意复制^%#$32371)98sa。^_^，又能保证隐私信息不被收录。  版权保护版权保护，请不要随意复制^%#$32371)98sa。^_^，请不要随意复制^%#$32371)98sa。^_^

收藏此文章　　　　　打印  更新　　　　　编辑此文章　　　　『关闭窗口』