注册 登录

标签:User-Agent

通过Robots协议和.htaccess禁止搜索引擎爬虫的方法

在我们进行网站建设的时候,网站上总有一些站长不想让用户或者搜索引擎爬虫看到的东西,比如我们的后台地址,隐私文件等等,那我们如何才能屏蔽搜索引擎爬虫的爬取呢?这里服务器租用网就为大家分享两种方法,分别就是通过修改“Robots协议”或者“.htaccess文件”来实现屏蔽搜索引擎爬虫抓取。 方法一、通过Robots协议robots.txt文件屏蔽搜索引擎 R……