15536663282  网站导航

如何通过robots.txt掌控自己的网站大门

作者:林森营销发布时间:2019-08-25 22:56

Robots.txt文本位于网站根目录,主要设置允许和禁止的蜘蛛爬从以及允许获禁止访问的url
User-agent用户代理,用于定义搜索引擎
         User-agen: *(定义所有搜索引擎)
         User-agent: Baiduspider(定义只有百度搜索)
         User-agent: Sogou web spider(定义只有搜狗搜索)
Disallow 定义禁止访问的页面
         Disallow: / (禁止所有访问)
         Disallow:/news/ (禁止访问news目录)
Allow 允许访问的页面
         Allow: /admin/wp/(允许访问admin下的wp目录)

下图为示例的配置

解析:

Googlebot 禁止谷歌搜索引擎

googlebot-image 禁止谷歌图片搜索引擎

/dede/ 禁止所有爬虫访问 /dede/ 目录

Sitemap 设置网站的网站地图

推荐新闻: