海科SEO顾问为您快速优化网站,网站SEO优化 营销型网站建设第一品牌!
189-3859-6332

轻松、简单、快速!值得信赖的SEO顾问服务。

专业 敬业 职业  

您现在的位置:首页 > 官方视频教程 > 海科seo视频教程 >

第十四课、网站robots文件协议

人气: 发表时间:2017-06-04 14:23

使用说明
•        1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
•        2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
•        3、Robots工具暂不支持https站点。
•        4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

海科SEO的robots案例:

  1. #
  2. # robots.txt for Discuz! X3
  3. #
  4.  
  5. User-agent: *
  6. Disallow: /api/
  7. Disallow: /data/
  8. Disallow: /source/
  9. Disallow: /install/
  10. Disallow: /template/
  11. Disallow: /config/
  12. Disallow: /uc_client/
  13. Disallow: /uc_server/
  14. Disallow: /static/
  15. Disallow: /admin.php
  16. Disallow: /search.php
  17. Disallow: /member.php
  18. Disallow: /api.php
  19. Disallow: /misc.php
  20. Disallow: /connect.php
  21. Disallow: /forum.php?mod=redirect*
  22. Disallow: /forum.php?mod=post*
  23. Disallow: /home.php?mod=spacecp*
  24. Disallow: /userapp.php?mod=app&*
  25. Disallow: /*?mod=misc*
  26. Disallow: /*?mod=attachment*
  27. Disallow: /*mobile=yes*
  28.  
  29. sitemap: http://www.se-o.cn/sitemap.xml
复制代码
程序默认的robots文件没有什么修改,主要的是网站的地图添加进去而已。
在线视频观看:



百度云视频下载地址:

链接: https://pan.baidu.com/s/1slJzeBN 密码: 3x3m 

本帖的地址:http://www.se-o.cn/jiaocheng/seo/2017/0604/1312.html
本文来自海科SEO(www.se-o.cn)整理编辑,转载本站文章请注明出处。