zblog asp版本的网站robots写法

  • A+
所属分类:zblog
摘要

zblog asp版本的网站robots写法

robots.txt文件

关于robots.txt,这里就不做过多的介绍,详情还请去百度。简单的说就是引导蜘蛛的爬行,告诉蜘蛛程序在服务器上什么文件是可以被查看的。

下面是robots.txt写法

User-agent: *

Disallow:/ADMIN/

Disallow:/CSS/

Disallow:/DATA/

Disallow:/FUNCTION/

Disallow:/IMAGE/

Disallow:/INCLUDE/

Disallow:/LANGUAGE/

Disallow:/PLUGIN/

Disallow:/SCRIPT/

Disallow:/THEMES/

Disallow:/UPLOAD/

Disallow:/search.asp

Disallow:/c_custom.asp

Disallow:/c_option.asp

Disallow:/cmd.asp?

Disallow:/login.asp

Disallow:/404.htm

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin