zblog asp版本的网站robots写法

zblog asp版本的网站robots写法

robots.txt文件

关于robots.txt,这里就不做过多的介绍,详情还请去百度。简单的说就是引导蜘蛛的爬行,告诉蜘蛛程序在服务器上什么文件是可以被查看的。

下面是robots.txt写法

User-agent: *

Disallow:/ADMIN/

Disallow:/CSS/

Disallow:/DATA/

Disallow:/FUNCTION/

Disallow:/IMAGE/

Disallow:/INCLUDE/

Disallow:/LANGUAGE/

Disallow:/PLUGIN/

Disallow:/SCRIPT/

Disallow:/THEMES/

Disallow:/UPLOAD/

Disallow:/search.asp

Disallow:/c_custom.asp

Disallow:/c_option.asp

Disallow:/cmd.asp?

Disallow:/login.asp

Disallow:/404.htm

文章来自网络由日照SEO转载,版权归原所有者,如转载注明出处:https://www.0633seo.cn/875.html,侵权删!