最新消息:专业日照SEO日照网站优化,日照网站建设等网络服务。联系点击 QQ:187348839 电话:189-6336-0585

zblog asp版本的网站robots写法

zblog 日照SEO 638浏览

robots.txt文件

关于robots.txt,这里就不做过多的介绍,详情还请去百度。简单的说就是引导蜘蛛的爬行,告诉蜘蛛程序在服务器上什么文件是可以被查看的。

下面是robots.txt写法

User-agent: *

Disallow:/ADMIN/

Disallow:/CSS/

Disallow:/DATA/

Disallow:/FUNCTION/

Disallow:/IMAGE/

Disallow:/INCLUDE/

Disallow:/LANGUAGE/

Disallow:/PLUGIN/

Disallow:/SCRIPT/

Disallow:/THEMES/

Disallow:/UPLOAD/

Disallow:/search.asp

Disallow:/c_custom.asp

Disallow:/c_option.asp

Disallow:/cmd.asp?

Disallow:/login.asp

Disallow:/404.htm

转载请注明:日照天空网络公司 » zblog asp版本的网站robots写法