# robots.txt file start # Exclude Files From All Robots: User-agent: * Disallow: /fx_design_admin/ Disallow: /Down_System/ Disallow: /images/ Disallow: /flash/ Disallow: /UpFile/ Disallow: /fx_design_Database/ Disallow:/login.asp Disallow:/UserLogin.asp # End robots.txt file #有#号的都是注释,方便阅读。 #User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。 #Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。