漏洞原理及危害
网站根目录下存在robots.txt文件，其内容规定了网络爬虫可爬和不可爬的目录文件。
搜索引擎可以通过robots文件可以获知哪些页面可以爬取，哪些页面不可以爬取。robots.txt文件可能会泄露网站的敏感目录或者文件，比如网站后台路径，从而得知其使用的系统类型，从而有针对性地进行利用。
测试方法
- 工具获取。通过工具爬虫扫描等方式得到敏感文件的路径，从而找到robots文件；
- 手工挖掘，直接在域名后输入/robots.txt进行查看。
修复建议
总体修复方式：不使用robots文件保护或隐藏信息；使用模糊规则实现robots；适度提升网站内容命名复杂度。具体如下 ：
- 避免在robots规则中包含敏感目录、文件、后台等信息。使用通配符“*”对目标目录或文件范围模糊化；
- 避免常规的文件及目录命名规则，避免攻击者可轻易猜测文件目录。