了解 robots.txt 文件
在创建或修改 robots.txt 文件之前，您应了解这种网址屏蔽方法的限制。根据您的目标和具体情况，您可能需要考虑采用其他机制来确保搜索引擎无法在网络上找到您的网址。
- 并非所有搜索引擎都支持 robots.txt 规则。
robots.txt 文件中的命令并不能强制规范抓取工具对网站采取的行为；是否遵循这些命令由抓取工具自行决定。Googlebot 和其他正规的网页抓取工具都会遵循 robots.txt 文件中的命令，但其他抓取工具未必如此。因此，如果您想确保特定信息不会被网页抓取工具抓取，我们建议您采用其他屏蔽方法，例如用密码保护服务器上的隐私文件。 - 不同的抓取工具会以不同的方式解析语法。
虽然正规的网页抓取工具会遵循 robots.txt 文件中的规则，但每种抓取工具可能会以不同的方式解析这些规则。您需要好好了解一下适用于不同网页抓取工具的正确语法，因为有些抓取工具可能会无法理解某些命令。 - 如果其他网站上有链接指向被 robots.txt 文件屏蔽的网页，则此网页仍可能会被编入索引。
尽管 Google 不会抓取被 robots.txt 文件屏蔽的内容或将其编入索引，但如果网络上的其他位置有链接指向被禁止访问的网址，我们仍可能会找到该网址并将其编入索引。因此，相关网址和其他公开显示的信息（如相关页面链接中的定位文字）仍可能会出现在 Google 搜索结果中。若要正确阻止您的网址出现在 Google 搜索结果中，您应为服务器上的文件设置密码保护、使用noindex元标记或响应标头，或者彻底移除网页
创建 robots.txt 文件
您几乎可以使用任意文本编辑器创建 robots.txt 文件。例如，Notepad、TextEdit、vi 和 emacs 可用来创建有效的 robots.txt 文件。请勿使用文字处理软件，因为此类软件通常会将文件保存为专有格式，且可能会向文件中添加非预期的字符（如弯引号），这样可能会给抓取工具带来问题。如果保存文件时出现相应系统提示，请务必使用 UTF-8 编码保存文件。
格式和位置规则：
- 文件必须命名为 robots.txt。
- 网站只能有 1 个 robots.txt 文件。
- robots.txt 文件必须位于其要应用到的网站主机的根目录下。例如，若要控制对
https://www.example.com/下所有网址的抓取，就必须将 robots.txt 文件放在https://www.example.com/robots.txt下，一定不能将其放在子目录中（例如https://example.com/pages/robots.txt下）。 - robots.txt 文件可以位于子网域（例如
https://website.example.com/robots.txt）或非标准端口（例如https://example.com:8181/robots.txt）上。 - robots.txt 文件仅适用于所在的协议、主机和端口内的路径。也就是说，
https://example.com/robots.txt中的规则仅适用于https://example.com/中的文件，而不适用于子网域（如https://m.example.com/）或备用协议（如http://example.com/）。 - robots.txt 文件必须是采用 UTF-8 编码（包括 ASCII）的文本文件。Google 可能会忽略不属于 UTF-8 范围的字符，从而可能会导致 robots.txt 规则无效。