robots.txt文件生成工具 - 工具详情
基础模式 快速生成
高级模式 多规则
可视化 直接编辑
🤖 生成模式
⚙️ robots.txt基础生成器
快速生成基础的robots.txt文件
📘 robots.txt生成器使用说明
基础模式
快速生成标准配置
适合大多数网站
高级模式
多爬虫自定义规则
精确控制爬取行为
可视化编辑
直接编辑文本内容
灵活自由配置
📚 robots.txt 常见用法示例
禁止所有爬虫: User-agent: *
Disallow: / 允许所有爬虫: User-agent: *
Allow: / 禁止特定目录: User-agent: *
Disallow: /admin/
Disallow: /private/ 针对Google: User-agent: Googlebot
Allow: /
Crawl-delay: 5 添加Sitemap: Sitemap: https://example.com/sitemap.xml
Disallow: / 允许所有爬虫: User-agent: *
Allow: / 禁止特定目录: User-agent: *
Disallow: /admin/
Disallow: /private/ 针对Google: User-agent: Googlebot
Allow: /
Crawl-delay: 5 添加Sitemap: Sitemap: https://example.com/sitemap.xml
🤖 常用搜索引擎爬虫
Google: Googlebot
百度: Baiduspider
Bing: bingbot
Yahoo: Yahoo! Slurp
Yandex: Yandexbot
搜狗: Sogou
360: 360Spider
字节跳动: Bytespider
工具介绍
在线免费robots.txt文件生成工具，可以帮助站长快速生成标准的robots.txt文件，支持一键导出，直接传到网站根目录即可。
使用提示
如果工具无法正常加载，请尝试刷新页面或检查网络连接。本工具加载可能需要一些时间，请耐心等待。
