Robots.txt 產生器
產生網站的 robots.txt 檔案
User-agent #1
Group allow and disallow paths for one crawler.
繼續下一步
用相關的下一個動作延續你的工作流程。
Privacy & Trust
Disallow
Keep restricted directories and crawl-budget heavy paths visible in one editor.
Sitemap URL
Declare your sitemap location directly in robots.txt.
Crawl Delay
Set crawl delay only when you explicitly need it for a crawler.
robots.txt
產生網站的 robots.txt 檔案
使用方法
貼上或輸入內容
在輸入區域輸入您的文字、程式碼或資料。
選擇選項
選取要套用的轉換方式或格式。
複製結果
一鍵將輸出結果複製到剪貼簿。
為什麼使用此工具
100% 免費
沒有隱藏費用，沒有付費等級——所有功能完全免費。
無需安裝
完全在瀏覽器中運行。無需下載或安裝任何軟體。
隱私且安全
您的資料永遠不會離開您的裝置。不會上傳至任何伺服器。
支援行動裝置
完全響應式設計——在手機、平板或桌面電腦上均可使用。
Robots.txt：引導網路爬蟲以強化 SEO 控制
重點摘要
- Robots.txt 是位於網站根目錄的純文字檔，告訴爬蟲哪些頁面可以存取或應略過。
- 它是建議性的而非強制——行為良好的爬蟲（Googlebot）會遵守，但惡意機器人可能忽略。
- 透過 robots.txt 封鎖頁面不會將其從搜尋結果中移除——需使用 noindex meta 標籤。
robots.txt 檔案是網頁標準（Robots 排除協議）的基礎部分，讓網站擁有者與爬蟲溝通哪些部分應該或不應該被存取。正確的 robots.txt 配置有助於管理抓取預算、保護私人區域並引導搜尋引擎索引。
/robots.txt
標準檔案位置
常見用途
抓取預算管理
防止搜尋引擎在管理面板等不重要頁面上浪費抓取資源。
測試環境保護
封鎖爬蟲索引公開可存取的開發或測試網站。
重複內容防止
禁止抓取會產生重複內容的 URL 模式（篩選器、排序參數）。
Sitemap 宣告
指定 XML sitemap 的位置以幫助爬蟲發現所有重要頁面。
實用技巧
robots.txt 中務必包含指向 XML sitemap 的 Sitemap 指令。
部署前使用 Google Search Console 的 robots.txt 測試工具驗證。
針對不同爬蟲使用特定的 user-agent 規則，而非僅使用萬用字元（*）。
記住：robots.txt 封鎖抓取而非索引，頁面仍可能透過外部連結出現在搜尋結果中。
本工具僅供參考與教育用途，重要場合使用前請自行驗證結果。