Robots.txt 產生器
產生網站的 robots.txt 檔案
User-agent #1
Group allow and disallow paths for one crawler.
繼續下一步
用相關的下一個動作延續你的工作流程。
Privacy & Trust
Disallow
Keep restricted directories and crawl-budget heavy paths visible in one editor.
Sitemap URL
Declare your sitemap location directly in robots.txt.
Crawl Delay
Set crawl delay only when you explicitly need it for a crawler.
robots.txt
產生網站的 robots.txt 檔案
使用方法
貼上或輸入內容
在輸入區域輸入您的文字、程式碼或資料。
選擇選項
選取要套用的轉換方式或格式。
複製結果
一鍵將輸出結果複製到剪貼簿。
為什麼使用此工具
100% 免費
沒有隱藏費用，沒有付費等級——所有功能完全免費。
無需安裝
完全在瀏覽器中運行。無需下載或安裝任何軟體。
隱私且安全
您的資料永遠不會離開您的裝置。不會上傳至任何伺服器。
支援行動裝置
完全響應式設計——在手機、平板或桌面電腦上均可使用。
robots.txt 檔案：控制搜尋引擎爬蟲存取
重點摘要
- robots.txt 是放在網站根目錄的純文字檔案，指導搜尋引擎爬蟲哪些頁面可以抓取。
- robots.txt 是建議而非強制——惡意爬蟲可以忽略它，不應作為安全措施。
- 錯誤的 robots.txt 設定可能意外阻止搜尋引擎索引重要頁面。
robots.txt 檔案是網站與搜尋引擎爬蟲之間的第一道溝通。它使用簡單的文字規則告訴爬蟲哪些 URL 可以存取、哪些應該避免。正確設定 robots.txt 對 SEO 至關重要，因為它直接影響搜尋引擎如何發現和索引您的網站內容。
/robots.txt
標準檔案路徑
常見用途
SEO 管理
阻止搜尋引擎索引重複內容、暫存頁面或低價值頁面。
伺服器負載控制
限制爬蟲的抓取頻率以減輕伺服器壓力。
開發環境保護
防止測試或預發佈環境被搜尋引擎意外索引。
API 端點保護
阻止爬蟲存取內部 API 路徑和管理面板 URL。
實用技巧
使用 Google Search Console 的 robots.txt 測試工具驗證設定。
不要用 robots.txt 隱藏敏感資訊——它本身是公開可讀的檔案。
在 robots.txt 中聲明 sitemap 的位置以幫助爬蟲發現站點地圖。
更改 robots.txt 後，搜尋引擎需要時間重新抓取——效果不會立即生效。
本工具僅供參考與教育用途，重要場合使用前請自行驗證結果。