Robots.txtジェネレーター
robots.txtファイルを生成
User-agent #1
Group allow and disallow paths for one crawler.
次に進む
関連する次のアクションでワークフローを続けます。
Privacy & Trust
Disallow
Keep restricted directories and crawl-budget heavy paths visible in one editor.
Sitemap URL
Declare your sitemap location directly in robots.txt.
Crawl Delay
Set crawl delay only when you explicitly need it for a crawler.
robots.txt
robots.txtファイルを生成
使い方
テキストを貼り付けまたは入力
テキスト、コード、またはデータを入力エリアに入力します。
オプションを選択
適用する変換やフォーマットを選択します。
結果をコピー
ワンクリックで出力をクリップボードにコピーします。
このツールを使う理由
完全無料
隠れたコストもプレミアムプランもありません — すべての機能が無料です。
インストール不要
すべてブラウザで実行されます。ソフトウェアのダウンロードやインストールは不要です。
プライベート＆安全
データはデバイスの外に出ることはありません。サーバーにアップロードされることはありません。
モバイル対応
完全レスポンシブ対応 — スマートフォン、タブレット、デスクトップで利用できます。
robots.txt入門：Webクローラーのアクセスを適切に制御する方法
要点まとめ
- robots.txtはサイトのルートに配置するテキストファイルで、クローラーにアクセス許可・拒否の指示を与える。
- robots.txtは紳士協定であり、Googlebotなど主要クローラーは従うが、悪意のあるボットは無視する可能性がある。
- robots.txtでのブロックはクロールを防ぐだけで、検索結果からの除外にはnoindexメタタグが必要。
robots.txtファイルは、Robots Exclusion Protocolに基づくWeb標準の一部で、サイト管理者がクローラーに対してアクセスの可否を伝えるための仕組みです。適切なrobots.txtの設定により、クロールバジェットの効率化、ステージング環境の保護、重複コンテンツの回避が可能になります。
/robots.txt
標準ファイルパス
活用シーン
クロールバジェット管理
管理画面やフィルターページなど不要なページへのクロールを制限し、リソースを節約する。
ステージング環境の保護
公開前のテスト環境が検索エンジンにインデックスされないようにブロックする。
重複コンテンツの防止
ソートやフィルターで生成される重複URLパターンのクロールを制限する。
サイトマップの宣言
robots.txt内でXMLサイトマップのURLを指定し、クローラーの発見を支援する。
実用テクニック
robots.txtには必ずSitemapディレクティブを含め、XMLサイトマップの場所を明示する。
公開前にGoogle Search Consoleのrobots.txtテスターで動作を検証する。
ワイルドカード（*）だけでなく、特定のUser-agent向けのルールも個別に設定する。
robots.txtはクロールを制御するだけであり、外部リンク経由でページが検索結果に表示される可能性がある。
本ツールは参考・教育目的のみです。重要な場面で使用する前に、結果をご自身で検証してください。