robots.txt作成・テスト

使い方

1. ひな形を選ぶか、グループごとにUser-agentとAllow・Disallowのルールを入力します。必要ならSitemapのURLも入力します。
2. 下の欄にrobots.txtが表示されます。「テキストを直接編集」を選ぶと、今あるrobots.txtを貼り付けて確認・修正できます。
3. 「URLのテスト」にクローラー名とURLを入力すると、許可か拒否か、どのルールが使われたかが表示されます。
4. 「コピー」または「robots.txtを保存」で取り出し、サイトのルート（https://example.com/robots.txt）に置きます。

注意事項

• robots.txtは巡回（クロール）の指示で、インデックスの制御ではありません。拒否したページも、他のサイトからリンクされていれば検索結果にURLが表示されることがあります。検索結果から外すにはnoindexや削除ツールを使います（noindexはクローラーがページを読めないと機能しません）。
• アクセス制限やセキュリティの手段ではありません。従うかどうかはクローラー次第で、robots.txtは誰でも読めるため、非公開にしたいパスを書くと逆に場所を知らせることになります。
• AIクローラーのひな形は例です。名前は変わることがあり、すべてのAIサービスを網羅しているわけではありません。
• テストはRFC 9309の規則による判定です。クローラーによっては独自の解釈（Crawl-delayへの対応など）をする場合があります。

計算・変換の仕組み

グループの選択：クローラー名（製品トークン）と大文字・小文字を区別せずに一致するUser-agentのグループを使い、同じ名前のグループが複数あれば結合します。一致するグループがなければ * のグループを使い、それもなければすべて許可です。

ルールの選択：URLのパス（クエリを含む）の先頭から一致するルールのうち、パスが最も長い（バイト数が多い）ものを使います。同じ長さのAllowとDisallowが一致した場合はAllowを優先します。一致するルールがなければ許可です。/robots.txt は常に許可です。

* は任意の文字列、末尾の $ はURLの終わりに一致します。日本語などの文字と %XX のパーセントエンコードは同じものとして比較し、パスの大文字・小文字は区別します。