EC AIエージェント対応診断 > 記事

robots.txtでAIクローラーを許可する書き方【ECサイト向け・コピペ用】

robots.txtは、サイトの一番上の階層に置く「入場ルール表」です。どのクローラー(自動巡回プログラム)に入ってよいかをここで指定します。問題は、セキュリティ設定やテンプレートの初期値で、AIクローラーを知らないうちに締め出しているECサイトが少なくないことです。締め出したままだと、ChatGPTやPerplexityがあなたの店を知る手段はほぼなくなります。

まず知っておく主要AIクローラーの名前

• GPTBot … OpenAI(ChatGPT)の学習用クローラー
• OAI-SearchBot … ChatGPT検索の巡回用。買い物のおすすめに直結
• ChatGPT-User … ユーザーの質問に応じてその場でページを読みに来るアクセス
• PerplexityBot … Perplexityの巡回用
• Google-Extended … GoogleのAI(Gemini)向けの利用許可を制御する名前
• ClaudeBot … Anthropic(Claude)のクローラー

コピペ用サンプル(AIに開いた店にする)

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

# それ以外のクローラーへの共通ルール
User-agent: *
Allow: /
Sitemap: https://あなたの店/sitemap.xml

カート画面や会員ページなど、見せたくない場所がある場合はそのパスだけDisallowを足します(例: Disallow: /cart)。

知らないうちにブロックしている典型3パターン

• 「User-agent: * Disallow: /」が残っている … サイト制作中の「全員入場禁止」設定が公開後も残っているケース。全クローラーに店が見えません。
• セキュリティサービスの一括ブロック … CDNやセキュリティ会社の初期設定が「AIボットを一括拒否」になっていることがあります。robots.txtが正しくても入口で弾いている状態で、店主が気づきにくい盲点です。
• コピーしたテンプレートにAI拒否行が入っていた … 2023〜2024年頃に出回った「AI学習お断り」テンプレをそのまま使っていると、買い物支援のAIまでまとめて拒否します。学習は断りたいが検索・推薦には出たい場合、GPTBot(学習)だけ拒否してOAI-SearchBot(検索)は許可する、という書き分けができます。

書き換えたら必ず実物を確認する

ブラウザで「https://あなたの店/robots.txt」を開き、上のサンプルの内容になっているかを見ます。カートシステムによってはrobots.txtを管理画面から編集できない場合があるので、その際は「robots.txtにAIクローラーの許可を追加したい」と制作会社かカートのサポートに伝えてください。

robots.txt以外の項目もまとめて確認する

robots.txtはAI対応7項目の入口にすぎません。JSON-LD・llms.txt・価格の機械可読性など、残りの項目も含めてあなたの店の現状は、URLを入れるだけの無料診断で60秒で確認できます(登録不要)。

トップへ戻る ｜ 特定商取引法に基づく表記