EC AIエージェント対応診断 > 記事

AIクローラーの種類と違い【2026年版】学習用・検索用・ユーザー代理の見分け方とEC向けの設定

「GPTBotは止めたほうがいいの？」「ClaudeBotとClaude-SearchBotは何が違うの？」——AIのクローラー(自動でページを読みに来るプログラム)は会社ごとに名前が違い、同じ会社の中にも役目の違う名前がいくつもあります。役目を知らずにまとめて止めると、学習を断ったつもりがAIの検索結果からも店が消えていた、ということが起こりえます。各社の公式ページ(2026年11月時点)をもとに、3種類に分けて整理します。

まず3種類に分けて考える

学習用 … 集めた内容を、AIモデルを作る(学習させる)材料にするもの。
検索用 … AIの検索機能で、あなたのページを答えやリンクに出すためのもの。止めると、そのAIの検索結果に出にくくなります。
ユーザー代理 … 利用者がAIに質問や操作をしたときに、その場でページを読みに来るもの。

OpenAI・Anthropic・Google・Appleは、学習に使うかどうかの指定を、検索とは別の名前で受け付けています。つまり「学習は断るが、検索には出る」という書き分けができます。

OpenAI(ChatGPT)

GPTBot(学習用) … 生成AIモデルの学習に使われうる内容を集めます。止めると「学習に使わないで」という意思表示になります。
OAI-SearchBot(検索用) … ChatGPTの検索に出すためのもの。止めたサイトは検索の答えに出なくなります(道案内のリンクとしては出ることがあります)。robots.txtの変更が検索に反映されるまで約24時間かかると案内されています。
ChatGPT-User(ユーザー代理) … 利用者の操作がきっかけで読みに来るため、robots.txtのルールが当てはまらない場合がある、と明記されています。
OAI-AdsBot … ChatGPTの広告に申し込まれたページの安全確認のためだけに来ます。

Anthropic(Claude)

ClaudeBot(学習用) … 止めると、それ以降のサイトの内容を学習の材料から外す合図になります。
Claude-SearchBot(検索用) … 検索結果の質と正確さを上げるために巡回します。止めると、検索結果での見え方が弱まる可能性があります。
Claude-User(ユーザー代理) … 利用者の質問に答えるために、ページを読みに来ます。

Anthropicは、robots.txtの指示に従い、巡回の間隔を指定する「Crawl-delay」も必要に応じて守ると書いています。

Perplexity

PerplexityBot(検索用) … 検索結果でサイトを見つけてリンクするためのもの。AIモデルの学習のための巡回ではないと明記されています。
Perplexity-User(ユーザー代理) … 利用者の依頼による読み込みのため、robots.txtのルールは基本的に無視すると書かれています。

GoogleとApple: 巡回ではなく「使い道の指定」

Google-ExtendedとApplebot-Extendedは、巡回するプログラムではなく、robots.txtに書く「使い道の指定」です。読み込み自体は、通常のGoogleのクローラーやApplebotが行います。

Google-Extended … 止めると、集めた内容をGeminiの学習と、Geminiアプリなどでの答えの裏付け(グラウンディング)に使うことから外せます。Google検索への掲載や順位には影響しないと明記されています。Google検索のAI Overviews・AIモードに出るかどうかは、別の仕組みで決まります(AI Overviews・AIモードの記事で解説)。
Applebot-Extended … 止めると、Appleの生成AIの基盤モデルの学習に使わないよう指定できます。止めても、Spotlight・Siri・Safariなどの検索結果に出ることはできます。

EC向けの書き方の例: 学習は断り、検索には出る

「AIの学習には使われたくないが、AIの検索や買い物のおすすめには出たい」場合は、学習用だけを止めます。

# 学習用は断る
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# 検索用は開ける
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# それ以外のクローラー
User-agent: *
Allow: /
Sitemap: https://あなたの店/sitemap.xml

ただし、Google-Extendedを止めると、Geminiアプリなどで答えの裏付けに使われることもなくなります。反対に「学習も含めて、できるだけ多くのAIに店を知ってほしい」なら、全部を許可する書き方(robots.txtでAIクローラーを許可する書き方)が向いています。正解は1つではなく、店の方針で決めます。

知っておきたい注意点

robots.txtは「お願い」の仕組み … ユーザー代理の読み込みには当てはまらない場合があります。人に見られたくないページは、ログインで守ります。
Crawl-delayはGoogleには効かない … Googleがrobots.txtで対応している項目は、user-agent・allow・disallow・sitemapの4つです。
反映には時間がかかる … Googleは、robots.txtの内容をふつう最大24時間ほど覚えておく(キャッシュする)と書いています。

自分の店がどのAIクローラーを止めているか確認する

今のrobots.txtで止めているAIクローラーは、URLを入れるだけの無料診断で確認できます(60秒・登録不要)。GPTBot・OAI-SearchBot・ClaudeBot・PerplexityBot・Google-Extendedなど主要8種類のうち、止めているものを名前つきで表示します。この診断は「主要なAIクローラーが全部入れるか」を採点するため、方針として学習用を止めている場合も減点として表示されます。その場合は、止めている名前が意図どおりかを確かめれば大丈夫です。

→ 無料でお店を診断する(60秒・登録不要)

トップへ戻る｜特定商取引法に基づく表記