資料ダウンロード
弊社の見解として、生成AIのクローラーは拒否できますが、長期的にみるとやめたほうが良いです。ただ、学習用のクローラーだけ拒否して、AI検索用は許可するといった運用なら、AI検索からのアクセスもきちんと維持できるので、設定しておきましょう。
この記事では、生成AIのクローラーを拒否すべきかの判断基準と、ブロックする4つの方法をまとめました。
読み終わる頃には、自社が止めるクローラーが決まり、AI検索からのアクセスと問い合わせを残せます。参考にしてください。
福田 卓馬EXTAGE株式会社 代表取締役社長
SEO歴13年。上場企業を含む300社以上のSEO・Webマーケティング支援を実施。KADOKAWA社より『文章で金持ちになる教科書』『Webライターが5億円稼ぐ仕組み』を出版。>>詳細プロフィール
生成AIのクローラーを拒否すべきか
生成AIのクローラーは、すべてを一律にブロックすると自社サイトの流入を減らすことになります。どのクローラーまで止めるかを、サイトの目的から決めていきましょう。
学習用クローラーだけ止める
生成AIのクローラーは、学習用だけ止めてAI検索用は残すのが基本です。
生成AIの学習やAI検索の回答づくりのために、Webサイトを巡回するプログラム。
OpenAIのクローラーは、名前ごとに役目が決まっているからです。学習用のGPTBotだけを止めれば、ChatGPTの回答に自社サイトが引用される可能性は残せます。
OpenAIのクローラーを例にすると、止めたときに起きることは以下のとおりです。
| クローラー名 | 止めたときに起きること |
|---|---|
| GPTBot | 生成AIの学習に使われない |
| OAI-SearchBot | ChatGPTの回答に出ない |
| ChatGPT-User | 貼られたURLを読めない |
ただし、ChatGPT-Userはrobots.txtの対象外だと、OpenAIが明記しています。
福田卓馬止めるのは1行ですが、AI検索に戻ってくるまでには時間がかかります。
コンテンツが商品なら拒否する
記事や写真そのもので売上を作っているサイトは、学習用のクローラーを拒否しましょう。
記事の中身が生成AIの回答に丸ごと要約されると、ユーザーがサイトを開く理由が消えてしまうからです。中身そのものが商品のサイトでは、売上が直接減ってしまいます。
学習用のクローラーを拒否したほうがよいサイトは、以下のとおりです。
- 有料記事で課金しているメディア
- 写真やイラストを販売するサイト
- 独自の調査データを公開するメディア
有料記事のメディアでは、記事の中身が回答に使われると、購読の申し込みが止まります。写真を販売するサイトなら、生成された画像に置き換わってしまいます。
ただし、有料記事のメディアでも、拒否する前に生成AIの学習へ取り込まれた記事は消せません。
福田卓馬学習を止めても、無料で公開している記事は生成AIに読まれ続けます。
アクセスがどう変わるか知りたい方は「AIモードでSEOは終わる？対策7選」の記事をご覧ください。
集客が目的なら拒否しない
サイトから問い合わせを取りたい会社は、AI検索用のクローラーを残しましょう。
AI検索用のクローラーを止めると、ChatGPTの回答に自社サイトが出なくなるからです。依頼先を探しているユーザーが生成AIに質問したとき、候補にすら入らなくなります。
AI検索用のクローラーを残したほうがよいサイトは、以下のとおりです。
- 問い合わせを取っているBtoBサイト
- 店舗やクリニックのホームページ
- 会社名の指名検索を増やしたいサイト
問い合わせを取っているBtoBサイトでは、依頼先を選ぶ段階で生成AIに質問されます。店舗やクリニックなら、近くの候補として名前が挙がるかが分かれ目です。
ただし、AI検索用を残しても、生成AIが必ず自社サイトを引用するとはかぎりません。
福田卓馬Googleアナリティクスの参照元にchatgpt.comが出ていれば、AI検索から来ています。
AI検索で自社が出るか確かめたい方は「GEO対策とは？」の記事をご覧ください。
生成AIのクローラーを拒否する4つの方法
生成AIのクローラーを拒否する方法は、robots.txtへの記述を基本に4つあります。自社が使っているサーバーやCloudflareに合わせて選んでいきましょう。
robots.txtに記述する
生成AIのクローラーを拒否する基本は、robots.txtへの記述です。クローラー名ごとに、許可するか拒否するかを指定できます。
Webサイトのルートディレクトリに置き、クローラーの巡回を指示するテキストファイル。
robots.txtは、自社ドメインの直下で開ける場所に置きます。WordPressなら、All in One SEOの管理画面からも編集できます。
学習用だけ拒否する書き方
AI検索から自社サイトへのアクセスを残したいなら、学習用のクローラーだけをDisallowにします。Google-Extendedを止めても、Google検索の順位には使われません。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /すべて拒否する書き方
生成AIに一切関わらせたくないなら、AI検索用のクローラーもDisallowにします。ChatGPTやPerplexityの回答に、自社サイトが引用されなくなります。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: PerplexityBot
Disallow: /一部のページだけ拒否する書き方
会員ページや有料記事だけを守りたいなら、ディレクトリを指定します。サイト全体を止めずに済みます。
User-agent: GPTBot
Disallow: /members/
Disallow: /premium/ただし、robots.txtに書いても、ルールを守らないクローラーは止められません。
福田卓馬1行でも書き間違えると、ファイル全体が読まれないことがあります。
プラグインで編集したい方は「LLMOプラグインおすすめ7選」の記事をご覧ください。
サーバーの遮断設定を使う
レンタルサーバーを使っているなら、生成AIのクローラーを管理画面のスイッチひとつで遮断できます。
サーバー会社が、生成AIのクローラーの一覧をあらかじめ用意しているからです。エックスサーバーならサーバーパネルの「AIクローラー遮断設定」から、21種類をまとめて止められます。
エックスサーバーの遮断対象21種類のうち、AI検索用のクローラーをまとめました。
| クローラー名 | 役目 |
|---|---|
| OAI-SearchBot | ChatGPTの検索用 |
| Claude-SearchBot | Claudeの検索用 |
| PerplexityBot | Perplexityの検索用 |
エックスサーバー以外でも、ロリポップなど同じ機能を用意しているサーバーがあります。
ただし、遮断設定をONにすると、ChatGPTの回答からも自社サイトが消えてしまいます。
福田卓馬遮断をONにする前に、ChatGPTで自社のサービス名を質問して確かめてください。
生成AIに引用される施策を知りたい方は「AIO対策とは？引用される施策7選」の記事をご覧ください。
CloudflareでAIクローラーを止める
Cloudflareを使っているなら、無料プランでも学習用クローラーを止められます。
サイトとアクセス元の間に入り、表示の高速化と不正なアクセスの遮断をおこなうサービス。
CloudflareのAIクローラー向けrobots.txt機能が、全プランで使えるからです。管理画面のセキュリティ設定でスイッチをONにすると、学習用クローラーが拒否されます。
Cloudflareの設定で拒否されるクローラーは、以下のとおりです。
| クローラー名 | 運営元 |
|---|---|
| GPTBot | OpenAI |
| ClaudeBot | Anthropic |
| Google-Extended | |
| CCBot | Common Crawl |
| meta-externalagent | Meta |
| Amazonbot | Amazon |
| Applebot-Extended | Apple |
| Bytespider | ByteDance |
ただし、8種類はすべて学習用なので、AI検索用のクローラーは止まりません。
福田卓馬強制的に止めたいなら、CloudflareのAI Crawl Controlが要ります。
誰が取りに来ているか知りたい方は「llms.txtは意味ない？3つの根拠」の記事をご覧ください。
WAFでアクセスを遮断する
robots.txtを無視するクローラーには、WAFでアクセスを遮断しましょう。
サイトへのアクセスを、条件に合わせて通したり止めたりする防御のしくみ。
robots.txtはクローラーへのお願いにすぎず、従うかどうかは相手しだいだからです。サーバーの手前で止めれば、名乗りを偽装したクローラーも遮断できます。
WAFで遮断するときに指定できる条件を、いくつか挙げました。
- ユーザーエージェント名で止める
- アクセス元のIPアドレスで止める
- 1分あたりのアクセス回数で止める
ただし、条件を広げすぎると、Googlebotまで止めてしまう可能性があります。
福田卓馬ユーザーエージェント名を部分一致で指定して、Googlebotまで止めていたサイトがありました。
設定まで任せられる会社を探している方は「LLMOコンサル支援会社おすすめ8選」の記事をご覧ください。
生成AIのクローラーの拒否設定を確認する方法
AI検索から自社サイトが消えているなら、初期設定のまま拒否されている可能性があります。拒否していないかを、以下の順に確かめていきましょう。
robots.txtの記述を見る
まず、生成AIのクローラーを拒否する記述が自社のrobots.txtにないかを確かめましょう。
robots.txtは、サイトを作った制作会社が初期設定のまま残していることがあるからです。Disallowが1行入っているだけで、ルールを守るクローラーは巡回をやめてしまいます。
robots.txtを確かめる手順は、以下のとおりです。
ブラウザのアドレス欄に、自社ドメインのうしろへ /robots.txt と打って開きます。ファイルがないと表示されたら、拒否の記述もありません。
ファイルが開けたら、「User-agent: *」の下に「Disallow: /」がないか探します。2行そろうと、サイト全体が拒否されています。
サイト全体の拒否がなければ、GPTBotとOAI-SearchBotの行を探します。OAI-SearchBotにDisallowが付いていると、ChatGPTから消えます。
ただし、robots.txtが空でも、サーバーやプラグインで止まっている場合があります。
福田卓馬robots.txtを直したら、制作会社にテスト環境の設定が残っていないか確認してください。
同じ場所に置くllms.txtを知りたい方は「llms.txtの書き方」の記事をご覧ください。
セキュリティプラグインを見る
次に、セキュリティプラグインの遮断リストに生成AIのクローラーが入っていないかを確かめましょう。
セキュリティプラグインには、ボットをまとめて遮断する機能が付いているからです。Wordfenceなどの遮断リストに、生成AIのクローラーが混ざることがあります。
セキュリティプラグインで確かめたい設定は、以下のとおりです。
- ブロックリストに何が入っているか
- クローラー名で拒否していないか
- 海外からのアクセスを制限していないか
ブロックリストにGPTBotやOAI-SearchBotの名前がないかを、1件ずつ確かめます。プラグインを入れ替えたときに、前の設定が残っていることもあります。
ただし、海外からのアクセス制限は、AI企業のサーバーごと止めてしまう設定です。
福田卓馬エックスサーバーやCloudflareを併用していると、プラグインを切っても遮断が残ります。
プラグイン以外の原因を知りたい方は「インデックスされない3つの原因」の記事をご覧ください。
アクセスログで生成AIのクローラーを数える
最後に、レンタルサーバーの「アクセス解析」で、生成AIのクローラーが来た回数を数えましょう。
robots.txtとプラグインを見ても、実際に巡回されているかまでは分からないからです。記述のうえで許可していても、サーバーの手前で遮断されていれば1回も届いていません。
アクセスログで探すクローラー名は、以下のとおりです。
| クローラー名 | 来ているときの意味 |
|---|---|
| GPTBot | 生成AIの学習に使われる |
| OAI-SearchBot | ChatGPTの回答に出る |
| PerplexityBot | Perplexityに出る |
アクセスログは、サーバーの管理画面から月ごとにダウンロードできます。クローラー名で検索をかけると、回数をすぐに数えられます。
ただし、GPTBotの名前が1回も出ないときは、拒否設定がまだ残っています。
福田卓馬1日だけ見て来ていないと判断せず、1週間ぶんをまとめて数えてください。
EXTAGEでは、AI検索で自社が引用されるための順番をまとめた「LLMO大全」を用意しています。拒否設定を直したあと何から手をつけるかが決まるので、無料でダウンロードしてご活用ください。
robots.txtを含む内部対策をまとめて見直したい方は「SEO内部対策はこの5つから｜優先度つき25項目チェックリスト」の記事をご覧ください。
よくある質問
noindexを付ければ生成AIの学習も止まりますか
noindexでは、生成AIの学習は止まりません。
noindexは、検索結果にページを出さないようGoogleへ伝えるタグだからです。学習用のクローラーは、noindexが付いたページも取りにきます。
生成AIの学習を止めるなら、robots.txtでGPTBotを拒否しましょう。
生成AIのクローラーを拒否するとSEOに影響しますか
学習用だけの拒否なら、検索順位は下がりません。
Google-Extendedは、Google検索の登録や順位づけには使われません。Googleが公式ドキュメントで明記しています。
ただし、Google-ExtendedとGooglebotは別のクローラーです。Googlebotまで拒否すると、Google検索の順位そのものが落ちます。
拒否しても生成AIの回答に自社の情報が出ることはありますか
他社サイトに書かれた情報から出ることがあります。
生成AIは、自社サイトだけでなく比較サイトやSNSからも情報を集めるからです。自社サイトを拒否しても、他社サイトに書かれた社名やサービス名は残ります。
出てくる情報が古いなら、比較サイトの運営会社へ修正を依頼しましょう。
他社サイトに転載された自社の記事も学習を止められますか
自社のrobots.txtでは止められません。
robots.txtは、置いてあるドメインに来たクローラーにしか効かないからです。転載先のドメインは、転載した会社しか設定できません。
無断で転載されているのを見つけたら、転載先へ削除を依頼しましょう。
とはいえ「robots.txtを直したあと、出ているか確かめられない」と感じる方も多いでしょう。
福田卓馬EXTAGEでは、ChatGPTとAI Overviewに10問投げる「LLMO診断」を実施しています。
自社のどのページが生成AIに選ばれているかがわかり、最初に取り組む施策がひとつに決まります。毎月3社様限定なので、サイトURLと日程を入れてお申し込みください。
まずは相談する
メルマガに登録する
