OpenAIによるChatGPTのクローラーをブロックする方法

OpenAIはChatGPTの開発および運用のために、ユーザーエージェント（ボットやクローラーとも呼ばれています）を使用して、世界中のウェブサイトを周回しています。

OpenAIによるAI学習やChatGPTによるウェブサイトへのアクセスをブロックするには、ユーザーエージェントをRobots.txtを利用してブロックする必要があります。

OpenAIのボット

OpenAIは以下のボット（ユーザーエージェント）を利用しています。

検索用のボットです。ChatGPTがウェブ検索を行う際に使用します。

AI学習用のボットです。GPTBotをブロックすると、サイトのコンテンツが生成AI基盤モデルの学習に使用されなくなります。

こちらは自動的にサイトへアクセスするボットではありません。ユーザー代理アクセスです。

ユーザーがChatGPTにサイトへのアクセスを依頼した場合、ChatGPTはこのユーザーエージェントを利用してサイトへアクセスします。

例えば、ユーザーがChatGPTに「このサイトを要約して example.com」と指示した場合、ChatGPTはこのエージェントを利用して example.com へアクセスします。

robots.txtを使えば、上で記したOpenAIのボットをブロックする事が可能です。

例えば、AI学習用のGPTbotをブロックするケースを考えてみましょう。

GPTbotに自分のウェブサイトをクロールされたくない方は、robots.txtに以下の2行を追加すればOKです。

User-agent: GPTBot
Disallow: /

また、以下のように記述する事で、一部のディレクトリ（サイトの一部）だけを許可・ブロックする事もできます。

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

（Allowは許可、Disallowはブロック）

GPTbotで収集した情報は、ペイウォール（課金コンテンツ）や個人情報などを削除するためにフィルタリングされます。

しかし、そうしたコンテンツを扱っているウェブサイトは、あらかじめrobots.txtに上記の記述を行い、GPTbotがウェブサイトの情報を収集するのをブロックしておくと良いでしょう。

なお、これは今後のデータ収集をブロックする方法であって、既にOpenAIに収集された情報には影響を及ぼしません。

OpenAIのボットは他のものも同様の手順でブロックできます。

User-agent: OAI-SearchBot
Disallow: /

OAI-SearchBotをブロックすると、ナビゲーションリンク（ChatGPTの回答下部にアイコン付きで表示されるリンク）などにサイトへのリンクが表示されなくなる可能性があります。

ChatGPTからのアクセスを望む場合は、ブロックしない方が良いでしょう。

User-agent: ChatGPT-User
Disallow: /

ChatGPT-Userをブロックした場合、ChatGPTの利用者が「example.com（あなたのウェブサイトのURL）の内容を分かりやすく解説して」といった形でウェブサイトのURLをChatGPTに貼っても、ChatGPTがサイトにアクセスできず、回答が行えない場合があります。

読者の利便性に影響が出るかもしれないので注意しましょう。

robots.txtによる記述はあくまで「お願い」です。

基本的に各種ボットはrobots.txtの指示を尊重しますが、中にはrobots.txtの指示を無視するボットやサードパーティのbotを利用する事で結果的に無視した形になるケースも存在します。

OpenAIのボットも完全に防げない可能性もあるので注意しましょう。

また、ChatGPTは、GoogleやBingなどの検索結果を利用してウェブサイトの情報を取得する事もあるので、robots.txtを使ってOpenAIのボットを完全にブロックしても、ChatGPTにサイトの情報が表示される事があります。

robots.txtではなく、完全なユーザーエージェント文字列や公開IPアドレスを指定し、より厳格にOpenAIによるアクセスをブロックしたい場合は、以下の公式資料をご覧ください。