ChatGPTの検索回答に自社サイトが出ないときは、質問文・確認日時・検索利用の有無・回答・引用URLを記録し、対象の自社URLとともに、サイトの設定やアクセス記録を調べられる担当者へ渡します。
回答に何が表示されたかと、サイトへのアクセスが許可されているかは、分けて確かめる必要があります。検索回答に出なかったという事実だけでは、アクセス拒否が原因とは断定できません。
まず回答を記録し、検索用クローラーの役割を押さえてから調査を依頼しましょう。返答を受け取った後も、設定や通信について分かったことと、検索回答への採用を区別して読み取ります。
検索回答に何が出たかを記録する
ChatGPT Webでは、ウェブ検索を使った場合に検索結果と引用がチャットに表示されます。また、ワークスペースの設定によって検索の利用が制限される場合があります。まず、確認した回答で検索が使われたかを見てください。
調査担当者が見た内容を確かめられるよう、本記事では次の記録を残す方法を提案します。OpenAI公式の診断手順ではなく、調査依頼のための整理方法です。
- 質問文：入力した文章をそのまま残します。
- 確認日時：日付・時刻・タイムゾーンを記入します。
- 検索利用の有無：画面で確認できた内容を記入します。判断できなければ、その旨を残します。
- 回答内容：回答本文を保存し、社名が書かれているかを記録します。
- 引用URL：回答に引用されたURLを残します。
- 対象URL：見つけたかった自社ページのURLを記入します。
たとえば、架空の会社を使った質問例なら、「株式会社サンプルの法人向けサービスについて、公式サイトを参照して教えてください。」と入力した文章を残します。そのうえで、実際に画面で確認した検索利用の有無、回答、引用URLを記入してください。
社名が書かれていても、自社URLが引用されているとは限りません。社名の記載とURLの引用は別々に記録します。古いURLが現れた場合は、表示された旧URLと、確認したかった現行URLを並べて残すと、担当者が調査対象を取り違えにくくなります。この段階では、会社情報の不足や更新の遅れなどを原因と決めません。
複数の回答を比べるときは、質問文や検索利用の有無など、条件が違う点も記録してください。検索を使ったか分からない回答は、検索利用を確認できた回答と区別して扱います。
検索用のOAI-SearchBotと、ほかのアクセスを区別する
検索に関する設定を調べる際の対象は、OAI-SearchBotです。OpenAIは、検索用、学習用、ユーザー操作に伴うアクセスを、次のように区別しています。
- OAI-SearchBot：ChatGPTの検索機能で、サイトを検索結果に表示するために使われます。
- GPTBot：基盤モデルの学習に使われる可能性があるコンテンツを収集します。拒否する設定は、サイトのコンテンツを学習に使わない意向を示します。
- ChatGPT-User：ChatGPTやCustom GPTsでの特定のユーザー操作に伴うアクセスに使われます。自動クロールや、検索への掲載可否の判定には使われず、robots.txtのルールが適用されない場合があります。
OAI-SearchBotとGPTBotの設定は独立しています。検索用のOAI-SearchBotを許可しながら、学習用のGPTBotを拒否することもできます。
OpenAIは、検索結果への表示に向けて、robots.txtでOAI-SearchBotを許可し、公式資料に掲載された公開IP範囲からのリクエストを許可することを推奨しています。robots.txtは、クローラーにアクセス方針を伝えるファイルです。
一方、OAI-SearchBotを拒否したサイトは検索回答に表示されないものの、サイトへの案内となるナビゲーションリンクとして現れる場合がある、と説明されています。このリンクの表示も保証されるわけではありません。
また、公式資料にある「約24時間」は、robots.txtの更新後に検索用システムが調整するまでにかかる場合がある時間です。検索回答に掲載されるまでの期限ではありません。
出典：OpenAI「Overview of OpenAI Crawlers」
この用途の違いを踏まえると、GPTBotの設定や、ChatGPTにURLを指定して読み込めたことだけで、検索用のアクセスまで確認できたとは扱えません。調査依頼では、OAI-SearchBotを対象として明示します。
観測記録と対象URLを、管理権限のある担当者へ渡す
記録がそろったら、Web運用担当者や、サーバー・CDN・WAFを管理する担当者へ調査を依頼します。CDNはコンテンツの配信を中継する仕組み、WAFはウェブへの通信を検査・制御する仕組みです。
誰が管理しているか分からない場合は、まずWeb運用窓口に担当部署や保守会社を確認してください。
以下は、OpenAIが示す許可対象を実際の設定・通信と照合するために、本記事が提案する依頼項目です。
- robots.txt：対象URLについて、OAI-SearchBotにどの設定が適用されるか。
- アクセス制御：公式資料から参照できる公開IP範囲に対し、制限が設けられているか。
- 対象URLへのアクセス記録：該当するリクエストが記録されているか。どのような応答を返しているか。
- CDN・WAFの記録：対象の通信に対する遮断記録があるか。
- 調査した範囲：確認した期間・タイムゾーン・記録場所と、保存・取得できた記録の範囲。
公開IP範囲は、OpenAIのクローラーに関する公式資料から参照できます。担当者には、調査時点の情報と設定を照合してもらいます。設定変更の日時や内容が分かっている場合は、その履歴も添えてください。
依頼文は、設定の確認とアクセス記録の確認を分けると伝えやすくなります。次は架空の依頼文例です。
「対象URLがChatGPTの検索回答に引用されなかったため、観測記録と対象URLを共有します。OAI-SearchBotに対するrobots.txtとアクセス制御の設定を確認してください。」
「対象URLへのアクセス記録と、CDN・WAFの遮断記録も確認してください。確認した期間・記録場所・取得範囲を添えて、分かったことを共有いただけますか。」
添付する観測記録には、質問文、確認日時、検索利用の有無、回答、引用URLを含めます。
不掲載を理由にセキュリティ設定を一括解除するのではなく、担当者に対象の通信と適用される制限を特定してもらいましょう。変更の必要性と範囲は、その確認をもとに判断します。
調査で分かったことと、まだ判断できないことを分ける
担当者からの返答は、「設定」「実際の通信」「検索回答への採用」に分けて読むと、判断できる範囲が明確になります。以下は、本記事が提案する調査結果の整理方法です。
許可設定や正常な応答が確認できた場合
OAI-SearchBotの許可設定が確認できたら、確認した設定と日時を記録します。ただし、許可されていることは、検索回答への掲載や引用の保証にはなりません。
HTTPステータス200が記録されていれば、そのリクエストに正常な応答を返したことが分かります。その通信の記録から、検索回答への採用まで確認できたとは扱いません。
ChatGPTにURLを指定してページを読み込めた場合も、検索用クローラーの動作とは区別します。公式資料では、ユーザー操作に伴うChatGPT-Userと、検索用のOAI-SearchBotは別の用途とされています。
参照：OpenAI「Overview of OpenAI Crawlers」
遮断記録が確認できた場合
担当者に、どのURLへの通信が、どの設定で遮断されたかを特定してもらいます。変更が必要と判断された場合は、変更内容と日時を残します。
遮断記録は、その通信について確認できた事実です。それだけで、観測した検索回答に自社サイトが出なかった理由をすべて説明できたとは限りません。
該当するアクセス記録が見つからなかった場合
記録がないという返答を受けたら、調べた期間・場所と、保存・取得できた範囲を確認します。ログが見つからないことや件数だけで、「サイトが発見されていない」「アクセスを拒否されている」とは決めません。
たとえば、架空の報告例として「確認した期間・記録場所の範囲では、該当するアクセス記録を確認できませんでした。」という返答があった場合は、次のように確認できます。
「今回調べた記録には、CDNやWAFで遮断された通信も含まれていますか。」
返答を踏まえ、別の記録場所を調べる必要があるかを担当者と判断します。
設定変更後などに検索回答を改めて確認する場合は、最初と同じ項目を記録し、質問文・検索利用の有無・変更した設定などの条件差も残してください。回答で観測した内容と、担当者が調べた設定・アクセス記録は分けて保管し、対象URLと日時で照合できるようにしておくと、その後の調査に使えます。
