AIクローラーを拒否する前に
robots.txtの設定と、70社を調べて分かった共通点

結論：止められます。ただ、その前に確かめてほしいことがあります

「AIに学習されたくない」というご相談をいただくと、たいてい最初に出てくるのが「ホームページに何か書けばいいと聞いた」という話です。半分は当たっています。AIの会社は、自分たちの見回りロボット（クローラー）の名前を公表していて、ホームページの入口に「ここはロボットは来ないでください」と書けば、多くの会社はそれに従います。書き方も難しくありません。1社につき2行です。

学習用のロボットだけを断るときの、いちばん短い書き方です。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

学習用＝GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended（Google）・CCBot（Common Crawl）。検索用のOAI-SearchBot・Claude-SearchBot・PerplexityBotと、Google検索のGooglebotは書きません。書くと、そのAIの答えやGoogle検索に出なくなります。全部の名前と、断ったときに起きることは第7章の表10・表11にまとめています。

出典：OpenAI／Anthropic／Google／Common Crawl／Perplexityの公式ページ（2026年9月3日に当社が原文を確認）。

ただ、この記事でいちばんお伝えしたいのは、そこではありません。「読ませる／読ませない」は、実際には3つの関門で決まっているということです。

第1の関門は、あなたが入口に貼った紙です。これは意思表示です。第2の関門は、受付が実際にどうしたかです。ここは貼り紙とは無関係に動きます。第3の関門は、そもそも貼り紙が効かない相手です。これは各社が自分でそう公表しています。

そして当社で実際に起きていたのは、第2の関門の話でした。入口には「どうぞ読んでください」と貼ってあるのに、受付はロボットを追い返していた。これに気づいたのが2026年9月3日です。詳しくは第5章に書きました。

先に、言葉を3つだけ（ここを読めば、あとは全部わかります）

この手の記事は、いきなり英語まじりの用語が出てきて読む気をなくします。なので先に、この記事で使う言葉を全部まとめておきます。会社の建物と、そこに見回りに来るロボットにたとえます。

あとは、このたとえの中で出てくる言葉が少しあるだけです。

この3つ（と、おまけの3つ）さえ頭に入れば、あとは全部読めます。以降、英語の名前が出てきたら「ああ、ロボットの名前ね」と読み飛ばしていただいて構いません。

日本の主要企業70社の「貼り紙」を、実際に見に行きました

2026年9月3日に、日本の上場事業会社55社と、新聞・通信・放送・出版15社の計70社について、入口の貼り紙（robots.txt・誰でも見られる公開ファイル）を1件ずつ確認しました。中身を確認できたのは53社です。⚠確認できなかった17社は「止めていない」に数えていません。見つからないことは、無いことの証拠にならないからです。

出典：当社調べ。2026年9月3日に各社の公開robots.txt（入口の貼り紙）を取得し、AI関連の23のロボット名について「来ないでください」の記載があるかを判定。分母は中身を確認できた社数。事業会社は製造・小売・IT・金融・建設・運輸・医薬から選定。

止めていた10社は、中途半端には止めていませんでした

事業会社で唯一止めていたサイバーエージェントも、全部ではなく3つだけを選んでいました。「全部か0か」ではないという実例です。

逆に、わざわざ「どうぞ」と書いている会社もありました

出典：当社調べ。各社の公開robots.txtを2026年9月3日に取得。この貼り紙は誰でも閲覧できる公開ファイルです。ここでは「そう書いてあった」という事実だけを記載しており、各社の判断の当否について当社は評価していません。

選択肢は「全部止める」か「何もしない」の2つではありません。場所を選んで止める、学習だけ止める、止めないと明記する。どれも実例があります。

世界の数字と並べると

Cloudflareという会社が2025年6月に自社の通信を測ったところ、世界の上位1万サイトのうち貼り紙が見つかった3,816件で、AIのロボットを名指しして許可か拒否をしていたのは546件（約14%）でした。⚠分母は1万ではなく3,816です。ニュースサイトでは、オックスフォード大学ロイター研究所の調査で、10か国の主要ニュースサイトの48%が2023年12月時点でChatGPTのロボットを拒否していました（2年9か月前・大手ニュースサイトのデータで、中小企業の姿ではありません）。

出典：Cloudflare「From Googlebot to GPTBot: Who’s crawling your site in 2025」（2025年7月1日公開・2025年6月のデータ）／Reuters Institute for the Study of Journalism「How many news websites block AI crawlers?」（2024年2月22日公開・2023年12月時点）。いずれも発表元のページを当社が直接確認しています（2026年9月3日）。

調べ方も分母も違うので、日本の2.6%と並べて「日本は遅れている」とは読めません。言えるのは、ものやサービスを売っている会社は、日本でも世界でも多数派は止めていない、ということです。

うちの貼り紙は、たった6行です

当社の貼り紙（robots.txt）です。人に「どうしますか」と聞かれておいて自分の手の内を見せないのは不誠実だと思うので、当社のものをそのまま出します。https://ytbs.jp/robots.txt を開けば、いまも同じものが見られます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ytbs.jp/sitemap.xml
Sitemap: https://ytbs.jp/sitemap.rss

当社の実物。2026年9月3日にブラウザで取得（受付の対応は200＝どうぞ）。

英語が並んでいますが、言っていることは単純です。日本語にするとこうなります。

なぜ止めていないのか

理由は3つあります。

「どうぞ」と貼ってあるのに、受付が追い返していました

ウェブの図書館（Common Crawl）の公開目録で、当社の資料が何ページ置かれているかを、2026年1月から8月までさかのぼって数えました。

出典：Common Crawl公式の目録（index.commoncrawl.org）に当社ドメインを問い合わせ、記録を全部取得して集計。2026年9月3日実施（9月分は2026年9月25日に同じ方法で取得）。⚠件数がぶれないよう、同じ集計を2回ずつ別々に実行し、9か月分すべてが完全に一致することを確認しています。

どうやって見つけたか

この記事を書くまで、当社は気づいていませんでした。「うちは止めていません」と書く前に、実際に読まれているかを確かめて見つけました。ブラウザからは同じ日にふつうに表示されます。人には見えていて、ロボットにだけ「お断り」が返っていました。

原因が分かりました｜受付は、サーバーの設定でした

翌9月4日、契約しているサーバー会社の管理画面で原因が見つかりました。「セキュリティ」の中の「ウェブサイトアクセス制御」がオンになっていました。

開いてみると、こう書いてありました。

カテゴリは3つありました。そしてオンになっていたのは、いちばん上の1つだけでした。

⚠ 誤解のないように書いておきます。これはサーバー会社が用意している、まっとうな機能です。クローラーの巡回はサーバーの負荷になるので、止められること自体は役に立ちます。問題は機能ではなく、当社がそれに気づいていなかったことだけです。

ところが、名前と中身は一致していませんでした

オンは「AIデータスクレイパー」だけで、「AI検索クローラー」は制限していません。「学習は断るが、検索は通す」つもりでした。ところが、ロボットの名前を名乗って自社サイトを取得すると、こうなりました。

当社実測。設定オンのときの測定は2026年9月4日の朝、オフにした後の測定は同日10時39分（6つの名前×3ページ＝21件すべて200）。いずれも未ログイン・キャッシュ回避つき。

4行目を見てください。「AI検索クローラー」は制限していないのに、Anthropicの”検索用”であるClaude-SearchBotも断られていました。

⚠ これは「設定の分類が間違っている」という話ではありません。当社が自社のサーバーの応答を測って言えるのは、ここまでです。どの名前がどのカテゴリに入るのかは公表されていないので、そこは分かりません。なお、この間はClaudeの検索で当社が出にくくなっていた可能性があります。

直しました。ただし「戻った」とはまだ言えません

9月4日にこの設定をオフにし、同じ測り方で21件すべてが200（どうぞ）になったことを確かめました（表7の右端）。⚠ただし、200が返ることと、図書館の目録に載ることは別です。目録はおよそ月に1回公開されます。

追記（2026年9月25日）：9月分の目録（クロール期間 9月4日〜17日）では、当社の資料が91ページ、ふたたび置かれていました（受付の対応は200＝どうぞ・取得日は9月6日・表6の最終行）。設定をオフにした2日後に、図書館の見回りが来て、通ったということです。10月分が出たら、もう一度確かめます。

この話から、持ち帰っていただきたいこと

2つあります。

止めたい側の会社でも、同じことは起きます。止め方を調べる前に、いまどうなっているかを確かめてください（やり方は第13章・5分・0円）。

見回りのロボットは、1種類ではありません

「AIのロボット」とひとくくりにされがちですが、各社は用途ごとに別の名前を用意しています。理由は単純で、会社側が用途ごとに選べるようにするためです。OpenAI（ChatGPTの会社）は、公式の説明の中で「それぞれの設定は互いに独立している」と書いています。

出典：OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web…」、Google「Google’s common crawlers」、Perplexity「Perplexity Crawlers」、Common Crawl「CCBot」。いずれも当社が2026年9月3日に原文を確認しています。

とくに大事なのが3行目です。人が「このページを読んで」とAIに頼んだ場合は、貼り紙に書いても止まらないことがあると、各社が自分で公表しています。詳しくは第9章で扱います。

止めたいとき、どこに何を書くのか

以下は、2026年9月3日時点で各社の公式ページを開いて確認した一覧です。英語の名前は「ロボットの名前」だと思って、読み飛ばしていただいて構いません。大事なのは右の2列です。

⚠各社の方針は変わります。この表は「そのとき何と書いてあったか」の記録であって、永久に正しいものではありません。

出典（すべて2026年9月3日に当社が原文を確認）：OpenAI／Google／Anthropic／Common Crawl／Perplexity／Apple／Meta／Microsoft。

担当者に伝えていただきたい、間違えやすい4点

実際に設定するのは、社内のWeb担当者か制作会社になると思います。その方に渡していただきたい注意を、公式の説明から3つ、当社の経験から1つ拾いました。

設定の手順そのものをもっと詳しく知りたい方は、テクニカルSEOは自分でできる｜Claudeで直す手順と所要時間をご覧ください。この記事は、手順ではなく止めるかどうかの判断を扱っています。

「入らないで」と「名簿に載せないで」は、別のお願いです

Googleの公式ページに、はっきり書いてあります。

入口の貼り紙は、あくまで「入らないでください」というお願いです。検索結果から消すための道具ではありません。実際、貼り紙で断ったページでも、他のサイトからリンクされていれば、アドレスだけが検索結果に出ることがあります。

では検索結果から消すにはどうするかというと、noindex（ノーインデックス）という別のお願いを使います。これはページ1枚ごとに貼る「名簿に載せないで」の札です。ここで、よく起きる事故があります。

理屈は単純です。入口で「入らないで」と言っているので、ロボットは部屋に入れません。入れないので、部屋の中に貼った「名簿に載せないで」の札を読めません。読めないので、効きません。

つまり「念のため両方やっておこう」が、いちばん危ない選択になります。

出典：Google 検索セントラル「robots.txt の概要」「noindex で検索インデックス登録をブロックする」。当社が2026年9月3日に原文を確認。引用は Creative Commons Attribution 4.0 License に基づきます。

当社は、609ページに「名簿に載せないで」の札を貼った側です

これは他人事ではありません。当社は古い記事609ページに noindex を貼って、検索結果から下げました。読まれる価値が薄くなった記事を残しておくと、サイト全体の評価を下げるからです。

このとき、入口の貼り紙はいっさい触っていません。触ってしまうと、いま説明した理由で札が効かなくなるからです。「検索から下げたい」なら札、「読みに来ないでほしい」なら入口の貼り紙。目的が違えば、道具も違います。

なお、これは「AIに自社のデータを渡す」話とも別です。渡す側の話はClaudeに自社データを学習させる前に｜「学習させ方」より、渡す量を見てください、AIに入力してはいけない情報は生成AIに入力してはいけない情報で扱っています。この記事は読まれる側の話です。

貼り紙では止められないものが、4つあります

ここは、この記事でいちばん誠実に書きたい章です。入口の貼り紙（robots.txt）は万能ではありません。そしてそれは当社の推測ではなく、各社が自分で公表していることです。

最後の行を、具体的に引くとこうなります。OpenAIは「利用者が始めた動作なので、お願いが適用されない場合がある」。Perplexityは「利用者が要求した取得なので、一般にお願いを無視する」。Metaは「迂回することがある」。3社とも、自分で公表しています。

つまり、誰かがあなたの会社のページのアドレスをAIに貼り付けて「これを要約して」と頼めば、入口に何が貼ってあっても読まれる可能性があるということです。ここは技術で塞げません。

止めたら、何が起きるか

まず、はっきりさせておきます。当社は、AIを意図的に断ったことがありません。（第5章のとおり、知らないうちに断っていた期間はありました）ですから「断ったら問い合わせが何割減った」というようなデータを、当社は持っていません。持っていないものを、あるように書くつもりはありません。

言えるのは2つです。ひとつは各社が公式に書いている「断るとこうなる」。もうひとつは当社が実際に測っている、AI経由の訪問です。

当社が測れている数字

当社のアクセス解析には「AI Assistant」という区分があり、AI経由で来た訪問がここに入ります。2025年8月22日から2026年8月22日までの1年間で、107回、全体の0.11%でした。

この0.11%を、当社は「AI経由は、まだ主要な入口ではない」の裏づけとして使っています。盛るつもりはありません。ただし、これは下限の数字です。この区分に入らない経路もあるので、実際はもう少し多いはずですが、どのくらい多いかは分かりません。

⚠「増えている」とも、この記事では書きません。この区分のラベル自体が付き始めたのが最近で、分子と分母の期間が揃っていないためです。期間の揃っていない数字で傾向を語らないというのが、当社の決まりです。

当社の考えに反するデータも、出しておきます

「読ませたほうがいい」と当社は考えていますが、それに反する実測もあります。Cloudflareが2025年6月に測ったところ、AI各社が読みに来た回数に対して、実際に返ってきた訪問の比率は、最も低い社で約7万回に1回でした。7万回読まれて、訪問は1回という計算になります。

⚠この数字は、発表元自身が「一部の経路では訪問が数えられないため、比率が実際より大きく出ている可能性がある」と注意書きをしています。それでも、「読ませれば訪問が返ってくる」という単純な話ではないことは示しています。

また同社は2026年6月時点で、ロボットからの要求の52%がAIの勉強目的（1年前は22%）とも報告しています。読まれる量そのものは、確実に増えています。

出典：Cloudflare「The crawl before the fall… of referrals」（2025年7月1日公開・2025年6月19〜26日のデータ）／同「Content Independence Day, one year on」（2026年7月1日公開）。当社が2026年9月3日に原文を確認。⚠いずれも同社のネットワークを通る通信の実測で、日本のサイト単独の数字ではありません。

それでも止めたほうがいい場合

次のような領域を持っている会社は、止めることを検討する意味があります。

強調したいのは3行目です。「AIに読まれたくない情報」の多くは、実は「誰にも読まれてはいけない情報」です。AIを断っても、人はふつうに見られます。検索にも載ります。画面を撮られることもあります。

ですから、ご相談をいただいたときに当社が最初に聞くのは「何を止めたいですか」ではなく、「それは、そもそもホームページに載せておいてよい情報ですか」です。ここで「載せなくていい」となる場合が、実際にあります。止める設定より先に、載せないという選択があります。

3つのうち、どれにしますか

業種で決まる、という言い方は乱暴です。ただ、今回の実測を並べると傾向ははっきりしています。記事そのものを売っている会社は止める。ものやサービスを売っている会社は止めない。あなたの会社が後者なら、多数派は「止めない」です。

そして、どれを選ぶにしても、費用はかかりません。入口の貼り紙を直す作業自体は0円で、5分もあれば終わります。かかるのは、判断のための時間だけです。

今日やること、3ステップ（10分・0円）

ステップ2のやり方（当社がやったのと同じ手順）

Common Crawlは、目録を誰でも無料で使えるように公開しています。ブラウザのアドレス欄に、次の形で入力するだけです。「自社ドメイン」の部分を、自社のホームページのアドレス（例：example.co.jp）に置き換えてください。

https://index.commoncrawl.org/CC-MAIN-2026-34-index?url=自社ドメイン/*&output=json

見方は3つだけです。

Web担当者・制作会社に、そのまま送れる文面

ご自身で作業する必要はありません。以下をコピーして送っていただければ、話が通じます。

【現状を確認したいとき】

お世話になっております。
生成AIのクローラー（AI各社の巡回ロボット）について、
現状を確認したいので、下記を教えてください。

1. 当社サイトの robots.txt に、AI関連のユーザーエージェント
   （GPTBot / ClaudeBot / CCBot / Google-Extended / PerplexityBot など）
   の記述があるか。あれば、どれをどう指定しているか
2. サーバー側のセキュリティ機能やボット対策で、
   これらのクローラーを弾いていないか（403を返していないか）
3. 上記1と2が、当社の意図と一致しているか

背景：robots.txtで許可していても、サーバー側で
遮断されていて実際には読まれていない、というケースがあるため、
2点セットで確認したいという趣旨です。

【止めると決めたとき】

お世話になっております。
生成AIの学習用クローラーについて、下記の方針で
robots.txt の設定をお願いできますでしょうか。

・止める対象：（例）学習用のみ／検索用も含めて全部
・残す対象　：（例）検索用は残す

あわせて、次の2点にご注意ください。

1. noindex を併用しないこと
   （robots.txtでブロックすると noindex が読まれず、
   　かえって検索結果から消えなくなるため）
2. 設定後、実際に反映されているかを確認いただきたいこと
   （書いたつもりで効いていない場合があるため）

⚠この確かめ方で分かるのは「ウェブの図書館」の収録状況だけで、AI各社が独自に回っている分は含まれません。それでも、「まったく読まれていない」に気づくには十分です。当社はこれで気づきました。

この3ステップは0円でできますが、その先のAI検索対策そのものを外に頼むかは別の判断です。外注が向く会社・向かない会社の分かれ目はGEO対策は外注か自社か｜うまくいかない3つの条件と、実績の確かめ方で書きました。

よくある質問（FAQ）

まとめ