自社サイトをAIに学習されたくない｜robots.txtでAIクローラーを拒否する前に

結論：止められます。ただ、その前に確かめてほしいことがあります

「AIに学習されたくない」というご相談をいただくと、たいてい最初に出てくるのが「ホームページに何か書けばいいと聞いた」という話です。半分は当たっています。AIの会社は、自分たちの見回りロボット（クローラー）の名前を公表していて、ホームページの入口に「ここはロボットは来ないでください」と書けば、多くの会社はそれに従います。書き方も難しくありません。1社につき2行です。

ただ、この記事でいちばんお伝えしたいのは、そこではありません。「読ませる／読ませない」は、実際には3つの関門で決まっているということです。

第1の関門は、あなたが入口に貼った紙です。これは意思表示です。第2の関門は、受付が実際にどうしたかです。ここは貼り紙とは無関係に動きます。第3の関門は、そもそも貼り紙が効かない相手です。これは各社が自分でそう公表しています。

そして当社で実際に起きていたのは、第2の関門の話でした。入口には「どうぞ読んでください」と貼ってあるのに、受付はロボットを追い返していた。これに気づいたのが2026年9月3日です。詳しくは第5章に書きました。

先に、言葉を3つだけ（ここを読めば、あとは全部わかります）

この手の記事は、いきなり英語まじりの用語が出てきて読む気をなくします。なので先に、この記事で使う言葉を全部まとめておきます。会社の建物と、そこに見回りに来るロボットにたとえます。

あとは、このたとえの中で出てくる言葉が少しあるだけです。

この3つ（と、おまけの3つ）さえ頭に入れば、あとは全部読めます。以降、英語の名前が出てきたら「ああ、ロボットの名前ね」と読み飛ばしていただいて構いません。

日本の主要企業70社の「貼り紙」を、実際に見に行きました

この記事を書くにあたって、まず統計を探しました。「日本の会社のうち、何割がAIを止めているのか」。ところが、それを直接調べた公的な調査は、今回の調査範囲では見つかりませんでした。「無い」と断定はしません。私が見つけられなかっただけかもしれません。

そこで、推測で書く代わりに、自分の足で見に行きました。日本の上場事業会社55社と、新聞・通信・放送・出版15社の合計70社について、2026年9月3日に入口の貼り紙（robots.txt）を1件ずつ確認しました。この貼り紙は、誰でも見られる公開ファイルです。

結果、53社分の中身を確認できました。残り17社は、紙が見つからない、別のページに飛ばされる、といった理由で確認できていません。⚠ここが大事なのですが、確認できなかった17社を「止めていない」には数えていません。見つからなかったことは、無いことの証拠にはならないからです。

出典：当社調べ。2026年9月3日に各社の公開robots.txt（入口の貼り紙）を取得し、AI関連の23のロボット名について「来ないでください」の記載があるかを判定。分母は中身を確認できた社数。事業会社は製造・小売・IT・金融・建設・運輸・医薬から選定。

止めていた10社は、中途半端には止めていませんでした

読売新聞・東京新聞・中日新聞は、今回調べた23のロボット名をすべて拒否しています。朝日新聞は22、毎日新聞・産経新聞・時事通信は20、日本経済新聞は18でした。

サイバーエージェントの書き方は示唆的です。全部止めるのでも、全部開けるのでもなく、選んで止めている。学習に使われそうなものだけ断って、検索や回答に関わるものは通しています。「全部か0か」ではないという実例です。

逆に、わざわざ「どうぞ」と書いている会社もありました

出典：当社調べ。各社の公開robots.txtを2026年9月3日に取得。この貼り紙は誰でも閲覧できる公開ファイルです。ここでは「そう書いてあった」という事実だけを記載しており、各社の判断の当否について当社は評価していません。

この3社が示しているのは、選択肢が「全部止める」か「何もしない」の2つではないということです。特定の場所だけ止める。学習だけ止めて検索は残す。あるいは、止めないことをはっきり書く。実際にそうしている会社があります。

世界の数字と並べると

世界でも似た傾向です。Cloudflareという会社が2025年6月に自社の通信を測ったところ、世界の上位1万サイトのうち、貼り紙が見つかった3,816件で、AIのロボットを名指しして許可か拒否をしていたのは546件（約14%）でした。⚠この14%は「1万サイトの14%」ではありません。分母は3,816です。

ニュースサイトに限ると数字は跳ね上がります。オックスフォード大学ロイター研究所の調査では、10か国の主要ニュースサイトの48%が、2023年12月時点でChatGPTのロボットを拒否していました。⚠ただしこれは2年9か月前のデータで、対象も各国の大手ニュースサイトです。中小企業の姿ではありません。同じ調査は「2023年のうちに、いったん断った媒体が許可に戻した例はゼロだった」とも報告しています。

出典：Cloudflare「From Googlebot to GPTBot: Who’s crawling your site in 2025」（2025年7月1日公開・2025年6月のデータ）／Reuters Institute for the Study of Journalism「How many news websites block AI crawlers?」（2024年2月22日公開・2023年12月時点）。いずれも発表元のページを当社が直接確認しています（2026年9月3日）。

日本の事業会社2.6%は、世界の14%より低い数字です。ただし調べ方も分母も違うので、並べて「日本は遅れている」と読むのは早すぎます。確かに言えるのは、ものやサービスを売っている会社は、日本でも世界でも、多数派は止めていないということです。

うちの貼り紙は、たった6行です

当社の貼り紙（robots.txt）です。人に「どうしますか」と聞かれておいて自分の手の内を見せないのは不誠実だと思うので、当社のものをそのまま出します。https://ytbs.jp/robots.txt を開けば、いまも同じものが見られます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ytbs.jp/sitemap.xml
Sitemap: https://ytbs.jp/sitemap.rss

当社の実物。2026年9月3日にブラウザで取得（受付の対応は200＝どうぞ）。

英語が並んでいますが、言っていることは単純です。日本語にするとこうなります。

なぜ止めていないのか

理由は3つあります。

「どうぞ」と貼ってあるのに、受付が追い返していました

第2章で説明した「ウェブの図書館」＝Common Crawlの話です。ここには目録が公開されていて、自社の資料が何ページ置いてあるかを、誰でも無料で数えられます。

当社の分を、2026年1月から8月までさかのぼって数えました。結果がこれです。

出典：Common Crawl公式の目録（index.commoncrawl.org）に当社ドメインを問い合わせ、記録を全部取得して集計。2026年9月3日実施。⚠件数がぶれないよう、同じ集計を2回ずつ別々に実行し、8か月分すべてが完全に一致することを確認しています。

どうやって見つけたか

正直に書きます。この記事を書くまで、当社はこれに気づいていませんでした。

きっかけは、記事のために「うちは止めていません」と書こうとしたことでした。書く前に確かめる、というのが当社のやり方です。入口の貼り紙を開いて「AIのロボット名はひとつも書いていない」と確認したところまではよかったのですが、そこで「では、実際に読まれているのか」が気になりました。それで図書館の目録を調べたら、5か月分がゼロだった、という順番です。

ブラウザから当社のホームページを開けば、同じ日にふつうに表示されます。人には見えていて、ロボットにだけ「お断り」が返っていたということになります。

原因が分かりました｜受付は、サーバーの設定でした

9月3日の時点では、原因が分かっていませんでした。翌日、契約しているサーバー会社の管理画面を開いて、見つけました。「ウェブサイトアクセス制御」という設定があり、そこがオンになっていました。

開いてみると、こう書いてありました。

カテゴリは3つありました。そしてオンになっていたのは、いちばん上の1つだけでした。

⚠ 誤解のないように書いておきます。これはサーバー会社が用意している、まっとうな機能です。クローラーの巡回はサーバーの負荷になるので、止められること自体は役に立ちます。問題は機能ではなく、当社がそれに気づいていなかったことだけです。

ところが、名前と中身は一致していませんでした

オンにしていたのは「AIデータスクレイパー」だけです。「AI検索クローラー」は制限していません。ですから当社としては「学習は断るが、検索は通す」つもりの状態でした。

ところが、実際にロボットの名前を名乗って自社サイトを取得してみると、こうなりました。

当社実測。設定オンのときの測定は2026年9月4日の朝、オフにした後の測定は同日10時39分（6つの名前×3ページ＝21件すべて200）。いずれも未ログイン・キャッシュ回避つき。

4行目を見てください。「AI検索クローラー」は制限していないのに、Anthropicの”検索用”であるClaude-SearchBotも断られていました。

⚠ これは「設定の分類が間違っている」という話ではありません。当社が自社のサーバーの応答を測って言えるのは、ここまでです。どの名前がどのカテゴリに入るのかは公表されていないので、そこは分かりません。なお、この間はClaudeの検索で当社が出にくくなっていた可能性があります。

直しました。ただし「戻った」とはまだ言えません

2026年9月4日、この設定をオフにしました。そのうえで、もう一度まったく同じ測り方をしました。結果は上の表の右端のとおりで、6つの名前で3ページずつ、21件すべてが200（どうぞ）になりました。

⚠ ただし、「ウェブの図書館に載るようになった」とは、まだ言えません。200が返るようになったことと、実際に目録に載ることは別です。この目録はおよそ月に1回まとめて公開されるので、確かめられるのは9月分・10月分が出てからです。分かったら、この記事に追記します。

この話から、持ち帰っていただきたいこと

2つあります。

当社は、AIに読ませることを勧める側の会社です。その会社が、5か月間まったく読まれていなかったことに気づいていませんでした。止めたい側の会社でも、同じことは起きます。書いたつもりなのに止まっていない、ということも当然あり得ます。

だから、止め方を調べる前に、いまどうなっているかを確かめてください。やり方は第13章に書きました。5分で終わりますし、お金もかかりません。

見回りのロボットは、1種類ではありません

「AIのロボット」とひとくくりにされがちですが、各社は用途ごとに別の名前を用意しています。理由は単純で、会社側が用途ごとに選べるようにするためです。OpenAI（ChatGPTの会社）は、公式の説明の中で「それぞれの設定は互いに独立している」と書いています。

出典：OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web…」、Google「Google’s common crawlers」、Perplexity「Perplexity Crawlers」、Common Crawl「CCBot」。いずれも当社が2026年9月3日に原文を確認しています。

とくに大事なのが3行目です。人が「このページを読んで」とAIに頼んだ場合は、貼り紙に書いても止まらないことがあると、各社が自分で公表しています。詳しくは第9章で扱います。

止めたいとき、どこに何を書くのか

以下は、2026年9月3日時点で各社の公式ページを開いて確認した一覧です。英語の名前は「ロボットの名前」だと思って、読み飛ばしていただいて構いません。大事なのは右の2列です。

⚠各社の方針は変わります。この表は「そのとき何と書いてあったか」の記録であって、永久に正しいものではありません。

出典（すべて2026年9月3日に当社が原文を確認）：OpenAI／Google／Anthropic／Common Crawl／Perplexity／Apple／Meta／Microsoft。

担当者に伝えていただきたい、間違えやすい3点

実際に設定するのは、社内のWeb担当者か制作会社になると思います。その方に渡していただきたい注意を、公式の説明から3つだけ拾いました。

設定の手順そのものをもっと詳しく知りたい方は、テクニカルSEOは自分でできる｜Claude×生成AIで改善した実録をご覧ください。この記事は、手順ではなく止めるかどうかの判断を扱っています。

「入らないで」と「名簿に載せないで」は、別のお願いです

Googleの公式ページに、はっきり書いてあります。

入口の貼り紙は、あくまで「入らないでください」というお願いです。検索結果から消すための道具ではありません。実際、貼り紙で断ったページでも、他のサイトからリンクされていれば、アドレスだけが検索結果に出ることがあります。

では検索結果から消すにはどうするかというと、noindex（ノーインデックス）という別のお願いを使います。これはページ1枚ごとに貼る「名簿に載せないで」の札です。ここで、多くの人がやってしまう事故があります。

理屈は単純です。入口で「入らないで」と言っているので、ロボットは部屋に入れません。入れないので、部屋の中に貼った「名簿に載せないで」の札を読めません。読めないので、効きません。

つまり「念のため両方やっておこう」が、いちばん危ない選択になります。

出典：Google 検索セントラル「robots.txt の概要」「noindex で検索インデックス登録をブロックする」。当社が2026年9月3日に原文を確認。引用は Creative Commons Attribution 4.0 License に基づきます。

当社は、609ページに「名簿に載せないで」の札を貼った側です

これは他人事ではありません。当社は古い記事609ページに noindex を貼って、検索結果から下げました。読まれる価値が薄くなった記事を残しておくと、サイト全体の評価を下げるからです。

このとき、入口の貼り紙はいっさい触っていません。触ってしまうと、いま説明した理由で札が効かなくなるからです。「検索から下げたい」なら札、「読みに来ないでほしい」なら入口の貼り紙。目的が違えば、道具も違います。

なお、これは「AIに自社のデータを渡す」話とも別です。渡す側の話はAIに何を食べさせるか｜「学習させ方」を調べる前に、渡す量を見てください、AIに入力してはいけない情報は生成AIに入力してはいけない情報で扱っています。この記事は読まれる側の話です。

貼り紙では止められないものが、4つあります

ここは、この記事でいちばん誠実に書きたい章です。入口の貼り紙（robots.txt）は万能ではありません。そしてそれは当社の推測ではなく、各社が自分で公表していることです。

最後の行を、具体的に引くとこうなります。OpenAIは「利用者が始めた動作なので、お願いが適用されない場合がある」。Perplexityは「利用者が要求した取得なので、一般にお願いを無視する」。Metaは「迂回することがある」。3社とも、自分で公表しています。

つまり、誰かがあなたの会社のページのアドレスをAIに貼り付けて「これを要約して」と頼めば、入口に何が貼ってあっても読まれる可能性があるということです。ここは技術で塞げません。

止めたら、何が起きるか

まず、はっきりさせておきます。当社は、AIを意図的に断ったことがありません。（第5章のとおり、知らないうちに断っていた期間はありました）ですから「断ったら問い合わせが何割減った」というようなデータを、当社は持っていません。持っていないものを、あるように書くつもりはありません。

言えるのは2つです。ひとつは各社が公式に書いている「断るとこうなる」。もうひとつは当社が実際に測っている、AI経由の訪問です。

当社が測れている数字

当社のアクセス解析には「AI Assistant」という区分があり、AI経由で来た訪問がここに入ります。2025年8月22日から2026年8月22日までの1年間で、107回、全体の0.11%でした。

この0.11%を、当社は「AI経由は、まだ主要な入口ではない」の裏づけとして使っています。盛るつもりはありません。ただし、これは下限の数字です。この区分に入らない経路もあるので、実際はもう少し多いはずですが、どのくらい多いかは分かりません。

⚠「増えている」とも、この記事では書きません。この区分のラベル自体が付き始めたのが最近で、分子と分母の期間が揃っていないためです。期間の揃っていない数字で傾向を語らないというのが、当社の決まりです。

当社の考えに反するデータも、出しておきます

「読ませたほうがいい」と当社は考えていますが、それに反する実測もあります。Cloudflareが2025年6月に測ったところ、AI各社が読みに来た回数に対して、実際に返ってきた訪問の比率は、最も低い社で約7万回に1回でした。7万回読まれて、訪問は1回という計算になります。

⚠この数字は、発表元自身が「一部の経路では訪問が数えられないため、比率が実際より大きく出ている可能性がある」と注意書きをしています。それでも、「読ませれば訪問が返ってくる」という単純な話ではないことは示しています。

また同社は2026年6月時点で、ロボットからの要求の52%がAIの勉強目的（1年前は22%）とも報告しています。読まれる量そのものは、確実に増えています。

出典：Cloudflare「The crawl before the fall… of referrals」（2025年7月1日公開・2025年6月19〜26日のデータ）／同「Content Independence Day, one year on」（2026年7月1日公開）。当社が2026年9月3日に原文を確認。⚠いずれも同社のネットワークを通る通信の実測で、日本のサイト単独の数字ではありません。

それでも止めたほうがいい場合

次のような領域を持っている会社は、止めることを検討する意味があります。

強調したいのは3行目です。「AIに読まれたくない情報」の多くは、実は「誰にも読まれてはいけない情報」です。AIを断っても、人はふつうに見られます。検索にも載ります。画面を撮られることもあります。

ですから、ご相談をいただいたときに当社が最初に聞くのは「何を止めたいですか」ではなく、「それは、そもそもホームページに載せておいてよい情報ですか」です。ここで「載せなくていい」となる場合が、実際にあります。止める設定より先に、載せないという選択があります。

3つのうち、どれにしますか

業種で決まる、という言い方は乱暴です。ただ、今回の実測を並べると傾向ははっきりしています。記事そのものを売っている会社は止める。ものやサービスを売っている会社は止めない。あなたの会社が後者なら、多数派は「止めない」です。

そして、どれを選ぶにしても、費用はかかりません。入口の貼り紙を直す作業自体は0円で、5分もあれば終わります。かかるのは、判断のための時間だけです。

今日やること、3ステップ（10分・0円）

ステップ2のやり方（当社がやったのと同じ手順）

Common Crawlは、目録を誰でも無料で使えるように公開しています。ブラウザのアドレス欄に、次の形で入力するだけです。「自社ドメイン」の部分を、自社のホームページのアドレス（例：example.co.jp）に置き換えてください。

https://index.commoncrawl.org/CC-MAIN-2026-34-index?url=自社ドメイン/*&output=json

見方は3つだけです。

Web担当者・制作会社に、そのまま送れる文面

ご自身で作業する必要はありません。以下をコピーして送っていただければ、話が通じます。

【現状を確認したいとき】

お世話になっております。
生成AIのクローラー（AI各社の巡回ロボット）について、
現状を確認したいので、下記を教えてください。

1. 当社サイトの robots.txt に、AI関連のユーザーエージェント
   （GPTBot / ClaudeBot / CCBot / Google-Extended / PerplexityBot など）
   の記述があるか。あれば、どれをどう指定しているか
2. サーバー側のセキュリティ機能やボット対策で、
   これらのクローラーを弾いていないか（403を返していないか）
3. 上記1と2が、当社の意図と一致しているか

背景：robots.txtで許可していても、サーバー側で
遮断されていて実際には読まれていない、というケースがあるため、
2点セットで確認したいという趣旨です。

【止めると決めたとき】

お世話になっております。
生成AIの学習用クローラーについて、下記の方針で
robots.txt の設定をお願いできますでしょうか。

・止める対象：（例）学習用のみ／検索用も含めて全部
・残す対象　：（例）検索用は残す

あわせて、次の2点にご注意ください。

1. noindex を併用しないこと
   （robots.txtでブロックすると noindex が読まれず、
   　かえって検索結果から消えなくなるため）
2. 設定後、実際に反映されているかを確認いただきたいこと
   （書いたつもりで効いていない場合があるため）

⚠この確かめ方で分かるのは「ウェブの図書館」の収録状況だけで、AI各社が独自に回っている分は含まれません。それでも、「まったく読まれていない」に気づくには十分です。当社はこれで気づきました。

よくある質問（FAQ）

まとめ