スクレイピング禁止と利用制限――規約・技術措置・データ保護をどう組み合わせるか
はじめに
プラットフォーム型サービスでは、商品情報、求人情報、プロフィール、投稿、レビュー、価格、店舗情報など、第三者にとって価値のあるデータが蓄積されます。そのため、競合事業者、データ仲介業者、価格比較サービス、営業リスト作成事業者、検索・生成AI向けクローラーなどによる自動取得が問題になりやすくなります。
もっとも、「スクレイピング禁止」と利用規約に一行書けば十分というわけではありません。登録ユーザーと匿名のクローラーでは契約関係の有無が異なり、公開された事実データには著作権がないこともあります。反対に、ログイン制御を回避した取得、個人情報の大量収集、著作物や創作性のあるデータベースの複製、限定提供データの不正取得など、別の法的問題が生じる場合もあります。
この記事の結論
スクレイピング対策は、①誰を規約で拘束できるか、②何を禁止するか、③どのデータにどの権利・法的保護があるか、④技術的にどうアクセスを制御するか、⑤違反時にどの証拠を残し、どの措置を取るか、の5層で設計します。「公開情報だから自由」「規約に書けば必ず禁止できる」という両極端な整理は避けるべきです。
1. スクレイピングは「適法か違法か」の二択ではない
スクレイピングとは、ウェブサイトやアプリ等からプログラムを用いて情報を自動取得する行為を広く指します。自動取得という技術それ自体を一律に禁止する法律があるわけではなく、法的評価は、対象データ、アクセス方法、取得量、利用目的、規約への同意、アクセス制御の有無、取得後の利用方法によって変わります。
| 確認軸 | 問題になりやすいポイント |
|---|---|
| アクセス主体 | 登録ユーザーか、未登録の訪問者か、外部Botか |
| アクセス方法 | 公開ページか、ログイン後か、APIか、アクセス制御を回避したか |
| 取得対象 | 事実データ、著作物、個人情報、限定提供データ、営業秘密等 |
| 取得規模 | 単発閲覧か、反復・大量取得か、サービス負荷を生じさせるか |
| 利用目的 | 社内分析、価格比較、転載、競合サービス、AI学習、営業利用等 |
| 取得後の行為 | 保存、再配布、公衆送信、データベース化、第三者販売等 |
したがって、プラットフォーム事業者は「スクレイピング禁止条項」だけを置くのではなく、アクセス制限、データ利用制限、技術的回避の禁止、API利用条件、アカウント措置、権利帰属・利用許諾、証拠保存を一つのルール体系として整える必要があります。
2. 最初に分けるべきは「登録ユーザー」と「匿名クローラー」
2-1. 登録ユーザーには規約を契約へ組み込む設計が重要
会員登録、出店申込み、サービス申込み等の場面で利用規約を明示し、同意操作を経て利用を開始する設計であれば、禁止行為条項を契約上の義務として位置付けやすくなります。経済産業省の2025年版「電子商取引及び情報財取引等に関する準則」も、ウェブサイト利用規約の定型約款該当性や、定型約款の規定が適用されない利用規約の契約への組入れを整理しています。
重要なのは、利用規約へのリンクをサイトの片隅に置くだけでなく、申込画面で規約の存在と適用を明確にし、同意時点のバージョンを記録することです。違反時に「どの禁止条項に、いつ同意したのか」を証明できなければ、条文が詳細でも実効性は下がります。
2-2. 匿名のクローラーは、規約だけで当然に拘束できるとは限らない
未登録の第三者が公開ページへ直接アクセスする場合、サイト上に利用規約を掲載しているだけで、当然にその者との間に契約が成立しているとは限りません。特に、クローラーが規約画面を経ずにURLへ直接アクセスする場合には、「スクレイピング禁止」と書いてあることだけを契約違反の根拠とするのは不安定です。
匿名クローラーへの対策では、規約に加えて、robots.txt等の機械可読な意思表示、レート制限、WAF、APIキー、ログイン制御、アクセス拒否通知、IP・User-Agent等のログ保存を組み合わせます。robots.txtは重要な運用上のシグナルですが、それ自体が常に契約成立を意味するものではないため、技術措置と法的根拠を重ねる設計が必要です。
2-3. robots.txtは「アクセス認証」そのものではない
robots.txtは、自動クローラーに対してアクセス方針を機械可読な形で伝えるための標準的な仕組みです。RFC 9309も、robots.txtのルールはアクセス認証の仕組みではないことを明示しており、コンテンツを実際に保護する必要がある場合には、HTTP認証等の有効なセキュリティ措置を用いるべきとしています。
そのため、robots.txtでDisallowを設定した領域をクローラーが取得したという事実だけで、不正アクセス禁止法違反や契約違反が当然に成立するわけではありません。保護の必要性が高いデータは、ログイン認証、APIキー、WAF、アクセス権限その他の技術措置で実際にアクセスを制御し、robots.txtはその方針を補完するシグナルとして位置付ける方が安全です。
3. 禁止条項は「スクレイピング」の一語で終わらせない
「スクレイピング、クローリングその他の自動取得を禁止する」とだけ定めると、検索エンジン、監視ツール、アクセシビリティ支援、正規API利用、提携先のデータ連携まで巻き込む可能性があります。一方、文言が狭すぎると、名称を変えた自動取得や、複数アカウントを用いた分散取得を捕捉できません。
| 条項カテゴリー | 規定したい行為 |
|---|---|
| 自動アクセス | Bot、クローラー、スクレイパー、RPA等を用いた反復・自動アクセス |
| 大量取得 | 通常利用の範囲を超える一括取得、連続取得、網羅的収集 |
| 回避行為 | CAPTCHA、レート制限、アクセス制御、robots設定その他の制限の回避 |
| 識別回避 | IPローテーション、プロキシ、複数アカウント等による制限回避 |
| データ二次利用 | 転載、再販売、競合DB構築、営業リスト化、価格・在庫の再配信 |
| AI・機械学習 | 学習、ファインチューニング、RAG用DB構築等への利用を制限する場合は明示 |
| 認証情報 | アカウント・APIキーの共有、貸与、第三者利用 |
| システム負荷 | 過大なリクエスト、脆弱性探索、サービス運営を阻害するアクセス |
禁止対象は、取得「方法」と取得後の「目的・利用」を分けて書くことがポイントです。自動取得自体は許容するが競合サービスへの転載は禁止する、研究目的の取得は申請制で許可する、といった事業方針も可能です。
4. 例外・許可ルートを用意すると規約が運用しやすい
全面禁止だけでは、正当な連携まで阻害することがあります。プラットフォームがデータ流通を事業機会として活用するなら、禁止条項と同時に「許可された取得方法」を定義しておくと運用が安定します。
- 運営者が明示的に許可した検索エンジンクローラー
- 公式API・データフィードを利用し、そのAPI規約を遵守する取得
- 書面又は管理画面上で個別承認を受けた提携先・研究機関
- 法令上必要なアクセスや、運営者が別途公表する許可リストに含まれるアクセス
公式APIを設ける場合は、ウェブスクレイピングを一律に禁止するだけでなく、「データ連携はAPI経由に限定する」「APIレート・キャッシュ期間・再配布範囲・終了時の削除」をセットで定めます。これにより、利用者側にも適法な代替経路を示せます。
5. 著作権――「データベースだから保護される」わけではない
5-1. 事実そのものと、表現・データベースを分ける
価格、日付、所在地、数値、在庫の有無など、事実や単なる情報それ自体が当然に著作物となるわけではありません。一方、商品説明、レビュー、写真、記事本文などは著作物となり得ます。また、著作権法第12条の2は、情報の選択又は体系的な構成に創作性があるデータベースを著作物として保護します。
したがって、スクレイピング対象が「データ」であるというだけでは著作権侵害とはいえませんが、著作物の複製や公衆送信、創作性のあるデータベースの複製等に当たれば、著作権法上の検討が必要です。取得段階と、取得データを競合サイトへ掲載する段階は分けて評価します。
5-2. 著作物が含まれていても、権利制限規定の検討は別途必要
スクレイピング対象に著作物が含まれている場合でも、複製が生じたことだけで直ちに著作権侵害になるとは限りません。著作権法第30条の4は、情報解析など、著作物に表現された思想又は感情の享受を目的としない利用について、必要と認められる限度で一定の利用を認めています。ただし、著作権者の利益を不当に害する場合は除外されるため、取得量、利用目的、提供方法等を踏まえた個別検討が必要です。
また、同法第47条の5は、電子計算機を用いた検索・情報解析とその結果の提供に付随する軽微利用について一定の権利制限を定めています。したがって、検索インデックス作成、情報解析、取得データの再掲載・販売などを一括して評価せず、「何のために取得し、どの範囲で保存し、利用者に何を提供するのか」を分けて検討することが重要です。利用規約による禁止と、著作権法上の権利制限規定の適用可否も別の問題です。
5-3. 日本にはEU型の独立した「データベース権」はない
EUでは、一定のデータベースについて著作権とは別のsui generis right(独自のデータベース保護)が問題になりますが、日本にはこれと同じ一般的な独立権があるわけではありません。日本で「データベース権侵害」とだけ表現するのは不正確です。日本法では、データベースの著作物、不正競争防止法上の限定提供データ、契約、個人情報、営業秘密等をそれぞれ検討します。
6. 不正競争防止法――「限定提供データ」は公開データ一般の保護制度ではない
不正競争防止法は、業として特定の者に提供する情報として、電磁的方法により相当量蓄積され、かつ管理されている技術上・営業上の情報を「限定提供データ」として一定の保護対象にしています。経済産業省は、限定提供性、相当蓄積性、電磁的管理性の3要件を示しています。
そのため、誰でも自由に閲覧できるウェブ上の情報が当然に限定提供データになるわけではありません。他方、有料会員向け、契約企業向け、API契約者向けなど、特定の者に限定して提供し、ID・パスワードやアクセス管理で管理しているデータは検討対象になり得ます。プラットフォーム側では、保護したいデータを「公開領域」と「限定提供領域」に分けて設計することが重要です。
7. 個人情報――公開プロフィールでも無条件に大量収集できるとは限らない
SNSプロフィール、求人サイトの経歴、事業者紹介ページ等には、個人情報が含まれることがあります。個人情報保護委員会のガイドラインは、インターネット上で本人が自発的に公開している個人情報を取得した場合でも、単に閲覧しただけの場合を除き、原則として利用目的の通知又は公表が問題となることを示しています。
また、個人情報保護法は偽りその他不正の手段による取得を禁止し、要配慮個人情報の取得には原則として本人同意を求めています。公開情報のスクレイピングを営業リスト、人物評価、プロファイリング等へ利用する場合は、「公開されていた」という一点だけではなく、取得方法、利用目的、要配慮情報の有無、第三者提供等まで確認する必要があります。
8. アクセス制御を回避した取得は、公開ページの閲覧とは別問題
不正アクセス禁止法は、電気通信回線に接続されたコンピュータについて、アクセス管理者が識別符号等を確認して利用を制限する「アクセス制御機能」を前提に、他人の識別符号を入力したり、当該アクセス制御機能による制限を免れる情報・指令を入力したりする行為を「不正アクセス行為」として規制しています。単にサイト運営者がアクセスを望まないというだけではなく、同法上のアクセス制御機能に該当するかを確認する必要があります。
したがって、誰でも閲覧できる公開ページを通常の方法で取得することと、他人のID・パスワードを利用する、ログイン認証を迂回する、法定のアクセス制御機能による制限を免れる情報・指令を入力するといった行為は分けて考える必要があります。一方、robots.txt、単純なレート制限、CAPTCHA等の運用上の制限を回避したことだけで、直ちに同法上の不正アクセス行為となるとは限りません。
もっとも、不正アクセス禁止法に該当しない場合でも、規約違反、業務妨害、著作権・不正競争防止法その他の問題がなくなるわけではありません。利用規約では、認証回避だけでなく、レート制限、CAPTCHA、WAF、APIキーその他の技術的・運用上の制限の回避を契約上の禁止行為として具体的に定め、刑事法上の「不正アクセス」と契約上の「技術制限違反」を混同しないことが重要です。
9. AIクローラーへの対応は「学習禁止」とアクセス管理を分ける
生成AIの普及により、ウェブ上のコンテンツを学習データや検索拡張用データとして取得するクローラーへの対応が問題になっています。プラットフォームがAI学習利用を認めない方針であれば、利用規約上のデータ利用制限に「モデル学習、追加学習、ファインチューニング、埋め込み生成、RAG用データベース構築等」を含める方法があります。
ただし、匿名クローラーについては契約上の拘束力だけに依存しない方が安全です。robots.txt等の機械可読な設定、クローラー識別、レート制限、IP・User-Agentログ、必要に応じたアクセス遮断を併用します。著作権法上のAI学習の適法性は別論点であり、規約で禁止したことだけで著作権侵害になるわけでも、逆に著作権法上の権利制限が検討できるから契約・アクセス条件を無視してよいわけでもありません。
10. 「データはすべて当社の所有物」と書くのは避ける
プラットフォームには、自社作成データ、出店者の商品情報、ユーザー投稿、レビュー、写真、公開事実データなど、権利関係の異なる情報が混在します。そのため、「本サービス上の全データの所有権は当社に帰属する」と一括して定めると、ユーザーや出店者が権利を持つコンテンツまで自社権利であるかのような誤解を招きます。
規約では、①自社が著作権その他の権利を有するコンテンツ、②ユーザーが権利を保持したまま運営に必要な利用許諾を行う投稿、③著作権の対象とならない事実データ、④契約上アクセス・二次利用を制限するデータを区別します。「権利帰属」と「契約上の利用制限」を分けて書くことが重要です。
11. 違反時の措置は段階設計にする
スクレイピングを検知した場合、常に即時アカウント削除や損害賠償請求から始める必要はありません。緊急性、悪質性、システム負荷、データの性質に応じて段階的な措置を設計します。
| 段階 | 主な措置 | 保存しておく証拠 |
|---|---|---|
| 検知 | レート制限、CAPTCHA、監視強化 | 日時、IP、User-Agent、URL、リクエスト量 |
| 警告 | 停止要請、規約条項・許可APIの案内 | 通知文、送達記録、相手方情報 |
| 制限 | IP/APIキー制限、アカウント一時停止 | 制限理由、判定ログ、影響範囲 |
| 停止・解除 | アカウント停止、API契約解除 | 同意規約の版、違反履歴、社内承認 |
| 法的対応 | 差止・損害賠償等を検討 | 取得データ、転載先、損害資料、技術解析 |
特に、契約違反を主張する場合は、利用者が同意した規約のバージョンと同意ログが重要です。匿名クローラーに対しては、規約掲載履歴だけでなく、アクセス拒否通知後も継続したか、技術制限を回避したかという経緯が実務上重要になります。
11-1. 証拠ログも「保存すればよい」わけではない
スクレイピング対策では、IPアドレス、User-Agent、アクセス時刻、閲覧URL、リクエスト回数、アカウントID等を保存することがあります。これらは違反立証に有用ですが、他の情報と容易に照合して個人を識別できる場合には個人情報となり得ます。また、個人に紐づく閲覧履歴等は、個人情報に当たらない場合でも個人関連情報として扱われることがあります。
そのため、「証拠だから無期限に保存する」という運用は避け、利用目的、保存期間、閲覧権限、法的紛争が発生した場合の保全延長、外部弁護士や調査会社への共有手続等をあらかじめ定めます。通常ログと法的保全対象ログを分け、インシデント発生時に必要な範囲だけ保存期間を延長できる設計にすると、証拠保全とデータ最小化を両立しやすくなります。
12. アカウント停止条項は「スクレイピング対策」だけで設計しない
利用停止・強制退会はスクレイピング対策の重要な手段ですが、停止によって利用者の事業が止まるプラットフォームでは影響が大きくなります。緊急性の高い攻撃・不正アクセスと、通常の規約違反・支払遅延を分け、事前通知・是正期間・部分停止の要否を整理する方が安全です。
また、特定の大規模デジタルプラットフォームには、デジタルプラットフォーム取引透明化法による追加の規律があります。指定された特定デジタルプラットフォーム提供者については、取引条件等の開示に加え、同法第5条第4項と施行規則により、提供条件の変更は原則として15日前までに事前開示することが求められます。利用事業者側の作業・調整に15日を超える期間が見込まれる場合には、そのために必要と見込まれる合理的な日数を確保した日までの事前開示が必要です。また、一定の提供拒絶については30日前までの事前開示が定められています。例外規定もあるため、具体的な措置ごとに確認が必要です。これは全てのプラットフォームに一律適用されるルールではなく、指定対象となる特定デジタルプラットフォーム提供者に関する規律です。
13. 危険な条項と改善方向
| 危険な書き方 | 問題点 | 改善方向 |
|---|---|---|
| 当社データの取得を一切禁止する | 何が「当社データ」か不明。正規連携も巻き込む | 対象、方法、目的、例外を具体化する |
| 公開情報の取得もすべて違法である | 法的評価を過度に一般化している | 契約・著作権・個人情報・アクセス方法を分ける |
| 本サービス上の全データは当社に帰属する | ユーザー投稿や事実データの権利関係と矛盾し得る | 権利帰属と利用制限を分ける |
| 違反を発見したら直ちに永久停止する | 軽微な違反にも過剰。B2Bでは事業影響が大きい | 緊急停止・是正機会・部分停止を段階化する |
| 違反者は一切の損害を賠償する | 範囲が不明確で紛争化しやすい | 通常損害、調査費用等を合理的に設計する |
| 規約はいつでも自由に変更できる | 組入れ・変更の有効性、透明化法等の問題 | 変更手続、効力発生日、通知方法を設計する |
14. 規約と技術措置を一体で運用する
実効性のあるスクレイピング対策は、法務部門が禁止条項を作るだけでは完成しません。プロダクト・セキュリティ・インフラ・営業・CSが同じ禁止基準を共有し、技術設定と契約条件を対応させます。
| 規約・契約 | 技術・運用 |
|---|---|
| 自動アクセス禁止 | Bot検知、レート制限、WAF |
| アクセス制御回避禁止 | CAPTCHA、認証、APIキー、異常検知 |
| API以外の大量取得禁止 | 公式API、利用量上限、キー単位の監視 |
| AI学習利用禁止 | robots設定、既知クローラー制御、ログ保存 |
| 違反時の停止 | 自動停止+人手レビュー、異議申立てフロー |
| 規約変更 | 版管理、同意ログ、通知履歴の保存 |
技術的には防げるのに規約に根拠がない、規約では禁止しているのに公式APIが無制限で再配布を許している、といった不整合を避けます。
15. 実務フロー――規約改定前に決めるべきこと
- 保護したいデータを分類する。公開情報、会員限定情報、個人情報、ユーザー投稿、APIデータ等に分ける。
- 許容する取得と禁止する取得を決める。検索エンジン、提携先、API、研究利用等の例外も決める。
- 利用者類型を分ける。登録ユーザー、出店者、API契約者、匿名訪問者・Botを区別する。
- 禁止行為を、取得方法・回避行為・取得後の二次利用に分けて規約へ反映する。
- 技術措置を規約と対応させる。robots設定、レート制限、WAF、認証、APIキー等を確認する。
- 停止・警告・異議申立て・契約解除の手順を定め、誰が判断するかを決める。
- 規約版、同意ログ、アクセスログ、通知履歴を保存し、法的対応に使える証拠を整える。
16. 17項目チェックリスト
- 登録ユーザーと匿名クローラーを分けているか
- 規約が契約へ組み込まれる同意導線を設けているか
- 同意時点の規約バージョンを保存しているか
- 自動取得・大量取得・分散取得を具体的に定義しているか
- アクセス制御・レート制限等の回避を禁止しているか
- 取得後の転載・販売・競合DB構築を制限しているか
- AI学習・RAG等を制限する場合、その用途を明記しているか
- 検索エンジン・提携先・公式API等の例外を整理しているか
- データの権利帰属と契約上の利用制限を分けているか
- 著作物・データベース・事実データを区別しているか
- 著作権法上の権利制限規定(第30条の4、第47条の5等)を検討しているか
- 限定提供データとして管理したい領域をアクセス制御しているか
- 公開プロフィール等の個人情報取得リスクを想定しているか
- 違反時の警告・制限・停止・解除を段階化しているか
- アクセスログ・通知履歴・同意ログを証拠として保持しているか
- アクセスログ等について保存目的・保存期間・閲覧権限を定めているか
- 透明化法その他の業規制が自社に適用されるか確認しているか
17. よくある質問
Q1. 公開されている情報なら自由にスクレイピングできますか?
一律にはいえません。対象が単なる事実か著作物か、個人情報を含むか、規約への同意があるか、アクセス制御を回避したか、取得後に転載・販売するか等で評価が変わります。
Q2. 利用規約にスクレイピング禁止と書けば、第三者を必ず拘束できますか?
いいえ。登録時に規約へ同意した利用者には契約上の主張をしやすくなりますが、未登録の匿名クローラーについて、規約掲載だけで当然に契約が成立するとは限りません。
Q3. 日本ではデータベース権でスクレイピングを止められますか?
日本にはEU型の一般的な独立データベース権はありません。創作性のあるデータベースの著作権、不正競争防止法上の限定提供データ、契約その他の根拠を個別に検討します。
Q4. robots.txtで禁止すれば法的に十分ですか?
robots.txtは重要な機械可読のアクセス方針ですが、RFC 9309上もアクセス認証そのものではありません。保護が必要なデータはログイン認証、APIキー、WAF等で実際にアクセスを制御し、規約・ログ保存と組み合わせる必要があります。
Q5. AIクローラーだけを禁止できますか?
可能です。AI学習、ファインチューニング、RAG等を対象にした利用制限を設け、既知クローラーへの技術設定と組み合わせる方法があります。ただし著作権法上の適法性とは別問題です。
Q6. 公開プロフィールを営業リストに使うスクレイピングは問題ありませんか?
個人情報を取得する場合は、利用目的の通知又は公表、適正取得、要配慮個人情報等の個人情報保護法上の論点を確認する必要があります。
Q7. 違反を検知したら直ちにアカウント停止してよいですか?
重大な攻撃や不正アクセスでは即時措置が必要な場合がありますが、通常違反では是正機会や部分停止も検討します。プラットフォームの性質や適用法令に応じた段階設計が重要です。
Q8. 規約は毎年改定した方がよいですか?
一律の年1回ルールはありません。新しい取得手法、AI利用、API仕様、法改正、実際の違反事例を踏まえ、必要時に改定できるレビュー体制を持つ方が重要です。
一次資料・公的資料
- 経済産業省「電子商取引及び情報財取引等に関する準則」(2025年2月改訂)
- e-Gov法令検索「著作権法」(第12条の2、第21条、第23条、第30条の4、第47条の5等)
- 文化庁「著作権法の一部を改正する法律(平成30年法律第30号)について」・「柔軟な権利制限規定に関する基本的な考え方」
- 経済産業省「限定提供データに関する指針」・限定提供データと利活用
- 個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」
- e-Gov法令検索「不正アクセス行為の禁止等に関する法律」
- RFC 9309「Robots Exclusion Protocol」
- 経済産業省「デジタルプラットフォーム取引透明化法」関連資料
- e-Gov法令検索「特定デジタルプラットフォームの透明性及び公正性の向上に関する法律施行規則」(事前開示期限)
まとめ
プラットフォーム規約におけるスクレイピング対策で重要なのは、「禁止」と書くことではなく、誰をどの根拠で拘束し、どのデータをどの方法から守り、違反時にどの証拠で対応するかを設計することです。登録ユーザーには規約の組入れと同意証拠を整え、匿名クローラーには技術措置とアクセス管理を重ねます。
また、日本では事実データ、著作物、創作性のあるデータベース、限定提供データ、個人情報を分け、著作権法上の権利制限規定や不正アクセス禁止法上のアクセス制御機能の要件まで個別に確認する必要があります。「公開情報は自由」「当社データだから全て権利で保護される」「robots.txt違反なら直ちに不正アクセス」といった単純化を避け、規約・API・技術措置・ログ管理を一体で整備することが、プラットフォームのデータ価値を守る実務的な方法です。
弊所へのご相談
弊所では、プラットフォーム型サービス、SaaS、マーケットプレイス、求人・人材サービス等の利用規約作成・改定、スクレイピング・API利用・データ二次利用に関する条項設計、アカウント停止や違反対応、個人情報・著作権・不正競争防止法を含むデータ法務についてご相談を受け付けています。実際のサービス仕様とデータフローを確認したうえで、規約と技術運用が矛盾しない形に整理することが重要です。