AI導入企業のリスクマネジメント：ハルシネーション対策の法務

誤情報を前提に、用途分類・評価指標・RAG・人の確認・契約・事故対応まで整理

1　ハルシネーションを「AIが間違える問題」だけで捉えない

生成AIのハルシネーションとは、一般に、事実に基づかない内容、存在しない出典、誤った数値・日付・固有名詞等を、もっともらしい形で出力する現象を指します。ただし企業実務では、典型的な「架空情報」だけを監視すれば足りません。古い情報を最新情報のように回答する、正しい資料を検索しても内容を誤って要約する、出典と結論が対応していない、推測を事実のように断定する、といった出力も同じリスク管理の対象になります。

したがって、社内ルールで「AIは間違うので注意する」とだけ周知しても不十分です。何を誤りとして測定するか、どの誤りなら許容できないかを、用途ごとに具体化する必要があります。

2　法的リスクは「誤答したこと」より、どこでどう使ったかで変わる

AIが誤った出力をしたこと自体から、直ちに特定の法的責任が発生するわけではありません。実際の責任は、企業と顧客・取引先との契約内容、AIの利用目的、誤答によって生じた損害、企業側が講じていた確認・説明・安全措置、誤りを予見・回避できた程度などを踏まえて判断されます。

例えば、AIが生成した商品説明をそのまま広告に掲載し、実際より著しく優良であると一般消費者に示す結果となれば、AIが文章を作成したことを理由に景品表示法上の表示責任から当然に外れるわけではありません。景品表示法5条は、事業者による不当な表示を禁止しています。

3　2026年の民事責任手引きでは「補助／支援型」と「依拠／代替型」を分ける

経済産業省は2026年4月に「AI利活用における民事責任の解釈適用に関する手引き」を公表し、6月に更新しました。同手引きは新たな責任法を作るものではなく、AI利用時の不法行為法・製造物責任法等の考え方を、想定事例を用いて整理する資料です。AIの利用形態について、人の業務を補助する「補助／支援型AI」と、人の判断や作業の全部又は一部を実質的に置き換える「依拠／代替型AI」という視点が示されています。

ハルシネーション対策にもこの区別が有用です。同じ生成AIでも、社員が文章のたたき台を作る場面と、顧客への回答を無人で確定・送信する場面では、誤答が損害につながる経路が異なります。AIへの依存度が高く、誤りが外部へ直接作用するほど、事前評価、監視、説明、停止・訂正の仕組みを強くする必要があります。

4　用途ごとに「許容できる誤り」とリリース基準を決める

ハルシネーション率に、全業種・全用途で共通する一つの法的基準があるわけではありません。企業側で、誤答が生じた場合の影響度に応じて、要求する正確性・出典性・人の関与を決める必要があります。

同じ「正答率99％」でも、残り1％の誤りが軽微な言い回しのミスなのか、存在しない法令・治療法・料金を断定するのかで意味は全く異なります。平均的な正答率だけでなく、重大誤答の発生率、出典の正確性、回答拒否の適切性などを別々に確認することが重要です。

5　技術対策は「モデルを変える」だけではない

ハルシネーション対策は、モデル性能だけに依存しない方が安定します。業務で利用する情報を限定し、回答根拠を追跡できる仕組みを作り、危険な質問では回答を止めるなど、多層的に設計します。

• RAG等により、回答対象を承認済みの社内文書・一次資料へ根拠付けする。
• 出典URL・文書名・更新日・該当箇所を回答とセットで表示し、確認可能にする。
• 料金・税額・期限・計算等は、生成モデルに推測させず、確定データや計算ロジックへ接続する。
• 不明・根拠不足の場合に「分からない」と回答し、人へ引き継ぐ条件を決める。
• 禁止領域や高影響質問では、回答生成より先にルーティング・拒否・専門家確認を行う。
• モデル、システムプロンプト、RAGデータ、外部APIのバージョンを記録し、変更時に再評価する。

特に顧客対応では、「何でも答えるAI」よりも、回答できる範囲を狭く定義したAIの方が管理しやすい場合があります。安全性を高めるためには、回答率を100％に近づけることではなく、答えるべきでない質問を適切に拒否・エスカレーションできることも重要です。

6　RAG・出典表示も「正しい回答の保証」にはならない

RAG（検索拡張生成）は、社内資料や外部データベースから関連情報を検索し、その内容を基に回答を生成する方法で、ハルシネーションを抑える有力な手段です。ただし、RAGを導入しただけで誤答がなくなるわけではありません。

そのため、法務・コンプライアンス上は「RAGを使っているか」ではなく、どのデータを根拠にできるのか、更新責任者は誰か、回答と出典の整合性をどう評価しているかまで確認します。

7　人の確認は「全件目視」ではなく、リスクに応じて設計する

すべてのAI出力を専門家が一件ずつ確認する運用は、用途によっては現実的ではありません。一方、単に「利用者が確認する」と定めるだけでは、確認が形骸化しやすくなります。リスクに応じて、全件確認、サンプル確認、自動検知＋人へのエスカレーションを組み合わせます。

レビュー担当者には、「文章として自然か」ではなく、「根拠があるか」「最新か」「断定してよいか」「顧客との契約・表示内容と一致しているか」という確認観点を与えることが重要です。もっともらしい文章ほど誤りを見逃しやすいという生成AI特有の問題を前提にします。

8　ハルシネーションは定量評価する―AISI資料から学べること

AISIは2026年7月に「AIセーフティに関する評価観点ガイド第1.20版」を公表し、AIセーフティ評価を継続的に行う考え方を示しています。また、2026年4月公表の「ヘルスケア領域におけるAIセーフティ評価観点ガイド」では、分野限定の実装例ではあるものの、ハルシネーション率、事実整合性、RAGの適合率・再現率・引用の正確性などを評価指標例として挙げています。

この考え方は、他業種でも「正しそうに見えるか」ではなく、自社用途に合わせたテストセットと評価基準を持つ必要があることを示唆します。ヘルスケア向け資料の数値・手法をそのまま他業種の必須基準とするのではなく、自社の誤答リスクに合わせて指標を設計します。

評価用データには、通常質問だけでなく、曖昧な質問、古い情報を前提とした質問、数字の計算、似た制度名、意図的に誤りへ誘導する質問などを含めます。モデル更新、プロンプト変更、RAGデータ更新後には再評価し、変更前後を比較できる状態にします。

9　「誤答」だけでなく、重要事項・例外の「見落とし」を評価する

ハルシネーション対策では、AIが事実と異なる内容を生成するケースだけでなく、回答に必要な重要事項を落とすケースも管理対象にする必要があります。回答文に明確な誤りがなくても、例外規定、適用除外、反対方向の事情、追加で確認すべき前提条件が欠けていれば、利用者は不完全な回答を正しい結論として受け取るおそれがあります。

デジタル庁の2026年1月の先進的AI利活用アドバイザリーボードでは、構成員から、生成AIの問題を「誤った情報を提示するケース」と「関連情報が存在するにもかかわらず言及しない見落としのケース」に分けて考えるべきとの指摘があり、税務上の特例が例として挙げられました。これは法的な一律基準ではありませんが、法律・税務・人事・補助金・医療・金融等、例外や要件の組合せで結論が変わる業務の評価設計には有用な視点です。

• 必須論点のカバー率を確認し、回答に含めるべき要件・例外・注意事項が落ちていないかを評価する。
• 前提事実が不足している質問では、AIが推測で補わず、追加質問・回答留保・有人エスカレーションを行えるかを評価する。
• 正しい情報を列挙できるかだけでなく、適用除外や反対情報まで検索・提示できるかを確認する。
• 有人対応へ切り替える場合は、AIとの会話履歴、確認済み事項、未確認の前提、見落としの可能性がある論点を担当者へ引き継げるようにする。

とりわけ高影響用途では、「誤答率が低い」だけでリリース可否を判断しないことが重要です。重大な見落としが一件でも大きな損害につながる業務では、テストセットに典型的な例外・境界事例・前提不足の質問を含め、AIが適切に確認質問を返すか、人へ切り替えるかまで確認します。

10　外部向け回答・広告では「AIが作った」は免責にならない

顧客向けFAQ、商品説明、広告、営業資料等にAI生成文を利用する場合、企業は最終的に外部へ表示・提供する情報を管理する立場になります。景品表示法5条は、商品・役務の内容や取引条件について、一般消費者に実際より著しく優良・有利であると示す表示等を禁止しています。生成AIが自動生成した表現であっても、企業の表示として用いる以上、根拠確認を省略する理由にはなりません。

注意表示も補助策にすぎません。「AI回答には誤りが含まれる場合があります」と表示しても、企業が重要な料金・契約条件・安全情報について誤った回答を継続的に提供してよいことにはなりません。重要事項は確定データから回答させる、回答不能時に有人窓口へ切り替える、誤案内発見時に利用者へ訂正を届ける、といった運用と組み合わせます。

11　契約では「正確性不保証」だけでなく、管理可能性を確保する

外部AIサービスを導入する企業は、ベンダーの利用規約に「出力の正確性を保証しない」と書かれているかだけを見るのではなく、自社がハルシネーションを管理するために必要な情報・機能を確保できるかを確認します。

一方、自社が顧客へAIサービスを提供する場合は、正確性保証の範囲、人による確認が必要な用途、利用禁止領域、顧客側の入力・判断責任、事故時の通知・協力を整理します。関連する「AIサービス利用規約の設計：責任制限・誤生成対応を盛り込む方法」と重なるため、本記事では「ハルシネーションを測定・監視・訂正できる契約になっているか」という観点を中心に確認します。

12　調達段階からハルシネーション管理を組み込む

ハルシネーション対策は、AIサービスを導入した後に利用者へ注意を促すだけでは不十分です。どの用途で使うのか、誰が出力を受け取るのか、人が出力の適切さを判断できるのかを調達前に整理し、その結果をベンダー選定・契約・リリース基準へつなげる方が管理しやすくなります。

デジタル庁は2026年6月12日、「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」を決定しました。これは政府機関向けのルールであり、民間企業へ直接適用される法令ではありません。ただし、高リスク判定シート、生成AIシステム利活用ルールひな形、調達チェックシート、契約チェックシートを一体で用意しているため、民間企業が生成AIの調達プロセスを設計する際の参考になります。

同ガイドラインの高リスク判定シートは、生成AIの生成物の瑕疵が重大な影響を及ぼす可能性のある業務か、利用範囲がどこまで広いか、職員等が出力結果の適切さを判断して利用するか、といった軸でリスクを整理しています。民間企業でも、これを「誤答時の影響」「顧客・外部への到達範囲」「利用者が内容を検証できるか」という観点へ置き換えると、調達時の優先順位を決めやすくなります。

• 企画段階：用途、誤答時の損害、対象者、外部公開の有無、人の確認可能性を整理する。
• ベンダー選定：評価方法、既知の制約、RAG・根拠表示、ログ、モデル変更、停止・切戻し機能を確認する。
• 契約段階：評価情報の提供、重大変更通知、事故時のデータ提出・調査協力、監査、責任分担を確認する。
• リリース前：自社のテストセットで誤答・見落とし・拒否・エスカレーションを評価し、Go／No-Go判断を記録する。
• 運用開始後：苦情・誤答・見落とし・モデル変更を継続監視し、評価データと利用ルールを更新する。

調達部門・事業部門・法務・情報セキュリティが別々のチェックリストを持つだけでは、ハルシネーション管理が分断されやすくなります。用途のリスク判定から、技術評価、契約条件、運用監視まで同じユースケース単位でつなぐことが重要です。

13　モデル変更後も同じ品質とは限らない―継続監視を前提にする

AI導入時のテストで問題がなかったとしても、モデル更新、システムプロンプト変更、RAGデータ更新、検索ロジック変更、接続API変更、ユーザー層の変化によって、誤答パターンは変わります。したがって、評価は導入前の一回で終わらせず、変更管理と結び付けます。

• 重大なモデル更新時には、代表テストセットで回帰評価を行う。
• 誤答・苦情を分類し、評価データセットへ追加する。
• ハルシネーション率だけでなく、重大誤答、出典不一致、過剰拒否等を月次・四半期等で確認する。
• 一定の閾値を超えた場合は、機能縮小、有人切替、旧モデルへのロールバック等を行う。
• 評価結果とGo/No-Go判断を記録し、後から意思決定過程を説明できるようにする。

14　誤情報が外部へ出たときの初動を決めておく

ハルシネーションによる事故は、発生後の対応によって損害が拡大することがあります。特に顧客向けAIでは、誤答を発見した担当者が「モデルの問題」として様子を見るのではなく、通常のインシデント管理へ接続する必要があります。

外部表示に関わる場合は、誤情報を訂正しただけで終わらず、既に影響を受けた顧客への個別連絡や返金・契約対応が必要かを検討します。個人の名誉・信用、個人情報、規制業務等が関係する場合は、別途の法的対応も確認します。

15　AIエージェントでは「誤答」がそのまま「誤行動」になる

AIエージェントは、回答を表示するだけでなく、メール送信、CRM更新、発注、決済、コード実行等を自律的に行うことがあります。この場合、ハルシネーションは誤った文章にとどまらず、誤った外部行為へ直結します。AISIのAIセーフティ評価観点ガイド第1.20版も、AIエージェントの普及を踏まえ、「観測と制御」、自律的な挙動、外部環境との相互作用を評価観点として拡充しています。

実務上は、閲覧権限と実行権限を分け、金額・件数・送信先等に上限を設け、高影響行為では人の承認を挟みます。さらに、エージェントがどの情報に基づいて何を実行したかを後から追跡できるログと、即時停止・ロールバック手段を用意します。

16　導入手順は「用途→基準→評価→実装→監視」の順にする

この順序を逆にし、先にツールを導入してから「どの程度間違ってよいか」を考えると、運用開始後に大幅な仕様変更が必要になりやすくなります。法務部門は技術部門に「AIは正確ですか」と聞くのではなく、「この用途で重大誤答をどう定義し、どのテストで、どの基準を満たしたら公開するのか」を確認する方が実務的です。

17　公開・導入前の実務チェックリスト

18　弊所の実務上の視点

ハルシネーション対策で最も避けたいのは、「AIは間違うので必ず人が確認する」という一文だけで運用を終わらせることです。実際には、人が何を確認するのか、どの根拠を見られるのか、どの誤りなら停止するのかが決まっていなければ、確認は形式化しやすくなります。

法務としては、モデルの技術的な正答率そのものを評価するというより、①用途と影響度、②許容できない誤答、③根拠・出典、④人の関与、⑤外部表示、⑥ログ・訂正、⑦契約上の情報取得という項目に分解し、技術・事業部門が管理できる形にすることが重要です。

また、ハルシネーション対策を「導入を止める理由」と捉える必要はありません。低影響用途は簡易なレビューで利用し、高影響用途だけ評価・承認を強化するリスクベース運用にすることで、利便性と法的リスク管理を両立しやすくなります。

19　よくある質問

20　早めに法的確認をしたい場面

• 顧客向けチャットボット・FAQを無人運用したい
• AI生成文を商品説明・広告・営業資料として大量に公開する
• 法律、医療、金融、税務等の専門情報をAIで提供する
• 採用、審査、信用判断等でAI出力を重要な判断材料にする
• RAGに社内規程・契約・顧客情報等を接続する
• AIベンダーのモデル変更により回答品質が変わった
• AIの誤回答が顧客へ送信され、返金・損害・苦情が発生した
• AIエージェントに送信、発注、決済、更新等の外部実行を許可する
• ハルシネーションの評価基準や責任分担を契約へ落としたい
• 法律・税務・人事・補助金等、重要な例外・適用除外の見落としが結論を左右する業務をAIで自動化したい

21　まとめ

ハルシネーションは、生成AIを導入する企業にとって避けて通れない品質・法務リスクです。しかし、対策の中心は「AIが間違えないこと」を期待することではありません。用途ごとに許容基準を設定し、根拠データを管理し、誤答を定量評価し、人の確認や回答拒否を設計し、変更後も継続監視することが重要です。

外部向けの情報提供では、AI生成であることや免責を表示するだけでは足りません。顧客が重要な判断に用いる情報、広告・料金・契約条件、安全に関わる情報は、企業側が正確性を管理できる仕組みにする必要があります。

法務部門は、AIの性能を抽象的に評価するのではなく、「何を誤ると法的影響が大きいか」「どの根拠を使うか」「誰が確認するか」「誤答をどう検知・訂正するか」「ベンダーから必要情報を得られるか」という管理項目へ分解することで、技術部門・事業部門と共通のリスク管理を構築できます。

また、生成AIの品質管理では「誤ったことを言わない」だけでなく、「重要な例外や前提を落とさない」ことも評価対象にする必要があります。さらに、用途のリスク判定、ベンダー選定、契約、リリース判定、運用監視を一つの流れとして設計することで、ハルシネーション対策を現場任せの確認作業から企業のリスクマネジメントへ引き上げることができます。

22　主要な一次資料

• 経済産業省「AI利活用における民事責任の解釈適用に関する手引き〔第1.0版〕」（2026年4月9日、同年6月更新）

• 総務省・経済産業省「AI事業者ガイドライン（第1.2版）」（2026年3月31日）

• AISI「AIセーフティに関する評価観点ガイド（第1.20版）」（2026年7月7日）

• AISI「ヘルスケア領域におけるAIセーフティ評価観点ガイド」（2026年4月2日）

• e-Gov法令検索「民法」

• e-Gov法令検索「製造物責任法」

• e-Gov法令検索「不当景品類及び不当表示防止法」

• 消費者庁「より良い商品・サービスを安心して選ぶために―景品表示法」

• デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」（2026年6月12日）

• デジタル庁「第2回先進的AI利活用アドバイザリーボード」（2026年1月13日）