もっともらしい嘘が生まれる仕組み

生成AIは、質問に対して「正しい答え」を探してくるわけではありません。

膨大な文章のパターンから、次に来そうな言葉を確率的につなげているだけです。

だから判例の体裁、つまり事件名・裁判所・年月日・要旨という「型」は完璧に再現できる一方で、その中身が実在するかどうかは保証されていません。

この、存在しない情報をもっともらしく生成してしまう現象をハルシネーションと呼びます。

やっかいなのは、嘘の出来があまりに良いことです。

論理は通っていて、文体は判例集そのもの、引用形式も整っている。人間が「これは怪しい」と直感で気づける手がかりが、ほとんど残されていません。

たとえば「平成」と「令和」の表記、「最高裁第一小法廷」といった機関名、判例集の巻号頁の表記まで、それらしく整えてくる。実在の判例を本当に学習している以上、嘘の判例もまた本物そっくりの服を着て出てくるわけです。

さらに厄介なのは、AIが「分かりません」と言うのを苦手とする点です。

質問者が判例を期待していると察すると、空白を埋めるように、ないものまで作り出してしまう傾向があります。

• 事件番号や判決年月日まで具体的に「創作」されることがある
• 実在の判例と架空の要旨が混ざって提示されることもある
• 「この判例はありますか」と念押しすると、AIが自信たっぷりに「あります」と答えてしまう場合がある
• 実在する判例を挙げつつ、その判旨だけが事案と無関係にすり替わっていることもある

米国で相次ぐ「架空判例」と制裁

この問題が現実の事件として可視化されたのが米国です。

訴訟書類に実在しない判例が引用されていたことから、弁護士が生成AIに書面を作らせていたと発覚したケースが複数報道されました。

裁判所に提出した書面の中の引用判例が、調べてみると一つも存在しなかった、という事態です。

相手方の弁護士が引用判例を確認しようとしても見つからず、裁判所書記官に照会しても該当がない。そこで初めて、書面全体が砂上の楼閣だったと露見する、という流れです。

こうした事案では、裁判所から制裁や厳しい指摘を受けた弁護士が相次ぎました。AIを使ったこと自体が問題なのではなく、出力をそのまま裏取りせずに提出したことが問題視された、という整理が重要です。便利な道具を、確認のプロセスを飛ばして使ったところに落とし穴がありました。

注目すべきは、当の弁護士たちが必ずしも怠惰だったわけではない、という点です。むしろ熱心に調べた結果として、AIの回答を信頼してしまった。経験豊富な実務家でも足をすくわれたという事実は、これが「うっかり者だけの話」ではないことを示しています。道具への過信は、能力や真面目さとは別の次元で起こるのです。

日本でも弁護士会が鳴らす警鐘

日本でも、弁護士会がこの問題に注意を促しています。

神奈川県弁護士会のコラムは、米国で架空の裁判例を含む書類が問題になった事例に触れたうえで、これを弁護士倫理の問題であると同時に「ハルシネーションという問題が顕在化した事例」と位置づけています。

海の向こうの珍事として片づけるのではなく、同じ道具を使う以上、日本の実務家にも同じ落とし穴が口を開けている、という警告だと読めます。

同時にそのコラムは、生成AIを全否定しているわけではありません。

雛形の作成や外国法調査の入り口など、適切に使えば労力を大きく減らせる有用な道具だとも述べています。要は、AIが出すものは「誰も責任を取らないたたき台」であって、専門家による裏取りが不可欠だ、という姿勢です。

ここは、私たちが日々の業務で持っておきたい距離感と重なります。

言い換えれば、AIは優秀だが責任を負わないアシスタントのようなものです。下調べや論点の洗い出しは任せられても、最終的に書面へ載せる一文字一文字の責任は、署名する弁護士本人にしか帰属しません。

出力を採用するかどうかの判断と、その裏取りまでが自分の仕事だと考えておくと、付き合い方を見誤らずに済みます。

弁護過誤と懲戒への距離は意外に近い

存在しない判例を引用した書面を提出すれば、まず依頼者の主張の説得力が崩れます。

相手方に指摘されれば信用を失い、最悪の場合は依頼者に不利益が生じ、弁護過誤の問題に発展しかねません。

裁判所の心証という、数字に表れない損害も無視できません。一度「この代理人の引用は怪しい」と思われれば、以後の主張すべてに色眼鏡がかかります。

本来通るはずだった主張まで、信頼の毀損に巻き込まれて沈むことがあるのです。

さらに、裏取りを怠ったまま誤った引用を続けることは、職務の遂行として問われる可能性もあります。「AIが言ったから」は、依頼者にも裁判所にも通用しない言い訳です。

署名押印した書面の内容は、誰が下書きしたかにかかわらず、弁護士自身の主張として扱われます。

便利さの裏側にあるこのリスクは、登録五年目前後で扱う案件が大きくなってくる時期だからこそ、意識しておきたいところです。

怖いのは、この距離が「特別に不注意な人」だけのものではない点です。

締切前夜、疲れて判断力が落ちた状態で、もっともらしい出力を前にすれば、誰でも一度くらいは確認を省きたくなる。その一度が依頼者と自分を危険にさらしうる、という構造を頭の片隅に置いておくことが、最初の防波堤になります。

引用前に立ち止まるための実務習慣

では、どうするか。難しいことではありません。

要は、引用する判例は必ず一次資料で確かめる、という当たり前を徹底するだけです。仕組みにしてしまえば、忙しさに流されても手が止まります。

• 引用予定の判例は判例集や裁判所ウェブサイトの原典で現物を確認する
• 事件番号・年月日・要旨が一致するか、自分の目で照合する
• 要旨だけでなく、引用しようとする判示部分が本当にその判決の中にあるかを読んで確かめる
• AIに何を尋ね、どんな出力を得たのか、案件ごとに記録を残す
• 根拠資料の出所を書面のメモに残し、後から追跡できるようにする

後半の二つは見落とされがちですが、後で「この記載の根拠は何だったか」を説明できるかどうかは、自分を守る生命線になります。

AIの利用履歴と根拠資料が案件ファイルに紐づいていれば、確認のプロセスを踏んだことを自分自身に対しても証明できます。

習慣にするコツは、確認を「面倒な追加作業」ではなく「執筆の一工程」として組み込むことです。

判例を引用しようと思った瞬間に、原典を開くまでが一連の動作だと体に覚えさせる。

検索窓に事件番号を打ち込む数十秒を惜しまない人だけが、AI時代に安心して道具を使えるのだと思います。

---