【社内運用記録】ChatGPT・Claude・Geminiで試した法務AI「3AI混合」試行記録
法務部内で1か月にわたり試行した“3AI混合”運用の現場レポート。始まりはAI単体での見落とし危機──複数AIの並列活用によるメリットと実務上の課題、現行ルールを整理しました。
TL;DR(要約)
1か月の現場試行により、複雑案件では「3AI混合」が見落としを減らし判断の信頼度を高めた一方、出力過多とレビュー当たりの人的コスト増が確認されました。現行方針は「重要は混合、定型・緊急は単体」です。
背景と発端
ある朝、ChatGPTでレビューした重要契約の重大な矛盾を見落としそうになったことがきっかけです。以後、「AIに頼り切る危険」を前提に、3つの主要ツール(ChatGPT・Claude・Gemini)を並列で比較する試行を行いました。
補足参考:AIツールの実務比較や導入初期の相性整理は以下の記事が参考になります(導入議論の背景説明に有用)。 主要3ツールの実務比較 — 今後の選定に迷ったら読む(legal-gpt.com)
試行ワークフロー(実務フロー)
実施したおおまかなフローは以下の通りです。
- Phase 1 — 同時投入(約15分)
同一契約書を3AIへ同時投稿(ChatGPT=リスク抽出、Claude=保守的評価、Gemini=整合性チェック) - Phase 2 — 比較・整理(約20分)
3つの回答を並べて比較。全AI一致→重要度高、1AIのみ指摘→要検証、全AI沈黙→人間補完。
論点 | ChatGPT | Claude | Gemini | 最終判断 |
---|---|---|---|---|
損害賠償上限 | 推奨免責段落追加 | 同意(Claude案) | 表現差を指摘 | Claude案採用 |
知財範囲 | 問題なし | 範囲明確化提案 | 問題なし | Claude案で検討 |
実感した変化(成果と課題)
ポジティブな変化
- 判断の安心感:3AIが一致すると確信度が上がる。
- 見落としの減少:重大見落としは定性的に減少。
- 運用の標準化:プロセスを文書化することで担当差が縮小。
課題(想定外)
- 出力の情報量増による決断疲れ。
- コスト面:ライセンス費と人的時間増(ROI算出は別途実施)。
失敗談(外部弁護士レビューで判明したケース)
ChatGPT単体の案をベースに修正案を作成したところ、重大な解釈ミスが発覚。対策として「AIが3つ一致しない場合は採用しない」ルールを導入しました。
有効だった運用(現行プロンプト・テンプレ例)
3AI共通で以下フォーマットを使っています(短めに整形)。
あなたは法務専門家です。以下形式で回答してください。 【出力形式】 結論:リスク(高・中・低) 指摘(箇条・最大3件)+該当条項の抜粋(条番号) 根拠:法令・判例・一次ソース(可能なら明示) 推奨修正文(条文案) 不確実性(確認すべき情報)
注:プロンプトは厳密化してツールへの投げ分け(temperature 等)を固定化する運用にしています。
今日の運用ルール(要約)
- 重要度「高」かつ時間に余裕あり → 3AI混合でレビュー
- 緊急案件・定型業務 → 単体利用でスピード重視
- AI間で見解が分かれた論点は必ず一次ソースで検証(条文・判例)
- 重要案件は有資格者(弁護士等)の最終確認
今後の改善計画(ロードマップ)
短期(1–2か月)
- プロンプトの統一と出力フォーマットの厳格化
- 重要度判定基準の明文化
中期(3–6か月)
- 法務相談分野での混合利用試験
- 新人向け運用マニュアル整備
規制・法令対応の観点からの補強が必要な場合は、以下の法務向けチェックリスト記事を参照してください(法規制観点のハブ)。 AI新法(2025)対応チェックリスト — 法務向け緊急対応項目(legal-gpt.com)