GPT-5が法律AIベンチマークでトップ、『ラストワンマイル』に迫る

OpenAIのGPT-5モデルは、法律分野の人工知能において重要なマイルストーンを達成し、Harveyの「BigLaw Bench」評価システムで印象的な89.22%のスコアを記録しました。この性能により、GPT-5は法律テック分野の主要な生成AIパイオニアであるHarveyによって評価されたOpenAIモデルの中で、最高のパフォーマンスを発揮するモデルとなりました。

昨年ローンチされたHarveyのBigLaw Benchは、生成AIの応答品質を厳密に測定するために設計されており、特に法律専門家の期待にどれだけ合致しているかを評価します。このシステムは、2つの重要な側面を評価するために、カスタム設計されたルーブリックを採用しています。「回答品質」は、タスクを効果的に完了するためのモデルの応答の完全性、正確性、および適切性を精査します。一方、「ソースの信頼性」は、AIがその主張に対して検証可能で正確に引用された情報源を提供する能力を評価し、それによって信頼性を高め、検証を容易にします。スコアは、タスク要件を満たした場合はプラス点を加算し、AIの幻覚などのエラーや誤りについては減点するという方法で細心の注意を払って計算され、最終結果はパーセンテージで表されます。

GPT-5の89.22%というスコアは、顕著な進歩を示しており、次に近いOpenAIモデルであるo3（84.13%）を約5%上回っています。Harveyは様々な企業のモデルを評価していますが、これらの具体的な比較結果はOpenAIの進歩を際立たせています。このレベルの性能は、業界専門家がAI開発における「ラストワンマイル」と呼ぶ領域に近づき始めています。これは、AIの出力が非常に洗練され信頼性が高く、弁護士が最小限の人間の介入で直接使用することを自信を持って承認できる最終段階、最も困難な段階を指します。多くの大規模言語モデルにとって、初期の、ある程度正確な結果を出すことは比較的簡単ですが、90%のしきい値を超え、この「ラストワンマイル」を越えて99%の精度に到達することは、根本的に異なり、はるかに困難な挑戦です。

固有の困難にもかかわらず、進歩は疑いなく信じられないほどの速さで進んでいます。新しい生成AIモデルは確かに段階的な改善を見せるでしょうが、より大きな性能向上は、基盤となる検証レイヤーの改善など、他の戦略的な強化からもたらされる可能性があります。ほぼ完璧な精度、おそらく99.9%への道のりは、まだ何年も先のことでしょう。これは、自律走行などの分野で遭遇する複雑さを反映しています。非構造化環境で高い成功を収めることは非常に困難ですが、持続的な投資によって最終的には達成可能です。過去3年間における法律分野の急速な進化は、AIに対する広範な懐疑論から、大多数の大規模法律事務所とそのクライアントがこのテクノロジーに深く関与するようになったことで、これらのモデル性能の向上がもたらす変革的な影響を浮き彫りにしています。大規模言語モデルによってもたらされる具体的な成果がなければ、法律AIツールのこのような熱心な採用は実現しなかったでしょう。

Harveyは、GPT-5の強化された機能をシステムに統合することで、特に文書作成や複雑な調査において、より強力なユースケースを可能にすることを計画しています。GPT-5は、複数のタスクを組み合わせることができる最初のオーケストレーションモデルとして際立っており、単一のAIエージェントがユーザーと協力して調査を行い、最終的な成果物を作成することを可能にします。例えば、米国と欧州連合の内部ガイダンス文書と現在の規制との間の矛盾を特定するような複雑なシナリオでは、GPT-5は様々なエージェントをオーケストレートできます。これらのエージェントは、関連する傾向を求めて内部文書をレビューし、グローバル規制の最近の変更を見つけ、包括的なギャップ分析を実行し、その後、規制の整合性を確保するために内部ガイダンスを更新するための推奨事項を概説するメモを作成します。これらすべては、必要に応じてユーザーに追加のコンテキストを促しながら行われます。

法律情報大手であるLexisNexisおよびiManageとの最近のデータパートナーシップと相まって、Harveyのシステムは、行動を起こす前に、公開された法務データと独自の法務データの両方を包括的に把握できるようになりました。この包括的なデータアクセスは、GPT-5の大幅に改善されたツール使用およびドラフティング能力と組み合わせることで、組織の内部データを推論し、信頼できるサードパーティのコンテンツをリアルタイムで活用できる、深く統合されたAIシステムの構築を促進します。この進歩により、Harveyは中核的な使命である、複雑な法務案件の動的で反復的かつ協調的な性質をナビゲートできる「インテリジェントな同僚」の創出に近づいています。