GPT-5 en tête des benchmarks d'IA juridique, proche du 'dernier kilomètre'

Le modèle GPT-5 d’OpenAI a franchi une étape significative dans le domaine de l’intelligence artificielle juridique, obtenant un score impressionnant de 89,22 % sur le système d’évaluation « BigLaw Bench » de Harvey. Cette performance fait de GPT-5 le modèle OpenAI le plus performant évalué par Harvey, un pionnier de l’IA générative de premier plan dans le secteur des technologies juridiques.

Lancé l’année dernière, le BigLaw Bench de Harvey a été conçu pour évaluer rigoureusement la qualité des réponses de l’IA générative, en évaluant spécifiquement leur alignement avec les attentes d’un professionnel du droit. Le système utilise des rubriques conçues sur mesure pour évaluer deux dimensions critiques : la « Qualité de la Réponse », qui examine l’exhaustivité, la précision et la pertinence de la réponse du modèle pour une exécution efficace des tâches ; et la « Fiabilité de la Source », qui évalue la capacité de l’IA à fournir des sources vérifiables et correctement citées pour ses affirmations, renforçant ainsi la confiance et facilitant la validation. Les scores sont méticuleusement calculés en accumulant des points positifs pour la satisfaction des exigences de la tâche et en déduisant des points pour les erreurs ou les faux pas, tels que les hallucinations de l’IA, le résultat final étant exprimé en pourcentage.

Le score de 89,22 % de GPT-5 représente une avancée notable, montrant une amélioration d’environ 5 % par rapport au modèle OpenAI le plus proche, o3, qui a obtenu 84,13 %. Bien que Harvey évalue des modèles de diverses entreprises, ces résultats comparatifs spécifiques soulignent les progrès d’OpenAI. Ce niveau de performance commence à approcher ce que les experts de l’industrie appellent le territoire du « dernier kilomètre » dans le développement de l’IA. Cela fait référence à la phase finale, la plus difficile, où les sorties de l’IA sont si raffinées et fiables que les professionnels du droit peuvent les approuver en toute confiance pour une utilisation directe avec une intervention humaine minimale. Obtenir des résultats initiaux, quelque peu précis, est relativement simple pour de nombreux grands modèles linguistiques, mais dépasser le seuil de 90 % et entrer dans ce « dernier kilomètre » vers une précision de 99 % est un défi fondamentalement différent et beaucoup plus ardu.

Malgré les difficultés inhérentes, des progrès indéniables sont réalisés à un rythme incroyable. Alors que les nouveaux modèles d’IA générative verront certainement des améliorations incrémentielles, de plus grands bonds de performance pourraient provenir d’autres améliorations stratégiques, telles que l’amélioration des couches de vérification sous-jacentes. Le chemin vers une précision quasi parfaite, peut-être 99,9 %, est probablement encore à des années, reflétant les complexités rencontrées dans des domaines comme la conduite autonome où l’atteinte d’un degré élevé de succès dans des environnements non structurés est incroyablement difficile mais finalement réalisable avec un investissement soutenu. L’évolution rapide du secteur juridique au cours des trois dernières années, passant d’un scepticisme généralisé à l’égard de l’IA à une majorité de grands cabinets d’avocats et de leurs clients s’engageant profondément avec la technologie, souligne l’impact transformateur de ces performances de modèles améliorées. Sans les gains tangibles fournis par les grands modèles linguistiques, une telle adoption enthousiaste des outils d’IA juridique n’aurait pas pu se concrétiser.

Harvey prévoit de tirer parti des capacités améliorées de GPT-5 en les intégrant dans ses systèmes pour permettre des cas d’utilisation plus puissants, en particulier dans la rédaction de documents et la recherche complexe. GPT-5 se distingue comme le premier modèle d’orchestration capable de combiner plusieurs tâches, permettant à un seul agent IA de collaborer avec un utilisateur sur la recherche et de produire un produit de travail fini. Par exemple, dans un scénario complexe comme l’identification des incohérences entre les documents d’orientation internes et les réglementations actuelles aux États-Unis et dans l’Union européenne, GPT-5 peut orchestrer divers agents. Ces agents pourraient examiner les documents internes pour les tendances pertinentes, trouver les changements récents dans les réglementations mondiales, effectuer une analyse complète des lacunes, puis rédiger un mémo décrivant des recommandations pour la mise à jour des directives internes afin d’assurer l’alignement réglementaire — tout en invitant l’utilisateur à fournir un contexte supplémentaire si nécessaire.

Couplé aux récents partenariats de données avec les géants de l’information juridique LexisNexis et iManage, les systèmes de Harvey peuvent désormais accéder à une vue complète des données juridiques publiques et propriétaires avant d’agir. Cet accès holistique aux données, combiné aux capacités d’utilisation d’outils et de rédaction substantiellement améliorées de GPT-5, facilite la construction d’un système d’IA profondément intégré qui peut raisonner sur les données internes d’une organisation et exploiter du contenu tiers fiable en temps réel. Cette avancée rapproche Harvey de sa mission principale : créer un « collègue intelligent » capable de naviguer dans la nature dynamique, itérative et collaborative des affaires juridiques complexes.