TPC25: L'IA, son Rôle Croissant en Science, Données Multimodales et Non-LLMs

La conférence TPC25 de la semaine dernière a mis en lumière une série de questions critiques façonnant l’avenir de l’intelligence artificielle, allant au-delà du battage médiatique des grands modèles de langage pour s’attaquer aux défis fondamentaux en matière de données, d’évaluation et de responsabilité. Une session plénière réunissant quatre orateurs distingués a exploré comment accélérer la découverte scientifique avec l’IA tout en maintenant le contrôle, la tâche complexe de retracer les sorties d’un modèle de langage jusqu’à ses données d’entraînement, la notion complexe d’équité lorsque l’IA interprète des cartes plutôt que du texte, et les façons sans précédent dont ces systèmes sophistiqués peuvent échouer.

Prasanna Balaprakash, directeur des programmes d’IA au Laboratoire National d’Oak Ridge (ORNL), a éclairé l’engagement de longue date de l’institution avec l’IA, remontant à 1979. Il a souligné le rôle historique d’ORNL dans le pionnier de l’IA pour les applications scientifiques, des premiers systèmes experts basés sur des règles à l’hébergement de supercalculateurs puissants comme Titan et l’actuel Frontier, équipés de dizaines de milliers de GPU. Aujourd’hui, l’initiative IA d’ORNL priorise la construction de modèles IA fiables et efficaces pour la simulation scientifique, les installations expérimentales et la sécurité nationale. Cela implique le développement de méthodes robustes pour la validation, la vérification, la quantification de l’incertitude et le raisonnement causal, ainsi que des stratégies pour la mise à l’échelle de grands modèles sur des supercalculateurs et le déploiement de modèles plus petits en périphérie. Balaprakash a souligné l’accent mis par ORNL sur les modalités non traditionnelles, telles que les données spatio-temporelles à grande échelle cruciales pour les simulations de fusion nucléaire, menant à des percées comme le modèle fondamental de base d’Oak Ridge pour la prévisibilité du système terrestre, qui a atteint un débit exascale et des modèles avec jusqu’à 10 milliards de paramètres – une première pour ce type de données. Il a également détaillé les efforts en matière de grands modèles fondamentaux de graphes pour la science des matériaux et l’intégration de l’IA avec les instruments expérimentaux, permettant le traitement des données en temps réel et le pilotage intelligent des expériences pour optimiser l’utilisation des ressources.

Déplaçant l’attention vers le fonctionnement interne des grands modèles de langage, Jiacheng Liu de l’Allen Institute for AI (AI2) a présenté OLMoTrace, un système innovant conçu pour ouvrir la « boîte noire » des LLM. Cet outil, intégré à la famille de modèles OLMo ouverts d’AI2, permet aux utilisateurs de retracer la réponse générée par un LLM directement jusqu’aux segments spécifiques de son ensemble de données d’entraînement de plusieurs billions de jetons. En utilisant un système d’indexation optimisé, OLMoTrace identifie rapidement les correspondances exactes entre les sorties du modèle et leurs documents sources, ce qui permet de vérifier les faits, de comprendre la provenance d’une réponse de modèle et même d’exposer les racines des « hallucinations » – des cas où les modèles génèrent du contenu fabriqué. Liu a démontré comment le système a révélé qu’un modèle avait appris à produire de faux résultats d’exécution de code à partir de dialogues d’entraînement où les étudiants fournissaient des sorties sans réellement exécuter le code. Pour les chercheurs et les praticiens, ce niveau de transparence est inestimable pour auditer le comportement du modèle, assurer la conformité avec les nouvelles règles de gouvernance de l’IA et compléter les études d’interprétabilité mécaniste en reliant les comportements de haut niveau aux données sous-jacentes.

Une perspective plus sombre sur l’impact sociétal de l’IA est venue de Ricardo Baeza-Yates, directeur du BSC AI Institute, qui a livré un aperçu critique de ce qu’il appelle l’« IA Irresponsable ». Il a soutenu que les systèmes d’IA actuels sont sujets à des défaillances telles que la discrimination automatisée, la propagation de la désinformation et le gaspillage de ressources, souvent parce qu’ils sont traités comme des miroirs du raisonnement humain plutôt que de simples moteurs prédictifs. Baeza-Yates a mis en garde contre l’anthropomorphisme de l’IA avec des termes comme « IA éthique », affirmant que l’éthique et la confiance sont des qualités intrinsèquement humaines, et leur attribution aux machines détourne la responsabilité de leurs concepteurs humains. Il a souligné les dommages croissants de l’IA générative, de la désinformation aux litiges de droits d’auteur et aux problèmes de santé mentale, citant des cas tragiques où des chatbots ont été impliqués dans des suicides. Il a souligné le danger des « erreurs non humaines » — des erreurs que l’IA commet et que les humains ne commettraient pas, pour lesquelles la société est mal préparée. Baeza-Yates a soutenu que mesurer le succès de l’IA uniquement par la précision est insuffisant ; au lieu de cela, l’accent devrait être mis sur la compréhension et l’atténuation des erreurs. Il a également contesté le récit de la démocratisation de l’IA, soulignant que les fossés linguistiques et numériques excluent effectivement une grande partie de la population mondiale de l’accès aux modèles d’IA de pointe.

Enfin, la Dre Kyoung Sook Kim, directrice adjointe de l’Institut National des Sciences et Technologies Industrielles Avancées (AIST) du Japon, a abordé la question critique de l’équité dans l’IA géospatiale (GeoAI). Alors que GeoAI interprète de plus en plus l’imagerie satellite, l’infrastructure urbaine et les données environnementales pour des applications telles que la réponse aux catastrophes et la planification urbaine, assurer des résultats équitables devient primordial. La Dre Kim a expliqué que, contrairement à l’IA textuelle ou visuelle, les systèmes géospatiaux sont confrontés à des défis uniques pour définir et mesurer l’équité. Une collecte de données inégale, des lacunes dans la couverture spatiale et des hypothèses biaisées pendant l’entraînement du modèle peuvent entraîner des résultats faussés, affectant particulièrement l’allocation des ressources et les décisions de planification. L’équité en GeoAI, a-t-elle soutenu, ne peut pas être une solution unique, mais doit tenir compte des différences régionales, des variations de population et de la qualité des données disponibles. Elle a souligné l’importance de scruter les premières décisions de conception – comment les données sont sélectionnées, étiquetées et traitées – pour éviter que les biais ne soient intégrés dans les systèmes. La Dre Kim a plaidé pour des cadres partagés et des normes internationales, y compris de nouveaux efforts ISO, afin d’établir des définitions cohérentes de l’équité et de la qualité des données, reconnaissant que la nature contextuelle de la géographie, de l’histoire et de la complexité sociale exige une approche nuancée pour la construction et l’application de ces systèmes puissants.

Collectivement, ces discussions à TPC25 ont signalé une évolution significative de la recherche en IA. À mesure que les modèles gagnent en complexité et en échelle, l’accent passe des simples références de performance à une compréhension plus approfondie de la provenance des données, à une évaluation rigoureuse des sorties et à l’impact réel de l’IA. L’avenir de l’IA, ont convenu ces experts, ne dépend pas seulement d’algorithmes plus intelligents, mais de la manière dont ils sont conçus, construits et déployés de manière responsable et inclusive.