Coconut de Meta : Le raisonnement latent décuple les capacités des LLM

Dans une avancée significative vers une intelligence artificielle plus humaine, les chercheurs de Meta ont dévoilé “Coconut”, un nouveau framework conçu pour révolutionner la façon dont les Grands Modèles de Langage (LLM) traitent et résolvent des problèmes complexes. Officiellement surnommé “Chaîne de Pensée Continue”, Coconut libère les LLM des contraintes du raisonnement explicite basé sur le langage, leur permettant de “penser” dans un espace latent continu et non verbal.

Traditionnellement, les LLM abordent les tâches complexes en utilisant le raisonnement en “Chaîne de Pensée” (CoT), où ils articulent chaque étape de leur processus de résolution de problèmes en tokens de langage naturel. Bien qu’efficace, cette méthode s’avère souvent inefficace. Une grande partie du langage généré est dédiée au maintien de la cohérence linguistique plutôt qu’à l’avancement du raisonnement central, un peu comme un humain ayant besoin de verbaliser chaque pensée fugace. Cette verbosité augmente non seulement la surcharge computationnelle, mais pose également des défis aux LLM lorsqu’ils sont confrontés à des étapes nécessitant une planification approfondie ou un retour en arrière. L’inspiration pour Coconut vient de l’observation que la cognition humaine navigue fréquemment dans des problèmes complexes sans verbaliser chaque saut logique, suggérant que le langage n’est pas toujours le moyen optimal pour le raisonnement pur.

Coconut redéfinit fondamentalement ce processus. Au lieu de convertir les représentations internes du modèle en tokens de mots pour l’étape de raisonnement suivante, il alimente directement le “dernier état caché” du LLM – un vecteur riche et de haute dimension appelé “pensée continue” – en lui-même comme entrée subséquente. Cela permet au modèle d’opérer en “mode latent”, un état de pensée non verbal, ne passant en “mode langage” que lorsqu’une sortie lisible par l’homme est requise. Des marqueurs spéciaux, et , délimitent ces segments de raisonnement interne. La formation de Coconut implique un programme d’études multi-étapes, enseignant progressivement au modèle à s’appuyer sur ces états latents plutôt que sur le langage explicite pour ses étapes intermédiaires.

Les avantages de ce changement de paradigme sont convaincants. En raisonnant dans un espace latent continu, Coconut améliore significativement l’efficacité, réduisant le nombre de tokens générés pendant l’inférence sans sacrifier la précision. Plus remarquablement, cette approche latente favorise l’émergence de modèles de raisonnement avancés. Contrairement au CoT, qui s’engage souvent sur un chemin unique et déterministe, les pensées continues de Coconut peuvent simultanément encoder plusieurs prochaines étapes potentielles, permettant une forme de “recherche en largeur”. Cette flexibilité est particulièrement bénéfique pour les tâches nécessitant une planification extensive ou la capacité de revenir en arrière et d’explorer des solutions alternatives. Par exemple, Coconut a atteint une précision remarquable de 96,6 % sur l’ensemble de données ProsQA, un benchmark conçu pour tester la planification et le retour en arrière, surpassant significativement les 76,7 % du CoT traditionnel. De plus, la nature continue de ces pensées latentes les rend entièrement différentiables, permettant une optimisation de bout en bout par descente de gradient. Cet “enchaînement” de pensées continues suggère également une voie pour que le framework puisse évoluer et s’attaquer à des problèmes de plus en plus complexes.

Bien que la “Chaîne de Pensée Continue” représente une nouvelle frontière prometteuse dans le développement des LLM, des défis subsistent. L’interprétabilité de ces pensées latentes, par exemple, est un domaine de recherche en cours. De plus, en tant qu’approche fondamentalement différente, Coconut nécessitera plus de temps et de recherche dédiée pour devenir une technique largement adoptée par rapport aux méthodes CoT bien établies. L’absence de modèles pré-entraînés facilement disponibles et les instabilités d’entraînement observées dans les étapes ultérieures soulignent également les domaines de développement futur. Malgré ces défis naissants, l’article des chercheurs de Meta, publié en décembre 2024, jette des bases solides, démontrant l’immense potentiel du raisonnement latent pour élever les LLM au-delà de la simple génération de langage vers une véritable prouesse cognitive.