L'IAG d'ici 2030 ? Les limites de calcul exigent de nouveaux algorithmes IA

La poursuite de l’Intelligence Artificielle Générale (IAG) — le développement de machines capables de capacités cognitives humaines sur un large éventail de tâches — reste un objectif central, bien que très débattu, dans la recherche en IA. La question fondamentale qui motive une grande partie de ce discours tourne autour du chemin optimal pour atteindre une intelligence aussi sophistiquée : émergera-t-elle comme une conséquence naturelle de la simple mise à l’échelle de la puissance de calcul et des tailles de modèles existants, ou nécessitera-t-elle des percées algorithmiques entièrement nouvelles ? Une perspective convaincante, bien que controversée, propose un juste milieu : la trajectoire actuelle de mise à l’échelle exponentielle du calcul pourrait en effet conduire à l’IAG d’ici l’année 2030, mais ce même chemin rencontrera alors des goulots d’étranglement significatifs, imposant un virage vers de nouveaux paradigmes algorithmiques.

Depuis plusieurs années, le principal moteur des avancées en intelligence artificielle a été la mise à l’échelle implacable de la puissance de calcul et de la taille des réseaux neuronaux. Les triomphes modernes, tels que les grands modèles linguistiques avancés comme GPT-4, doivent en grande partie leurs capacités impressionnantes à leur nombre colossal de paramètres et aux immenses ressources computationnelles investies dans leur entraînement. De nombreux experts de premier plan dans le domaine suggèrent que si cette croissance exponentielle de la capacité de calcul se poursuit à son rythme actuel, la réalisation de l’IAG pourrait concevablement se produire dès 2030. Cependant, cette perspective optimiste est de plus en plus tempérée par de sérieuses préoccupations concernant les limites ultimes de la mise à l’échelle pure.

À mesure que nous approchons des années 2030, les défis associés au simple fait d’ajouter plus de puissance de calcul au problème devraient entraîner des rendements rapidement décroissants. Ces contraintes émergentes se divisent globalement en trois catégories critiques : la consommation d’énergie croissante, les coûts financiers croissants et les limitations physiques fondamentales inhérentes au matériel. L’empreinte énergétique de l’entraînement de modèles toujours plus grands est déjà stupéfiante, soulevant des questions sur la durabilité environnementale et la capacité des réseaux électriques existants à répondre aux demandes futures. Sur le plan financier, le coût de développement et d’entraînement de la prochaine génération de modèles d’IA devrait atteindre des chiffres astronomiques, limitant potentiellement cette recherche avancée à une poignée d’entités bien financées. De plus, la physique même du calcul présente des obstacles redoutables ; à mesure que les transistors rétrécissent et que les densités augmentent, des problèmes comme la dissipation de chaleur et les effets quantiques menacent de ralentir, voire d’arrêter, le rythme historique de la loi de Moore.

Ces défis multifacettes suggèrent qu’au-delà d’un certain point, l’augmentation de la force brute computationnelle ne sera plus une stratégie viable pour la progression continue de l’IA. Par conséquent, l’argument gagne du terrain selon lequel, une fois que les tendances de mise à l’échelle actuelles atteindront leurs limites pratiques dans les années 2030, l’accent sera contraint de changer radicalement. Le maintien des progrès vers des systèmes d’IA plus performants et plus efficaces dépendra alors de manière critique d’innovations architecturales significatives et de percées algorithmiques profondes. Cela nécessite une réévaluation fondamentale de la manière dont les modèles d’IA apprennent et traitent l’information, en se dirigeant vers des méthodes plus efficaces, peut-être inspirées biologiquement, qui atteignent une plus grande intelligence avec moins de surcharge computationnelle. Le chemin vers l’IAG, par conséquent, pourrait être pavé initialement par la mise à l’échelle, mais son achèvement ultime exigera probablement un changement de paradigme vers une IA plus intelligente, et pas seulement plus grande.