La 'Techno-Religion' de l'IA dans la Silicon Valley et son Influence Croissante

Au centre-ville de Berkeley, en Californie, un ancien hôtel connu sous le nom de Rose Garden Inn a été transformé en Lighthaven, un vaste complexe qui sert de plaque tournante centrale pour une communauté profondément investie dans la poursuite de l’intelligence artificielle et l’avenir de l’humanité. Couvrant un important pâté de maisons, ce complexe fermé comprend cinq bâtiments, un parc avec des rosiers et des fontaines, et des statues néoclassiques, avec sa structure la plus haute, la Bayes House, nommée d’après un mathématicien du XVIIIe siècle.

Lighthaven est le siège de facto d’un groupe connu sous le nom de Rationalistes. Leurs intérêts divers couvrent les mathématiques, la génétique et la philosophie, mais une croyance fondamentale les unit : l’intelligence artificielle a le potentiel d’améliorer considérablement la vie humaine, à condition qu’elle ne conduise pas d’abord à la destruction de l’humanité. Ils estiment qu’il incombe à ceux qui développent l’IA de s’assurer de son alignement avec le bien commun.

Les Rationalistes discutaient des risques existentiels de l’IA des années avant que le grand public ne prenne conscience de la technologie grâce à des avancées comme ChatGPT d’OpenAI. Leur influence s’est tranquillement étendue à travers l’industrie technologique, impactant des acteurs majeurs comme Google et des entreprises pionnières de l’IA telles qu’OpenAI et Anthropic. Des figures proéminentes du monde de l’IA, notamment Shane Legg de DeepMind de Google, le PDG d’Anthropic Dario Amodei, et l’ancien chercheur d’OpenAI Paul Christiano, ont été façonnées par la philosophie Rationaliste. Même Elon Musk a reconnu que de nombreuses idées de la communauté résonnent avec les siennes, notamment sa rencontre avec son ancienne partenaire, Grimes, suite à une référence partagée à “Le Basilic de Roko” – une expérience de pensée élaborée suggérant qu’une future IA toute-puissante pourrait punir ceux qui n’ont pas contribué à sa création. Malgré cette influence, de nombreux leaders technologiques s’abstiennent souvent de s’identifier ouvertement comme Rationalistes, une étiquette qui a historiquement attiré le ridicule.

La communauté Rationaliste est étroitement alliée au mouvement de l’Altruisme Efficace (EA), qui cherche à optimiser les efforts philanthropiques en calculant le bénéfice maximal par don. Cette forme d’utilitarisme étend sa préoccupation non seulement aux générations actuelles mais à toutes les personnes futures. Par conséquent, de nombreux Altruistes Efficaces ont conclu que la sauvegarde de l’humanité contre la destruction induite par l’IA est le moyen le plus efficace de bénéficier à l’espèce. Les Rationalistes s’identifient fréquemment comme des EA, et vice versa, créant une relation symbiotique qui a canalisé des centaines de millions de dollars vers des entreprises, des laboratoires de recherche et des groupes de réflexion dédiés à la fois à la construction et à la garantie de la sécurité de l’IA. Parmi les principaux bailleurs de fonds figurent des magnats de la technologie comme le co-créateur de Skype Jaan Tallinn et le co-fondateur de Facebook Dustin Moskovitz. Comme l’observe l’anthropologue Mollie Gleiberman, ils ont “construit un vaste écosystème bien financé pour diffuser, amplifier et valider leur idéologie”.

L’impact de ces croyances est de plus en plus évident au sein de l’industrie technologique. Fin 2023, le PDG d’OpenAI, Sam Altman, a été brièvement démis de ses fonctions par des membres du conseil d’administration liés aux mouvements Rationaliste et EA, citant un manque de confiance dans son engagement à développer l’IA uniquement pour le bénéfice de l’humanité. Lighthaven sert de symbole tangible de la profondeur avec laquelle ces idées ont imprégné la Silicon Valley, tel un temple moderne.

Le complexe comprend l’Aumann Hall, nommé d’après le théoricien des jeux israélien Robert Aumann, qui offre des espaces de vie et communs, ainsi qu’Eigenspace, une salle de sport et un espace de rassemblement. Le parc couvert de gazon synthétique est conçu pour les grands événements. Alex K. Chen, membre de longue date de la communauté, compare l’environnement à un “campus universitaire ou au Media Lab du M.I.T.”. Lighthaven accueille régulièrement des événements importants, notamment LessOnline, une conférence annuelle, et des rassemblements hebdomadaires où les membres discutent des “Séquences”, un texte fondateur du mouvement. Ilia Delio, professeure de théologie, note les parallèles avec la religion traditionnelle, déclarant : “La religion est texte, histoire et rituel. Tout cela s’applique ici.”

Le mouvement Rationaliste s’étend au-delà d’un ensemble d’idées ; c’est un mode de vie qui mélange l’accent sur l’IA avec des conseils sur le développement personnel et professionnel. La communauté embrasse des concepts non conventionnels, de la polyamorie à la génétique de l’intelligence, aux côtés de l’Altruisme Efficace. Pour les futurs développeurs d’IA, les événements Rationalistes sont devenus des opportunités de réseautage cruciales. Des programmes comme le programme “Machine Learning Alignment and Theory Scholars (MATS)”, organisé à Lighthaven, sont considérés comme un point d’entrée plus vital dans le domaine de la sécurité de l’IA que l’académie traditionnelle, selon la chercheuse en IA Sonia Joseph.

Le mouvement a vu le jour à la fin des années 2000 avec le philosophe en ligne Eliezer Yudkowsky, dont les essais, “Les Séquences”, prônaient une réexamen du monde par une pensée rigoureuse et axée sur les données. Ces écrits sont devenus un guide pour la communauté Rationaliste. L’influence de Yudkowsky a atteint les plus hautes sphères de la technologie, notamment lorsqu’il a présenté les fondateurs de DeepMind au capital-risqueur Peter Thiel en 2010, aidant à lancer l’entreprise que Google a ensuite acquise pour 650 millions de dollars. Yudkowsky a également dirigé le Machine Intelligence Research Institute, une organisation à but non lucratif dédiée à la sécurité de l’IA à Berkeley, alors que le mouvement s’étendait progressivement à l’échelle mondiale avec des maisons de groupe et des réunions établies dans des villes du monde entier.

Malgré sa croissance, les mouvements Rationaliste et EA ont fait face à de fréquentes critiques, y compris des allégations de harcèlement sexuel au sein des maisons de groupe et des préoccupations concernant leur intérêt pour l’eugénisme et la science des races. La réputation de la communauté a été considérablement ternie en 2023 lorsque Sam Bankman-Fried, le fondateur de la bourse de crypto-monnaie FTX et un important bailleur de fonds des deux mouvements, a été reconnu coupable de fraude. Bankman-Fried avait mené des transactions financières dans le but déclaré de bénéficier à l’humanité par le biais de causes EA, y compris la sécurité de l’IA, mais a finalement été reconnu coupable d’avoir volé des milliards à ses clients. Greg M. Epstein, aumônier de Harvard et auteur de “Tech Agnostic”, suggère que la “vision excentrique” du groupe et son accent sur un “futur fantastique” plutôt que sur les problèmes actuels partagent des caractéristiques avec les religions sectaires et fondamentalistes.

Chaque décembre, la communauté se rassemble pour une célébration annuelle du Solstice d’Hiver, marquée par des chants, des histoires et des discussions sur le destin du monde. Une célébration récente a présenté une chanson, “Uplift”, louant le pouvoir historique de la technologie, mais a également inclus des avertissements de menaces futures de la part d’un Rationaliste de longue date, Ozy Brennan : “Si nous échouons – et il y a toutes les chances que nous le fassions – 100 % des enfants mourront, et tout le monde aussi.”

Le bâtiment principal de Lighthaven, une maison de style Tudor de 1905 qui abritait autrefois le historique Rose Garden Inn, a été acheté pour 16,5 millions de dollars il y a environ trois ans par Lightcone Rose Garden, une société appartenant à Lightcone Infrastructure, qui gère LessWrong, le principal forum en ligne pour les Rationalistes. Le nom “Lightcone” (cône de lumière) fait référence à un concept de physique souvent utilisé par les Rationalistes et les EA pour décrire l’étendue des événements futurs qu’ils peuvent influencer. Lightcone gère maintenant Lighthaven, avec des fonds apportés par des figures comme Jaan Tallinn et, initialement, Sam Bankman-Fried, bien que le dépôt de Bankman-Fried ait été ultérieurement restitué dans le cadre d’un règlement judiciaire. L’accès à Lighthaven est souvent restreint, et son responsable, Oliver Habryka, a décliné une demande de visite du New York Times.

Pour de nombreux, Lighthaven représente un voyage personnel profond. Sonia Joseph, la chercheuse de McGill et Meta, a découvert la communauté Rationaliste à 14 ans grâce au roman d’Eliezer Yudkowsky, “Harry Potter et les méthodes de la rationalité”, qui dépeint Harry Potter appliquant la pensée rationnelle au monde des sorciers. Joseph décrit l’attrait de la communauté pour les “étrangers”, offrant une acceptation à ceux qui pourraient ne pas trouver de soutien ailleurs. Si des programmes comme MATS peuvent mener à des emplois dans les meilleures entreprises d’IA, pour Joseph et d’autres, l’expérience transcende l’avancement de carrière. Réfléchissant à son été à Lighthaven, elle a rappelé les lieux ornés et les clins d’œil subtils à l’œuvre de Yudkowsky, concluant : “Tout cela semble mythique… Nous voulons travailler sur quelque chose de mythique.”