Silicon Valley: KIs 'Techno-Religion' und ihr Einfluss

Im Zentrum von Berkeley, Kalifornien, wurde ein ehemaliges Hotel, bekannt als Rose Garden Inn, in Lighthaven umgewandelt – einen weitläufigen Komplex, der als zentrale Anlaufstelle für eine Gemeinschaft dient, die tief in die Erforschung künstlicher Intelligenz und die Zukunft der Menschheit investiert ist. Dieser abgesperrte Komplex, der einen bedeutenden Stadtblock umfasst, verfügt über fünf Gebäude, einen Park mit Rosenbüschen und Springbrunnen sowie neoklassizistische Statuen, wobei sein höchstes Bauwerk, das Bayes House, nach einem Mathematiker aus dem 18. Jahrhundert benannt ist.

Lighthaven ist der de facto Hauptsitz einer Gruppe, die als Rationalisten bekannt ist. Ihre vielfältigen Interessen umfassen Mathematik, Genetik und Philosophie, doch ein zentraler Glaube eint sie: Künstliche Intelligenz hat das Potenzial, das menschliche Leben immens zu verbessern, vorausgesetzt, sie führt nicht zuerst zur Zerstörung der Menschheit. Sie glauben, dass es die Pflicht derer ist, die KI entwickeln, deren Ausrichtung auf das Gemeinwohl sicherzustellen.

Die Rationalisten diskutierten die existenziellen Risiken von KI bereits Jahre, bevor die breite Öffentlichkeit durch Fortschritte wie OpenAIs ChatGPT auf die Technologie aufmerksam wurde. Ihr Einfluss hat sich still und leise in der gesamten Technologiebranche ausgebreitet und wichtige Akteure wie Google sowie wegweisende KI-Firmen wie OpenAI und Anthropic beeinflusst. Prominente Persönlichkeiten in der KI-Welt, darunter Shane Legg von Googles DeepMind, Anthropic-CEO Dario Amodei und der ehemalige OpenAI-Forscher Paul Christiano, wurden von der rationalistischen Philosophie geprägt. Sogar Elon Musk hat anerkannt, dass viele Ideen der Gemeinschaft mit seinen eigenen übereinstimmen, insbesondere traf er seine ehemalige Partnerin Grimes über eine gemeinsame Referenz zu „Roko’s Basilisk“ – ein ausgeklügeltes Gedankenexperiment, das suggeriert, dass eine zukünftige allmächtige KI diejenigen bestrafen könnte, die nicht zu ihrer Entstehung beigetragen haben. Trotz dieses Einflusses halten sich viele Tech-Führer oft davon ab, sich offen als Rationalisten zu identifizieren, ein Etikett, das historisch Spott auf sich gezogen hat.

Die rationalistische Gemeinschaft ist eng mit der Bewegung des Effektiven Altruismus (EA) verbündet, die philanthropische Bemühungen optimieren möchte, indem sie den maximalen Nutzen pro Spende berechnet. Diese Form des Utilitarismus erstreckt ihre Sorge nicht nur auf gegenwärtige Generationen, sondern auf alle zukünftigen Menschen. Folglich sind viele Effektive Altruisten zu dem Schluss gekommen, dass der Schutz der Menschheit vor KI-induzierter Zerstörung der wirkungsvollste Weg ist, der Spezies zu nützen. Rationalisten identifizieren sich häufig als EAs und umgekehrt, wodurch eine symbiotische Beziehung entsteht, die Hunderte Millionen Dollar in Unternehmen, Forschungslaboratorien und Denkfabriken gelenkt hat, die sich sowohl dem Aufbau als auch der Sicherstellung der Sicherheit von KI widmen. Zu den Hauptfinanziers gehören Tech-Magnaten wie Skype-Mitbegründer Jaan Tallinn und Facebook-Mitbegründer Dustin Moskovitz. Wie die Anthropologin Mollie Gleiberman feststellt, haben sie „ein riesiges, gut finanziertes Ökosystem aufgebaut, um ihre Ideologie zu verbreiten, zu verstärken und zu validieren.“

Der Einfluss dieser Überzeugungen wird in der Tech-Branche zunehmend deutlich. Ende 2023 wurde OpenAI-CEO Sam Altman von Vorstandsmitgliedern mit Verbindungen zu den Rationalisten- und EA-Bewegungen kurzzeitig von seinem Posten entfernt, wobei ein Mangel an Vertrauen in sein Engagement, KI ausschließlich zum Wohle der Menschheit zu entwickeln, angeführt wurde. Lighthaven dient als greifbares Symbol dafür, wie tief diese Ideen das Silicon Valley durchdrungen haben, ähnlich einem modernen Tempel.

Der Komplex verfügt über die Aumann Hall, benannt nach dem israelischen Spieltheoretiker Robert Aumann, die Wohn- und Gemeinschaftsräume bietet, sowie über Eigenspace, einen Fitnessraum und Versammlungsbereich. Der mit Kunstrasen bedeckte Park ist für große Veranstaltungen konzipiert. Alex K. Chen, ein langjähriges Community-Mitglied, vergleicht die Umgebung mit einem „College-Campus oder dem M.I.T. Media Lab“. Lighthaven veranstaltet regelmäßig bedeutende Events, darunter LessOnline, eine jährliche Konferenz, und wöchentliche Treffen, bei denen Mitglieder „The Sequences“, einen grundlegenden Text der Bewegung, diskutieren. Ilia Delio, eine Theologieprofessorin, bemerkt die Parallelen zur traditionellen Religion und stellt fest: „Religion ist Text, Geschichte und Ritual. All das trifft hier zu.“

Die rationalistische Bewegung geht über eine Reihe von Ideen hinaus; sie ist ein Lebensstil, der den Fokus auf KI mit Ratschlägen zur persönlichen und beruflichen Entwicklung verbindet. Die Gemeinschaft umfasst unkonventionelle Konzepte, von Polyamorie bis zur Genetik der Intelligenz, neben dem Effektiven Altruismus. Für angehende KI-Entwickler sind rationalistische Veranstaltungen zu entscheidenden Networking-Möglichkeiten geworden. Programme wie das „Machine Learning Alignment and Theory Scholars (MATS)“-Programm, das in Lighthaven stattfindet, gelten laut der KI-Forscherin Sonia Joseph als wichtigerer Einstiegspunkt in das Feld der KI-Sicherheit als die traditionelle Wissenschaft.

Die Bewegung entstand Ende der 2000er Jahre mit dem Online-Philosophen Eliezer Yudkowsky, dessen Essays, „The Sequences“, eine Neubetrachtung der Welt durch rigoroses, datengesteuertes Denken befürworteten. Diese Schriften wurden zu einem Leitfaden für die rationalistische Gemeinschaft. Yudkowskys Einfluss reichte bis in die höchsten Ebenen der Technologie, insbesondere als er 2010 die Gründer von DeepMind dem Risikokapitalgeber Peter Thiel vorstellte und so zur Gründung des Unternehmens beitrug, das Google später für 650 Millionen Dollar erwarb. Yudkowsky leitete auch das Machine Intelligence Research Institute, eine gemeinnützige Organisation für KI-Sicherheit in Berkeley, während sich die Bewegung mit Gruppenhäusern und Treffen, die in Städten weltweit etabliert wurden, allmählich global ausbreitete.

Trotz ihres Wachstums sind die rationalistischen und EA-Bewegungen häufiger Kritik ausgesetzt, darunter Vorwürfe sexueller Belästigung in Gruppenhäusern und Bedenken hinsichtlich ihres Interesses an Eugenik und Rassenkunde. Der Ruf der Gemeinschaft wurde 2023 erheblich geschädigt, als Sam Bankman-Fried, der Gründer der Kryptowährungsbörse FTX und ein wichtiger Finanzier beider Bewegungen, wegen Betrugs verurteilt wurde. Bankman-Fried hatte Finanzgeschäfte mit dem erklärten Ziel verfolgt, die Menschheit durch EA-Zwecke, einschließlich KI-Sicherheit, zu begünstigen, wurde aber letztendlich des Diebstahls von Milliarden von seinen Kunden für schuldig befunden. Greg M. Epstein, ein Harvard-Kaplan und Autor von „Tech Agnostic“, deutet an, dass die „exzentrische Vision“ der Gruppe und ihr Fokus auf eine „fantastische Zukunft“ gegenüber gegenwärtigen Problemen Merkmale mit kultähnlichen und fundamentalistischen Religionen teilen.

Jeden Dezember versammelt sich die Gemeinschaft zu einer jährlichen Wintersonnenwendfeier, die von Liedern, Geschichten und Diskussionen über das Schicksal der Welt geprägt ist. Eine kürzliche Feier umfasste ein Lied, „Uplift“, das die historische Kraft der Technologie pries, enthielt aber auch Warnungen vor zukünftigen Bedrohungen von einem langjährigen Rationalisten, Ozy Brennan: „Wenn wir scheitern – und die Chance dafür ist groß – werden 100 Prozent der Kinder sterben, und alle anderen auch.“

Das Hauptgebäude von Lighthaven, ein Tudor-Haus aus dem Jahr 1905, das einst das historische Rose Garden Inn beherbergte, wurde vor etwa drei Jahren für 16,5 Millionen Dollar von Lightcone Rose Garden gekauft, einem Unternehmen im Besitz von Lightcone Infrastructure, das LessWrong betreibt, das primäre Online-Forum für Rationalisten. Der Name „Lightcone“ bezieht sich auf ein physikalisches Konzept, das von Rationalisten und EAs oft verwendet wird, um den Umfang zukünftiger Ereignisse zu beschreiben, die sie beeinflussen können. Lightcone verwaltet nun Lighthaven, mit Finanzmitteln von Persönlichkeiten wie Jaan Tallinn und, anfänglich, Sam Bankman-Fried, obwohl Bankman-Frieds Einzahlung später als Teil einer Gerichtsvergleichs zurückgegeben wurde. Der Zugang zu Lighthaven ist oft eingeschränkt, und sein Leiter, Oliver Habryka, lehnte eine Besichtigungsanfrage der New York Times ab.

Für viele repräsentiert Lighthaven eine tiefgreifende persönliche Reise. Sonia Joseph, die Forscherin von McGill und Meta, entdeckte die rationalistische Gemeinschaft mit 14 Jahren durch Eliezer Yudkowskys Roman „Harry Potter und die Methoden der Rationalität“, der Harry Potter darstellt, wie er rationales Denken auf die Zaubererwelt anwendet. Joseph beschreibt die Anziehungskraft der Gemeinschaft auf „Außenseiter“, indem sie denen Akzeptanz bietet, die anderswo möglicherweise keine Unterstützung finden. Während Programme wie MATS zu Jobs bei Top-KI-Unternehmen führen können, geht die Erfahrung für Joseph und andere über den Karrierefortschritt hinaus. Als sie über ihren Sommer in Lighthaven nachdachte, erinnerte sie sich an die kunstvollen Anlagen und subtilen Anspielungen auf Yudkowskys Werk und schloss: „Das alles fühlt sich mythisch an… Wir wollen an etwas Mythischem arbeiten.“