シリコンバレーにおけるAI『テクノ宗教』とその影響力の拡大
カリフォルニア州バークレーのダウンタウンに位置する、かつてローズガーデン・インとして知られたホテルが、現在はライトヘイブンへと変貌を遂げました。ここは、人工知能と人類の未来の追求に深く投資するコミュニティの中心拠点となる広大な複合施設です。このゲート付きの複合施設は、重要な都市ブロックを占め、5つの建物、バラの茂みと噴水のある公園、新古典主義の彫像を備え、最も高い建物であるベイズハウスは18世紀の数学者にちなんで名付けられています。
ライトヘイブンは、「合理主義者」として知られるグループの事実上の本部です。彼らの多様な興味は数学、遺伝学、哲学に及びますが、一つの核となる信念が彼らを結びつけています。それは、人工知能が人類の破滅を招かない限り、人類の生活を大幅に改善する可能性を秘めているというものです。彼らは、AIを開発する者は、そのAIがより大きな善と一致するよう確実にすることが責務であると信じています。
合理主義者たちは、OpenAIのChatGPTのような進歩を通じて一般大衆がAI技術を認識するようになる何年も前から、AIの存在リスクについて議論していました。彼らの影響力はテクノロジー業界全体に静かに拡大し、Googleのような主要企業や、OpenAI、Anthropicといった先駆的なAI企業に影響を与えています。GoogleのDeepMindのシェーン・レッグ、AnthropicのCEOダリオ・アモデイ、元OpenAI研究者のポール・クリスティアーノなど、AI界の著名人の多くが合理主義哲学によって形成されてきました。イーロン・マスクでさえ、コミュニティの多くのアイデアが彼自身の考えと共鳴すると認めており、特に元パートナーのグライムスとは、「ロコのバジリスク」という共通の言及をきっかけに出会いました。これは、未来の全能AIがその創造に貢献しなかった人々を罰するかもしれないと示唆する精巧な思考実験です。この影響力にもかかわらず、多くのテクノロジーリーダーは、歴史的に嘲笑を浴びてきた「合理主義者」というレッテルを公然と名乗ることを避ける傾向があります。
合理主義コミュニティは、「有効な利他主義」（EA）運動と密接に連携しています。この運動は、寄付あたりの最大利益を計算することで慈善活動を最適化しようとします。この功利主義の形態は、現在の世代だけでなく、将来のすべての人々にも関心を広げます。その結果、多くの有効な利他主義者は、AIによる破壊から人類を守ることが、種に利益をもたらす最も影響力のある方法であると結論付けています。合理主義者は頻繁に自身をEAと認識し、またその逆も然りで、AIの構築と安全性確保の両方に専念する企業、研究室、シンクタンクに数億ドルを投じる共生関係を築いています。主要な資金提供者には、Skypeの共同創設者ヤーン・タリンやFacebookの共同創設者ダスティン・モスコヴィッツなどのテクノロジー界の大物が含まれます。人類学者のモリー・グレイバーマンが観察するように、彼らは「彼らのイデオロギーを広め、増幅し、検証するための広大で潤沢な資金を持つエコシステムを構築しました」。
これらの信念の影響は、テクノロジー業界内でますます顕著になっています。2023年後半、OpenAIのCEOサム・アルトマンは、合理主義およびEA運動と関係のある取締役会メンバーによって一時的にその職を解任されました。これは、AIを「人類の利益のためだけに」開発するという彼のコミットメントに対する信頼の欠如が理由とされています。ライトヘイブンは、これらのアイデアがいかに深くシリコンバレーに浸透しているかを示す具体的な象徴であり、現代の寺院に似ています。
この複合施設には、イスラエルのゲーム理論家ロバート・オーマンにちなんで名付けられたオーマンホールがあり、生活空間と共有空間を提供しています。また、ジムと集会エリアであるアイゲンスペースもあります。合成芝で覆われた公園は、大規模なイベント用に設計されています。長年のコミュニティメンバーであるアレックス・K・チェンは、この環境を「大学のキャンパスやM.I.T.メディアラボ」に例えています。ライトヘイブンでは、年次会議であるLessOnlineや、メンバーが運動の基礎となるテキスト「シーケンス」について議論する週次集会など、重要なイベントが定期的に開催されています。神学教授のイリア・デリオは、伝統的な宗教との類似点を指摘し、「宗教はテキスト、物語、儀式です。これらすべてがここに当てはまります」と述べています。
合理主義運動は、単なる一連のアイデアを超えたものです。それは、AIへの焦点と個人的・専門的開発に関する助言を融合させたライフスタイルです。コミュニティは、ポリアモリーから知能の遺伝学まで、有効な利他主義と並んで、型破りな概念を受け入れています。AI開発者を目指す者にとって、合理主義者のイベントは重要なネットワーキングの機会となっています。AI研究者ソニア・ジョセフによると、ライトヘイブンで開催される機械学習アライメント・理論学者（MATS）プログラムのようなものは、従来の学術機関よりもAI安全分野へのより重要な参入点と見なされています。
この運動は、2000年代後半にオンライン哲学者エリーザー・ユドコフスキーによって始まりました。彼の論文集「シーケンス」は、厳密でデータ駆動型の思考を通じて世界を再検討することを提唱しました。これらの著作は合理主義コミュニティの指針となりました。ユドコフスキーの影響力はテクノロジーの最高層にまで及び、特に2010年にはDeepMindの創設者をベンチャーキャピタリストのピーター・ティールに紹介し、Googleが後に6億5000万ドルで買収する会社の立ち上げに貢献しました。ユドコフスキーはまた、バークレーにあるAI安全非営利団体である機械知能研究所を運営し、運動は世界各地の都市にグループハウスや会議が設立されるにつれて徐々にグローバルに拡大しました。
その成長にもかかわらず、合理主義とEA運動は頻繁な批判に直面しています。これには、グループハウス内でのセクハラ疑惑や、優生学と人種科学への関心に関する懸念が含まれます。コミュニティの評判は2023年に、暗号通貨取引所FTXの創設者であり、両運動の主要な資金提供者であったサム・バンクマン＝フリードが詐欺罪で有罪判決を受けたことで著しく損なわれました。バンクマン＝フリードは、AI安全性を含むEAの目的を通じて人類に利益をもたらすという公言された目標のもと金融取引を行っていましたが、最終的には顧客から数十億ドルを盗んだ罪で有罪となりました。ハーバード大学のチャプレンであり、『Tech Agnostic』の著者であるグレッグ・M・エプスタインは、このグループの「風変わりなビジョン」と、現在の問題よりも「幻想的な未来」に焦点を当てる点が、カルト的で原理主義的な宗教の特性と共通していると示唆しています。
毎年12月には、コミュニティは冬至の祝賀会に集まり、歌、物語、世界の運命についての議論が行われます。最近の祝賀会では、「Uplift」という歌がテクノロジーの歴史的な力を称賛していましたが、長年の合理主義者であるオジー・ブレナンからは未来の脅威に対する警告も含まれていました。「もし私たちが失敗したら――そしてその可能性は十分にあります――子供たちの100パーセントが死に、他のすべての人も死ぬでしょう。」
ライトヘイブンの本館は、かつて歴史あるローズガーデン・インを収容していた1905年築のチューダー様式の家で、約3年前にライトコーン・ローズガーデン社によって1650万ドルで購入されました。この会社は、合理主義者の主要なオンラインフォーラムであるLessWrongを運営するライトコーン・インフラストラクチャーが所有しています。「ライトコーン」という名前は、合理主義者やEAが影響を及ぼせる将来の出来事の範囲を説明するためによく使う物理学の概念を指します。ライトコーンは現在ライトヘイブンを管理しており、ヤーン・タリンや、当初はサム・バンクマン＝フリードといった人物が資金を提供していました。ただし、バンクマン＝フリードの預金は後に裁判所の和解の一環として返還されました。ライトヘイブンへのアクセスはしばしば制限されており、その責任者であるオリバー・ハブリカは、ニューヨーク・タイムズからの見学要請を断りました。
多くの人にとって、ライトヘイブンは深い個人的な旅を象徴しています。マギル大学とMetaの研究者であるソニア・ジョセフは、14歳の時にエリーザー・ユドコフスキーの小説『ハリー・ポッターと合理的な思考法』を通じて合理主義コミュニティを発見しました。この小説では、ハリー・ポッターが魔法の世界に合理的な思考を適用する様子が描かれています。ジョセフは、コミュニティが「アウトサイダー」にとって魅力的であると説明し、他の場所では支持を見つけられないかもしれない人々にも受け入れを提供していると述べています。MATSのようなプログラムがトップAI企業での仕事につながる可能性がある一方で、ジョセフや他の人々にとって、その経験はキャリアアップを超えたものです。ライトヘイブンでの夏を振り返り、彼女は装飾された敷地とユドコフスキーの作品への微妙な言及を思い出し、「これらすべてが神話のように感じられます…私たちは神話的なものに取り組みたいのです」と結論付けています。