硅谷AI的‘技术宗教’：理性主义如何塑造未来？

在加利福尼亚州伯克利市中心，一处曾被称为玫瑰园酒店的旧址，如今已变身为Lighthaven。这是一个庞大的综合体，作为致力于追求人工智能和人类未来社区的中心枢纽。该封闭式建筑群占地一个重要的城市街区，拥有五栋建筑、一个带玫瑰丛和喷泉的公园，以及新古典主义雕像，其中最高的建筑名为贝叶斯楼，以18世纪数学家命名。

Lighthaven是被称为“理性主义者”群体的实际总部。他们的兴趣广泛，涵盖数学、遗传学和哲学，但一个核心信念将他们团结在一起：只要人工智能不首先导致人类毁灭，它就有潜力极大地改善人类生活。他们认为，开发人工智能的人有责任确保其与更大利益保持一致。

早在公众通过OpenAI的ChatGPT等进步了解人工智能技术之前，理性主义者就已经在讨论人工智能的生存风险。他们的影响力已在科技行业悄然扩张，影响了谷歌等主要参与者以及OpenAI和Anthropic等开创性人工智能公司。人工智能界的知名人物，包括谷歌DeepMind的沙恩·莱格、Anthropic首席执行官达里奥·阿莫迪，以及前OpenAI研究员保罗·克里斯蒂亚诺，都受到理性主义哲学的塑造。甚至埃隆·马斯克也承认，该社区的许多想法与他自己的想法产生共鸣，值得注意的是，他与前伴侣格莱姆斯就是因为共同提及“罗科的蛇怪”而相识的——这是一个精心设计的思想实验，暗示未来的全能人工智能可能会惩罚那些没有为其创建做出贡献的人。尽管影响力巨大，许多科技领袖却常常避免公开承认自己是理性主义者，因为这个标签历来招致嘲笑。

理性主义社区与“有效利他主义”（EA）运动紧密结合，该运动旨在通过计算每次捐赠的最大效益来优化慈善努力。这种功利主义不仅关注当代人，也关注所有未来的人。因此，许多有效利他主义者得出结论，保护人类免受人工智能引起的毁灭是造福物种最有效的方式。理性主义者经常自称是有效利他主义者，反之亦然，形成了一种共生关系，已将数亿美元投入到致力于构建和确保人工智能安全的公司、研究实验室和智库。主要资助者包括Skype联合创始人扬·塔林和Facebook联合创始人达斯汀·莫斯科维茨等科技巨头。正如人类学家莫莉·格莱伯曼所观察到的，他们“建立了一个庞大、资金充足的生态系统来传播、放大和验证他们的意识形态。”

这些信念的影响在科技行业日益明显。2023年末，OpenAI首席执行官萨姆·奥特曼曾被与理性主义和有效利他主义运动有联系的董事会成员短暂罢免，理由是他们不信任他致力于“仅为人类利益”开发人工智能的承诺。Lighthaven作为一个有形的象征，表明这些思想已多么深入地渗透到硅谷，堪比一座现代寺庙。

该综合体设有以以色列博弈论家罗伯特·奥曼命名的奥曼厅，提供生活和公共空间，以及一个健身房和聚会区Eigenspace。铺有人造草皮的公园专为大型活动设计。社区资深成员亚历克斯·K·陈将这里的环境比作“大学校园或麻省理工学院媒体实验室”。Lighthaven定期举办重要活动，包括年度会议LessOnline和每周聚会，成员们在会上讨论该运动的奠基文本“序列”。神学教授伊利亚·德利奥指出，这与传统宗教有相似之处，称“宗教是文本、故事和仪式。所有这些都适用于这里。”

理性主义运动超越了一系列思想；它是一种生活方式，将对人工智能的关注与个人和职业发展建议相结合。社区接受非传统概念，从多边恋到智力遗传学，以及有效利他主义。对于有抱负的人工智能开发者来说，理性主义活动已成为重要的社交机会。据人工智能研究员索尼亚·约瑟夫称，在Lighthaven举办的“机器学习对齐与理论学者”（MATS）项目，被认为是进入人工智能安全领域比传统学术更重要的切入点。

该运动起源于2000年代后期，由在线哲学家埃利泽·尤德科夫斯基发起，他的系列文章“序列”倡导通过严谨、数据驱动的思维重新审视世界。这些著作成为理性主义社区的指南。尤德科夫斯基的影响力达到了科技界的最高层，值得注意的是，他在2010年将DeepMind的创始人介绍给风险投资家彼得·蒂尔，帮助启动了这家后来被谷歌以6.5亿美元收购的公司。尤德科夫斯基还运营着伯克利的人工智能安全非营利组织机器学习智能研究所，随着该运动在全球范围内扩展，世界各地的城市都建立了团体住所和会议。

尽管不断发展，理性主义和有效利他主义运动也面临频繁批评，包括对团体住所内性骚扰的指控，以及对其优生学和种族科学兴趣的担忧。2023年，加密货币交易所FTX创始人、这两个运动的主要资助者萨姆·班克曼-弗里德因欺诈罪被判有罪，社区声誉因此受到严重损害。班克曼-弗里德曾声称通过有效利他主义事业（包括人工智能安全）为人类造福而进行金融交易，但最终被判窃取了客户数十亿美元。哈佛大学牧师、《科技不可知论》作者格雷格·M·爱泼斯坦认为，该团体的“古怪愿景”和对“幻想未来”而非当前问题的关注，与邪教和原教旨主义宗教的特征相似。

每年12月，社区都会举行年度冬至庆祝活动，伴随着歌曲、故事和关于世界命运的讨论。最近的一次庆祝活动中，一首名为“提升”的歌曲赞美了科技的历史力量，但一位资深理性主义者奥兹·布伦南也发出了对未来威胁的警告：“如果我们失败了——而且很有可能失败——100%的孩子会死去，其他人也一样。”

Lighthaven的主楼是一座1905年都铎风格的住宅，曾是历史悠久的玫瑰园酒店，大约三年前被Lightcone Rose Garden公司以1650万美元收购，该公司由Lightcone Infrastructure拥有，后者运营着LessWrong，这是理性主义者的主要在线论坛。“光锥”这个名称指的是理性主义者和有效利他主义者经常用来描述他们可以影响的未来事件范围的物理概念。Lightcone现在管理着Lighthaven，资金由扬·塔林等人物以及最初的萨姆·班克曼-弗里德提供，尽管班克曼-弗里德的存款后来作为法院和解的一部分被退还。Lighthaven的访问通常受到限制，其负责人奥利弗·哈布里卡拒绝了《纽约时报》的参观请求。

对许多人来说，Lighthaven代表着一次深刻的个人旅程。麦吉尔大学和Meta的研究员索尼亚·约瑟夫在14岁时通过埃利泽·尤德科夫斯基的小说《哈利·波特与理性之道》发现了理性主义社区，该小说描绘了哈利·波特如何将理性思维应用于魔法世界。约瑟夫描述了该社区对“局外人”的吸引力，为那些可能在其他地方找不到支持的人提供了接纳。虽然像MATS这样的项目可以带来顶级人工智能公司的工作，但对约瑟夫和其他人来说，这种经历超越了职业发展。回想起她在Lighthaven度过的夏天，她回忆起华丽的场地和对尤德科夫斯基作品的微妙致敬，总结道：“所有这一切都感觉像是神话……我们想从事一些神话般的工作。”