AI的自我提升：Meta的宏伟目标、风险与深远影响

马克·扎克伯格最近阐述了Meta的一个大胆愿景：实现超越人类智慧的人工智能。他的策略建立在两个关键要素之上：一是吸引顶尖人才，据报道Meta超级智能实验室为研究人员提供了九位数薪酬；二是至关重要地开发能够自我提升的AI系统，使其能够自我引导至更高的性能水平。

人工智能自我提升的概念使其区别于其他突破性技术。与CRISPR无法自行优化DNA靶向，或核聚变反应堆无法独立设计商业可行路径不同，大型语言模型（LLM）已展现出优化其运行的计算机芯片、高效训练其他LLM，甚至为AI研究生成新想法的能力。事实上，这些领域的进展已经显而易见。

扎克伯格设想了一个未来，在这样的进步下，人类将从繁琐的任务中解放出来，与卓越、高效的人工智能伙伴一同追求最崇高的目标。然而，正如人工智能研究非营利组织METR的政策主管克里斯·潘特（Chris Painter）所强调的，这种自我提升也伴随着固有的风险。潘特警告称，如果AI能力迅速加速，它可能很快变得更擅长黑客攻击、设计武器和操纵人类。一些研究人员甚至推测，这种正反馈循环可能最终导致“智能爆炸”，将AI推向远超人类理解的范畴。然而，我们无需悲观，即可承认自我提升型AI的严重影响。领先的AI开发者如OpenAI、Anthropic和Google都将自动化AI研究纳入其安全框架，并将其与化学武器和网络安全等更公认的风险并列。不列颠哥伦比亚大学计算机科学教授、Google DeepMind高级研究顾问杰夫·克鲁恩（Jeff Clune）强调，这条路径代表了“通往强大AI的最快途径”，并且可以说“是我们最应该思考的事情”。反之，克鲁恩也指出其巨大的潜在优势：单凭人类的独创性可能无法构想出AI最终解决癌症和气候变化等巨大挑战所需的创新。

暂时而言，人类的独创性仍是推动人工智能进步的主要动力，Meta在吸引研究人员方面的大量投资就证明了这一点。然而，人工智能正以几种关键方式越来越多地促进自身的演进。

大型语言模型对人工智能发展最直接、最广泛的贡献之一是提高生产力，特别是通过编码协助。Claude Code和Cursor等工具在AI行业中被广泛采用。Google首席执行官桑达尔·皮查伊（Sundar Pichai）在2024年10月指出，公司四分之一的新代码是由AI生成的，Anthropic也记录了其员工内部广泛使用Claude Code的情况。前提很简单：效率更高的工程师可以更快地设计、测试和部署新AI系统。然而，实际的生产力提升仍有争议。METR最近的一项研究发现，经验丰富的开发人员在使用AI编码助手时，完成大型代码库任务的时间大约增加了20%，尽管他们主观上感觉更高效。这表明领先的AI实验室需要更严格的评估来确定实际效益。

除了提高生产力，人工智能在优化自身底层基础设施方面也发挥着关键作用。LLM训练速度出了名的慢，复杂的推理模型有时需要数分钟才能生成一个响应——这是开发的一个重大瓶颈。斯坦福大学计算机科学助理教授、Google DeepMind高级科学家阿扎莉亚·米尔霍塞尼（Azalia Mirhoseini）表示：“如果我们能让AI运行得更快，我们就能进行更多的创新。”为此，米尔霍塞尼和她的Google合作者在2021年开发了一个AI系统，能够优化计算机芯片组件的放置以提高效率，Google此后已将该设计纳入其多代定制AI芯片中。最近，米尔霍塞尼已将LLM应用于编写“内核”（控制矩阵乘法等芯片操作的底层函数），发现即使是通用LLM也能生成性能优于人类设计的内核。在Google的其他地方，AlphaEvolve系统利用Gemini LLM迭代设计和完善算法，以优化Google LLM基础设施的各个部分。该系统已取得了实际成果，包括为Google数据中心节省了0.7%的计算资源，改进了定制芯片设计，以及使Gemini的训练时间加快了1%。虽然看似微不足道，但对于Google这样规模的公司而言，这些百分比意味着在时间、金钱和能源方面的大量节省，如果更广泛应用，潜力甚至更大。

人工智能自我提升的另一个关键领域在于自动化训练过程。LLM需要大量数据，使得训练在每个阶段都成本高昂。在专业领域，真实世界的数据可能稀缺。像带有人类反馈的强化学习（人类对LLM响应进行评分以改进模型）这样的技术是有效的，但速度慢且昂贵。LLM正越来越多地弥补这些差距。在有足够示例的情况下，它们可以为缺乏真实数据的领域生成合理的合成数据。它们还可以充当强化学习中的“评判者”，自行对模型输出进行评分——这是Anthropic有影响力的“宪法AI”框架的核心原则，其中一个LLM帮助训练另一个LLM以减少危害。对于需要执行多步骤计划的AI代理，成功完成任务的示例很少。米尔霍塞尼和她的斯坦福大学同事开创了一种技术：一个LLM代理生成一个分步计划，一个LLM评判者评估每个步骤的有效性，然后用这些精炼的步骤训练一个新的LLM代理。这种方法有效地消除了数据限制，允许模型生成几乎无限的训练经验。

此外，尽管当今大型语言模型的核心架构——由人类研究人员于2017年提出的Transformer——仍由人类设计，但LLM代理的出现开辟了一个全新的设计前沿。代理需要工具与外部世界交互以及关于其使用方法的指令，因此优化这些要素对效率至关重要。克鲁恩指出，这个领域为AI提供了“唾手可得的果实”，因为人类尚未穷尽所有可能性。克鲁恩与Sakana AI的研究人员合作开发了“达尔文·哥德尔机器”（Darwin Gödel Machine），这是一个能够迭代修改自身提示、工具和代码以提高任务性能的LLM代理。该系统不仅通过自我修改提高了分数，还发现了其初始版本无法构想的新颖修改，进入了一个真正的自我提升循环。

最后，也许人工智能自我提升最雄心勃勃的形式涉及推动人工智能研究本身。许多专家强调“研究品味”——顶尖科学家识别有前景的新问题和方向的能力——是AI面临的独特挑战。然而，克鲁恩认为这个挑战可能被夸大了。他和Sakana AI的研究人员正在开发一个端到端系统，名为“AI科学家”。该系统自主搜寻科学文献，提出自己的研究问题，进行实验，并起草研究结果。它在今年早些时候撰写的一篇论文，详细介绍了一种新的神经网络训练策略，匿名提交给国际机器学习会议（ICML）的一个研讨会并被审稿人接受，尽管该策略最终并未奏效。在另一个案例中，AI科学家构思了一个后来由人类研究人员独立提出的研究想法，引起了广泛关注。克鲁恩将这一时刻比作“AI科学家的GPT-1时刻”，并预测在几年内，它将在顶级同行评审会议和期刊上发表论文，做出原创的科学发现。

鉴于对人工智能自我提升的这种热情，人工智能对其自身发展的贡献似乎只会加速。马克·扎克伯格的愿景表明，超越人类在许多领域能力的超智能模型即将到来。然而，在现实中，自我提升型AI的全部影响仍不确定。尽管Google的AlphaEvolve已将Gemini的训练速度提高了1%，但据项目负责人马特伊·巴洛格（Matej Balog）称，这种反馈循环仍然“非常缓慢”。像Gemini这样的模型训练需要大量时间，这意味着“良性循环”才刚刚开始。

超级智能的支持者认为，如果Gemini的每个后续版本都进一步加速自身的训练，这些改进将复合叠加，更强大的版本将实现更大的提速，不可避免地导致智能爆炸。然而，这种观点往往忽视了一个原则：创新往往随着时间推移变得更加困难。在任何科学领域的早期，发现都来得轻而易举。但随着深度学习的成熟，每一次渐进式改进可能都需要人类及其AI合作者付出更大的努力。可以想象，当AI系统达到人类水平的研究能力时，最直接的进展可能已经完成。

因此，确定人工智能自我提升的实际影响是一项艰巨的挑战，更复杂的是，最先进的AI系统通常是前沿AI公司的专有技术，使得外部衡量变得困难。尽管如此，外部研究人员正在努力。例如，METR通过衡量人类完成尖端AI系统可以独立执行的任务所需的时间来跟踪AI发展的总体速度。他们的发现令人震惊：自GPT-2于2019年发布以来，AI可以独立完成的任务复杂性每七个月翻一番。自2024年以来，这一翻倍时间已缩短至仅四个月，强烈表明AI进展正在加速。虽然研究人员和硬件投资增加等因素有所贡献，但人工智能自我提升发挥重要作用是完全合理的。Forethought研究员汤姆·戴维森（Tom Davidson）预计AI进展将经历一段加速期，至少在一段时间内如此。METR的工作表明，“唾手可得的果实”效应目前并未阻碍人类研究人员，或者说，投资的增加正在有效地抵消任何减速。如果AI显著提高研究人员的生产力，甚至承担一部分研究本身，这种平衡将无疑转向加速进展。戴维森总结道，关键问题是“这种加速会持续多久”。