AGI前夜的思考：2025年将出现真正的AI智能体，年轻人需要快速适应

2025 新年将至。对于新的一年和未来几年，你对 AI 领域有什么期待和设想呢？你是否认为 AGI 将要实现了而人类社会的一切都将因之而改变。

创业公司 Exa 的 CEO Will Bryk 在 X 上发了一篇长文，以「AGI 前夜的思考」为题，详细阐述了他对 o3 模型的看法、对未来几年的预测以及 AI 领域面临的主要挑战和风险。之后，他还给年轻人提出了一些建议，以帮助他们为不可避免的 AI 时代做好准备。

这篇文章启发了不少讨论和深度思考：

针对此文，网友们也有很多的好奇，一个关键问题是：毕竟 o3 在高计算量模式下每个任务的成本达到了数千美元。

答案也很简洁：Money is all you need！

接下来，让我们看看 Will Bryk 这篇充满未来主义的文章究竟说了什么以及预言了一个怎样的未来。

AGI 前夜的思考

o3 本不应该让人震惊。OpenAI 在 2 个月前就已经放出了测试时间扩展图，而计算机的发展历史已经告诉我们应该相信趋势线，不管这个趋势多么令人难以置信。真正令人震惊的是这才不过 2 个月时间。2 个月，本科水平的 AI 就进化成了博士水平的 AI。在人类看来，变化激动人心，但快速变化则会让人震惊。

接下来会发生什么是显而易见的。任何任务，只要能够定义其奖励函数，o3 这样的模型都能非常尤其特别（reeeaally）擅长对其进行优化。数学和编程都是非常容易设计奖励函数的任务。写小说要难点。

所以这意味着在短期内（1 年），就会出现尖峰模型。它们在数学、编码和一般推理方面基本上能达到 AGI 级别，但写的小说还很普通。尽管更好的推理能力能让这些模型整体上给人更聪明的感觉，但对于它们没有针对性强化学习过的任务（即未在其训练数据中），它们仍然会失败。

当时间拉到更长范围（1-3 年），我们会不断为其增加新的训练领域（情绪数据、感官数据等），直到补齐各个盲点。此时，这些模型显然就是 AGI 了 —— 可能 Gary Marcus 不会这样想。

                                 ^{Gary Marcus 是 AGI 即将实现论的强烈反对者}

智能体将在 2025 年真正到来。o3 这样的模型没有道理不能使用浏览器 / 应用程序。这类任务的奖励模型很容易设计。自动化计算机工作也是一个巨大的市场，因此对于需要说明其巨额开支用途的实验室来说，这能提供巨大的激励。我猜想，到 2025 年 12 月，你就能让你的计算机完成各种工作流程了，不管是浏览网页 / 应用，还是搬运数据。

AI 将会给哪些工作造成重大影响？

在各种知识类工作中， 受影响最大的可能是数学家。数学家的工作领域范围是符号空间。他们的工作与物理世界几乎没有联系，因此不会受到物理世界的阻碍。LLM 是符号空间之王。数学其实并不难，灵长类动物只是不擅长而已。正则表达式也是一样。

                         ^{OpenAI 的 o3 模型在数学和科学基准上都表现非常出色}

一个大问题是制作研究级合成数据很难。我猜也没那么难。博士级数学和研究员级数学在我们看来在质量上有所不同，但在 AI 看来可能是一样的，只是需要更多数量级的强化学习。

我给数学家 700 天时间。（这听起来很疯狂，但如果说 o6 还不能打败数学家，听起来同样疯狂；所以我对这个预测的把握超过一半，就像这篇文章中的所有其他预测一样）。 还有 700 天，人类就不再是已知宇宙中数学领域的顶尖群体了。

我们软件工程师呢？短期内，AI 将助益软件工程师。每位软件工程师都能晋升为技术主管，很不错。在那些完全采用 LLM 的人看来， 到 2025 年底，编程将更像是编排一堆小任务再让小智能体去执行。

任何有明确规范的 PR（拉取请求）都可由 o4 系统完成，并且错误率也小得可以接受。不过，也有个问题：上下文窗口太小，无法装下一个代码库，但 Sam 这样的领导者也很清楚这一点。

AI 自动化将很快接替所有人类软件工程师吗？并不会。软件工程不只是基于明确清晰的提示词做 PR。不同于数学家，软件工程师需要不断与物理世界（也就是其他人）互动。工程师必须与客户和团队合作，才能理解他们的需求。当工程师设计架构或编写代码时，会涉及到大量有关组织的上下文知识。o4 将无法做到这一点。但是 o4 将帮助有上下文的工程师提速 10 倍以上。

如果软件工程师提速 10 倍了，那么就会需要更少的软件工程师吗？嗯，如果说的是一家具体的公司，那么可能软件工程师需求确实会下降，因为他们可以用更精简的团队实现相同的产出。然而，全世界对软件工程师的需求可能会增加，因为这个世界肯定还需要 10 倍以上的高质量软件。所以我认为我们将看到 精简公司应用开发的黄金时代。每个人和每家企业都将获得自己的个性化微应用。

更长远地看（大于 2 年就算是长期了），软件工程将变得完全不同，但很难说会变成怎样。当 o6 系统问世并且完全整合进我们的应用，又怎么会不变呢？ 3 年后，前端工程师这样的岗位可能就不存在了。很奇怪吗？没那么怪啦 ——30 年前也同样不存在前端工程师。

回头看看，我们能看到每一代软件都会发生天翻地覆的改变。软件的核心一直都围绕着将需求变成纯逻辑。在抽象层级上，这种转变过程已经从二进制代码上升到了 Python。现在则是向英语等自然语言上升。

能用英语编程就为非技术人士进入这一领域打开了大门。但最好的开发者依然还是那些能在各个抽象层级上移动的人。

简而言之，由于软件工程实际上就是通过代码来理解和解决组织的需求，因此 软件工程完全自动化的那天就是所有组织完全自动化的一天。

前面已经讨论了一些知识工作者，那 AI 对体力工作者有何影响呢？AI 也会接替体力劳动，但会更慢一些，因为还必须处理重力和摩擦。不过，o 系列模型对机器人帮助不大，毕竟一次需要思考一个小时的模型对生产线上的机器人来说没多大用处。

而基础模型的进步能提供帮助，而 o 系列模型可帮助训练这些模型，但我认为这无法解决机器人领域的最大障碍。我认为，这个最大障碍是硬件提升以及快速 / 可靠的感知 + 动作模型。这些需要更长的时间才能获得改进（好几年）。

只有当机器人开始制造机器人并且 AI 开始进行 AI 研究时，才可能出现机器人技术的疯狂快速发展。这可能会由 o 系列模型实现，但我认为还需要再等几年。

                               ^{波士顿动力的人形机器人已能后空翻}

优化测试时间计算 vs 继续扩大规模

之前的讨论都是以年为单位，但也许可以「计算」为单位。时间能决定人类的产出，而计算能决定 AI 的产出，而 AI 产出将逐渐成为研究机构最重要的事情。正因为此，科技巨头正在激烈地竞相构建超级计算集群，比如 Meta 的 2GW 集群、xAI 新增的 10 万台 H100。

所有实验室都将快速跟进 OpenAI ，研发测试时间计算模型，有些实验室可以通过更多的计算来弥补起初较差的算法。他们会像赶上 GPT-4 一样赶上 o 系列模型。要造出这些模型，需要结合常识和每个实验室的秘密配方。

目前尚不清楚 OpenAI 在 o 系列模型方面有多少秘密配方，但它们的提升速度表明这是一种算法上的进步（更容易复现），而不是某种独特的数据组合（更难复现）。

在这个测试时间计算时代，我不清楚拥有更多计算更重要还是更优模型更重要。一方面，你可以通过投入更多的测试时间计算来弥补较差的模型。另一方面，稍好一点的模型可能会节省大量的计算。

如果 xAI 直接凭借更擅长打造超大集群而最终赶上了 OpenAI，那一定会很有意思。

无论如何，模型护城河都不会持续超过一年时间，因为实验室像交换棒球卡一样交换着研究者，也许更重要的是，实验室之间的研究者会一起聚会和睡觉。另外，我认为研究者非常理想化，如果出现状况，会乐于分享信息。

现在的情况有点疯狂。AI 竞赛就像核竞赛，但竞争双方会在周末聚会，并在推特上互相挑衅：打赌你不会在 2025 年拥有最大的核弹，哈哈……

AI 竞赛将继续给人一种嬉皮娱乐的感觉，直到政府介入和 / 或发生一些非常糟糕的事情。

o 系列模型会以几种有趣的方式改变计算扩展的动态。

o 系列模型将激励大规模扩建，因为它们能随着计算的增加而获得明显的收益。计算提供商最喜欢看到这样的 Scaling Law。我猜，当 Sam 想要一个数万亿美元的计算集群时，看到的就是这个定律。

对英伟达来说，这不见得是好事。o 系列模型使得推理比训练更重要。我认为，超级优化的推理芯片比训练芯片更容易制造，因此英伟达在这方面的护城河并没有那么不可撼动。

非常推测：如果 o 系列模型能释放全世界的聚合计算来训练最好的模型呢？比如，如果我们把 Macbook Pro 合在一起，组成一个推理千兆集群，那么开放源代码就能打败封闭源代码，那该有多酷？

AI 将会从根本上改变科学研究

计算之外的另一个新指数是代码本身。如果一个实验室拥有使用最智能模型的唯一或特别途径，他们的软件工程师的生产力比其他实验室高出 2 倍，那么他们就能更快地接近下一个生产力翻番的目标。

除非代码速度达到极限，有一长串实验需要运行，实验室再次陷入计算瓶颈。(我不知道，动态变化很难。如果能看到实验室如何模拟计算与人力之间的关系，那将是一件超酷的事）。

虽然所有这些计算建设和知识工作自动化听起来都很疯狂，但只有当科学家们开始感受到 AGI 的时候，这一切才会变得真正疯狂。我指的是物理学家、化学家和生物学家。

它会从任何理论名称开始，理论物理学是第一位的。如果数学真的被解决了（写这篇文章听起来都很荒谬，但这并不意味着不可能），那么理论物理学也不会落后太多。它也生活在符号领域，LLM 将在这个领域成为超人。

                              ^{2024 年的诺贝尔物理学和化学奖授予了 AI 研究者}

当我们有一百万个 AI 冯诺伊曼在卢萨纳（Meta 即将建立的数据中心）的田野上日夜工作时，会发生什么？它们能以多快的速度读完上个世纪成千上万篇物理学论文，并立即吐出更多正确的 token？

显然，这是难以预测的部分。理论物理、化学、生物学，如果这些对于用 RL 训练出来的 LLM 来说是个笑话呢？在这一点上，我们有什么合理的理由来证明它不会是笑话呢？

是的，我们还没有从这些模型中看到真正的创新，但它们主要是在高中 / 大学阶段，而这些年龄段的人并不会发明新的物理学。我们现在处于阶段性水平，所以我们可能会开始看到一些创造性。

一旦人工智能开始不断提出新的科学理论，进步的瓶颈将是在物理世界中进行测试和实验。那里的瓶颈是劳动力和材料。到那时，如果没有能制造出更多机器人的机器人，那才叫奇怪呢。因此，劳动力问题已经解决。然后，机器人可以开采材料。这里的时间表会很慢，因为建造 / 运输实物需要很长的时间，但这是几年而不是几十年。

AI 发展的阻碍与风险

我以上所说的一切，都是假定人工智能和机器人的研究 / 开发不会遇到新的瓶颈，而且模型可以随心所欲地学习。这几乎肯定不会发生， 阻碍人工智能发展的最大瓶颈将是人类。

另一个风险是，人工智能会失控。也就是说，它会造成我们无法预料的大灭绝。特别是随着强化学习重回游戏，人工智能现在正在发现自己的优化方案，而不是试图匹配人类数据（匹配人类更安全）。但到目前为止，这些模型的底层大脑仍然是一个 LLM，而 LLM 已经显示出了对人的理解能力。

但我的兴奋感肯定多于害怕感。

未来十年可能实现的目标

我一直向往的科幻世界即将到来。它来得比预想的要快一些，因此我感到恐惧，但在所有可能到达那里的路径中，我不知道最好的路径会有多好。这是一个相当不错的时间表。

我最希望在十年内实现的目标是：

• 一些疯狂酷炫的物理发现；

• 最初由机器人建造的火星和月球基地；

• 完美的家庭教师 / 建议（快到了，需要良好的检索能力、记忆力和更多的个性）；

• 零副作用的生物强化药物；

• 乘坐超级优化的无人机四处飞行；

• 使用核聚变、地热和大量太阳能等超级清洁能源；

• 一些意想不到：人工智能天文学家在望远镜数据中发现外星信号？人工智能化学家轻松设计出室温超导体？人工智能物理学家统一了一些理论？人工智能数学家解决了黎曼猜想？

这些看起来不再是科幻小说，而是近在咫尺的科学现实。

那么，这一切将何去何从？最终我们会得到超级智能，这意味着我们会得到物理定律所允许的一切，我希望能长生不老，并看到其他恒星系统。我还希望把我们的肉体升级到更好的东西。但到目前为止，我最想知道宇宙从何而来。

10 年前，我开始写日记，讲述我是多么想知道这个答案，以及人工智能将如何把我们带到那里，而现在这一切可能真的发生了，这太疯狂了。

我们现在生活的世界，这一切听起来都有可能实现。每一次新的人工智能发展都会让更多的人意识到这一点，o3 就是最近的一次。

我们应当守护我们的未来并适应变化

未来不超级棒的唯一可能就是我们这些人把它搞砸了。

人们认为人工智能实验室的人在控制我们的未来。我不这么认为。他们的工作已经确定。他们只是在探究模型架构，而就算这个实验室不做，也有另外的实验室来做。

但是，很多东西都是完全不确定的。这意味着我们是未来的守护者。我们每一个人都有责任帮助我们的世界渡过未来的艰难时期，让我们拥有一个美好的未来，而不是一个可怕的未来。

有很多方法可以帮助我们：帮助制造能让社会更稳定或让人们更聪明的产品（例如帮助人们规范社交媒体的应用程序）。帮助人们了解正在发生的事情（在社交媒体上提供更多高质量的评论、一个非常好的搜索引擎等）。帮助清理我们的街道，让这座要求把我们带入乌托邦的城市不会看起来反乌托邦。

几乎每个与我交谈过的人都害怕在人工智能世界中失去意义，你可能也是。我想对你说，这不正好相反吗？你生活在历史最重要的时期，你有能力影响它。帮助拯救世界就足够了，不是吗？你想回到那个只有你的事业进步而不是世界都在进步的时代吗？

也许，人们需要做的转变是从「通过个人成功获得意义」到「通过集体成功获得意义」。 我们目前的许多工作很快就会自动化，我们必须适应。如果你从一项特定的技能中获得意义，这项技能可能在 5 年后就不再需要了，那你就倒霉了。但如果你能从力所能及的帮助世界中获得意义，那么这种意义永远不会消失。

对于所有因为 o3 而得到建议的新毕业生， 我的建议是：学习成为一个高水平的问题解决者和出色的团队合作者。你在学习过程中学到的具体技能并不重要，因为世界变化太快。但是，在很长一段时间内，跳跃性地解决问题和与团队良好合作将非常重要。

你可能还需要接受不稳定世界中的不稳定生活。这会变得很奇怪。你可能不会在郊区有两个孩子和一条狗。你可能会在星际方舟上有两个机器人孩子和一只人工智能狗。

我们正生活在 AGI 的前夜，我希望你们能帮助 AGI 顺利过渡，这样我就能在公元 3024 年的圣诞夜，在四光年外绕着 Altman Centauri 运行的星球上向你们问好。

^{原文链接：https://x.com/WilliamBryk/status/1871946968148439260}