46条关于近期未来的思考：AI、机器人与文明的剧变

围绕 AI 算法的指数级跃迁、智能供应链的商品化以及机器人的爆发本文系统梳理了关于近期未来的 46 个核心洞察。智能1.人们会对算法的进步感到措手不及。整个世界包括市场、政府、军队、公司、个人等都在试图用最近过去的生产效率和规律以及事情的发展趋势去理解 AI 及其影响。甚至几个自称深信“RSI递归自我改进”的创新实验室似乎也认为这将是一如既往的商业模式只是加入了智能体Agent。个人的猜测是在智能生产方面算法还有许多个数量级 (OOMs) 的进步空间也许仅仅是也许多达 10 个但 4 到 7 个似乎更符合现实。理论上超过十个也是有可能的。如果这是真的那么事情实际上并没有像表面看起来那样发展一个巨大的飞跃即将到来。沿着这条路线发生的任何事情都会让事情变得比几乎任何人预期的都要诡异得多。2.我们正处于起飞的早期阶段。AI 改进 AI 最终可能成为历史上最具影响力的里程碑之一。这一点尚不确定因为我们不知道距离智能的物理和计算极限还有多远。3.如今我们正处于起飞阶段算法研究正在加速发展。计算资源仍然稀缺但研究人员的时间机会成本更低因为你可以派遣智能体执行任何任务或看似徒劳的探索。它或许会有所收获。所有新想法都带有优化债务而现在可以通过无监督的 Token 消耗来偿还。大量的研究扩展定律曲线将被跨越。4.AI 模型尤其是前沿模型将会不断改进。唯一真正的壁垒是物理学。模型变得越来越自主、越来越聪明并且时刻都在进步。数学和代码正在被“规模 强化学习”攻克接下来就是其他所有领域。“可验证”与“不可验证”作为一种有意义的区分将会淡化。随着时间的推移自动化的 AI 研究和 AI 学习看起来将越来越相关。训练模型与模型整体学习效果密切相关。样本效率、创造力以及所有其他限制都将被解决然后开始在任何规模上接近算法最优。5.认为长周期智能体总是需要同等长周期训练的观点是错误的因为时间上的泛化是存在的。长任务并非仅仅由时间长短构成。这与 LeCun 关于 (1-e)^n 误差累积的谬误有关。实际上发生的是纠错。这发生在从单个 Token 生成级别一直到长任务步骤的多个尺度上。METR 图表上升的部分原因是智能体正在开始达到纠错的逃逸速度。6.深度学习的工程级科学即将到来。这将推动我们以远超预期的速度实现 AI 算法的成熟尽管正如上面提到的即使在理论上这种成熟度究竟能达到什么程度也尚不明确。例如尺度不变性科学能够显著提升有效实验的规模和收益因为在单个 GPU 上进行的实验就能告诉你如何使用十万个 GPU。7.在人类技术活动的每个领域都会出现类似“Move 37”的突破时刻但很快这些突破时刻就会显得微不足道。所有领域都会如此。8.算力将继续提升。如今最好的矩阵乘法机器远未达到 AI 加速器的物理极限。数字硅片还有很大的改进空间。还有很多新的基材候选者它们所欠的算法债务将被自动化推向极限但还不知道在空间 / 能源 / 时间 / 可制造性 / 成本方面哪一个是 AI 的最优解。光子学和随机硅都是有趣的候选者但也预料奇点将会出人意料。9.实验室能够取得多大的进展部分取决于自动化和规模带来的收益这其中也包括算法深度提升带来的收益。如果深度学习的实践和理论永远停留在浅层那么从长远来看护城河主要将不再是算法因为发现秘密的成本相对较低。最终蒸馏 数据 时间可以赶上算力规模但这个过程可能很慢。到目前为止这似乎在部分程度上符合我们所处的现状但即便如此也无法保证它会继续这样下去。10.如果随着规模的扩大事物变得不那么肤浅那么每一次自动化和规模的提升都会为你带来其他人越来越难以企及的算法秘诀。这似乎也是目前部分处于的情况。无论哪种情况最终都会达到边际效用回归规模、研究饱和的阶段。不知道这个阶段何时到来。它可能距离今天的位置只有 2 个 OOM也可能只有 20 个 OOM。没人知道。智能供应链1.算力在至少未来几年内将是竞争高度激烈的资源。但在此期间它将开始商品化。规模不断扩大并发挥作用资本也随之而来推动着智能产业的持续发展。更多的矩阵乘法机器、更多的晶圆厂和更多的能源即将到来。智能生产的瓶颈只是暂时的即使存在潜在的经济障碍。2.智能供应链的性质正在发生变化。目前它高度集中于实验室。但实验室正在实现其核心优势的自动化研究人员和算法优势的发现。一旦这种情况开始发生假设开源软件紧随其后尤其是在实验室不垄断 AI 研究人员的模型的情况下实验室的优势将来自于更容易获得的资金、更多的计算资源、特殊的数据、商业关系以及优质的产品。当然这还取决于上述算法深度问题最终如何解决以及其他因素。3.分布式训练将减少对单一数据中心建设的需求非超大规模数据中心将获得一些优势。不过就单次最大运行规模而言它仍无法超越超大规模数据中心。4.自动化的 AI 实验将能够广泛发现算法的秘密因为这些秘密自然比大规模训练运行更容易传播。目前尚不清楚这种趋势能发展到什么程度但预计会发展得相当不错。如上所述深度学习的基本深度仍然未知这一点的上限取决于它。5.尽管这些因素看似对其有利但由于计算成本和机会成本学术界和开源社区仍有可能发展停滞。例如GB300 算力服务器用于 GLM5.2 还是 Fable 更有价值在学术实验室进行非前沿研究还是在 Anthropic 内部构建 Mythos 2 更有价值市场最终会找到需求最大的领域而目前看来实验室的需求最为旺盛。这意味着即使开源实验室拥有资金如果它们尚未锁定计算资源它们仍可能面临更大的计算资源短缺问题。即便如此它们也需要权衡研究的机会成本与租用计算资源的成本。6.在 AI 能力日趋强大的环境下未来 0-18 个月内开源在社会层面也可能面临困境尤其是在加速安全发展方面进展缓慢的情况下目前确实进展缓慢。7.随着资本涌入实验室开源可能会开始萎缩。这里存在一个协调问题除了实验室也许还有政府之外没有人希望出现垄断但如果这个问题能得到解决且监管环境有利也许情况会有所好转。机器人技术1.机器人技术将迎来类似 ChatGPT 那样的重大突破以及类似 Opus 4.5 那样的重大突破。虽然这两个突破尚未发生但终将到来而且由于 AI 的快速发展包括 AI 加速的物理系统工程其速度将远超人们的预期。这两个机器人技术突破之间的时间间隔很可能不会超过三年。2.然而要真正扩大机器人的全球规模可能要到 2030 年甚至更晚。尽管我们每年生产约 1 亿辆汽车而人形机器人比汽车小得多。考虑到每年还生产 10 亿部智能手机如果资本和算法能够快速发展那么到 2030 年每年生产约 1 亿台机器人似乎是合理的。每年 1000 万台机器人肯定是可以实现的因为在无人机市场已经实现了这一目标。优秀的软件能够证明小规模人形机器人的价值从而带来无限的资本其价值与证明的质量成正比。3.如今看似机器人发展的硬性限制将会消失例如低采样效率、相对稀缺的数据、昂贵或复杂的机械手和电机硬件设计、物理世界的复杂分形特征以及日常生活中未记录的、关于如何做事例如管道安装的知识。世界模型看似有用但具体是什么并不重要。研究的缩放定律Scaling law 将被不断推演直至其效用降低。4.全球对机器人的需求量轻松达到数百亿台尤其是在考虑各种外形尺寸的情况下。有太多体力劳动值得自动化。市场会努力解决这个问题而人们可能不会阻碍这一进程。进步1.科学正在实现自动化和虚拟化。这意味着世界上所需的大部分进步将来自自动化实验室和模拟。当下尚不完全了解虚拟化的计算极限但这种由机器人驱动的生物学、材料科学等领域的实验室将消除大量瓶颈并在此过程中不断突破已验证虚拟化的极限从而提高样本效率和实体化带来的净收益。基本上在每个领域都将结合神经网络模型、显式模拟和现实世界实验共同提高生物学、材料科学等领域的单位时间和单位投入产出比。2.进步法则无处不在。在深度学习中它们被称为缩放规律。很难预测任何给定曲线的 S 曲线何时达到饱和也很难预测新的 S 曲线何时会出现。这里需要理解的是文明进步的引擎本身就遵循着一条进步规律。我们的进步很可能像我们观察到的大多数自然过程一样最终达到饱和状态但实际上并不知道这种情况何时发生。技术和文明的成熟期可能近在眼前也可能遥不可及。我们正处于这样一个历史阶段(a) 我们几乎没有投入任何资源来推动进步但这种情况正在迅速改变(b) 我们正在自动化直接产出更多改进的机器。我们正处于一个有趣的时代。3.未来发展方向向上扩展还是向外扩展从零到一还是从一到 n宇宙究竟允许人类在广度和深度上取得多大的进步这是一个悬而未决的问题。广度更容易估算因为它类似于“从现在开始物理定律允许进行多少步骤的计算”。而计算的“深度”广义上的深度则未知。在某些未来版本中科技树如此深邃可触及的计算宇宙如此丰富以至于我们将不断发明、发现、再发明直到物理定律阻止为止如果它真的会阻止的话。而另一些版本则更为平坦我们很快就能达到较浅的科技树的极限并相对轻松地实现技术成熟然后向外扩展同样直到感到满足或物理定律阻止为止。资本与生产1.更多的资本和更高的智能意味着更激进的资本主义这意味着将更快地达到市场均衡。随着时间的推移这自然会导致通货紧缩并使大多数重要商品包括 AI、食品、住房、药品、电子产品、娱乐和旅游的竞争趋近于边际成本。当然前提是不会阻碍这一进程。但在某些情况下他们很可能会阻碍。2.采矿业将实现自动化。陆路、海路和空运都将实现自动化。工厂将实现自动化。工厂工人将实现自动化。配送中心将实现自动化。整个供应链的维护、改进和规模化都将实现自动化。3.人类将长期拥有工作。至于届时人类占总人口的比例是多少目前尚无定论。那些声称这一比例会很高的人过于自信那些声称这一比例会为零的人也同样如此。很难想象人类还能在知识型工作的知识部分做出多大的贡献。如果每月只需 20 美元就能拥有超人般的 AI 医生外加按需选择的检查项目以及通过更先进的医疗技术显著改善的健康状况那么对某些东西的需求比如医生可能会大幅下降。然而由于现在对医生实行垄断这种垄断可能会持续下去医生仍然会是一个不错的职业。对娱乐的需求可能会增加但制作成本会下降而且娱乐行业对人类的技术需求已经大幅减少。然而我们非常关心其他人所以也许我们会继续关心他们演员这个职业也会变得更加有利可图。思考这种趋势的一种方式是从今天的劳动者到消费者供应链中有多少个中间环节。对于 TikTok 网红来说中间环节为零。对于医生来说中间环节也为零。而对于工厂工人来说中间环节则很多。一项工作在多大程度上a可以被去中介化或者b可以被竞争淘汰或者c具有可替代性很可能会在很大程度上决定其最终结果。这项分析相当精妙这段文字难以详尽阐述但最后一点需要指出的是假设我们不会面临需求侧的急剧崩溃。如果太多人失业而生产力 / 政府效率又不足以支撑全民基本收入 / 全民住房保险那么需求侧崩溃就可能发生。4.与上述观点相关但不矛盾的是“永久性底层阶级”可能真实存在。在更美好的世界里如果这种情况确实存在那么它可能表现为自主权高度受限而非收入受到严重限制。对大多数人来说这最终不会造成太大影响因为我们的自主权在现代社会中已经受到很大限制但这需要心理上的适应而这种适应可能需要时间也可能伴随着痛苦。文化与心理学1.人类的心理目前发展和适应速度缓慢但这终将改变。关键是要向好的方向改变这对某些人来说可能并不容易。得益于丰富的智能和自动化技术我们将构建出比如今这种不适应环境的进化遗留问题更为持久的心理机制。精神病学和心理学领域的创新将在短短几十年内达到千年发展水平。人类的根本状态将得到改善。粗放、退化的心理干预被过分夸大了风险因为我们将拥有更加精湛、更加多样化的心理工程技术。2.在一个充满高度不确定性的世界里人们将比以往任何时候都更加激烈地追逐权力、地位和财富并在这一过程中欣然背叛同胞。他们会编造各种各样的理由来证明自己的行为是好的甚至是伟大的。看看周围就知道了。3.在你的有生之年将会看到一些你难以置信的丑陋行径。4.现在存在一种显而易见的双标那些跻身或即将成为 0.01% 最富有的人群声称AI 将造福所有人不必担心就业问题等但他们却表示一年、五年甚至二十年后他们都不会放弃自己的财富。人们看穿了这一点并且已经开始做出回应。需要澄清的是我也不会放弃我的地位但我也并非认为一切都会完美无缺而且我也不是最富有的 0.01% 人群。因此我们面临着构建一个不公正世界的风险。有些人关心这个问题我认为应该更频繁地讨论它。而且必须明确的是美国政界在应对这类问题上做得非常糟糕。5.马斯克似乎很有可能成为第一个千万亿富翁。总的来说不难想象未来对芯片、机器人和宇宙飞船的需求将会增长 1000 倍而他很可能能够抓住其中很大一部分市场。协调1.社会各层面都需要更好的协调这一点显而易见。我们目前对更好协调的理解存在一些缺陷和风险但我们似乎还只是触及了其潜力的冰山一角。2.至少在 AI 问题上进行某种程度的国际协调可能是个好主意。我们可能需要条约和 GPU 计数。这可以被设计为 (a) 减缓螺旋式上升的敌对军事和政府权力积累并 (b) 对科学和其他重要进步领域产生最小的影响。我们可能无法实现这一点因为 GPU 的威力过于强大。我们在核武器上做到了因为除了疯子没有人真正想使用核武器。3.由 AI 实验室协调暂停或放缓 AI 生产的可能性比 2023 年更大。这里有很多权衡取舍但暂停的价值在今天比 2023 年略高。当我们拥有自动化研究时目前只有自动化工程认为暂停会被浪费的说法就很难成立了。权力、暴力、安全、自由1.我们的宇宙可能很脆弱。当前世界可能存在一些自由度我们无法及时协调控制同时又无法维持足以维系我们世界真相的治理和自由规范除非采用全景监狱式的监控。请注意在这样的世界中权力积累是一条滑坡效应。很多这样的世界最终可能会让大多数人陷入困境。如果这不是真的就好了但它或许是真的。2.AI 的扩散速度将大于零无论是否存在各种潜在的速率限制因素。世界上有很多计算机而浮点运算次数与 AI 的兑换率已降至历史最低点。不要指望一切会停滞不前。3.永久底层阶级的概念意味着永久上层阶级的存在。这预设了某些人拥有更多权利而这些权利往往缺乏正当理由。其根本原因总是隐含的或已实现的、以暴力为支撑的统治。但或许一个拥有先进 AI 的世界人类将不再拥有任何正当的统治权也不再拥有任何公认的、凌驾于其他人类之上的功绩或地位。这或许永远不会完全成为现实但思考这个问题可能会变得更加重要。4.机构将面临来自四面八方的转型压力。通往这一结局的途径有很多有些打着安全的幌子有些则是通过温和的权力扩张其天花板是强大的 AI 全自动化的军事供应链 全自动化的武器。我们需要更好的机构。5.未来可能会出现很多“零日漏洞”。在网络、生物、基础设施、神经、模因学、物理学等领域。我们根本不了解在这些领域中算法深度和一致性所带来的回报无论是在防御和稳健性方面还是在破坏方面。对于世界上最聪明的人类来说核武器的算法深度并非高不可攀。6.相关提示科技树中可能存在一些非常糟糕的东西。我们对此一无所知。7.大规模机器人技术带来的风险不仅包括网络攻击的新领域和新途径等更为现实的风险还包括真正的接管和政变风险。我们应该认真对待这些风险并努力降低它们。8.相互保证摧毁MAD注理论假设两个国家均拥有彻底摧毁对方的核力量且任何一方遭受攻击后必然以同等或更强力度进行核反击 基于 20 世纪和 21 世纪初的技术。我们将在短时间内经历快速的技术变革其规模可能相当于一千年来的发展。这意味着 MAD 并非必然。这个问题是可以解决的它并非绝对确定或彻底的颠覆因为获得决定性优势的容错率非常低甚至可能根本无法实现。过去有些人曾以一种不太严肃的态度讨论过这个话题我认为这是错误的也是不负责任的。这是我们能讨论的最严肃的话题之一。人们对此感到担忧是理所当然的但我认为现在是时候正视这个问题了。9.军队、警察以及政府执法的主要机制都将实现自动化并且比人类更加智能。至于这会带来什么后果各位自行判断。10.最后AI 实验室最终可能会被国有化。美国的体制似乎并不适合这种做法但在保守或自由的政治环境下有很多途径可以实现国有化而且这些途径似乎并非不可行。原则上这些实验室似乎可以在后台与军方和情报部门保持协调。联邦政府拥有我们正在讨论的这种单方面权力也极其危险。私营公司拥有这种权力则有所不同因为它们通常不会直接实施暴力而且法律也不允许它们这样做。我不太赞成国有化但这个世界令人困惑而且显然变得越来越危险。相关阅读但斌最新演讲AI时代不是泡沫错失时代的风险比担心短期泡沫更大