图灵奖得主Patterson:摩尔定律的真相,CPU、GPU、TPU的诞生与分工

2026年7月13日软件工程师Ryan Peterman在他的播客The Peterman Pod上发布了一期与David Patterson的长对话。Patterson是加州大学伯克利分校荣休教授、Google DeepMind杰出工程师因与斯坦福大学John Hennessy共同开创RISC即精简指令集架构以及计算机体系结构的量化研究方法两人在2017年共同获得图灵奖。伯克利后来在Patterson的RISC研究基础上发展出了开源指令集架构RISC-VPatterson现任RISC-V国际基金会董事会副主席。他们合著的《计算机体系结构量化研究方法》是这个领域的标准教材2026年刚出了第7版。Patterson最近的工作集中在Google TPU上。2026年6月他和同事在arXiv上发表了一篇论文回顾了TPU从第二代到最新一代Ironwood的五代架构演进。在播客中他提到了一个令人意外的结论过去十年TPU的基本架构蓝图几乎没有变过。这是一个跨度极大的对话。Patterson从1980年代他亲历的RISC与CISC之争讲起一路讲到摩尔定律失速后CPU、GPU、TPU三条路线的分化再到他半个世纪职业生涯中关于勇气、幸福和遗憾的个人反思。以下是这场对话的完整梳理。1. 像产品目录一样的争论RISC指令虽然多出30%到40%但每条指令执行速度快4到5倍净效果是3到4倍的性能提升。 但在1980年代这些数字尚不存在争论还停留在哲学层面。1970年代微处理器刚被发明时基本是个玩具放在微波炉之类的东西里。Patterson和Hennessy这样信奉摩尔定律的人相信随着晶体管每一两年翻倍微处理器终将成为真正的计算机。但早期设计芯片的人不是计算机架构师他们直接模仿IBM大型机和DEC小型机的做法用越来越多的晶体管去构建越来越复杂的指令。这就是CISC即复杂指令集的路线。Patterson用了一个比喻CISC像一本塞满多音节长词的词典RISC像一本全是单音节短词的词典。CISC阵营的哲学是更高级的指令集缩小了编程语言与硬件之间的抽象差距让编译器的工作更轻松。RISC阵营的赌注则押在另一面编译器会越来越聪明能自己处理这个差距没必要把硬件做得那么复杂。争论之所以持续这么久是因为缺乏数据。Patterson回忆说当时的教科书像产品目录一样罗列一台计算机的全部特性再罗列另一台的没有量化比较的框架。整个争论更像中世纪经院哲学式的辩论他比喻为针尖上能站几个天使那种讨论。 直到他和Hennessy的团队真正跑了数据答案在几年之内就清楚了。Patterson深入了一层解释了CISC为什么会慢。早期计算机用一种叫微程序控制的方式实现复杂指令。计算先驱Maurice Wilkes发明了这种方法在硬件内部放一个用简单微指令写成的解释器逐条解释上层的复杂指令。微指令本身可以宽达100多个比特相当复杂。在1960年代存储技术有限的条件下这种方案是合理的。但解释执行的性能代价是编译执行的5到10倍。到了1980年代直接编译到简单指令已经可行微码解释器就成了纯粹的包袱。Patterson说他认为过去20年没有人发明过需要微码解释器的新指令集。有人在网上写文章说CISC赢了。Patterson的回应是这是一种极其短视的看法。 他指出x86架构之所以在PC时代占主导是因为软件以二进制分发一旦x86确立了生态切换的成本高到几乎不可能。这是商业锁定不是技术胜利。连Intel自己也在2000年代初开始把x86指令在硬件内部翻译成RISC微操作来执行。Patterson说这在商业上完全合理为了PC软件生态的价值多付一层翻译开销是值得的但这恰好证明了RISC在技术层面已经胜出。RISC架构的最终证明来自一个意想不到的方向。1980年代英国的Acorn公司觉得市面上的芯片不够快受Patterson和Hennessy论文的启发自研了Acorn RISC Machine也就是后来的ARM。RISC的好处之一是更简单、更省电。Apple为Newton选芯片时看中了这一点。Newton是Apple最早的手持设备后来iPhone的前身。合作后Apple把名字从Acorn RISC Machine改成了Advanced RISC Machine去掉了Acorn的品牌印记。Newton商业上失败了但验证了RISC在移动设备上的优势。Nokia的GSM手机紧随其后拥抱ARM从此ARM统治了整个移动计算领域。Patterson给了一个数字ARM架构的处理器累计出货量已超过3500亿颗。如今99%的计算机处理器都是RISC架构。 Apple的Mac已经从x86迁到自研ARM芯片Amazon、Microsoft、Google也都在开发ARM服务器。x86的市场份额在收缩RISC在扩张。在这种格局下说CISC赢了Patterson觉得只有把计算机定义为2000年以前的PC和服务器才能得出这个结论。2. 我们不需要这个Well, we dont need that. 这是Patterson在早期研究中反复从编译器工程师那里听到的回答。CISC架构师凭直觉设计了许多复杂指令认为这会帮助编译器但写编译器的人看了说不需要。Patterson举了一个具体例子有个专门为过程调用入口设计的指令做了许多架构师以为编译器需要的工作结果编译器工程师说用几条简单指令拼起来反而更快。整个局面变得荒谬你为了支持复杂指令多付了微码解释器的开销编译器却根本不调用这些指令。而且做出复杂指令会帮助编译器这个判断的始终是架构师本人编译器工程师从未提出过这样的需求。这个论点听起来合理但从来没经过编译器一方的验证。编译器在这场争论中的角色还有另一面。早期编译器的寄存器分配效率极差计算机还不够快来运行高级的分配算法。C语言发明时Dennis Ritchie和Ken Thompson用它写了Unix操作系统在此之前操作系统是用汇编写的。但因为编译器分配寄存器的能力太差C语言不得不保留register关键字让程序员手动指定哪些变量放在寄存器里。寄存器是处理器内部的高速存储单元比主内存快得多但编译器当时没有能力高效利用它们。RISC阵营的对策直截了当CISC架构通常有8个或16个寄存器RISC一口气给了32个。 逻辑是即使编译器的分配算法不够好寄存器足够多时大多数时候也够用。摩尔定律让多加寄存器的硬件成本可以忽略不计。RISC的整体论点是一个技术赌注编译器算法会变好简单指令配合更多寄存器比复杂指令配合微码解释器更高效。事后看这个赌注赢得干净利落。3. 如果Dennard缩放还在今天应该有100太赫兹处理器大多数人知道摩尔定律芯片上的晶体管数量每一两年翻倍。但很少有人知道另一条同样重要的物理规律Dennard缩放。Patterson和Hennessy的教科书1990年出第1版、2000年出第3版前三版根本没有讨论功耗问题。 原因是Dennard缩放在持续生效每次缩小制程时阈值电压也在降低。阈值电压是芯片用来区分0和1的电压门槛降幅是平方级的所以晶体管翻倍但功耗基本持平处理器一直稳定在二三十瓦。大约在2005年Dennard缩放失效了。Intel甚至有一代处理器因为功耗太高而失败。Patterson给了一个思想实验来说明差距有多大如果Dennard缩放还在持续按原来的速度算今天应该有100太赫兹的处理器。 如果真有100太赫兹的通用处理器GPU仍然只是一个小众产品根本不需要领域专用架构。但现实是2005年前后处理器频率就到了两三个吉赫兹今天基本还是两三个吉赫兹二十年几乎没有变化。Dennard缩放失效后的第一步应对是多核。在此之前对程序员和所有人来说最理想的状态是一个强大的单核处理器把所有事做完。但做不到了所以从一个强核变成两个、四个、八个较简单的核把利用摩尔定律额外晶体管的责任交给程序员去做并行化。 这是一个沉重的转移。1980到2000年代你朋友的新笔记本可能比你的快四倍嫉妒得想换。到了2010年代新机器没快多少只有坏了才换。你再也不会因为朋友的电脑更快而扔掉一台完好的机器了。多核撑了大约十年。到2015年前后摩尔定律本身也开始放缓通用处理器几乎不再有戏剧性的进步。架构师的下一步棋是领域专用架构如果你告诉我只需要做哪一类计算我就能把资源重新调配在这个窄领域做到远比通用处理器更高效。当然代价是有些事你要么做得差要么根本做不了。那么关键问题就变成了选哪个领域恰好在2012到2015年机器学习和AI爆发了。方向不言自明。4. 地下室少年和流体力学实验室2000年前后GPU出现时它只有一个任务渲染图形。不需要支持虚拟内存不需要支持编译器只需要把游戏和电影的画面算好。Patterson说GPU连不需要编译器这一点在当时就是个激进的想法因为编译器对传统架构师来说几乎是神圣的。为了图形性能GPU采用了大量硬件多线程发出一个内存请求后硬件会自动切换到另一个线程继续干活等内存数据回来再切回去。这是一种高度面向内存延迟的设计。GPU的浮点精度也比较窄32位甚至16位就够了图形渲染不需要64位科学计算那种精度。GPU有自己一套独立的术语体系和主流处理器设计的语言不同。Patterson说他和Hennessy在教科书里专门做了一张罗塞塔石碑式的对照表把Nvidia的术语翻译成传统架构的概念。GPU就是这么一个游离于计算机架构主线之外的独立分支。作为消费级产品GPU只卖几百美元但浮点性能按每美元计算远超CPU。有些人想到一个办法如果把自己的计算问题伪装成图像生成任务就能利用这些廉价的浮点性能。Nvidia创始人兼CEO黄仁勋看好这个方向2006年资助开发了CUDA全称Compute Unified Device Architecture一种专为GPU多线程架构设计的类C编程语言。你不能直接编译C程序运行但比把问题伪装成图像生成容易多了。Patterson说黄仁勋的愿景是让那些在地下室玩游戏的少年学会编程GPU同时盯上了几个特定市场比如美国能源部实验室的流体力学模拟。Nvidia为这些场景构建了专用库GPU由此从图形引擎开始向通用计算破圈。但在当时这仍然是一个小众市场。转折点出现在2012年。多伦多大学的Alex Krizhevsky修了一门CUDA课程用两块Nvidia GPU训练了一个叫AlexNet的神经网络参加了当年的ImageNet图像识别竞赛。他是当年唯一使用神经网络的参赛者结果碾压了所有对手。 这件事之前神经网络在机器学习社区只有少数拥护者大多数人不看好。AlexNet之后几年之内整个领域不仅全面转向神经网络而且全面使用GPU。Patterson把这称为机器学习历史上的标志性时刻。GPU就这样从一个为游戏设计的图形引擎意外地成为了AI时代的基础设施。5. 扔掉缓存反转浮点但Google走了一条完全不同的路。Patterson说Google是第一家真正意识到机器学习需求规模之大、并敢于自研芯片的大公司。他用了feared这个词Google不是看到机会才行动而是担心自己会被即将到来的机器学习需求淹没。与GPU从图形领域跨界不同TPU完全不考虑图形是一张白纸上的设计。第一代TPU甚至只有一个处理器核心不像GPU那样堆砌大量小核心。它的设计逻辑是彻底围绕机器学习的特性做减法。第一个减法在核心架构上。神经网络的核心运算就是矩阵乘法所以TPU把芯片面积的大头给了一个巨大的矩阵乘法单元。通用处理器上占大量面积的多级缓存被直接去掉了。缓存的本职工作是让硬件自动猜测哪些数据会被反复使用把它们留在高速存储里。但机器学习工作负载的内存访问模式是可预测的你不需要硬件来猜用软件提前调度就行效率反而更高。所以TPU用软件管理的内存替代了硬件缓存。第二个减法在浮点格式上。传统科学计算用64位浮点其中不到10位给指数、50多位给小数精度。机器学习需要的是数值范围而不是精度所以Google发明了bfloat16格式把指数位做得比小数位更宽。 这在当时是一个相当激进的想法此前没有人做过指数位宽于小数位的浮点格式。这个格式出自Google内部的Brain研究组名字brain float由此而来。Google在2016年Google I/O大会上公开宣布第一代TPU时它在推理性能上比同期GPU快约30倍、比CPU快约80倍。 Patterson说这一发布震动了所有人Intel开始收购公司Nvidia开始调整设计方向一批超大规模公司开始自研AI芯片。他认为TPU的发布是这个领域的分水岭时刻。那次发布让整个行业意识到专门为机器学习设计硬件不只是可行的而且效果可以好到这种程度。6. DRAM曾经像时钟一样精确DRAM密度过去每3年翻4倍像时钟一样精确。现在大约10年才翻一倍。芯片上用于快速存取的SRAM几乎不再改善。逻辑门还在进步但改进是碎片化的不再是所有部件同步提升。这就是Patterson眼中摩尔定律的真实现状没有一条简单的指导性定律了你必须分别判断每个技术维度的改进速度然后组合起来做设计决策。Patterson也理解半导体行业对这个问题的情感反应。如果你干了几十年的事就是我维持摩尔定律这就是我做的事有人说摩尔定律结束了那等于说你的职业使命不存在了。但他的态度是看数据就好数据不支持摩尔定律还好好的这个说法。那Nvidia和Google是怎么做到每一代ML处理器仍然大幅提速的Patterson列出了几个驱动力。一个是先进封装技术。过去最好的做法是把所有东西放在一块芯片上现在芯片已经大到了光刻机的物理极限一块芯片就占满了整个光刻窗口叫做满光罩设计。最新的GPU和TPU实际上是把两块满光罩芯片封装进同一个封装体里。从外面看晶体管数量好像还在按摩尔定律增长但打开看里面已经不是传统的单片了。还有浮点格式的持续压缩从64位到32位到16位到8位甚至4位。矩阵乘法单元也在不断做大做快。Patterson提到他刚发表的那篇TPU论文2026年6月上arXiv即将发表在IEEE Micro 2026年7/8月刊。回顾五代TPU后他发现TPU的基本架构模块包括大矩阵乘法单元、HBM高带宽存储器、向量单元从第一代训练TPU到现在几乎没有本质变化。 那些在2015年前后做出初始设计的工程师做了一个管用了十年的判断。在竞争格局上Patterson对CUDA护城河有独到判断。人们常说Nvidia有CUDA护城河但Patterson指出护城河中更大的部分是库不是编程语言本身。 Nvidia是一家有大量工程师的公司每次发布新架构都同步推出针对每个重要应用定制的优化库。有时候甚至会为特定应用重写整个库。这对创业公司构成双重打击一方面创业公司在软件投入上不够另一方面即使硬件出色没有配套的优化库也难以在基准测试中展示真正实力。Patterson参与创建了MLPerf后来更名为MLCommons试图建立统一的基准测试标准类似CPU时代的SPEC基准测试。但由于性能不仅取决于硬件架构还取决于配套的库和编译器Nvidia凭借工程师人数优势在MLPerf上表现极好不是所有厂商都愿意参加。Google走了另一条路更多依赖编译器来做优化而不像Nvidia那样重度依赖人工调优的库。Google的TPU直到最近都只在内部使用或通过云服务提供没有作为独立芯片对外销售。7. 朋友来来去去但敌人会不断积累Patterson最近写了一篇文章叫《我职业生涯前半个世纪的人生经验》一共总结了16条建议。他早年有一个系列演讲专门用反面教材教人做事先讲如何做一场糟糕的演讲后来讲如何搞砸一个职业生涯再后来是如何搞砸一个研究实验室最近讲的是如何让AI有一个糟糕的碳足迹。在播客中他展开讲了其中几条核心建议。Patterson在伯克利当年轻教授时有一次深夜开车送一位资深教授回家。对方下车前说了一句话Dave如果可以重来我希望我多陪陪家人。Patterson说他从那以后再也没让自己走到可能说出同样话的境地。没有人在临终时会说我希望当初多花点时间在办公室。在财富和幸福之间Patterson一辈子都选择幸福。他在1950年代长大当时的观念是有钱等于快乐但他认为这是两个不同的目标。在他所在的领域优化幸福并没有造成物质上的牺牲。他现在还踢足球、骑车、举重、冲浪和妻子儿子一起做各种事。心理学家已经研究清楚了幸福的要素喜欢的工作、朋友和家人、帮助他人、与某种更大的东西连接可以是宗教信仰也可以是大自然的壮阔。Patterson说满世界都是不快乐的亿万富翁如果钱能买到幸福这些人为什么还在愤怒Patterson读博快结束的时候读了Studs Terkel的《Working》这本书采访了各种职业的人让他们回顾自己的职业生涯。Patterson发现一个规律那些工作核心是和人打交道的比如牧师、老师、医生对自己的职业感到满足而做更短暂的、物质性的工作的人满足感要低得多。后来他和一位退休的工程学院院长出去吃饭对方说了一句话Dave回头看重要的不是项目是一起工作的人。 Patterson说他很久以前就知道这个道理。在职业策略上Patterson提到Stephen Covey的紧急/重要四象限框架。邮件、消息、各种通知不断把人拉向紧急但不重要的格子你需要自律来给重要但不紧急的事留出时间。他在Google看到有些经理的日历从早8点到晚6点、每半小时一个会议、一周五天全排满。Patterson不理解这种状态下人怎么有时间思考和反省。他还分享了一个顿悟时刻。有一天早上他像被雷击中一样醒来脑子里一句话Its not how many things you start, its how many things you finish. 此前他同时做着很多事情从那以后一次只专注一件主要的事。写教科书时教科书就是唯一的主线当系主任时系主任就是唯一的角色。Hennessy也说过类似的话一辈子人们只会记得你做成的五六件事不会记得几百件小事。关于勇气Patterson说这部分源于个人经历。小时候他是班上最矮小的孩子父母鼓励他学摔跤摔跤给了他身体上的自信。在学术和职业上他将这种品质延伸为看到不对的事情就要站出来即使对方是公司领导如果论点站不住脚有人指出来对所有人都更好。他引用了一句两千年前的古训fortune favors the bold财富偏爱勇者。 连Helen Keller都说过就算你想安全行事也照样会遇到麻烦那还不如大胆一点。一位资深教授给过他一条告诫Friends come and go, but enemies accumulate. 朋友来来往往但敌人只会越积越多。在重要的事上要有勇气站出来但不要轻易树敌因为敌意的保质期比友谊长得多。Patterson还用一个私人故事说明乐观的价值。16岁时他鼓起勇气问女朋友能不能只跟他交往对方说Dave你人这么好我都不知道怎么拒绝你。Patterson作为一个逻辑导向的人觉得这听起来像答应了就高兴地抱了上去。女孩当时想着过几天委婉回绝就好。59年后他们仍然在一起。有人问怎么维持这么久的婚姻Patterson把秘诀浓缩成九个字三句话I was wrong. You were right. I love you. 三句都要说完不能替换不能说到一半变调。双方都适用。对话快结束时主持人问Patterson如果能回到年轻时给自己一个建议会说什么。Patterson说他刚到伯克利时冒名顶替综合征严重一个UCLA毕业的博士突然成了伯克利教授。但后来他想通了反正大概也拿不到终身教职那就好好享受过程吧。这种心态反倒让他放开了手脚。但有一件事他真的想改变。Patterson当年担任计算机架构学术社区SIGARCH的主席负责组织年度会议。他后来才知道在那些会议上有男性在骚扰年轻女性参会者。他当时完全没有意识到这件事在发生。我觉得没有人会做这种事只有白痴才会做不可能发生。但它确实在发生。Patterson说如果能穿越回去他会找出那些人终结这种行为。这是他半个世纪职业生涯中唯一真正的遗憾。Patterson的对话主线技术决策需要量化依据而不是哲学直觉。RISC与CISC的争论之所以持续那么久是因为缺乏数据一旦有了数据答案几年之内就清楚了。同样的量化思维延伸到了AI芯片设计TPU之所以做到30倍于GPU的推理性能是因为回到了基本面ML的核心运算是矩阵乘法精度不需要64位内存访问模式可预测围绕这些事实设计硬件就行。而在技术之外Patterson传递的信号是优化幸福比优化财富重要在乎人比在乎项目重要完成比启动重要勇气让你走得远但敌人会积累乐观有时候真的管用。核心问答Q1: 为什么说CISC赢了是短视的x86在PC时代的主导地位来自二进制软件分发造成的商业锁定连Intel自己都在内部翻译成RISC微操作执行。如今99%的处理器采用RISC架构ARM芯片累计出货超过3500亿颗。Apple的Mac已从x86迁到ARM三大云厂商也在自研ARM服务器芯片。定义计算机为2000年之前的PC才能得出CISC赢了的结论。Q2: TPU的设计逻辑和GPU有什么本质区别GPU是从图形引擎跨界而来带着多线程和较窄浮点的图形遗产。TPU是面向机器学习的白纸设计做了三个关键减法用矩阵乘法单元替代通用计算资源去掉多级硬件缓存改为软件调度发明bfloat16把指数位做得比精度位宽。结果第一代TPU推理速度比同期GPU快约30倍、比CPU快约80倍。TPU的基本架构十年没变说明初始设计判断极为准确。Q3: 摩尔定律现在到底是什么状态晶体管数量不再均匀翻倍。SRAM几乎不改善DRAM密度从每3年翻4倍变成约10年翻一倍处理器频率从2005年起基本停在两三个吉赫兹。但技术仍在进步靠的是chiplet封装把两块满光罩芯片封在一起、浮点格式压缩到4位、矩阵乘法单元做大做快等碎片化改进的组合。Patterson的判断是不存在一条简单的指导性定律了必须分别跟踪每个维度。