这项由谷歌Google研究团队主导的研究于2026年7月26日以预印本形式发布论文编号为arXiv:2607.23687v1感兴趣的读者可通过该编号检索完整技术报告。研究团队由数十位来自谷歌的工程师、科学家和艺术家共同完成涵盖计算机视觉、计算机图形学、3D建模等多个专业方向。当你在电影院看到某个角色张嘴大笑牙齿清晰可见眼珠随着视线转动舌头随着说话前后运动——你有没有想过这背后需要多复杂的技术支撑在增强现实、虚拟会议、AI生成视频越来越普及的今天如何让数字人类的头部看起来真实可信已经成为一个直接影响我们日常体验的技术难题。谷歌这支团队的回答是一个叫做GNM的全新参数化头部模型——它的全称是生成式人体测量模型Generative aNthropometric Model名字刻意设计成与人类基因组genome同音暗示它对数字人类头部的基因级重建雄心。---一、数字人类头部为何一直是个空壳要理解GNM解决了什么问题先来看看以前的数字人类头部是怎么做的。以往最流行的技术叫做三维变形模型3D Morphable Model简称3DMM。你可以把它理解成一套脸部积木研究人员事先收集了大量真实人脸的三维扫描数据然后用统计学方法归纳出人脸变化的规律比如鼻梁高低、颧骨宽窄、下巴形状——这些规律被压缩成一组数字参数只要调整这些数字就能生成各种各样不同的面孔。这套方法在过去几十年里非常成功从电影特效到人脸识别再到虚拟试妆都有它的身影。但它有一个根本性的缺陷它把人类的头部当成了一个实心的面具来处理。外面的皮肤、骨骼结构、轮廓有了但嘴巴里面是空的——没有牙齿没有舌头眼眶里只有一个球形占位符没有角膜的弧度变化没有瞳孔大小的控制。这个问题在平时看起来不严重但一旦角色张嘴说话、大声笑出来或者镜头拉近到眼部特写问题就立刻暴露出来。生成的画面会让人感到一种说不清道不明的不对劲——专业上叫做恐怖谷效应就是当一个数字角色长得很像真人但又差了那么一点点时人类大脑会产生强烈的不适感。现有的主流模型比如FLAME学界广泛使用的面部形状表情模型、BFM巴塞尔面部模型等都存在这个空壳问题。它们专注于外部皮肤的几何形状对口腔内部结构和眼球细节几乎完全忽略。GNM的出发点就是要把这个空壳填实——把牙齿、舌头、眼球这些内部结构也纳入统一的参数化体系真正做到表里如一。---二、一套真正完整的头部蓝图GNM的核心思路是把头部看作一个由多个解剖部位组成的复杂系统每个部位都有自己的参数化控制但所有部位又在一个统一的数学框架下协调运作。具体来说GNM管理着一张由17821个顶点组成的三维网格这些顶点覆盖了外部皮肤、牙齿、舌头和眼球的完整几何形状。控制这张网格的参数分为两大类一类叫身份参数决定这个人长什么样共有253个维度另一类叫表情参数决定这个人在做什么表情共有382个维度。此外还有4个关节的旋转角度控制脖子、头部整体和两个眼球的转动方向以及全局位置参数。这套参数体系的数学原理其实并不复杂。用烘焙来打比方的话身份参数就像是蛋糕的基础配方决定蛋糕的基本形态表情参数就像是装饰方式决定同一块蛋糕在不同时刻呈现出的面貌。数学上最终的脸部形状等于一个基础模板加上若干个形变基向量乘以对应参数的总和——每一个基向量代表一种典型的变化方向比如鼻梁变高或嘴角上扬参数的数值决定这种变化的程度。更巧妙的是GNM把身份参数和表情参数都进一步拆解成了对应不同解剖区域的子空间。身份参数分为头部整体170个维度、眼球形状3个维度和牙齿形状80个维度三个部分。表情参数则分为左眼周围区域100个维度、右眼周围区域100个维度、下半脸150个维度、舌头31个维度和瞳孔扩张1个维度五个部分。这种分区设计带来了一个实用上的巨大好处当你调整嘴巴张开的幅度时眼睛不会莫名其妙地随之变化当你让角色眨左眼时右眼可以保持完全不动。现实中的人脸也是这样工作的所以这种局部独立控制让GNM生成的表情更加自然可信避免了以往全局参数模型中常见的牵一发而动全身问题。---三、五千人的面孔十五万次表情GNM的质量在很大程度上取决于它的训练数据。谷歌团队为此专门搭建了一套高规格的多视角人脸扫描系统。这套系统安装了22台高分辨率工业相机每台分辨率达到6144×4096像素和14盏可编程控制的灯光整体呈弧形排布水平方向覆盖大约150度视角垂直方向覆盖60度视角。被扫描的人坐在中间系统同步拍摄后利用多视角深度精化算法重建出高精度的三维几何模型。整个数据库包含超过5000名来自不同背景的真实人物他们的性别、年龄、族裔分布尽量均衡——男性占41%女性占36%其余为未披露性别年龄从15岁到84岁族裔涵盖白人38%、东亚24%、南亚14%、黑人8%等多个群体。每个人都需要按照预设的动作序列做出各种表情从而获得约150,000个样本。这些表情涵盖十大类别面部整体拉伸或压缩的弯曲动作、用于语音研究的十种标准嘴型即视素、嘴唇的各种运动卷唇、噘嘴、漏斗形、基本情绪表情悲伤、恐惧等、舌头运动卷舌、侧移等、下颌侧向运动、眨眼和眯眼单眼或双眼、不同方向的目光转移、眉毛的上挑和下压以及面颊的吸入和鼓起。为了每天能处理约一万个样本团队还开发了一套高度并行化的数据处理流水线将繁琐的三维重建、配准、质量检验等步骤全部自动化。---四、让扫描数据穿上统一的外套——配准流程收集到三维扫描数据只是第一步。更难的问题是如何让来自5000个不同人的扫描数据都穿上同一套网格拓扑也就是让所有人的第1234号顶点都对应鼻尖第5678号顶点都对应左眼角——这个过程叫做配准Registration。GNM的配准流程借鉴了FLAME模型的迭代协同配准思路但做了大量针对性改进。整个过程可以理解为一个鸡生蛋、蛋生鸡的迭代循环先用当前版本的GNM模型去配准新的扫描数据然后用配准好的数据去更新GNM模型如此反复模型和数据质量相互提升。技术上配准过程分为两个主要阶段。第一阶段先把GNM模型拟合到扫描数据然后在此基础上做每个顶点的精细偏移调整。这个调整过程依赖一个基于物理的可微分渲染器使用Mitsuba渲染引擎通过对比渲染出来的图像和实际拍摄的图像来计算损失指导优化。为了让配准更准确团队同时利用了多种辅助信息从拍摄图像中提取的约600个密集人脸关键点标注了面部各部位的精确位置从多视角重建得到的法线图描述表面朝向以及逐像素的语义分割告诉每个像素属于皮肤、眼睛还是嘴唇等哪个部位。针对牙齿和舌头这些经常被遮挡的区域则主要依赖关键点坐标来引导配准而不是像素级的颜色匹配。在几何正则化方面配准过程还引入了梯度下降预调节器、顶点偏移的L2正则化、拉普拉斯平滑约束以及一个专门用于防止嘴唇、舌头、耳朵等高曲率区域自相交的可微分损失函数。头部后方的颅骨区域是另一个挑战扫描系统的视角无法直接看到被头发遮挡的颅骨形状。团队采用了一种跨域潜空间回归策略来解决这个问题先用200个由艺术家精心制作的完整头部网格建立一个辅助模型然后把已经配准好的面部投影到这个辅助模型上推断出解剖学合理的颅骨形状再通过非刚性变形将这个颅骨形状融合回原始配准结果中。---五、牙齿也有遗传密码——口腔内部结构的建模解决了外部皮肤的建模后GNM最大的创新之一就是把牙齿和舌头也纳入了统一的参数化体系。牙齿建模面临一个有趣的困境现实中很难直接扫描到人们完整的牙齿三维形状因为嘴唇大多数时候是闭着的而且即使张嘴单纯依靠多视角相机也很难精确重建牙齿内部的复杂几何。团队的解决方案是走一条艺术家程序化生成的路线。首先艺术家制作了一个通用的牙齿模板模型并为每颗牙齿上颌和下颌各16颗共32颗设计了一套绑定骨骼。然后通过程序化方式随机变化每颗牙齿的大小、形状、排列角度、相对位置等参数同时保持解剖学合理性最终生成了5000套不同的合成牙齿形态包含牙齿本身和相应的牙龈。这5000套牙齿数据随后经过主成分分析PCA一种从大量数据中提取主要变化规律的统计方法得到了80个描述牙齿形态主要变化方向的基向量这就是GNM身份参数中牙齿部分的80个维度。调整这些参数可以生成门牙宽大或细小、牙缝或宽或窄、咬合关系略有差异等各种真实人类牙列变化。舌头的建模比牙齿更复杂因为舌头是一个极度柔软可变形的器官运动范围极大从平放在口腔底部到卷起来伸出嘴外形变幅度可以非常夸张。而且从外部很难捕捉到舌头的完整三维形态。GNM的解决方案是两步走。第一步利用数据库中专门采集的舌头运动序列包括卷舌、侧移等结合外部皮肤和嘴唇的几何形状用一个艺术家制作的舌头绑定骨骼系统生成不会与口腔结构穿插的合成舌头姿态。第二步结合来自公开研究的稀疏三维舌头关键点数据在严格的形态学和曲率约束下拟合舌头保证解剖学合理性。最终约2500个舌头姿态样本经过主成分分析得到了31个描述舌头运动主要方向的基向量构成GNM表情参数中的舌头子空间。一个特别的设计细节是默认参数全为零时舌头会自然收缩在口腔内部只有当参数被主动激活时才会做出各种动作这让模型的默认状态看起来更自然。---六、眼睛里的两个球——眼球建模的精妙之处眼球的建模在GNM中也得到了特别的关注。以往大多数三维人脸模型把眼球简单处理为一个完整的球体但真实的眼球结构要复杂得多。人类眼球由两个弧度不同的球面组合而成占据眼球大部分体积的是白色的巩膜就是眼白它近似一个大球体前方覆盖着瞳孔和虹膜的角膜则是一个弧度更大的小球面凸出程度明显高于巩膜两者之间通过一个叫做角巩膜缘的过渡区域连接。这种双球模型对于高质量眼部渲染至关重要因为角膜的弧度直接决定了它反射光源时形成的角膜光斑的形状和位置——这个光斑是眼部追踪技术中最重要的特征之一如果建模不准确整个视线方向的预测就会出错。GNM的眼球模型保持巩膜半径固定约14.6毫米接近人类平均值而角膜半径和角巩膜缘半径则根据真实生理统计数据的高斯分布进行变化角巩膜缘半径均值6.0毫米、标准差0.44毫米角膜半径均值8.5毫米、标准差0.73毫米。为了把这些本质上是非线性的几何参数转化为线性参数化模型团队采样了10,000个不同参数组合下的二维眼球截面轮廓线对这些轮廓线做主成分分析得到二维的线性基向量然后利用眼球旋转体的几何特性截面绕光轴旋转一圈可以得到完整三维形状将二维基向量映射到三维网格上。最终只需要3个参数就能描述眼球形状的主要变化这3个参数也成为GNM身份参数中眼球子空间的3个维度。瞳孔大小的控制则单独设计了一个表情参数该参数范围从-3到3在-3时瞳孔收缩到极点在0时瞳孔半径为虹膜半径的一半在3时瞳孔扩张到覆盖整个虹膜。这1个维度构成了GNM表情参数中的瞳孔子空间让光照条件的变化、情绪状态等因素对瞳孔大小的影响得以真实模拟。---七、用数学严格证明质量够好——模型性能评估一个好的参数化模型需要在两个方向上同时表现优秀一方面要有足够的泛化能力也就是能够表示它从未见过的各种新面孔另一方面要有足够的专一性也就是它随机生成的面孔都得是真实可能存在的人脸而不是奇奇怪怪的外星人造型。谷歌团队用了15,000张未参与训练的真实人脸扫描数据作为测试集对GNM和FLAME进行了全面对比评估。FLAME是目前学界最广泛使用的开源三维面部模型之一被作为基准参照。评估泛化能力的方法是扫描到网格距离把模型尽量拟合到一张真实扫描然后测量两者之间的平均表面距离距离越小说明模型越能精确地表示真实面孔。在15,000张测试扫描上GNM的平均误差为0.748毫米中位数误差为0.623毫米标准差为0.529毫米。相比之下FLAME的平均误差为0.971毫米中位数误差为0.780毫米标准差为0.734毫米。GNM的误差比FLAME降低了约23%差距相当显著。更值得注意的是这种改进在各个面部区域和各类人群中都是一致的。无论是前额、鼻子、面颊、上唇还是下唇GNM都比FLAME有更低的重建误差。在人口分组上不管是男性还是女性无论是20-35岁还是56岁以上的群体不管是黑人、白人、东亚人还是其他族裔GNM的表现始终优于FLAME。在表情类型上对于复杂的综合表情、需要下颌运动的表情、嘴唇运动的表情和上半脸表情GNM都保持了一致的领先优势。在专一性评估上团队从模型参数空间随机采样了2000个身份测量每个随机生成的头部与测试数据库中最相近的真实人脸之间的距离。GNM生成的随机身份比FLAME更接近真实人脸说明GNM的参数空间边界被更好地约束在了合理的人类解剖学范围内不容易产生奇怪的变形。在身份参数数量与重建精度的关系上GNM的泛化曲线比FLAME上升更快——也就是说用更少的参数GNM就能达到FLAME需要更多参数才能达到的精度水平体现出更高的信息压缩效率。---八、从照片重建三维头部——拟合流水线参数化模型的一个核心应用场景是从二维图像中重建出对应的三维头部几何。GNM团队开发了一套完整的图像拟合流水线来展示这种能力。整个流程的核心思路是给定一张人脸图像先用一个预训练的密集关键点检测器预测出约600个面部关键点的二维坐标标注了面部轮廓、眼部、鼻子、嘴唇、牙齿、舌头等位置然后通过优化GNM的参数让模型生成的三维头部投影回二维后其关键点位置尽量与检测到的关键点重合。优化过程中使用了四项能量函数的加权组合关键点重投影误差驱动拟合准确性、身份和表情参数的L2正则化防止参数取到离谱的值、防止皮肤与眼球或口腔内部结构相互穿透的解剖约束确保几何合理性以及处理视频序列时的时序平滑项防止相邻帧之间的参数跳变。团队在三种不同场景下展示了拟合效果。第一种是合成图像的单视角拟合使用2000张由GNM自身渲染的合成图像以消除关键点检测误差的干扰直接用7000个真实地面真值关键点驱动拟合。GNM的平均重建误差为1.683毫米而FLAME为2.172毫米差距约22%。第二种是多视角同步拍摄视频的拟合对同一人的多个视角同时拟合共享身份参数独立求解每帧的表情参数和头部姿态得到了极为精细的三维重建结果包括极端表情和张嘴露出牙齿的状态全部都在GNM的参数空间范围内。第三种是真实场景图像的单视角拟合在各种光照条件、摄像机参数和极端表情的自然图像上GNM展示出比FLAME更强的表达能力尤其在处理张嘴露出牙齿、舌头伸出口腔以及不对称眼部运动等情形时效果差异尤为明显。---九、让普通人也能指挥参数空间——语义采样器GNM的另一个重要组件是语义采样器它解决了一个实际使用中非常棘手的问题GNM的253个身份参数和382个表情参数都是统计学意义上的主成分对于不懂数学的动画师或普通用户来说完全无从直觉地理解第47个身份参数调大一点会让这张脸变成什么样。语义采样器的设计思路是建一座桥梁一侧是人类能理解的高层语义属性比如男性、东亚人、开心表情另一侧是GNM的数字参数。桥梁的核心是一对条件变分自编码器CVAE这是一种特殊的神经网络能够学习从语义类别到参数空间的概率映射关系。身份采样器处理两个维度的条件信息性别男性/女性两类和族裔中东、亚洲、黑人、白人四类这两个维度的独热编码拼接成一个6维的条件向量。在此条件下网络还会从标准正态分布中采样一个64维的随机潜变量捕捉同一人口群体内的个体差异。表情采样器则使用20个表情类别的独热编码作为条件这20个类别涵盖了从基本情绪开心、惊讶、厌恶、狰狞到细化口部动作面颊吸入、噘嘴、面颊鼓起、漏斗形嘴型、嘴唇向内卷、舌头居中再到身体紧张类面部拉伸、面部压缩、颈阔肌激活和局部不对称运动单眼眨眼、眯眼、嘴角侧向运动、宽幅微笑、嘴角拉拽等各个方面。两个采样器都使用对称的多层感知机MLP结构分别有三到四层隐藏层编码器和解码器互为镜像。训练目标是重建误差用L1范数因为它对极端表情更鲁棒和KL散度正则化让学到的后验分布尽量接近标准正态分布从而让随机采样产生合理结果的加权组合。为了防止网络懒惰地忽略随机潜变量这是CVAE训练中常见的后验坍缩问题团队采用了循环退火的KL权重调度方案在训练初期让KL权重从0逐渐升高到0.05强制网络充分利用潜变量的容量。此外还引入了mixup正则化技术在训练时随机将两个不同类别的条件向量按一定比例混合后送入解码器让网络学会在两个语义类别之间的中间地带生成合理的面部形状。这让生成的40%东亚加60%白人混合身份、或者70%开心加30%惊讶的混合表情都能产生自然流畅、没有穿插变形的结果。语义采样器在12,000个样本的数据集上训练完成后使用者只需输入简单的语义属性就能获得高质量的GNM参数无需接触任何统计学专业知识。---归根结底GNM做的事情是把数字人类头部从一个精致的面具升级成了一个有血有肉、内外俱全的完整解剖模型。它第一次把牙齿、舌头、眼球的参数化建模与外部面部皮肤统一在一套数学框架下让数字人类在张嘴说话、大笑、皱眉或者盯着你看的时候每一个细节都能协调运动而不是各自为政。对于普通用户来说这项技术最直接的影响体现在你每天接触的内容上AR视频通话里的虚拟形象会更自然游戏角色的表情会更真实AI生成的说话人视频里的嘴唇和牙齿不再只是一片模糊。对于研究者和开发者谷歌团队将GNM的完整框架开源任何人都可以在学术研究或商业应用中免费使用这意味着整个数字人类领域都能从这套基础设施中获益。你或许会好奇既然这个模型已经把头部内外都建模了下一步是什么团队提到他们下一步的重点是开放他们用于高质量面部追踪的密集关键点数据集让更多研究者可以直接把GNM整合进自己的处理管线。而随着GNM作为几何锚点被接入扩散模型、高斯泼溅等神经渲染技术我们看到的数字人类可能在不久的将来就会彻底突破恐怖谷效应——届时你可能真的分不清屏幕对面到底是真人还是数字模型这是令人期待还是令人警惕的进步也许值得我们每个人认真思考。感兴趣的读者可以通过论文编号arXiv:2607.23687查询完整技术报告或访问论文中提供的GitHub地址获取开源代码和模型。---QAQ1GNM模型和FLAME模型相比主要改进在哪里AFLAME模型把人类头部当作中空的外壳处理没有牙齿、舌头等口腔内部结构眼球也只是简单的球体占位符。GNM在保持与FLAME相似的线性参数化框架的基础上新增了参数化的牙齿形状控制80个维度、舌头运动控制31个维度和更精确的双球体眼球模型包含角膜弧度变化和瞳孔扩张控制。在15,000张测试扫描上GNM的平均重建误差比FLAME低约23%且这种改进在不同人群和表情类型上均保持一致。Q2GNM的牙齿数据是怎么来的为什么不直接扫描真人牙齿A直接扫描真人牙齿在技术上非常困难因为口腔空间狭小嘴唇大多数时候遮挡牙齿多视角相机难以精确重建牙齿内部复杂的几何细节。GNM的解决方案是让艺术家先制作一个通用牙齿模板并为每颗牙齿设计绑定骨骼然后通过程序化方式随机变化每颗牙齿的大小、形状和排列生成5000套合成牙齿数据再对这些数据做主成分分析提取80个主要变化方向。Q3GNM语义采样器的族裔分类只有四种会不会产生偏见问题A这是团队在论文中明确承认的局限性。语义采样器的族裔分类仅涵盖中东、亚洲、黑人、白人四个大类性别也仅分为男性和女性两类这些分类并不能反映真实人类群体的完整多样性。这些限制直接源于训练数据的可用性和采集条件。团队明确指出用户在具体应用中应意识到这些局限审慎考虑其对公平性、偏见和代表性的潜在影响尤其是在涉及族裔和性别相关的生成任务时。