上个月帮朋友评审一款安防摄像头的Sensor选型硬件同事看了眼规格书第一页SKU写着一行Quad Bayer转头对我说那这颗支持Binning吧。我愣了一下因为他想表达的其实是“四合一模式”。这种把Quad Bayer和Binning画等号的情况我在过去一年里碰到得越来越多——不只是入门工程师不少做了多年方案的老手也会搞混。这两个词一个说的是像素怎么摆一个说的是数据怎么读看起来都在做“四个合成一个”但背后的设计逻辑、对画质的影响、适合的场景都完全不一样。这篇内容不打算写很长的数学推导而是站在选型工程师的角度把Quad Bayer和Binning的本质区别、各自的优缺点、在手机、安防、工业、医疗这些真实场景里怎么选以及我踩过的几个坑一次性讲清楚。如果你正在纠结项目规格书里的“四合一”“像素合并”“binning模式”这篇应该能帮你省掉不少试错时间。无论是做CMOS图像传感器的硬件选型还是纯粹想搞懂厂商宣传页上的新名词都可以把这篇当成一份接地气的对比笔记。1. 两个概念总被绑在一起先拆开Quad Bayer和Binning1.1 从一块彩色传感器的像素排列讲起图像传感器本身是“色盲”的它只能统计每个像素位点落了多少光子至于这些光子对应红色还是蓝色传感器完全不知道。为了还原彩色图像要在像素上方覆盖一层彩色滤光阵列也就是CFAColor Filter Array。绝大多数传感器用的都是拜耳排列一个2x2的基本单元里放一个红色滤光片、两个绿色滤光片、一个蓝色滤光片也就是RGGB。每个像素只记录一种颜色然后通过去马赛克算法把周围像素的颜色信息“借”过来插值成完整的RGB图像。传统拜耳阵列有个绕不开的矛盾想要高分辨率就得在同样大小的芯片上塞更多像素单个像素的受光面积必然缩小低照度下的信噪比就会越来越差。像素做大了分辨率又上不去。这个矛盾折磨了图像行业很多年直到Quad Bayer这类排列出现。Quad Bayer的结构可以理解成把传统拜耳的2x2单元“放大”了在一个4x4区域内原本的R、G、G、B四个颜色每一种都变成一个2x2的同色像素块。也就是说4个红色像素挨在一起4个绿色像素挨在一起4个蓝色像素挨在一起。这样做的好处很直接低照度场景下可以把4个同色像素合并成一个“大像素”来用等效感光面积变大光线充足时再用算法把排列恢复到标准拜耳格式输出全分辨率彩色图像。手机厂商常说的“四合一”就是这么来的。我用一个不那么严谨但很好懂的类比传统拜耳就像你面前摆了四种颜色的积木每种只有一块想拼出完整图案就得靠想象Quad Bayer则是每种颜色给了四块积木你可以把四块同色积木拼成一大块也可以拆开分别摆玩法多得多。Binning这个动作玩法就落在“把同色积木拼成一大块”这一步上。1.2 Quad Bayer并不只有一种还有Nona Bayer、Octa PD这些变形很多朋友看到就会问那广告里说的“九合一”“十六合一”又是什么它们本质上是同一个思路只是把同色像素块做得更大。Nona Bayer就是在3x3区域内共用同一种颜色的滤光片九个同色像素合成一个等效像素尺寸叠得更高。Octa PD则是在Quad Bayer的基础上嵌入了八个相位检测点用于对焦。四合一、九合一、十六合一这些营销词汇背后对应的都是“大块同色像素排列合并读出”的组合。选择这类传感器时先别被“九合一更强”带节奏。合并系数越大单个等效像素的感光能力越强的说法在纸上成立但实际要考虑三个问题一是高分辨率模式下的重建难度成倍增加插值算法稍弱就全是伪彩和锯齿二是像素与像素之间的均匀性会被放大原来几个暗点合并后可能变成一个明显的坏点块三是微透镜和滤光片的工艺复杂度更高量产一致性更难保证。所以“四合一”到今天仍然是市面上最稳妥的主流方案九合一、十六合一更多是在极限高像素产品上炫技。这里要特别强调一点Quad Bayer是一种物理结构上的定义它决定的是彩色滤光片怎么排布。一颗传感器是Quad Bayer还是传统拜耳在流片那一刻就固定了后面没法通过软件改。但像素排列本身并不直接决定输出效果真正影响画质的是后端的读取和处理方式这就必须说到Binning了。1.3 Binning本质上是读出端的一步操作不是结构Binning的中文叫像素合并它在传感器读出链路中发生。相邻像素的信号被合并成一个信号再输出可能是在电荷域直接把电荷加在一起也可能是在数字域里把几个数相加或取平均。目的很简单减少输出像素数、降低数据量、提升帧率同时因为多个信号相加等效信号强度变大信噪比会改善。核心误区就在这Binning并不是Quad Bayer的专属功能传统拜耳阵列的传感器也完全可以做Binning。很多工业相机、科学相机的CCD或CMOS都提供了2x2、3x3的binning模式。区别在于传统拜耳做像素合并时2x2区域里分别装的是红、绿、绿、蓝四种颜色的像素把它们硬合成一个像素等于把四种颜色全搅在一起最后输出的是个“伪全色”像素颜色信息基本丢了后期虽然能通过特殊算法修正但效果远不如Quad Bayer那样干净。Quad Bayer这类结构天生就是为Binning优化的同色像素物理相邻做2x2合并后每个输出像素仍保持纯净的颜色通道。所以厂商宣传页上写“支持四合一”其实说的是“Quad Bayer结构Binning/合并读出”的联合能力。你可以有一个支持Binning的传统拜耳传感器也可以有一个不开Binning的Quad Bayer传感器这两个概念是独立的只是放在一起时特别好用。2. 核心差异不在名字在“哪个环节做了合并”2.1 一个是流片时定死的物理结构一个是随时可开关的寄存器选项理解Quad Bayer和Binning最有效的角度是看它们分别在链路里处于什么位置。Quad Bayer是传感器晶圆上彩色滤光片的光刻掩模决定的属于像素阵列层它在芯片出厂前就固定了你只能在使用层面决定“是否利用这个结构”。你可以选择闭着眼睛把它当普通拜耳用也可以利用它的同色排列开启合并模式但像素排布本身永远不会因为你改了软件而改变。Binning则完全是读出阶段的行为。现代CMOS传感器内部都有寄存器通过I2C或SPI接口可以实时配置。项目组可以通过修改配置切换不同binning模式比如2x2、3x3、甚至某些芯片支持行列不同系数的非对称binning。这意味着Binning是高度灵活的可以按场景动态开关白天跑全分辨率晚上切到binning模式。用一句好记的话来说Quad Bayer是“路修成什么样”Binning是“车怎么开”。道路规划决定了很多东西但最终怎么利用这条路取决于驾驶策略。选型时如果把这两层分开想很多纠结就不会有。2.2 信噪比、分辨率、动态范围的差异本质上来自合并发生的位置了解Binning对画质的影响得先有一个简单的信噪比概念。假设单个像素接收到的有效信号是S在光子散粒噪声主导的情况下噪声大约是√S单像素信噪比就是S/√S√S。如果把4个像素的信号合并总信号变成4S散粒噪声变成√(4S)2√S合并后的信噪比就是4S/(2√S)2√S。相比单像素的√S信噪比正好提升了约6dB也就是一倍。这是“四合一能够让暗光更亮”的数学根源。但如果把读出噪声也考虑进来读数会有差别。数字域的Binning需要把4个像素的数值逐一读出再相加读出噪声会按√4倍累积硬件电荷域的Binning则是直接让电荷相加读出噪声基本只算一次信噪比提升会更可观。这也是为什么科学级CCD和某些高端CMOS坚持做硬件binning的原因。不过对大多数消费级CMOS来说常用的是数字化合并提升大约在6dB上下而且是在理想情况下实际还受像素一致性、ADC精度限制。动态范围同样受合并方式影响。从满阱容量看四个像素合并后的总阱容理论上接近单个像素的4倍动态范围有提升空间但真实ADC位数和读出路径会限制这个提升并不总是“翻两倍”那么理想。Quad Bayer传感器在暗光下的表现往往比同等像素尺寸的传统拜耳更好但别把它等同于“原生大像素”这一点我在后面选型部分还会展开。2.3 真正的隐藏价值在Quad Bayer带来的“额外玩法”很多工程师只把Quad Bayer理解成“暗光四合一”这是低估了它。2x2同色像素的排列方式给传感器设计带来了好几个传统拜耳做不到的附加能力。最典型的是HDR。部分Quad Bayer传感器支持在同一帧内把2x2同色像素里的两个设置成短曝光、两个设置成长曝光然后合成为高动态范围图像。这种“多合一HDR”在传统拜耳上很难实现因为同色像素并不相邻无法在同一位置上同时采集两种曝光。传统拜耳想做HDR多半只能靠多帧合成运动物体会出现鬼影。Quad Bayer因为同色相邻天然适合做像素级长短曝光。另一个价值是全像素相位对焦。很多Quad Bayer传感器会在2x2像素块里嵌入相位检测点PD用其中一个像素做对焦信号提取同时保留其他像素的正常成像功能从而实现“全像素相位对焦”或“片上相位检测”。这对手机这类需要快速对焦的设备非常关键。不过代价是这个被用作检测的PD点在最终图像上可能会产生细微暗点需要ISP做坏点矫正。这些玩法是“Binning”这个词本身不包含的。如果你选型只看“是否支持四合一”很可能漏掉更重要的HDR模式和对焦性能。反过来如果你的项目根本不需要高像素彩色输出只想要高帧率和低照度那么一个支持干净Binning的传统拜耳传感器可能更实惠没必要为Quad Bayer的“额外功能”买单。2.4 Remosaic把四合一数据变回全分辨率的关键步骤Quad Bayer传感器要输出高分辨率彩色图像不是把所有像素点直接平铺就能用因为颜色排列和标准拜耳不一致直接平铺会让颜色全乱。它必须经过一个叫Remosaic的重排重建过程把4x4的Quad Bayer数据还原成标准拜耳格式再交由常规ISP管线处理。这里有个很多项目组没意识到的问题Remosaic的质量高度依赖传感器厂商和ISP厂商的算法配合。算法差的方案在红蓝交界的物体边缘会出现密密麻麻的棋盘格伪色暗光下的纹理细节甚至不如直接四合一输出。所以选型时不能只看传感器本身还要拿到实际开发板和配套算法拍几张测试图用眼睛看。Remosaic还带来硬件成本全分辨率模式下的数据量是四合一模式的四倍MIPI接口带宽、ISP算力、内存带宽和DDR频率都要跟得上。很多低端平台只支持“四合一输出”却标称“50MP”纯粹是数字游戏。真正能流畅跑全分辨率连拍的平台散热和功耗压力都不小。你把这一条加入选型评审表后会发现能筛掉一大批看起来参数很猛、实际上用不起来的方案。3. 按场景选型手机、安防、工业、医疗各取所需3.1 手机Quad Bayer已是默认选项重点看ISP怎么配合手机影像是Quad Bayer最主流的战场。现在新发布的主流机型主摄几乎都是Quad Bayer一类排列默认输出12MP到16MP通过四合一提高单位像素感光面积高像素模式则让用户在光线充足时输出48MP、64MP甚至108MP的图片。手机厂商在发布会上的卖点基本都是围绕“暗光四合一”和“高像素模式”两个场景交替展开。做手机方案的选型工程师要关注的不是“要不要用Quad Bayer”而是“配套平台能不能把它的潜力发挥出来”。重点看三件事第一默认模式和全分辨率模式之间的切换速度切换时黑屏时间超过一帧就很影响体验第二夜景视频是否支持实时四合一预览有些方案拍照模式能四合一录视频时却被迫降到低分辨率第三平台能不能同时开启HDR和Remosaic这是目前中高端机拉开差距的地方。另外我建议别只看像素数。当前手机传感器像素间距已经卷到0.6um级别四合一后也不过等效1.2um左右本质上还是很小的像素。厂商宣传的“暗光合像素”,在物理尺寸上依然远小于老款旗舰的1.4um原生大像素。这个对比说明手机摄影的提升很大程度依赖计算摄影和算法不是传感器单点能力能决定的。3.2 安防和智能交通低照度优先还是细节优先决定了Binning要不要开安防摄像头的核心痛点永远是低照度。夜视场景下Binning确实能显著提高画面亮度因为它把多个像素信号合并弱光环境下的信噪比提升肉眼可见。但代价是分辨率下降例如400万像素传感器开启2x2 binning后输出只有100万像素。对于监控场景100万像素在夜间看清人脸、车牌往往会力不从心。画面变亮了细节没了这就很难用于智能交通或安防取证。所以安防选型的判断维度要更细是安装在夜间光照较好的商业区还是完全无补光的郊外有没有红外补光灯识别目标是两三米外的人脸还是二十米外的车牌一般建议是光线环境不可控、需要全天候细节的应用优先考虑原生大像素宽动态而不是靠Binning硬撑。光线可控或只要求“看得见轮廓不要求看清细节”的应用Binning是成本最低的选择。这里有个经常被忽视的技术点很多安防SoC支持的“数字宽动态”需要连续拍摄多帧不同曝光的图像再合成而Binning开启后每帧的曝光参数、增益和灵敏度都变了多帧合成非常容易出问题。虽然部分新款传感器号称支持“binningWDR同时开”但实测下来效果并不乐观最好向原厂要到对应的调试指南和参考代码不能只看选型手册上的勾选项。3.3 工业检测和机器视觉Binning是提帧率的手段但会牺牲分辨率Quad Bayer未必适合工业机器视觉是Binning的传统应用领域。很多工业相机在读取模式里提供2x2或3x3 binning用户可以通过它提高帧率、减少数据传输压力同时在低照度环境下获得更高的灵敏度。比如在半导体外观检测这类场景如果缺陷尺寸足够大开一点binning并不会影响检出率却能明显提升节拍。但工业客户也要想清楚两个问题。第一Binning之后的有效分辨率下降微小缺陷可能直接丢在合并过程中尤其是pin-prick类缺陷尺寸只有几个像素一合并就没了。第二工业在线检测通常对图像灰度精度、线性度要求极高电荷域binning虽然能降噪但对像素响应的不一致性非常敏感合并后可能出现更明显的明暗条纹反而干扰算法。至于Quad Bayer在通用工业相机里反而不常见。工业场景大多用全局快门、单色传感器对彩色滤光的诉求不高对高分辨率彩色输出更不敏感。Quad Bayer的彩色滤光会降低量子效率而且消费级传感器多为卷帘快门运动物体拍出来形变明显不适合产线。如果你在工业项目里用到Quad Bayer多半是嵌入式视觉或移动机器人这类偏“消费级性能”的方向而不是通用机器视觉。3.4 医疗与科学成像软件平均和硬件Binning要分清楚科学成像领域的“Binning”概念和手机上的“四合一”有微妙差别。科学CMOS相机在弱信号检测时通常会提供硬件binning电荷域直接合并和软件平均两种选项。硬件binning通过减少读出次数来压制读出噪声但会丢掉空间信息软件平均采集多帧后逐像素平均不牺牲分辨率但会增加曝光时间和数据量。这两种手段在科学软件里都叫“Bin”实际对应的是完全不同的采集策略。这类应用和Quad Bayer的交集很小因为科学成像追求的是定量准确性彩色滤光片会引起光损失和响应偏移大多数科学相机直接用单色传感器配滤光轮而不是片上彩色滤波。如果你的项目是显微镜、天文成像这类需要定量分析的方向选型时更该关注暗电流、量子效率、读出噪声和线性度而不是去追逐“四合一高像素”这些消费级卖点。下面用一张表简单汇总不同场景的侧重点方便快速对照应用场景核心诉求优先级推荐方向手机摄影暗光画质高像素高Quad Bayer 强ISP自主学习安防监控夜视宽动态细节高原生大像素优先Binning按需开启智能交通车牌/人脸识别高高分辨率WDR慎用Binning工业检测帧率缺陷检出率中普通拜耳/单色Binning按缺陷尺寸评估医疗科学成像定量准确度低噪声高单色传感器硬件binning/软件平均4. 不要只盯着像素数用规格书里的几项数据判断“真水平”4.1 像素尺寸、满阱容量、量子效率是联动的别孤立看无论选Quad Bayer还是传统拜耳像素尺寸都只是一个基础指标。真正决定低照度性能的是满阱容量FWC、量子效率QE和读出噪声这三个参数的组合。像素尺寸大通常满阱容量也大能存储的电荷更多动态范围更好量子效率高说明入射光里能转化成信号电子的比例更高同等光照下信号更强。选型时把这三项放在一起看比单独看“多少um像素”有价值得多。举个实际例子一颗0.7um像素的Quad Bayer传感器四合一后等效像素尺寸接近1.4um听起来和原生1.4um像素的传感器差不多。但如果它的单像素满阱容量只有3000e-四合一相加后也就12000e-左右而一颗原生1.4um像素的传感器满阱容量可能直接到30000e-差距相当明显。等效尺寸只是面积叠加工艺和阱容决定了真正的动态范围。所以我看规格书时第一眼看像素尺寸第二眼就翻到光电参数表看FWC和QE。4.2 满阱大不代表画质好还要看读出噪声和像素一致性很多中低端Quad Bayer传感器为了追求高像素把像素做得很小满阱容量自然受限。即便四合一之后信号量上去了读出噪声和PRNU像素响应不均匀性)却不会因为合并而消失。PRNU在合并时同样会做平均可能让亮暗不均匀变得更平滑但读出噪声在数字域合并时还会按√N累积。如果单像素读出噪声本身就是4e-四个像素合并后读出噪声会变成接近8e-并没有“四个合成一个就把噪声除四”的好事。这解释了为什么同样打着“四合一”旗号的传感器实测暗光画质可以天差地别。有些打磨得很好的工艺单像素读出噪声能做到2e-以内四合一后依然很干净有些则因为像素基底漏电、暗电流偏高长曝光时彩噪一大片。选型评估时不要只看等效像素最好找原厂要几组暗场和亮度灰阶测试图或者直接上demo板实测暗场。4.3 厂商标的参数大概率是在“有利模式”下测的行业里一个普遍的隐形规则是规格书上的动态范围和信噪比往往标注的是“最好模式”下的成绩。对Quad Bayer传感器来说这个最好模式通常就是四合一模式因为它取得了最高的满阱容量和信噪比。而你在实际项目中可能大部分时间跑的就是四合一模式问题不大。但如果你需要全分辨率输出那标称参数就不适用了必须看全分辨率模式对应的指标。我建议向原厂要数据时明确问三个问题这个SNR值对应的是多少曝光时间是在binning/四合一模式还是全分辨率模式下测的HDR模式开了没有因为HDR模式下动态范围看起来很夸张但噪点和灵敏度往往会有妥协。把这三个问题问清楚很多参数神话就不攻自破了。从前做选型报告时我习惯用表格把两种模式下的参数分别列出来对照需求再决定这个习惯避免了至少两次选择错误。4.4 带宽、功耗、切换时间这些“隐性指标”最容易埋雷Quad Bayer高像素模式带来的数据量是四合一模式的四倍如果SoC的MIPI接口带宽不够全分辨率模式只能以很低帧率运行视频模式就更难。有些规格书标着支持48MP全分辨率和4K视频实际上48MP只能单张拍摄不能录像因为写入DDR的带宽已经到极限。手机SoC相对成熟这个问题不明显但在一些低成本的Linux IPC或工业视觉方案里非常常见。模式切换时间也很容易被忽略。从四合一模式切到全分辨率模式再切回来中间可能要经过几十毫秒甚至上百毫秒的重配流程ISP还需要重新跑一遍3A算法收敛。如果产品需要在拍照瞬间快速切换长时间黑屏或画面闪烁会造成用户明显感知。我在实际项目中踩过这个坑后面把“模式切换耗时”写进了规格书对照表要求原厂提供实测值低于两帧才放行。这些指标虽然不算画质参数却往往决定了项目能不能落地。5. 我在项目中踩过的三个坑和一份选型检查清单5.1 坑一以为普通拜耳Binning就能达到“四合一”效果结果颜色全乱了几年前做一款低照度摄像头当时为了省成本选了颗传统的800万像素拜耳传感器规格书里白纸黑字写着支持2x2 binning。我们当时的想法很直接既然能binning那晚上画面变亮不就行了于是信心满满上了方案。调试时打开binning画面确实亮了帧率也上去了但颜色完全乱套物体边缘全是红绿相间的栅栏花斑连自动白平衡都救不回来。后面才彻底搞明白传统拜耳做binning2x2区域是RGGB四色各一个信号一叠加等于把红绿蓝全混在一起每个输出像素都变成“四色糊”颜色信息直接就没了。Quad Bayer之所以能四合一是因为它故意把同色像素挨在一起保证合并后每个像素仍然是纯色。这个认知不搞清楚选型时就会把“支持binning”和“支持四合一”划等号。现在我对硬件同事说的第一句话永远是先看滤光片排列再决定能不能合并。5.2 坑二拿四合一等效像素尺寸去配镜头结果边缘偏色严重另一个项目里我们为了压低成本选了颗0.8um像素的Quad Bayer传感器四合一后等效像素1.6um当时觉得这个尺寸配一颗普通的4mm镜头完全没问题。结果样机装出来边缘红蓝渐变非常严重中间清晰两边糊。查了一圈才意识到高像素模式的真实像素间距仍然是0.8um镜头必须在整个像面上维持足够的解析力才能同时照顾到全分辨率和高像素模式另一方面Quad Bayer传感器因为微透镜阵列的特殊设计对主光线入射角更敏感镜头CRA和芯片不匹配边缘就会出现颜色偏转。从那以后我把镜头选型从“按等效像素尺寸配”改成了“按最小物理像素尺寸配”并且让镜头厂用传感器厂提供的CRA曲线做仿真后再定案。这个坑在手机模组方案里很常见因为手机镜头是按整机定制的可以做得更极致但通用安防或工业产品要外购镜头时就特别容易翻车。5.3 坑三开启硬件Binning后自动白平衡和曝光开始“抽风”有一款工业相机项目用户反馈在低照度下开启binning后画面每隔几秒就发生一次亮度跳变颜色也偏来偏去。我们最初怀疑是传感器硬件问题后来逐帧对比寄存器状态才发现问题出在ISP的3A算法上。开启binning后画面有效像素数量、噪声特性和灵敏度都变了但ISP里的自动曝光统计窗口和自动白平衡增益表还沿用全分辨率模式的配置导致每一帧的统计结果都不稳定。解决方式是在固件里为binning模式专门配置独立的3A参数并在模式切换时强制重新做一次AWB收敛。这个教训告诉大家Binning作为传感器功能不是打开就完事下游ISP和3A算法必须联动。如果原厂给的SDK没有专门处理binning模式切换就一定要在项目验收标准里加入“模式切换稳定性”这一项否则出货后动态切换场景就是灾难。5.4 我整理的一份选型检查清单把这几年的踩坑经验沉淀成了一份清单每次评估新传感器时我都会过一遍明确项目的最低分辨率要求以及这个分辨率是在四合一模式还是全分辨率模式下必需判断瓶颈是低光灵敏度、帧率还是数据带宽先锁定核心指标再选技术路线如果目标是低照度帧率优先优先找硬件binning做得干净的型号并确认binning时色彩不乱如果目标是一颗传感器同时覆盖高像素和暗光两种场景选Quad Bayer但不能忽略remosaic质量如果同时要HDR和暗光问清楚HDR和binning/四合一模式能不能一起开不能就降低预期测试时把模式切换速度、AWB收敛时间、PD坏点是否可见、边缘色偏是否可接受全部列入通过标准。最后分享一个自己的小习惯做Sensor选型做得越久越觉得很多技术名词在PPT上可以互相借鉴但落到硬件上必须回到你最在意的那个指标。你要的是白天解析力和晚上可用性那就重点测remosaic和四合一模式你要的是帧率和低照度那就去看Binning能不能干净地合并别被“支持四合一”这种话术带跑。我拿到任何一颗新传感器的规格书第一件事不是翻第一页的分辨率而是直接跳到模式切换时序和寄存器说明页。如果寄存器里对binning、HDR、remosaic的模式组合写得很详细通常这颗芯片在设计时就把真实应用场景想清楚了如果规格书里只给一个“支持四合一”的勾选框实际调试往往要费很多功夫。一个选型工程师的经验最后其实就是看这些细节的直觉少踩一个坑项目就快一步。