中文名SegMamba‑V2面向通用三维医学图像分割的长程序列建模 Mamba 模型TMI 2026论文代码链接github.comhttps://github.com/ge-xing/SegMamba-V2AbstractThe Transformer architecture has demonstrated remarkable results in 3D medical image segmentation due to its capability of modeling global relationships. However, it poses a significant computational burden when processing high‑dimensional medical images. Mamba, as a State Space Model (SSM), has recently emerged as a notable approach for modeling long‑range dependencies in sequential data. Although a substantial amount of Mamba‑based research has focused on natural language and 2D image processing, few studies explore the capability of Mamba on 3D medical images. In this paper, we propose SegMamba‑V2, a novel 3D medical image segmentation model, to effectively capture long‑range dependencies within whole‑volume features at each scale. To achieve this goal, we first devise a hierarchical scale downsampling strategy to enhance the receptive field and mitigate information loss during downsampling. Furthermore, we design a novel tri‑orientated spatial Mamba block that extends the global dependency modeling process from one plane to three orthogonal planes to improve feature representation capability. Moreover, we collect and annotate a large‑scale dataset (named CRC‑2000) with fine‑grained categories to facilitate benchmarking evaluation in 3D colorectal cancer (CRC) segmentation. We evaluate the effectiveness of our SegMamba‑V2 on CRC‑2000 and three other large‑scale 3D medical image segmentation datasets, covering various modalities, organs, and segmentation targets. Experimental results demonstrate that our SegMamba‑V2 outperforms state‑of‑the‑art methods by a significant margin, which indicates the universality and effectiveness of the proposed model on 3D medical image segmentation tasks.翻译Transformer 架构凭借对全局关系的建模能力在三维医学图像分割任务中取得了优异效果。但该架构处理高维医学图像时会带来巨大的计算开销。Mamba 作为状态空间模型SSM现已成为序列数据长距离依赖建模的重要方法。尽管大量基于 Mamba 的研究聚焦于自然语言处理与二维图像领域但鲜有工作探究 Mamba 在三维医学图像上的能力。本文提出一种全新的三维医学图像分割模型 SegMamba‑V2用于在各个尺度下有效捕获完整体数据特征内的长距离依赖。为实现该目标本文首先设计分层尺度下采样策略扩大感受野并缓解下采样过程中的信息丢失问题其次提出三方向空间 Mamba 模块将全局依赖建模由单个平面拓展至三个正交平面提升模型特征表达能力。此外本文采集并标注了细粒度分类的大规模数据集 CRC‑2000为三维结直肠癌分割任务提供基准评测数据。本文在 CRC‑2000 以及另外三套大规模三维医学图像分割数据集上验证 SegMamba‑V2 的有效性数据集覆盖多种成像模态、人体器官与分割目标。实验结果表明SegMamba‑V2 性能显著优于现有主流算法证明该模型在三维医学图像分割任务上具备通用性与有效性。创新点1三方向空间 Mamba 模块 TSMambaTri-orientated Spatial Mamba。针对 3D 医学影像多正交解剖平面特性提出 ToOMTri‑orientated Ortho Mamba模块将全局依赖建模从单一扫描平面拓展到冠状、矢状、轴状三个正交平面每个平面内部实现前向、反向、跨组三种特征交互。配套 GSC 门控空间卷积模块补偿 Mamba 将 3D 特征展平成一维序列造成的空间结构损失保留空间先验强化 3D 解剖特征表达。2分层尺度下采样 HS‑Downsampling。摒弃单一池化或者单卷积核下采样并行使用 5×5×5、3×3×3、2×2×2 三种 3D 卷积完成下采样分别捕获大感受野上下文与局部精细特征最后用 1×1×1 卷积融合多路特征。在编码器每一个阶段使用在扩大感受野的同时缓解下采样中小目标信息丢失对微小肿瘤、细分支气道分割增益显著。3卷积‑Mamba 混合四阶段编码器 FUE 特征级不确定性估计模块。架构层面做混合设计编码器浅层高分辨率阶段使用深度可分离卷积 DWConv 处理稠密细节特征避免高分辨率下直接使用 Mamba 带来巨大序列开销深层低分辨率阶段使用 TSMamba 完成全局长程依赖建模。在跳跃连接中嵌入 FUE 模块计算特征熵得到不确定性图对低不确定性可靠特征做增强抑制跳连传递的噪声与模糊特征优化解码器输入。SegMamba‑V2 网络框架SegMamba‑V2 整体采用经典的U‑型编码器‑解码器Encoder‑Decoder架构设计为四阶段分层特征提取流水线完整网络由输入分支、四级编码器、跳跃连接增强模块 FUE 以及解码器分割头共同构成专门针对三维体数据完成医学图像分割任务。输入原始三维体积 I依次送入编码器进行多尺度特征提取特征图的空间分辨率随编码阶段逐级收缩经过四次下采样之后特征尺寸从 D*H*W 依次变为最终低分辨率高层特征送入解码器通过上采样逐步恢复至原图分辨率输出三维分割结果。编码器的四个阶段采用卷积‑Mamba 混合范式实现局部细节特征与全局长程依赖的解耦学习。Stage‑1 与 Stage‑2 两个浅层高分辨率阶段堆叠L_1、L_2个深度可分离卷积块DWConv Block。高分辨率特征图包含丰富的解剖边缘、微小病灶、气道分支等底层细节信息卷积天然具备优秀的局部归纳偏置同时避免了高分辨率下将大量体素展平为一维序列送入 Mamba 模块带来的巨大显存开销。而 Stage‑3 与 Stage‑4 两个深层低分辨率阶段则切换至堆叠L_3、L_4个本文提出的 TSMambaTri‑orientated Spatial Mamba模块低分辨率特征图序列长度大幅下降此时利用 Mamba 状态空间模型 SSM 线性复杂度的优势在三维特征空间内建模跨远距离体素之间的全局依赖关系弥补卷积感受野受限的缺陷这种深浅分支不同模块的设计在分割精度与计算效率之间取得了平衡。每两个特征块之间都嵌入了本文自研的HS‑Downsampling 分层尺度下采样模块也就是图左下角展示的子模块用来替代传统最大池化或者单卷积核下采样。该模块采用三路并行卷积分支三条分支分别配置超参数K5,S2,P2、K3,S2,P1、K2,S2,P0三个分支卷积步长统一设置为 2因此均可将特征尺寸减半不同大小的卷积核负责捕获不同尺度范围的空间上下文5×5×5 卷积分支获取大范围感受野3×3×3 分支兼顾中等尺度解剖结构2×2×2 分支最大程度保留精细局部特征。三路分支输出特征图最后送入Fusion Conv融合卷积完成多分支特征聚合。通过多分支并行下采样策略模型在收缩特征分辨率、扩大感受野的同时有效缓解三维下采样过程中小病灶、细气道等微小结构的信息丢失问题。编码器深层阶段所使用的 TSMamba 模块的内部计算流程可由残差公式完整描述对应图右下角 TSMamba 的数据流输入特征z首先经过Gated Spatial ConvolutionGSC门控空间卷积该门控卷积利用 3×3×3 卷积和 1×1×1 卷积两路分支逐元素相乘在特征送入一维序列建模之前保留三维空间结构信息抵消 Mamba 将 3D 特征展平为一维序列操作带来的空间先验损失。随后特征经过层归一化LayerNorm送入核心子模块ToOMTri‑orientated Orthogonal MambaToOM 内部并行沿着冠状面、矢状面、轴状面三个正交解剖平面执行 Mamba 扫描每个平面内同时完成前向、反向、跨组多方向的长距离特征交互最后三路正交输出特征逐元素求和融合实现三维体积全局长程依赖建模。ToOM 模块输出之后执行第一次残差连接再经过第二层层归一化、多层感知机 MLP最后执行第二次残差连接输出 TSMamba 模块的最终特征z双层残差结构有利于深层 Mamba 网络的梯度回传缓解深度网络训练退化。在 U‑Net 架构传统跳跃连接Skip Connections的通路上SegMamba‑V2 额外嵌入了FUE 特征级不确定性估计模块Feature‑level Uncertainty Estimation。编码器浅层多尺度特征并不直接拼接送入解码器而是先输入 FUE 模块完成特征增强处理。FUE 首先沿着通道维度求取特征均值再通过 Sigmoid 激活得到概率特征图基于信息熵计算公式生成不确定性权重图u其中z_c代表特征图的第c个通道特征。不确定性图u数值越高代表当前位置编码器提取的特征可信度越低、噪声越强随后利用不确定性权重对原始特征做自适应增强对于不确定性低、置信度高的解剖特征进行加权增强抑制跳跃连接传递过来的模糊、噪声特征减少不可靠特征对解码器分割预测产生的干扰提升跳连特征的质量。经过 FUE 增强后的多尺度特征图再通过跳跃连接和解码器对应层级特征拼接融合。解码器部分延续标准上采样解码范式使用转置卷积逐层对高层语义特征进行上采样恢复空间分辨率融合来自 FUE 增强后的浅层细节特征不断补充解剖细节信息最后由分割头卷积输出逐体素分类概率图得到最终三维分割结果。ToOMTri‑orientated Ortho Mamba模块ToOM 是 SegMamba‑V2 中 TSMamba 块的核心计算单元专门针对三维医学体数据的解剖学特性设计。人体 CT/MRI 三维体积天然存在冠状面Coronal、矢状面Sagittal、轴状面Axial三个相互正交的解剖切面传统 Mamba‑based 3D 分割方法通常仅沿着单一方向将 3D 特征展平为一维序列进行扫描建模只能捕获单一路径上的长距离依赖无法同时挖掘三个正交切片平面内部、切片之间的解剖结构关联长程上下文建模不够充分。为了解决该缺陷ToOM 模块并行执行三路独立的 ToM 子分支分别在冠状、矢状、轴状平面内完成特征交互最后融合三路输出特征从三个正交维度完整捕获三维体积中的全局依赖关系图 2 完整展示了该模块的运算流程。子图 (a)、(b)、(c) 分别对应三个独立分支ToM‑Coronal冠状方向、ToM‑Sagittal矢状方向、ToM‑Axial轴状方向三个 ToM 子分支的内部计算逻辑完全一致唯一区别仅在于选取的扫描平面与特征展开方向不同。以 ToM‑Coronal 冠状分支为例输入三维特征首先沿着冠状方向对体素特征进行分组操作划分出多条独立的一维特征序列随后每条分支内部依次完成前向特征交互Forward Features Interaction、反向特征交互Reverse Features Interaction、跨组特征交互Cross‑group Features Interaction三层长程建模。前向特征交互即沿着序列从首至尾执行标准 Mamba 选择性状态空间扫描让每个体素特征接收序列前方所有位置的上下文信息反向特征交互调转扫描顺序从序列末尾向起点扫描使特征能够捕获后方位置的依赖关系。前向 反向双向扫描解决了基础单向 Mamba 只能获取单向历史信息的缺陷使得切片平面内任意两个位置都可以实现双向的全局信息流通。仅仅依靠切片内部的双向扫描还不足以捕捉跨切片之间的远距离解剖关联因此模块额外引入跨组特征交互把划分出来的各个特征分组当作新的一维序列再次执行一次 Mamba 扫描建立起不同切片分组之间的长距离连接。以肺部气道这类贯穿多层切片的管状解剖结构为例跨组交互可以让相隔很远的气道分支特征产生信息交互大幅提升模型对于连续、延展型结构的建模能力。完成三层特征交互之后该平面下所有序列特征重新组合还原成三维特征张量得到当前正交平面融合之后的输出特征。ToM‑Sagittal 矢状分支、ToM‑Axial 轴状分支重复上述整套 “前向‑反向‑跨组” 特征交互流程只是切换特征展开的坐标轴分别在矢状平面、轴状平面完成全局依赖建模。三个分支相互独立分别学习不同解剖切面下独有的空间特征模式。子图 (d) 展示了最终 ToOM 模块的融合策略将 ToM‑Coronal、ToM‑Sagittal、ToM‑Axial 三路输出的三维特征张量执行逐元素相加完成特征融合。求和融合方式不会额外引入大量可学习参数在增加三路正交方向建模能力的同时能够控制整体参数量与显存开销。三路正交特征信息相互补充冠状、矢状、轴状三个视角下提取得到的全局上下文共同丰富最终特征表达。从解剖先验的角度来看该设计思路十分适配医学图像任务。很多人体器官、病灶结构会沿着某一切面方向延展单平面建模很容易丢失另一维度上的长距离关联例如气道树沿着轴状切片逐层延伸、腹部器官在冠状平面具备大范围空间分布三路正交 Mamba 可以保证任意方向上的长距离解剖依赖都能够被捕捉到。相比于普通的单方向扫描 MambaToOM 通过双向扫描 跨组交互增强了单平面内部建模能力再通过三正交分支实现三维空间全覆盖最终和前置 GSC 门控空间卷积共同构成完整的 TSMamba 模块嵌入 SegMamba‑V2 编码器深层负责低分辨率阶段全局语义特征提取。ToM‑Coronal 模块实现细节这张图是 ToOM 三路分支之中冠状方向子模块 ToM‑Coronal的逐步骤数据流可视化完整展示了在冠状解剖平面上如何完成前向、反向、跨组三重特征交互也是理解 ToM‑Sagittal、ToM‑Axial 两个分支运算逻辑的范本矢状、轴状分支只是切换展开坐标轴内部运算流程完全一致。模块的输入是三维特征张量首先沿着冠状方向Coronal Direction将三维体特征切分成一组相互平行、堆叠排布的冠状切片每一行切片构成一个独立分组Group。图中\(N_x\)代表冠状方向切片分组的总数每一个分组内部又包含着沿着水平方向排布的一系列体素特征单元。完成分组之后模型并行执行三条独立的 Mamba 扫描路径分别对应 (a) 前向特征交互、(b) 反向特征交互、(c) 跨‑组特征交互。路径 (a) 代表Forward Features Interaction前向特征交互。对于每一个冠状切片分组内的一维特征序列Mamba 扫描从序列Start起点运行至End终点。在选择性状态空间模型的递推运算下序列上每一个体素都可以聚合它前方所有位置的特征信息建立起单条冠状切片内部从前到后的长距离依赖。多条冠状切片分组之间相互独立、并行完成前向扫描不会在这个阶段产生跨切片的信息流通。前向扫描完成之后每一条特征序列都会更新得到融入前文上下文的新特征表示。路径 (b) 代表Reverse Features Interaction反向特征交互。扫描方向和前向完全相反从序列End终点回溯到 Start 起点。单向 Mamba 天然只能访问扫描起点到当前位置的历史信息仅使用前向扫描时序列后方的体素特征无法被前面的元素感知反向扫描补齐了这个缺陷使切片内每一个体素都可以获取序列尾部方向的上下文信息。前向 反向双向扫描共同实现切片分组内部的双向全局建模冠状切片平面内任意两个位置的特征都能够完成信息交互。路径 (c) 代表Cross‑group Features Interaction跨组特征交互这是 ToM 模块非常关键的创新设计。在前两步运算结束后各个冠状切片分组仍然是互相隔离的切片与切片之间没有建立联系。跨‑组交互将之前独立的每一个冠状切片分组视作一条新一维序列上的元素沿着垂直于切片的方向再次执行一轮 Mamba 扫描。也就是把 Group 1、Group 2 一直到 Group N_x当作序列上依次排列的节点完成远距离跨切片特征传递。该操作专门用来捕捉跨冠状切片之间的长程解剖依赖对于气道、血管这类贯穿多层切片的连续管状结构跨组交互可以让分布在不同切片上、空间距离较远的病灶特征互相感知弥补普通切片内建模无法覆盖跨层关联的短板。当 (a)(b)(c) 三条特征交互路径全部运算结束三路输出特征进行融合再重新恢复回三维张量的排布形式就得到经过冠状平面全局建模之后的输出特征。将这套运算逻辑分别迁移到矢状方向、轴状方向即可得到 ToM‑Sagittal、ToM‑Axial 两个子模块三路正交分支的结果求和最终组成完整的 ToOM 单元。该模块解决了传统单方向 Mamba 扫描只能沿着单一坐标轴建模的局限把切片内双向依赖、切片间跨组长程依赖同时纳入特征学习过程从而更好适配三维医学影像复杂的解剖空间结构。FUEFeature‑level Uncertainty Estimation特征级不确定性估计模块在 SegMamba‑V2 整体架构中编码器各个层级跳连特征在送入解码器拼接之前都会先经过 FUE 模块处理。经过不确定性自适应增强之后再传递给解码器从而减少低置信度噪声特征的负面影响让解码器更加聚焦清晰可靠的解剖边界特征提升小病灶与模糊边缘的分割效果。FUE 模块是 SegMamba‑V2 跳跃连接分支上的特征增强单元专门用来优化编码器传递至解码器的浅层跳连特征解决传统 U‑Net 跳跃连接直接传递原始特征时噪声、模糊边界、低置信度特征干扰解码器分割预测结果的问题。图 4 完整展示了 FUE 内部数据流与运算逻辑。输入图像经过编码器编码之后得到第i层的原始特征z_i送入 FUE 模块内部。模块首先以z_i作为输入生成逐体素的不确定性权重图u_i该权重图空间尺寸与特征图完全一致代表三维体积内每个空间位置特征的可靠程度。不确定性数值越高代表当前像素 / 体素位置的特征信息越模糊、噪声干扰越强、模型对该位置特征的置信度越低。不确定性图的生成一般遵循下面的计算流程1.沿通道维度对特征z_i求均值得到单通道置信度图C为通道总数sigma代表 Sigmoid 激活函数将数值压缩至(0,1)区间2. 通过信息熵公式计算不确定性图u_i信息熵可以衡量特征的混乱程度置信度高、特征清晰的区域熵值小不确定性u_i数值偏低边界模糊、噪声区域熵值大不确定性数值偏高。接下来原始特征z_i与不确定性权重图u_i完成逐元素相乘实现基于不确定性的特征调制之后经过卷积层得到调制特征。最后模块执行一条残差连接将调制后的特征和输入原始特征逐元素相加SegMamba‑V2 解码器架构解码器是U‑Net 对称上采样 跳跃连接的层级结构最核心创新点每一层编码器输出的跳连特征都先送入 FUE特征级不确定性估计模块预处理之后再和上采样特征拼接融合而不是直接把原始特征进行跳跃连接。左侧编码器多尺度特征输入编码器一共输出 5 个层级的多尺度 3D 特征通道数与空间分辨率如下输入体大小为 D*H*WFUE 模块跳跃连接特征预处理每一条编码器特征支路首先经过 FUE 模块。FUE 模块对编码器特征做不确定性自适应增强抑制模糊、高噪声、低置信度区域增强清晰、高置信度解剖目标区域。经过 FUE 优化之后的特征再送入解码器参与拼接相比传统 U‑Net 直接跳转原始特征减少浅层噪声对解码器的干扰提升病灶边界分割精度。自底向上逐级上采样与特征融合解码器从最深层分辨率最小开始逐层向上恢复空间尺寸1. 最底层瓶颈特征经过 FUE 处理 → 得到单路特征 → 转置卷积 (Transpose Conv.)上采样 2 倍2. 上采样之后的特征和上一级经过 FUE 增强后的编码器特征通道维度拼接Concatenate图中虚线方框内两个立方体代表两路拼接在一起3. 拼接完成后再经过卷积层进行特征融合再次使用转置卷积进行 2 倍上采样4. 重复该 “上采样‑拼接‑融合” 流程一路向上直到恢复至原始输入分辨率(D*H*W)。Seg‑head 分割头经过 4 轮上采样融合之后特征回到原始输入分辨率。最终送入 Seg‑head 分割头一般为 1×1×1 的 3D 卷积将特征通道映射为分割类别通道输出最终体素级分割概率图。与V1的对比 SegMamba‑V2 是 SegMamba‑V1 的期刊扩展升级版二者都采用 U‑Net 架构均包含 GSC 门控空间卷积、FUE 特征级不确定性估计模块主要差异体现在核心扫描模块、下采样策略、编码器混合架构、数据集、收敛与性能五个方面。第一核心全局建模模块升级V1 使用ToM 三向 Mamba仅在单一平面内部做前向、反向、切片间扫描V2 升级为ToOM 三正交 Mamba分别在冠状面、矢状面、轴状面三个医学正交解剖平面各自执行一套 ToM 扫描三个平面输出直接相加融合更贴合三维医学 Volume 解剖结构全局上下文建模能力更强。第二新增HS‑Downsampling 分层尺度下采样模块。V1 使用普通卷积步长下采样V2 采用并行多尺度卷积同时使用 5×5×5、3×3×3、2×2×2 三种不同核大小卷积做下采样之后融合特征。扩大感受野同时缓解下采样过程当中细节信息丢失问题保留更多解剖细节特征。第三编码器采用混合卷积‑Mamba 四阶段策略。V1 编码器全部阶段均使用 Mamba 模块V2 做了架构取舍Stage‑1、Stage‑2 高分辨率底层阶段只用深度可分离卷积 DWConv 提取局部细节不在高分辨率特征上跑开销大的 Mamba仅在 Stage‑3、Stage‑4 低分辨率高层语义阶段才使用 TSMambaGSCToOM做全局建模。在保证精度前提下降低整体计算、显存开销推理速度更快。第四性能与收敛特性V2 相比 V1 收敛更快更少 epoch 即可达到更好指标在各个测试数据集上 Dice 提升、HD95 下降消融实验也证实 ToOM、HS‑Downsampling、混合阶段策略均带来增益特征可视化显示 V2 能更好聚焦病灶目标区域。不变部分GSC 门控空间卷积、FUE 跳跃连接不确定性加权模块、解码器整体结构保留没有改动。