1. 从Transformer到Mamba视频理解为何需要新架构最近在复现和测试一些视频理解相关的模型时我重新仔细读了一遍《VideoMamba: State Space Model for Efficient Video Understanding》这篇论文。说实话第一次看到“Mamba”这个词出现在视频领域时我的第一反应是好奇和怀疑。毕竟Transformer架构在视觉、尤其是视频理解领域经过VIT、TimeSformer等工作的锤炼几乎已经成为事实上的标准。大家习惯了用自注意力机制Self-Attention去建模空间和时序上的长距离依赖。那么为什么还需要一个基于状态空间模型State Space Model, SSM的VideoMamba它到底解决了什么Transformer解决不了或者解决起来很“疼”的问题要理解VideoMamba的价值我们得先回到视频理解任务本身的核心挑战上。视频是一系列在时间上连续的图像帧其数据量巨大。一个几秒钟的短视频按30帧/秒算就是上百张高分辨率图片。Transformer的自注意力机制计算复杂度是序列长度的平方级O(N²)。对于图像我们可以把图像块patch展平成一个序列这个序列长度已经不小了例如224x224的图像切成16x16的块序列长度是196。对于视频如果我们简单地把所有帧的所有图像块拼接成一个超长序列那么序列长度N 帧数T * 每帧图像块数L。这个N会变得极其庞大导致计算和内存开销完全无法承受。因此现有的视频Transformer如TimeSformer通常采用“因式分解”的注意力机制比如将空间注意力和时间注意力分开。这虽然降低了计算量但也引入了一个很强的先验假设空间和时间依赖是可以完全解耦的。然而现实世界中的动作和事件空间和时间信息往往是紧密交织、相互影响的。一个挥手的动作其空间轨迹手的位置变化本身就定义了时间信息。强行分开建模可能会损失这种联合表征的能力。另一方面状态空间模型SSM特别是像Mamba这样的选择性状态空间模型提供了一种完全不同的思路。它本质上是一个线性时不变LTI系统通过一个隐藏状态h_t来递归地处理序列信息其核心计算是线性递归复杂度是线性的O(N)。这意味着无论视频有多长理论上Mamba都能以线性增长的计算成本来处理整个序列这是对Transformer平方复杂度瓶颈的一个根本性突破。更重要的是Mamba引入了“选择性”机制让模型能够根据输入内容动态地决定哪些信息需要被记住持久化到状态中哪些可以忽略。这对于视频理解至关重要因为视频中充斥着大量冗余信息如静态背景关键的动作变化往往只发生在局部区域和短暂时刻。所以VideoMamba的出现并不是为了取代Transformer而是为了在视频这个对长序列建模效率和全局依赖捕捉都有极高要求的特定领域提供一个更优雅、更高效的解决方案。它试图用线性复杂度的SSM去捕获视频中全局的时空依赖同时避免因式分解注意力可能带来的信息损失。接下来我们就深入论文拆解VideoMamba是如何具体实现这一目标的。2. VideoMamba的核心设计将图像Mamba扩展到时空领域VideoMamba的整体架构设计非常清晰其核心思想是将针对图像设计的Mamba模型以一种尽可能自然的方式扩展到视频数据上。它没有重新发明轮子而是巧妙地利用了Mamba在图像分类如Vision Mamba上已经证明有效的设计并针对视频的时序特性进行适配。2.1 输入编码从2D图像块到3D时空立方体和Vision TransformerViT一样VideoMamba的第一步也是将输入视频进行“分块”。假设输入视频大小为 T x H x W x 3T帧高H宽W3通道。VideoMamba将其划分为不重叠的时空立方体Spatio-Temporal Cubes。每个立方体的大小是 t x p x p其中t是时间维度的跨度p是空间维度的跨度。例如一个常见的设置是 t2, p16。这意味着模型将每连续2帧图像在空间上切分成16x16的小块这样一个立方体就包含了2帧内同一个空间位置上的图像信息。这个过程可以理解为在时空维度上做了一次均匀采样。然后将每个立方体展平并通过一个线性投影层映射到一个D维的嵌入向量。同时会加上标准的可学习位置编码或固定位置编码以保留时空位置信息。最终我们得到了一个长度为 N (T/t) * (H/p) * (W/p) 的令牌token序列。这个序列同时包含了空间和时间的信息并且其长度相比“帧级拼接”的方案已经大大减少为后续的线性复杂度建模奠定了基础。这里有一个关键的设计考量时间下采样t1。在Vision Mamba中处理单张图像序列完全由空间块构成。而在VideoMamba中通过引入t1我们在建模的一开始就对时间维度进行了轻度聚合。这样做的好处是直接缩短了需要建模的序列长度降低了计算负担。风险在于可能会损失一些非常细微的时间动态毫秒级变化。但论文中的实验表明对于大多数以识别和理解为主的任务如动作识别t2是一个在效率和效果上很好的平衡点。2.2 骨干网络Video Mamba Block的堆叠得到令牌序列后它们被送入一系列堆叠的Video Mamba Block中。每个Block的结构继承了Mamba的核心组件并做了视频化的调整归一化层Norm首先对输入序列进行层归一化LayerNorm。1x1卷积前向投影这是一个可选的、但实践中非常有效的设计。在进入SSM核心计算前使用一个1x1的卷积等价于全连接层对令牌序列进行通道混合和升维。这有助于模型融合不同通道的信息。深度卷积Depthwise Convolution接着是一个深度可分离卷积其作用是进行局部的时空特征交互。这是从ConvNeXt等现代卷积网络中借鉴来的思想能为模型提供强大的局部归纳偏置inductive bias。在视频中这意味着相邻的时空立方体在时间和空间上都相邻的信息会先进行一步混合帮助SSM更好地理解局部上下文。激活与投影经过卷积后通过SiLU激活函数并再次使用1x1卷积进行投影。选择性状态空间模型Selective SSM这是整个Block的心脏。经过前述处理的序列被送入Mamba的SSM层。如前所述SSM通过一个隐藏状态h_t进行线性递归计算。其“选择性”体现在系统参数如离散化步长Δ是由输入数据通过一个线性层动态生成的。这使得模型能够根据当前输入的时空内容决定以多大的“步幅”或“分辨率”来更新其内部状态。对于视频这可以理解为当画面静止或变化缓慢时如背景模型选择“长时记忆”状态更新慢当画面出现快速、重要的动作时如人物突然举手模型选择“短时记忆”状态快速更新以捕捉细节。残差连接SSM的输出与Block的原始输入进行残差相加构成这个Block的最终输出。这一系列Block堆叠起来就构成了VideoMamba的骨干网络。信息在这个网络中流动时一方面通过深度卷积进行快速的局部时空交互另一方面通过选择性SSM进行高效的全局长程依赖建模。两者互补形成了强大的特征提取能力。注意这里容易产生一个误解认为SSM完全替代了注意力。实际上在VideoMamba Block中并没有显式的注意力计算。SSM通过其线性递归和选择性机制隐式地实现了对序列中重要信息的聚焦和长距离信息的传递这是一种与注意力机制机理不同但目标相似的建模方式。2.3 输出头与任务适配骨干网络提取的时空特征序列最后会根据下游任务的不同被送入不同的输出头。视频分类这是最直接的任务。通常采用全局平均池化Global Average Pooling将整个序列聚合为一个全局特征向量然后通过一个全连接层分类器输出类别概率。时序动作定位这类任务需要模型不仅知道视频中发生了什么还要知道动作发生的起止时间。VideoMamba可以输出每个时序位置对应一组时空立方体的特征然后接上专门的时间边界检测头例如基于锚点或Transformer的解码头来预测动作片段。时空动作检测这需要同时定位动作发生的时间和空间位置在视频的哪一帧、哪个区域。由于VideoMamba的令牌序列本身就保留了时空网格结构理论上可以通过对输出序列进行重塑和上采样得到逐像素或逐区域的特征图再接入检测头如Faster R-CNN的RPN。论文中主要验证了其在视频分类任务上的有效性但这套架构的设计是通用的为扩展到更复杂的视频理解任务留下了接口。3. 选择性SSM在视频中的工作原理与优势要真正理解VideoMamba为何有效我们必须深入其灵魂——选择性状态空间模型Selective SSM并看看它在处理视频数据时是如何发挥作用的。3.1 状态空间模型SSM的直观理解我们可以用一个非常简单的类比来理解SSM把它想象成一个有“记忆”的系统。这个系统在每个时间步对应视频中的一个时空令牌接收一个输入x_t然后根据当前的内部状态h_t和输入更新自己的状态到h_{t1}并产生一个输出y_t。其数学形式通常表示为h_{t1} A * h_t B * x_t y_t C * h_t D * x_t其中A, B, C, D是系统的参数矩阵。A决定了状态如何自我演化衰减或保持B决定了当前输入如何影响状态C决定了如何从状态生成输出D是输入到输出的直接通路。这个系统的关键特性是线性递归。计算h_{t1}只需要知道h_t和x_t与之前所有的历史输入{x_1, x_2, ..., x_{t-1}}无关因为这些历史信息已经被“压缩”到了状态h_t中。这使得它的计算可以按时间步顺序进行复杂度是O(N)。同时由于状态h_t理论上可以携带从序列开始到当前的所有信息尽管受A矩阵影响会有衰减因此它具备建模长距离依赖的潜力。3.2 “选择性”为何是视频建模的关键传统SSM如S4模型的参数A, B, C是固定的与输入无关。这意味着它对所有输入序列都采用相同的“记忆策略”。这在处理像视频这样内容高度动态、信息重要性分布极不均匀的数据时显得不够灵活。Mamba的核心创新就是引入了“选择性”Selectivity。具体来说模型参数B, C和最重要的离散化参数Δ都是由当前时间步的输入x_t通过一个线性变换动态生成的Δ_t, B_t, C_t f_θ(x_t)这意味着Δ_t步长控制着系统状态更新的“速度”或“分辨率”。Δ_t大意味着系统将当前输入的影响快速“写入”长期状态状态更新快Δ_t小则意味着系统更“惰性”当前输入对长期状态影响小。在视频中面对快速变化的动作帧模型可以生成大的Δ_t迅速更新状态以记住这个关键变化面对静止的背景帧则生成小的Δ_t避免状态被无关信息污染。B_t, C_t动态的B和C使得系统能够根据输入内容决定“记住什么”B控制输入如何影响状态以及“输出什么”C控制状态如何贡献给输出。这实现了内容感知的信息路由。这种选择性机制让VideoMamba像一个拥有动态焦点的观察者。它不再平等地对待视频中的每一帧每一个区域而是能够主动地、根据内容重要性分配其有限的“注意力”和“记忆资源”。这与Transformer的自注意力在功能上异曲同工——都是让模型关注重要的部分。但实现路径不同自注意力是通过所有令牌两两计算相似度平方复杂度来实现显式的聚焦而选择性SSM是通过动态调整线性递归系统的参数来实现隐式的、高效的内容选择。3.3 与Transformer在视频建模上的对比我们可以从几个维度对比VideoMamba和基于Transformer的视频模型计算复杂度这是最显著的差异。Transformer自注意力是O(N²)而SSM是O(N)。对于长视频序列这个优势是指数级的。这使得VideoMamba能够处理更长的视频片段或者使用更高的时空分辨率而无需复杂的因式分解或窗口化技巧。建模能力全局依赖标准的Transformer全局注意力能建模序列中任意两个位置的关系。VideoMamba通过状态的递归传递理论上也能建立任意长距离的依赖但其信息传递是沿着时序单向进行的因果性不像注意力那样是“全连接”的。对于视频理解这种单向性通常不是问题因为时间本身就有方向。时空联合建模因式分解的Transformer如TimeSformer将空间和时间注意力分离。VideoMamba的输入是时空令牌的混合序列其SSM和深度卷积天然地在同一套参数下对时空信息进行联合处理可能更有利于捕捉时空不可分的特征。训练与推理训练SSM的线性递归特性使其难以进行高效的并行训练因为第t步依赖第t-步的状态。Mamba通过其“扫描”Scan算法和硬件优化的实现巧妙地解决了这个问题实现了训练时的并行化。推理SSM在推理时具有内存效率高的优势。由于其状态是固定维度的向量与序列长度无关因此处理极长视频时内存占用几乎恒定。而Transformer在推理时尤其是自回归生成或需要缓存键值对时内存消耗会随序列长度增长。归纳偏置Transformer的注意力机制是一种非常通用的关系建模器但需要大量数据来学习有用的模式。SSM尤其是结合了深度卷积的VideoMamba内置了局部性通过卷积和序列性通过递归的归纳偏置这可能使其在数据量不是极端庞大的情况下更容易训练和泛化。下表总结了核心对比特性VideoMamba (基于选择性SSM)标准视频Transformer (如ViViT)因式分解视频Transformer (如TimeSformer)核心操作选择性线性递归 深度卷积全局自注意力空间注意力 时间注意力分离时空建模联合建模时空令牌混合联合建模时空令牌混合分离建模计算复杂度O(N)O(N²)O(N_s² N_t²) 其中N_s, N_t分别是空间、时间序列长度长序列处理非常高效内存占用恒定代价高昂相对高效但可能损失全局时空交互内容感知通过动态参数实现隐式选择通过注意力权重实现显式选择通过注意力权重实现显式选择主要优势线性复杂度适合极长视频内存高效强大的全局关系建模能力平衡了计算开销和建模能力主要挑战需要理解递归和选择性机制并行化实现复杂计算和内存成本高时空解耦的假设可能不总是成立4. 实验设置、结果分析与实战启示论文在多个标准的视频理解基准数据集上对VideoMamba进行了评估主要包括Kinetics-400、Something-Something V2、Charades等。这些数据集涵盖了从大规模互联网视频分类Kinetics到精细时序动作理解Something-Something等不同场景。4.1 主要实验结果与发现在主流基准上达到有竞争力的性能在Kinetics-400上VideoMamba与基于Transformer的同类模型如VideoSwin, MViT相比在参数量和计算量FLOPs相近的情况下取得了相当甚至略优的精度。这证明了选择性SSM架构在视频分类任务上的有效性它并非一个“理论玩具”而是具备实战能力的模型。在长视频理解上展现潜力论文特别强调了VideoMamba在处理长序列视频上的优势。在一些需要更长时序上下文的任务或数据集上由于其线性复杂度VideoMamba能够以更低的计算成本处理更多的帧数从而获得更好的性能。例如在需要理解较长流程动作的数据集上增加输入帧数带来的性能提升比Transformer模型更为明显。效率优势在相同的硬件条件下如相同的GPU内存VideoMamba能够处理更高分辨率或更长时长的视频输入。这对于实际部署特别是资源受限的边缘场景是一个重要的优势。消融实验的启示时空立方体编码的重要性实验表明采用时空立方体t1作为输入单元比单纯在帧级应用图像Mambat1效果更好且效率更高。这验证了在输入阶段进行轻度时序聚合的有效性。深度卷积的作用移除深度卷积层会导致性能下降尤其是在Something-Something V2这种对细粒度时空关系要求高的数据集上。这说明局部归纳偏置对于视频SSM模型是必要的补充。选择性的关键性将Mamba替换为没有选择性的传统SSM如S4模型性能显著下降。这直接证明了“内容感知”的动态机制对于视频建模至关重要。4.2 从论文到实践复现与使用的思考如果你和我一样对VideoMamba感兴趣并想动手尝试以下是一些基于论文和当前开源生态的实战思考1. 环境搭建与依赖VideoMamba基于PyTorch实现其核心依赖于Mamba官方库mamba-ssm。安装时需要注意CUDA版本兼容性。由于Mamba底层涉及CUDA内核的定制对PyTorch和CUDA工具链的版本匹配要求较高。建议在干净的虚拟环境如conda中严格按照官方仓库的说明进行安装。# 示例具体版本请参考最新官方文档 conda create -n videomamba python3.10 conda activate videomamba pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install causal-conv1d1.1.1 # 依赖 pip install mamba-ssm # 核心SSM层 # 然后克隆VideoMamba代码仓库并安装其他依赖2. 数据预处理流程视频理解模型的数据预处理管线通常比较重。你需要准备视频解码使用Decord、PyAV或OpenCV从视频文件中抽帧。时空采样按照论文设定均匀采样T帧如16帧。这里要注意采样策略密集采样适合短时动作稀疏采样适合长时动作。空间裁剪与缩放通常采用随机裁剪训练时或中心裁剪测试时到固定分辨率如224x224。构建时空立方体这是VideoMamba特有的步骤。你需要将采样得到的T帧在时间维度以步长t进行分组并在空间上切割成p x p的块最终形成令牌序列。这个过程可以集成在数据加载器中。3. 模型训练技巧优化器与学习率论文采用AdamW优化器并配合余弦退火学习率调度器。这是视觉Transformer训练的标配。正则化权重衰减、DropPathStochastic Depth是防止过拟合的关键。VideoMamba作为序列模型可能也需要在SSM层应用特定的归一化或正则化技术。混合精度训练AMP强烈推荐使用自动混合精度训练这能显著减少GPU内存占用并加快训练速度尤其对于VideoMamba这种包含自定义CUDA算子的模型。长视频训练如果你想利用VideoMamba处理超长视频的优势可能需要调整优化策略。例如使用梯度检查点Gradient Checkpointing来节省内存以便使用更大的批次大小或更长的序列。4. 可能遇到的坑与解决方案CUDA内存溢出OOM即使SSM理论内存效率高但视频数据本身很大。如果遇到OOM首先检查输入帧大小分辨率和批次大小batch size。可以尝试梯度累积Gradient Accumulation来模拟更大的批次。训练不稳定SSM模型在训练初期可能比Transformer更敏感。确保使用了正确的初始化方法如Mamba层特定的初始化并监控训练损失曲线。适当降低初始学习率可能会有帮助。自定义任务适配论文主要提供了分类任务的代码。如果你要用于检测或分割需要自行设计输出头。这里的关键是如何将输出的1D令牌序列重新映射回2D空间或3D时空的特征图。可以参考Vision Transformer中用于分割的“序列到空间”重塑方法。5. 与现有生态的集成目前VideoMamba可以作为一个强大的视频特征提取器backbone集成到更大的系统中。例如你可以在视频-语言多模态任务中用VideoMamba替换掉原来的视频编码器如CLIP的视觉编码器来获取更高效、更强大的视频表征。将其用于视频生成任务如扩散模型的条件编码部分利用其长序列建模能力来提供更连贯的时序条件。在工业界的视频内容分析平台中作为动作识别、异常检测等模块的核心网络其高效率特性有利于降低服务器成本。VideoMamba为我们打开了一扇新的大门它展示了状态空间模型在视觉乃至多模态领域的巨大潜力。它不是一个终点而是一个起点。围绕如何更好地设计视频专用的SSM块、如何与注意力机制进行更高效的融合例如混合架构、如何将其应用于更复杂的视频生成和理解任务还有大量的探索空间。对于从业者来说理解其原理掌握其用法并将其应用到合适的场景中是当前阶段最务实的选择。在我自己的实验中将其用于一些长视频的摘要生成任务初步看到了其在保持上下文连贯性上的优势这让我对这条技术路线的未来充满期待。 VideoMamba：基于选择性状态空间模型的视频理解新架构
1. 从Transformer到Mamba视频理解为何需要新架构最近在复现和测试一些视频理解相关的模型时我重新仔细读了一遍《VideoMamba: State Space Model for Efficient Video Understanding》这篇论文。说实话第一次看到“Mamba”这个词出现在视频领域时我的第一反应是好奇和怀疑。毕竟Transformer架构在视觉、尤其是视频理解领域经过VIT、TimeSformer等工作的锤炼几乎已经成为事实上的标准。大家习惯了用自注意力机制Self-Attention去建模空间和时序上的长距离依赖。那么为什么还需要一个基于状态空间模型State Space Model, SSM的VideoMamba它到底解决了什么Transformer解决不了或者解决起来很“疼”的问题要理解VideoMamba的价值我们得先回到视频理解任务本身的核心挑战上。视频是一系列在时间上连续的图像帧其数据量巨大。一个几秒钟的短视频按30帧/秒算就是上百张高分辨率图片。Transformer的自注意力机制计算复杂度是序列长度的平方级O(N²)。对于图像我们可以把图像块patch展平成一个序列这个序列长度已经不小了例如224x224的图像切成16x16的块序列长度是196。对于视频如果我们简单地把所有帧的所有图像块拼接成一个超长序列那么序列长度N 帧数T * 每帧图像块数L。这个N会变得极其庞大导致计算和内存开销完全无法承受。因此现有的视频Transformer如TimeSformer通常采用“因式分解”的注意力机制比如将空间注意力和时间注意力分开。这虽然降低了计算量但也引入了一个很强的先验假设空间和时间依赖是可以完全解耦的。然而现实世界中的动作和事件空间和时间信息往往是紧密交织、相互影响的。一个挥手的动作其空间轨迹手的位置变化本身就定义了时间信息。强行分开建模可能会损失这种联合表征的能力。另一方面状态空间模型SSM特别是像Mamba这样的选择性状态空间模型提供了一种完全不同的思路。它本质上是一个线性时不变LTI系统通过一个隐藏状态h_t来递归地处理序列信息其核心计算是线性递归复杂度是线性的O(N)。这意味着无论视频有多长理论上Mamba都能以线性增长的计算成本来处理整个序列这是对Transformer平方复杂度瓶颈的一个根本性突破。更重要的是Mamba引入了“选择性”机制让模型能够根据输入内容动态地决定哪些信息需要被记住持久化到状态中哪些可以忽略。这对于视频理解至关重要因为视频中充斥着大量冗余信息如静态背景关键的动作变化往往只发生在局部区域和短暂时刻。所以VideoMamba的出现并不是为了取代Transformer而是为了在视频这个对长序列建模效率和全局依赖捕捉都有极高要求的特定领域提供一个更优雅、更高效的解决方案。它试图用线性复杂度的SSM去捕获视频中全局的时空依赖同时避免因式分解注意力可能带来的信息损失。接下来我们就深入论文拆解VideoMamba是如何具体实现这一目标的。2. VideoMamba的核心设计将图像Mamba扩展到时空领域VideoMamba的整体架构设计非常清晰其核心思想是将针对图像设计的Mamba模型以一种尽可能自然的方式扩展到视频数据上。它没有重新发明轮子而是巧妙地利用了Mamba在图像分类如Vision Mamba上已经证明有效的设计并针对视频的时序特性进行适配。2.1 输入编码从2D图像块到3D时空立方体和Vision TransformerViT一样VideoMamba的第一步也是将输入视频进行“分块”。假设输入视频大小为 T x H x W x 3T帧高H宽W3通道。VideoMamba将其划分为不重叠的时空立方体Spatio-Temporal Cubes。每个立方体的大小是 t x p x p其中t是时间维度的跨度p是空间维度的跨度。例如一个常见的设置是 t2, p16。这意味着模型将每连续2帧图像在空间上切分成16x16的小块这样一个立方体就包含了2帧内同一个空间位置上的图像信息。这个过程可以理解为在时空维度上做了一次均匀采样。然后将每个立方体展平并通过一个线性投影层映射到一个D维的嵌入向量。同时会加上标准的可学习位置编码或固定位置编码以保留时空位置信息。最终我们得到了一个长度为 N (T/t) * (H/p) * (W/p) 的令牌token序列。这个序列同时包含了空间和时间的信息并且其长度相比“帧级拼接”的方案已经大大减少为后续的线性复杂度建模奠定了基础。这里有一个关键的设计考量时间下采样t1。在Vision Mamba中处理单张图像序列完全由空间块构成。而在VideoMamba中通过引入t1我们在建模的一开始就对时间维度进行了轻度聚合。这样做的好处是直接缩短了需要建模的序列长度降低了计算负担。风险在于可能会损失一些非常细微的时间动态毫秒级变化。但论文中的实验表明对于大多数以识别和理解为主的任务如动作识别t2是一个在效率和效果上很好的平衡点。2.2 骨干网络Video Mamba Block的堆叠得到令牌序列后它们被送入一系列堆叠的Video Mamba Block中。每个Block的结构继承了Mamba的核心组件并做了视频化的调整归一化层Norm首先对输入序列进行层归一化LayerNorm。1x1卷积前向投影这是一个可选的、但实践中非常有效的设计。在进入SSM核心计算前使用一个1x1的卷积等价于全连接层对令牌序列进行通道混合和升维。这有助于模型融合不同通道的信息。深度卷积Depthwise Convolution接着是一个深度可分离卷积其作用是进行局部的时空特征交互。这是从ConvNeXt等现代卷积网络中借鉴来的思想能为模型提供强大的局部归纳偏置inductive bias。在视频中这意味着相邻的时空立方体在时间和空间上都相邻的信息会先进行一步混合帮助SSM更好地理解局部上下文。激活与投影经过卷积后通过SiLU激活函数并再次使用1x1卷积进行投影。选择性状态空间模型Selective SSM这是整个Block的心脏。经过前述处理的序列被送入Mamba的SSM层。如前所述SSM通过一个隐藏状态h_t进行线性递归计算。其“选择性”体现在系统参数如离散化步长Δ是由输入数据通过一个线性层动态生成的。这使得模型能够根据当前输入的时空内容决定以多大的“步幅”或“分辨率”来更新其内部状态。对于视频这可以理解为当画面静止或变化缓慢时如背景模型选择“长时记忆”状态更新慢当画面出现快速、重要的动作时如人物突然举手模型选择“短时记忆”状态快速更新以捕捉细节。残差连接SSM的输出与Block的原始输入进行残差相加构成这个Block的最终输出。这一系列Block堆叠起来就构成了VideoMamba的骨干网络。信息在这个网络中流动时一方面通过深度卷积进行快速的局部时空交互另一方面通过选择性SSM进行高效的全局长程依赖建模。两者互补形成了强大的特征提取能力。注意这里容易产生一个误解认为SSM完全替代了注意力。实际上在VideoMamba Block中并没有显式的注意力计算。SSM通过其线性递归和选择性机制隐式地实现了对序列中重要信息的聚焦和长距离信息的传递这是一种与注意力机制机理不同但目标相似的建模方式。2.3 输出头与任务适配骨干网络提取的时空特征序列最后会根据下游任务的不同被送入不同的输出头。视频分类这是最直接的任务。通常采用全局平均池化Global Average Pooling将整个序列聚合为一个全局特征向量然后通过一个全连接层分类器输出类别概率。时序动作定位这类任务需要模型不仅知道视频中发生了什么还要知道动作发生的起止时间。VideoMamba可以输出每个时序位置对应一组时空立方体的特征然后接上专门的时间边界检测头例如基于锚点或Transformer的解码头来预测动作片段。时空动作检测这需要同时定位动作发生的时间和空间位置在视频的哪一帧、哪个区域。由于VideoMamba的令牌序列本身就保留了时空网格结构理论上可以通过对输出序列进行重塑和上采样得到逐像素或逐区域的特征图再接入检测头如Faster R-CNN的RPN。论文中主要验证了其在视频分类任务上的有效性但这套架构的设计是通用的为扩展到更复杂的视频理解任务留下了接口。3. 选择性SSM在视频中的工作原理与优势要真正理解VideoMamba为何有效我们必须深入其灵魂——选择性状态空间模型Selective SSM并看看它在处理视频数据时是如何发挥作用的。3.1 状态空间模型SSM的直观理解我们可以用一个非常简单的类比来理解SSM把它想象成一个有“记忆”的系统。这个系统在每个时间步对应视频中的一个时空令牌接收一个输入x_t然后根据当前的内部状态h_t和输入更新自己的状态到h_{t1}并产生一个输出y_t。其数学形式通常表示为h_{t1} A * h_t B * x_t y_t C * h_t D * x_t其中A, B, C, D是系统的参数矩阵。A决定了状态如何自我演化衰减或保持B决定了当前输入如何影响状态C决定了如何从状态生成输出D是输入到输出的直接通路。这个系统的关键特性是线性递归。计算h_{t1}只需要知道h_t和x_t与之前所有的历史输入{x_1, x_2, ..., x_{t-1}}无关因为这些历史信息已经被“压缩”到了状态h_t中。这使得它的计算可以按时间步顺序进行复杂度是O(N)。同时由于状态h_t理论上可以携带从序列开始到当前的所有信息尽管受A矩阵影响会有衰减因此它具备建模长距离依赖的潜力。3.2 “选择性”为何是视频建模的关键传统SSM如S4模型的参数A, B, C是固定的与输入无关。这意味着它对所有输入序列都采用相同的“记忆策略”。这在处理像视频这样内容高度动态、信息重要性分布极不均匀的数据时显得不够灵活。Mamba的核心创新就是引入了“选择性”Selectivity。具体来说模型参数B, C和最重要的离散化参数Δ都是由当前时间步的输入x_t通过一个线性变换动态生成的Δ_t, B_t, C_t f_θ(x_t)这意味着Δ_t步长控制着系统状态更新的“速度”或“分辨率”。Δ_t大意味着系统将当前输入的影响快速“写入”长期状态状态更新快Δ_t小则意味着系统更“惰性”当前输入对长期状态影响小。在视频中面对快速变化的动作帧模型可以生成大的Δ_t迅速更新状态以记住这个关键变化面对静止的背景帧则生成小的Δ_t避免状态被无关信息污染。B_t, C_t动态的B和C使得系统能够根据输入内容决定“记住什么”B控制输入如何影响状态以及“输出什么”C控制状态如何贡献给输出。这实现了内容感知的信息路由。这种选择性机制让VideoMamba像一个拥有动态焦点的观察者。它不再平等地对待视频中的每一帧每一个区域而是能够主动地、根据内容重要性分配其有限的“注意力”和“记忆资源”。这与Transformer的自注意力在功能上异曲同工——都是让模型关注重要的部分。但实现路径不同自注意力是通过所有令牌两两计算相似度平方复杂度来实现显式的聚焦而选择性SSM是通过动态调整线性递归系统的参数来实现隐式的、高效的内容选择。3.3 与Transformer在视频建模上的对比我们可以从几个维度对比VideoMamba和基于Transformer的视频模型计算复杂度这是最显著的差异。Transformer自注意力是O(N²)而SSM是O(N)。对于长视频序列这个优势是指数级的。这使得VideoMamba能够处理更长的视频片段或者使用更高的时空分辨率而无需复杂的因式分解或窗口化技巧。建模能力全局依赖标准的Transformer全局注意力能建模序列中任意两个位置的关系。VideoMamba通过状态的递归传递理论上也能建立任意长距离的依赖但其信息传递是沿着时序单向进行的因果性不像注意力那样是“全连接”的。对于视频理解这种单向性通常不是问题因为时间本身就有方向。时空联合建模因式分解的Transformer如TimeSformer将空间和时间注意力分离。VideoMamba的输入是时空令牌的混合序列其SSM和深度卷积天然地在同一套参数下对时空信息进行联合处理可能更有利于捕捉时空不可分的特征。训练与推理训练SSM的线性递归特性使其难以进行高效的并行训练因为第t步依赖第t-步的状态。Mamba通过其“扫描”Scan算法和硬件优化的实现巧妙地解决了这个问题实现了训练时的并行化。推理SSM在推理时具有内存效率高的优势。由于其状态是固定维度的向量与序列长度无关因此处理极长视频时内存占用几乎恒定。而Transformer在推理时尤其是自回归生成或需要缓存键值对时内存消耗会随序列长度增长。归纳偏置Transformer的注意力机制是一种非常通用的关系建模器但需要大量数据来学习有用的模式。SSM尤其是结合了深度卷积的VideoMamba内置了局部性通过卷积和序列性通过递归的归纳偏置这可能使其在数据量不是极端庞大的情况下更容易训练和泛化。下表总结了核心对比特性VideoMamba (基于选择性SSM)标准视频Transformer (如ViViT)因式分解视频Transformer (如TimeSformer)核心操作选择性线性递归 深度卷积全局自注意力空间注意力 时间注意力分离时空建模联合建模时空令牌混合联合建模时空令牌混合分离建模计算复杂度O(N)O(N²)O(N_s² N_t²) 其中N_s, N_t分别是空间、时间序列长度长序列处理非常高效内存占用恒定代价高昂相对高效但可能损失全局时空交互内容感知通过动态参数实现隐式选择通过注意力权重实现显式选择通过注意力权重实现显式选择主要优势线性复杂度适合极长视频内存高效强大的全局关系建模能力平衡了计算开销和建模能力主要挑战需要理解递归和选择性机制并行化实现复杂计算和内存成本高时空解耦的假设可能不总是成立4. 实验设置、结果分析与实战启示论文在多个标准的视频理解基准数据集上对VideoMamba进行了评估主要包括Kinetics-400、Something-Something V2、Charades等。这些数据集涵盖了从大规模互联网视频分类Kinetics到精细时序动作理解Something-Something等不同场景。4.1 主要实验结果与发现在主流基准上达到有竞争力的性能在Kinetics-400上VideoMamba与基于Transformer的同类模型如VideoSwin, MViT相比在参数量和计算量FLOPs相近的情况下取得了相当甚至略优的精度。这证明了选择性SSM架构在视频分类任务上的有效性它并非一个“理论玩具”而是具备实战能力的模型。在长视频理解上展现潜力论文特别强调了VideoMamba在处理长序列视频上的优势。在一些需要更长时序上下文的任务或数据集上由于其线性复杂度VideoMamba能够以更低的计算成本处理更多的帧数从而获得更好的性能。例如在需要理解较长流程动作的数据集上增加输入帧数带来的性能提升比Transformer模型更为明显。效率优势在相同的硬件条件下如相同的GPU内存VideoMamba能够处理更高分辨率或更长时长的视频输入。这对于实际部署特别是资源受限的边缘场景是一个重要的优势。消融实验的启示时空立方体编码的重要性实验表明采用时空立方体t1作为输入单元比单纯在帧级应用图像Mambat1效果更好且效率更高。这验证了在输入阶段进行轻度时序聚合的有效性。深度卷积的作用移除深度卷积层会导致性能下降尤其是在Something-Something V2这种对细粒度时空关系要求高的数据集上。这说明局部归纳偏置对于视频SSM模型是必要的补充。选择性的关键性将Mamba替换为没有选择性的传统SSM如S4模型性能显著下降。这直接证明了“内容感知”的动态机制对于视频建模至关重要。4.2 从论文到实践复现与使用的思考如果你和我一样对VideoMamba感兴趣并想动手尝试以下是一些基于论文和当前开源生态的实战思考1. 环境搭建与依赖VideoMamba基于PyTorch实现其核心依赖于Mamba官方库mamba-ssm。安装时需要注意CUDA版本兼容性。由于Mamba底层涉及CUDA内核的定制对PyTorch和CUDA工具链的版本匹配要求较高。建议在干净的虚拟环境如conda中严格按照官方仓库的说明进行安装。# 示例具体版本请参考最新官方文档 conda create -n videomamba python3.10 conda activate videomamba pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install causal-conv1d1.1.1 # 依赖 pip install mamba-ssm # 核心SSM层 # 然后克隆VideoMamba代码仓库并安装其他依赖2. 数据预处理流程视频理解模型的数据预处理管线通常比较重。你需要准备视频解码使用Decord、PyAV或OpenCV从视频文件中抽帧。时空采样按照论文设定均匀采样T帧如16帧。这里要注意采样策略密集采样适合短时动作稀疏采样适合长时动作。空间裁剪与缩放通常采用随机裁剪训练时或中心裁剪测试时到固定分辨率如224x224。构建时空立方体这是VideoMamba特有的步骤。你需要将采样得到的T帧在时间维度以步长t进行分组并在空间上切割成p x p的块最终形成令牌序列。这个过程可以集成在数据加载器中。3. 模型训练技巧优化器与学习率论文采用AdamW优化器并配合余弦退火学习率调度器。这是视觉Transformer训练的标配。正则化权重衰减、DropPathStochastic Depth是防止过拟合的关键。VideoMamba作为序列模型可能也需要在SSM层应用特定的归一化或正则化技术。混合精度训练AMP强烈推荐使用自动混合精度训练这能显著减少GPU内存占用并加快训练速度尤其对于VideoMamba这种包含自定义CUDA算子的模型。长视频训练如果你想利用VideoMamba处理超长视频的优势可能需要调整优化策略。例如使用梯度检查点Gradient Checkpointing来节省内存以便使用更大的批次大小或更长的序列。4. 可能遇到的坑与解决方案CUDA内存溢出OOM即使SSM理论内存效率高但视频数据本身很大。如果遇到OOM首先检查输入帧大小分辨率和批次大小batch size。可以尝试梯度累积Gradient Accumulation来模拟更大的批次。训练不稳定SSM模型在训练初期可能比Transformer更敏感。确保使用了正确的初始化方法如Mamba层特定的初始化并监控训练损失曲线。适当降低初始学习率可能会有帮助。自定义任务适配论文主要提供了分类任务的代码。如果你要用于检测或分割需要自行设计输出头。这里的关键是如何将输出的1D令牌序列重新映射回2D空间或3D时空的特征图。可以参考Vision Transformer中用于分割的“序列到空间”重塑方法。5. 与现有生态的集成目前VideoMamba可以作为一个强大的视频特征提取器backbone集成到更大的系统中。例如你可以在视频-语言多模态任务中用VideoMamba替换掉原来的视频编码器如CLIP的视觉编码器来获取更高效、更强大的视频表征。将其用于视频生成任务如扩散模型的条件编码部分利用其长序列建模能力来提供更连贯的时序条件。在工业界的视频内容分析平台中作为动作识别、异常检测等模块的核心网络其高效率特性有利于降低服务器成本。VideoMamba为我们打开了一扇新的大门它展示了状态空间模型在视觉乃至多模态领域的巨大潜力。它不是一个终点而是一个起点。围绕如何更好地设计视频专用的SSM块、如何与注意力机制进行更高效的融合例如混合架构、如何将其应用于更复杂的视频生成和理解任务还有大量的探索空间。对于从业者来说理解其原理掌握其用法并将其应用到合适的场景中是当前阶段最务实的选择。在我自己的实验中将其用于一些长视频的摘要生成任务初步看到了其在保持上下文连贯性上的优势这让我对这条技术路线的未来充满期待。