目标检测发展

目标检测是计算机视觉中识别图像物体并用边界框定位的任务。识别物体属于分类问题可通过监督学习训练模型而生成边界框则需要四个参数中心点坐标对应物体中心以及框的宽度和高度。直接对整图进行回归训练时模型效果不稳定尤其对小物体检测难以收敛小物体对定位误差更敏感而且如果一个图包含多个物体输出数据维度不固定无法训练。为解决上述问题研究者提出滑动窗口检测法通过手动设定固定窗口遍历图像这种方法是RCNN也叫两阶段目标检测算法。模型通常会通过滑动窗口或区域提议Region Proposal机制在图像上生成大量可能包含目标的候选边界框。随后网络会提取这些候选框内的边缘、颜色、纹理等深层视觉特征并分别通过回归模型对边界框的位置和尺寸进行精准修正同时利用分类模型判定框内物体的具体类别。然而由于候选框数量庞大且存在大量重叠模型往往会对同一个目标生成多个冗余的预测框。为了从这些备选框中筛选出最终的最优结果我们需要引入一个关键概念——交并比IoU, Intersection over Union用于量化两个边界框之间的重叠程度。在此基础上通常采用非极大值抑制NMS, Non-Maximum Suppression算法来进行后处理去重。NMS 的核心工作流程如下首先算法会根据分类模型输出的置信度得分对所有候选框进行降序排列并选出当前得分最高的预测框 A 作为基准。接着计算框 A 与剩余所有候选框的 IoU 值若某个候选框与框 A 的 IoU 超过了预设的阈值则说明两者极大概率指向同一个目标此时该候选框将被抑制剔除。最后算法会在未被剔除的剩余框中继续选取置信度最高的框重复上述比较与抑制的过程直至所有候选框都被处理完毕从而确保每个目标最终只保留一个最精确、最自信的检测结果。为了突破传统滑动窗口机制在计算效率上的瓶颈后续的目标检测改进方案充分利用了卷积神经网络CNN的平移不变性与特征共享特性创造性地提出了Faster R-CNN架构。该架构的核心突破在于引入了区域提议网络Region Proposal Network, RPN用高效的卷积核滑动操作彻底替代了耗时的传统滑动窗口实现了候选框生成的自动化与加速。在具体的工作流程中Faster R-CNN首先将原始输入图像送入一个共享的卷积神经网络Backbone进行全局特征提取得到包含丰富语义信息的高维特征图Feature Map。随后这一特征图被送入 RPN 模块通过滑动窗口和预设的锚框Anchors机制快速筛选出包含目标的候选区域Proposals。接着结合RoI Pooling感兴趣区域池化技术将这些尺寸各异的候选区域映射并转换为固定尺寸的特征向量。最终这些特征向量被送入分类头与回归头进行联合处理分类头负责判定框内物体的具体类别而回归头则进一步微调边界框的坐标参数从而输出高精度的最终检测结果。YOLOv1You Only Look Once由 Joseph Redmon 等人于 2015 年提出是计算机视觉领域具有里程碑意义的算法。它首次开创了“单阶段One-Stage”目标检测的先河彻底改变了以往两阶段检测器如 R-CNN 系列依赖候选区域生成的繁琐流程。YOLOv1模型的最终输出张量维度为7×7×30。其中7×7代表将输入图像划分成的网格规格。在深度为 30 的维度上包含了 20 个目标类别的概率分布以及 2 个候选边界框的回归参数。每个边界框需要输出 4 个位置坐标 (x,y,w,h) 用于定位以及 1 个置信度Confidence Score。在训练机制方面模型会根据目标中心点落入的网格来进行分类概率的训练。对于边界框的回归预测只有当该网格内确实存在目标时才会进行训练。需要特别注意的是YOLOv1 中置信度的训练目标并非简单的 0 或 1当网格内无目标时置信度标签为 0但当网格内有目标时置信度的标签被设定为该预测框与真实框之间的交并比IoU以此来同时衡量目标的存在概率与定位的准确度。YOLOv2在 YOLOv1 的基础上进行了多项关键改进其中最具代表性的创新在于引入了锚框Anchor Boxes机制以及全卷积网络结构。这两项改进不仅大幅提升了模型的检测精度与召回率还赋予了模型极强的部署灵活性。1. 锚框机制从绝对坐标回归到相对偏移量预测YOLOv2 摒弃了 YOLOv1 中直接回归绝对坐标的做法转而引入锚框机制将预测转化为基于先验模板的相对偏移量回归。在模型的最终输出张量中维度被设计为 13×13×125。其中13×13 代表将特征图划分成的网格规格。而深度维度 125 则是由每个网格预设的 5 个锚框决定的5×25125 。需要强调的是这 5 个锚框的尺寸并非人工手动设定而是通过 K-Means 聚类算法对训练集中所有真实边界框进行自动统计分析得出的能够最好地覆盖数据集中物体的常见长宽比。对于每个网格内的每一个锚框模型会输出一个包含 25 个参数的预测向量具体包括偏差值位置偏移4 个参数分别代表预测框中心点相对于当前网格左上角的横纵坐标偏移量以及预测框宽高相对于锚框尺寸的缩放比例。置信度Objectness Score1 个参数用于衡量该预测框内包含实际物体的概率以及定位的准确度。分类类别Class Probabilities20 个参数以 PASCAL VOC 数据集为例代表该框内物体属于各个具体类别的概率。通过这种机制YOLOv2 不仅大幅提升了模型的召回率还使得训练过程更加稳定、更容易收敛。2. 全卷积结构与多尺度训练YOLOv2 的另一大特点是彻底移除了网络中的全连接层采用全卷积Fully Convolutional设计。由于卷积操作天然具备处理任意尺寸输入的能力YOLOv2 对输入图像的大小不再有固定要求。基于这一特性YOLOv2 引入了多尺度训练Multi-Scale Training机制。在训练过程中网络不再固定输入图像的尺寸而是每隔 10 个 Batch 就随机选择一个新的图像尺寸大小。由于模型的最大下采样倍数为 32因此输入尺寸会在 32 的倍数中进行选择如 320×320 到 608×608 之间。这种机制迫使网络学会跨各种输入维度进行良好的训练。在实际推理时同一个训练好的模型可以灵活适应不同分辨率的图像在低分辨率如 288×288下模型运行速度更快适合显存较小或高帧率视频流场景。在高分辨率如 544×544下模型的检测精度mAP会有显著提升。这使得 YOLOv2 能够在速度和准确性之间提供极其方便的折中方案极大增强了模型的泛化能力与实用性。YOLOv3在架构设计上实现了重大突破能够输出不同尺寸的特征图以应对多尺度目标的检测需求。其核心创新在于借鉴了U-Net 架构中经典的跳跃连接Skip Connections与特征金字塔网络FPN思想构建了强大的多尺度检测机制。U-Net最初作为一种专为医学语义分割设计的卷积神经网络其核心优势在于采用了一种对称的“编码器-解码器”架构并创新性地引入了跳跃连接Skip Connections。在信息流转过程中网络首先通过编码器路径进行逐步下采样在压缩空间分辨率的同时提取出丰富的高层语义特征。然而下采样不可避免地会丢失边缘、轮廓等细粒度的空间细节导致深层特征虽然具备丰富的语义知道“是什么”却丧失了精准的空间位置信息。为了解决这一矛盾解码器路径通过上采样操作逐步还原图像尺寸将抽象的高层语义重新映射回原始物理空间。在此过程中编码器各层保留的细粒度空间细节特征会通过跳跃连接直接传递并与解码器对应层的特征进行拼接融合。这种将原始空间信息与深层语义特征相结合的机制有效弥补了下采样过程中丢失的细节使模型能够同时兼顾全局上下文理解与局部边界定位从而实现了对图像边缘和目标的精准像素级分割。YOLOv3巧妙地吸收了 U-Net 中“高低层特征融合”的思想在网络中构建了特征金字塔网络FPN。在信息流转过程中网络首先通过主干网络进行逐步下采样在压缩空间分辨率的同时提取出丰富的高层语义特征随后通过上采样操作逐步还原特征图尺寸。在此过程中YOLOv3 创新性地设计了三个不同尺度的检测头大、中、小尺寸的特征图分别通过跳跃连接Skip Connections与之前对应层级的浅层特征进行拼接融合。这种机制允许模型在三个不同尺度上同时进行预测既保留了浅层特征丰富的空间细节又融合了深层特征强大的全局语义从而大幅提升了对大、中、小不同尺寸目标的检测精度。深层小尺寸特征图如 13×13该层具有最大的感受野和最强的全局语义信息专门用于检测图像中的大型目标。中层中等尺寸特征图如 26×26该层特征图感受野适中主要负责检测中等尺寸的目标。浅层大尺寸特征图如 52×52该层保留了极其丰富的空间细节信息专门优化并负责识别画面中的小型目标。YOLOv8是由 Ultralytics 公司于 2023 年 1 月发布的新一代实时目标检测模型。CBS模块是构建模型的基础核心组件由Conv二维卷积层、BN批归一化层和SiLU激活函数串联而成。其中Conv负责提取图像局部特征并实现网络维度变换BN紧随其后通过归一化特征分布来缓解内部协变量偏移从而加速训练收敛并降低过拟合风险SiLU激活函数则负责引入非线性能力其平滑且处处可导的特性使模型更易训练同时带来更强的正则化效果。在实际架构中CBS模块被广泛应用于Backbone主干网络和Neck颈部网络中承担着特征提取、维度转换与多尺度特征传递的关键任务为YOLOv8实现高精度与高效率的实时检测奠定了坚实基础。C2F模块其设计灵感来源于ELAN架构旨在通过增强梯度流来提升模型对复杂特征的捕获能力。通过将输入特征一分为二一部分直接保留作为快捷连接另一部分则经过多个Bottleneck进行深度特征提取最后将所有分支的输出在通道维度上拼接。这种设计不仅保留了原始信息的完整性还极大地丰富了梯度的传播路径使模型能够学习到更多样化的特征组合从而在密集目标、遮挡场景下表现更优。SPPF模块旨在通过高效融合不同尺度的上下文信息来提升目标检测精度。该模块通常位于主干网络的末端负责将深层特征图进行多尺度池化并拼接从而扩大感受野并保留丰富的空间结构信息。它通过串联多个相同大小的最大池化层如5×5、9×9、13×13来模拟传统SPP的多尺度效果避免了并行分支带来的计算开销。在边界框回归定位方面YOLOv8 摒弃了传统模型直接预测中心点偏移量和宽高即4个标量值的做法而是创新性地引入了DFLDistribution Focal Loss分布焦点损失。DFL 的核心思想是将连续的边界框坐标如预测点到目标左、右、上、下边界的距离建模为离散区间上的概率分布。具体而言模型不再输出单一的确定值而是输出16个离散锚点Anchor的概率值。这16个值经过 Softmax 归一化后形成概率分布最终的预测坐标则是这16个锚点值的加权期望积分。在传统的目标检测模型中分类头通常采用 Softmax 激活函数配合交叉熵损失CrossEntropy Loss这种设计强制要求预测框内的多个类别概率之和为1因此一个边界框只能被分配一个最高置信度的类别无法处理复杂的重叠场景。YOLOv8 在这一机制上进行了重要优化原生支持多标签预测Multi-label Classification。在架构设计上YOLOv8 的分类头摒弃了互斥的 Softmax转而采用 Sigmoid 激活函数配合二元交叉熵损失BCE Loss。这种设计将每个类别视为一个独立的二分类问题模型会为每个预测框输出多个独立的类别概率值。最初始的阶段模型直接使用1−IoU作为损失函数。它的核心逻辑是衡量预测框与真实框的重叠面积重叠度越高Loss 越小。然而这个基础版本存在两个致命缺陷一是当两个框完全不重叠时IoU 值为 0导致梯度消失模型无法进行有效优化二是它无法衡量两个框之间的相对位置关系即使重叠面积相同框的偏离程度也无法被感知。针对 IoU Loss 无法衡量相对位置的缺陷DIoUDistance IoU应运而生。DIoU 在 IoU 的基础上增加了一个惩罚项专门用来衡量预测框与真实框中心点之间的欧氏距离。这一改进成功解决了两个框不重叠时的梯度消失问题并且能够引导预测框快速向真实框的中心靠拢。但是DIoU 依然没有考虑目标本身的形状特征导致在长宽比差异较大的情况下回归过程依然不够稳定。为了让模型同时兼顾“重叠面积”、“中心点距离”和“形状比例”CIoUComplete IoU被正式提出。CIoU 在 DIoU 的基础上进一步引入了一个宽高比Aspect Ratio惩罚项。它综合考量了这三个几何因素使得边界框回归的收敛速度更快定位也更精准。YOLOv8的所有损失函数如下在处理倾斜数据集类别不平衡数据集时单一依赖准确率Accuracy往往会产生严重的误导性。因为当某一类样本占据绝对多数时模型只需倾向于预测多数类就能获得极高的准确率但这并不能反映其对少数类的真实识别能力。因此我们需要引入更为精细的评估指标体系如精确率Precision、召回率Recall也称查全率以及查准率等。这些核心指标并非凭空产生它们均建立在分类评估的基石——混淆矩阵Confusion Matrix之上。精确率Precision关注的是“查得准不准”其公式为 TP / (TP FP)它衡量的是在所有被模型预测为正类的样本中真正属于正类的比例而召回率Recall关注的是“查得全不全”其公式为 TP / (TP FN)它衡量的是在所有真实的正类样本中被模型成功找出的比例。在绝大多数实际场景中精确率和召回率确实存在“此消彼长”的权衡关系很难兼得。这主要是因为模型输出概率后的分类阈值设定提高阈值会让模型更谨慎减少误报从而提高精确率但会导致漏报增加、召回率下降反之降低阈值能提高召回率但会引入大量误报导致精确率下降。F1-Score作为两者的调和平均数能够提供一个客观、稳健的单一数值指标。它的最大优势在于“木桶效应”只有当精确率和召回率同时处于较高水平时F1-Score 才会高若其中一项表现极差F1-Score 就会被大幅拉低。因此它常被用于模型选型、超参数调优以及寻找最佳分类阈值帮助我们在“宁可错杀不可放过”与“宁可漏掉不可错报”之间找到最优的业务平衡点。PR曲线以召回率为横轴、精确率为纵轴直观展示了模型在不同分类阈值下“查得全”与“查得准”的动态权衡关系它通过曲线下方的面积AUC-PR量化模型的整体性能且由于完全忽略真阴性样本在类别极度不平衡的场景下它比ROC曲线更能真实、严苛地反映模型对少数正类的识别能力。