期刊Transactions on Medical Imaging年份2020英文名字Semixup: In- and Out-of-Manifold Regularization for Deep Semi-Supervised Knee Osteoarthritis Severity Grading From Plain Radiographs中文译为Semixup基于流形内外正则化的膝骨关节炎 X 线影像深度半监督严重程度分级一、摘要现有深度学习方法已经能够较好地完成膝骨关节炎 KL 分级但往往需要大量由专业医生标注的 X 光数据而医学标注成本较高。相比之下医院中存在大量未标注 X 光影像。因此作者提出半监督学习方法Semixup同时使用少量有标签数据大量无标签数据进行模型训练。Semixup 的核心是利用mixup构造位于真实数据流形附近的“流形外样本”并结合In-manifold consistency regularizationOut-of-manifold consistency regularizationInterpolation consistency要求模型面对原始图像、数据增强图像以及 mixup 图像时保持稳定预测。实验表明Semixup 使用大约6 倍更少的标注数据就可以达到与完整监督模型相近的性能。完整监督模型 BA 为70.9±0.8%Semixup 达到71.0±0.8%。膝关节X光片示例。红色和黄色标记分别表示关节间隙变窄和骨赘特征。aKL 0无骨关节炎的健康膝关节bKL 1疑似骨关节炎可能存在关节间隙变窄cKL 2轻度骨关节炎明显可见骨赘同时关节间隙略有减少dKL 3中度骨关节炎骨赘持续生长关节间隙变窄严重eKL 4重度骨关节炎除骨赘外关节间隙严重缩小导致胫骨与股骨连接在一起。二、创新点3.1 首次系统研究膝关节 OA 半监督 KL 分级此前膝关节 OA 深度学习研究大多采用完全监督学习。作者首次系统研究Semi-Supervised Learning→Knee OA KL Grading​希望通过未标注数据降低医生标注需求。3.2 提出 Semixup 流形内外一致性学习论文最主要的创新是 Semixup​普通一致性学习主要约束同一真实样本经过不同数据增强后模型预测应该一致。Semixup进一步利用 mixup 在两个真实样本之间生成新的流形外样本Out-of-Manifold Sample并要求模型对流形内和流形外邻近样本保持一致预测。因此同时进行了 In-Manifold Regularization Out-of-Manifold Regularization3.3 提出 Separable Adaptive Max-PoolingSAM作者还改进了原有 Siamese CNN 的 pooling。传统模型使用 Global Average Pooling但作者认为 GAP 可能丢失 OA 分级需要的局部细粒度信息因此提出 SAM​即Separable Adaptive Max-Pooling。先沿一个方向做最大池化再进行 1×1 卷积最后沿另一个方向池化以更好地保留细粒度 OA 特征。三、方法该方法由两部分组成1)一个孪生网络Siamese Network2)一个新的深度SSL半监督技术技术。其中Siamese Network 作为基础特征提取与分类框架通过分别学习膝关节内侧和外侧区域的影像特征实现 KL 分级预测而 Semixup 则作为训练策略在该网络基础上引入未标注影像数据通过一致性正则化提升模型在有限标注条件下的泛化能力。4.1 Siamese Network模型首先将每个膝关节 X 光 ROI 分成Medial patch内侧关节区域Lateral patch外侧关节区域两个 Patch 分别输入两个权重共享的 CNN 分支。即Medial→CNN Lateral→CNN然后将两个分支特征进行拼接通过 FC 层输出 KL0−KL4这种 Siamese 结构利用了膝关节内外侧在解剖上的相对对称性。Separable Adaptive Max-Pooling作者使用SAM代替传统 GAP。SAM主要有两个版本SAM-VHVertical Pooling→1×1Conv→Horizontal PoolingSAM-HV Horizontal Pooling→1×1Conv→Vertical Pooling论文实验发现SAM-HV整体性能最好因此后续 Semixup 使用该结构。3.2 Semixup在这个 Siamese Network 基础上作者再加入新的半监督学习方法Semixup。在模型训练阶段Semixup 同时利用有标签和无标签样本通过构造增强样本和 mixup 样本并约束不同样本之间预测结果的一致性使模型能够学习更加平滑和鲁棒的决策边界从而减少对大量人工标注数据的依赖。训练时同时使用有标签数据无标签数据Semixup通过In-manifold consistencyOut-of-manifold consistencyInterpolation consistency约束 Siamese Network 对原始样本、增强样本和 Mixup 样本产生稳定一致的预测。因此Semixup解决的是“当只有少量 KL 标签时如何利用大量无标签 X 光片把 Siamese Network 训练得更好(a)其流形内和流形外一致性正则化分支的工作流程以及(b)其概念说明。对于每个图像x∈L∪U我们采样Nt变换、Nm图像x‘和混合系数λ (s.t λ 0.5)与x进行变换和混合。然后我们强制在L2范数下对xi xj的预测一致性。此外我们使用插值一致性正则化。3.2.1 增强方法Semixup 主要使用两类增强随机数据增强 T(x)对原始膝关节 X 光进行随机变换生成仍位于真实数据流形附近的增强样本Mixup 增强将两个样本按照比例线性混合从而生成位于真实数据流形之外、但靠近真实样本分布的out-of-manifold sample。因此这一步的作用就是同时构造流形内增强样本 流形外 Mixup 样本​供后续半监督约束使用。3.2.2 一致性约束在增强样本基础上Semixup设计了三种主要约束In-manifold Consistency要求同一原始图像经过不同随机增强后预测结果保持一致。Interpolation Consistency要求 Mixup 图像的预测与两个原始样本预测的线性组合保持一致。Out-of-manifold Consistency要求真实样本的增强版本与其附近的 Mixup 样本具有一致预测。其中第三个Out-of-manifold Consistency是 Semixup 最有特色的部分。四、试验4.1 数据集论文使用两个大型公开膝关节 OA 数据集。OAIOsteoarthritis Initiative用于训练模型选择有标签/无标签数据构建。最终训练相关数据约39,902个 knee images。MOST Multicenter Osteoarthritis Study作为完全独立测试集。最终使用 3,445个 knee images。这种设计比较严格因为训练和最终测试来自两个不同研究队列。4.2 结果五、结论论文提出Semixup利用未标注膝关节 X 光数据进行半监督 OA 严重程度分级。其核心可以浓缩成少量KL标签大量未标注X光Mixup流形内外一致性​传统 SSL 更多强调 真实样本经过不同增强后的预测一致Semixup进一步扩展为 真实样本↔增强样本↔Mixup流形外样本​ 都应该保持平滑、一致的预测。最终Semixup只使用约1/6 的标注数据就取得了与使用完整 OAI 标注数据的完全监督模型相近的 KL 分级性能说明半监督学习能够显著降低膝骨关节炎智能诊断对大规模人工标注数据的依赖。