实践出真知-无监督/对比学习

对比学习对比学习的目标是学习一个编码器：使得语义相同 / 相关的样本在 embedding 空间中更近；语义不同 / 无关的样本在 embedding 空间中更远。对同一张图做两次不同数据增强，得到两个 view，把它们当作正样本对；batch 中其他图片的 view 当作负样本。SimCLR：简单但强力的端到端对比学习Simple Framework for Contrastive Learning of Visual Representations证明：只要增强、batch、projection head、loss 设计得当，纯端到端对比学习也能很强。原论文强调三点：组合式数据增强非常关键；非线性 projection head 明显提升表征质量；大 batch 和更长训练对对比学习很重要架构数据增强Random Resized CropColor JitterRandom GrayscaleGaussian BlurHorizontal FlipSolarization，常见于后续方法其中Random Crop + Color Distortion的组合尤其关键。为什么？Random Crop 迫使模型学习局部到全局的一致语义；Color Jitter 防止模型只靠颜色捷径；Blur 让模型关注结构和语义而非低级纹理。注意：增强过弱会导致任务太简单，模型学不到语义；增强过强会破坏正样本语义一致性。Projection Head 非常重要损失函数Temperature 的作用False Negative问题双塔结构but区别于MocoSimCLR V2https://www.doubao.com/thread/w40125feedb09094dMoCo(Momentum Contrast)https://www.doubao.com/thread/w4966f7287985c3bc