简介面向深度学习与多媒体安全方向的研究者、开发者和安全从业者这份资源提供了一套同时覆盖图像与语音两个模态的深度伪造检测实现。项目整理了多个公开的深度伪造数据集内置BERT、CNN等可运行的深度学习模型并附有独立的脸部提取、图像流水线、音频流水线等Python脚本方便按需替换数据与模型进行测试。资源共11个文件包含6个Python源码、4张示例效果图和1份项目说明文档整体压缩包仅1.84MB轻量易上手适合作为课程设计或科研入门的基线方案。图像与语音两条检测管线相互独立目录结构清晰便于分别调试与扩展。目前已有220人学习下载说明其具备一定的参考价值。通过阅读说明文档并运行测试代码使用者可以快速理解多模态伪造检测的整体流程还能基于现有源码扩展新的检测策略从而有效识别和防范深度伪造引发的安全风险。 最近在整理手头的深度伪造检测项目正好碰到一套图像语音多模态的完整源码连同说明文档一起打包。这套代码用深度学习实现了对人脸图像视频帧和语音音频的双路伪造检测最后用一个融合模块把两条路的判定结果综合起来输出工程结构相当完整不是那种只能看看准确率的玩具代码。我从环境搭建、模块拆解、模型训练到实际推理全部跑了一遍也踩了不少坑。这篇文章把源码的核心设计思路、关键实现细节、以及我复现过程中遇到的问题全部同步出来。适合正在做AI安全检测、反欺诈风控、内容审核方向的朋友也适合刚入坑深度学习、想找一个多模态实战项目练手的人。1. 拿到压缩包先别急着跑源码结构和技术栈盘点1.1 目录结构一个模块管一件事后面才好改解压之后第一件事不是装环境而是把目录结构摸清楚。这个项目的文件组织方式比较规整基本按数据、模型、训练、推理四层来切分deepfake_detection/ ├── config/ │ └── config.yaml # 全部可调参数集中管理 ├── data/ │ ├── dataset.py # 视频/音频数据加载与batch组装 │ └── preprocessing/ │ ├── face_extract.py # 人脸检测、对齐、裁剪 │ └── audio_feature.py # 音频解码、重采样、梅尔谱提取 ├── models/ │ ├── image_branch.py # 图像伪造检测分支 │ ├── audio_branch.py # 语音伪造检测分支 │ └── fusion.py # 多模态融合模块 ├── train.py # 训练入口 ├── infer.py # 推理入口 ├── requirements.txt └── README.md这种一个模块管一件事的结构我建议直接照抄后面不管是换数据集还是调模型改动范围都能控制在一个文件里。尤其是config.yaml把所有超参数集中管理比散落在各个脚本里的硬编码参数好维护太多了。我见过太多项目把 batch size 写死在训练脚本里换个数据集就得翻源码非常痛苦。1.2 技术栈选型为什么是PyTorch、OpenCV、librosa这套组合requirements.txt里的依赖基本都是深度学习常用视觉库和音频处理库PyTorch 全家桶torch/torchvision/torchaudio、OpenCV、librosa、numpy、scikit-learn、tqdm。这套组合选得比较稳没有特别冷门的库。torchvision 的价值在于提供了 ImageNet 预训练权重图像分支可以直接用 ResNet50 或 EfficientNet 做骨干网络省去从零训练的时间和算力。librosa 是音频特征提取的事实标准一行代码就能把波形转成梅尔频谱图。OpenCV 则承担人脸检测、仿射变换、图像归一化等图像预处理工作。值得注意的一点是这套代码没有引入额外的检测框架来做人脸检测而是在face_extract.py里直接用 MTCNN 或 RetinaFace 的轻量实现。这意味着整个项目对第三方大型框架的依赖很低部署的时候不需要背一个几百兆的检测引擎。2. 环境搭建和硬件选型16G显存下怎么安排模型2.1 CUDA、PyTorch、显卡驱动三者版本必须对齐环境配置是多数人复现失败的第一道坎。核心逻辑是显卡驱动决定 CUDA 版本上限CUDA 版本决定 PyTorch 能用的编译方式三者必须对齐缺一不可。你可以把显卡驱动理解成地基CUDA 是盖在地基上的楼层PyTorch 是在楼层里干活的人地基不够高楼层就盖不上去。先看驱动支持的 CUDA 版本nvidia-smi右上角会显示CUDA Version: 12.x这是驱动支持的上限。然后安装对应版本的 PyTorch比如 CUDA 12.1 就装 cu121 后缀的版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121装了之后务必验证一下 GPU 是否真的可用import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果输出False99% 的情况是 PyTorch 版本和 CUDA 版本不匹配或者装成了 CPU 版本。这个坑我踩过不止一次命令行里多敲一个torch.cuda.is_available()能省一整天的排查时间。2.2 16G显存的真实容量双分支融合层能同时训练很多朋友纠结16G显存能跑多大的多模态模型我直接给结论这套方案在 16G 显存的卡上可以端到端同时训练图像分支、音频分支和融合层不需要轮流传参更不需要把某个分支冻结住。实际显存占用大概是这样的图像分支用 ResNet50、输入 224×224 的 RGB 人脸图batch 16 时显存占用约 6~8GB音频分支输入 128×128 的梅尔谱图模型参数只有几十万batch 32 时也就 2~3GB融合层是一个很小的 MLP显存占用可以忽略不计。三项加在一起16G 完全够用还能留出空间跑验证集的推理。如果你的卡只有 8G 或者更小也有办法把图像分支的骨干换成 ResNet18或者开启梯度累积gradient accumulation来模拟更大的 batch。梯度累积的原理比较简单——每跑几个小 batch 再更新一次参数效果上接近大 batch 训练但显存峰值只取决于单个小 batch 的大小。3. 图像伪造检测分支检测器在找生成器留下的指纹3.1 换脸视频的破绽都藏在哪里很多人以为 Deepfake 换脸是整体生成出来的其实主流换脸流程更像局部替换自编码器把真实人脸压缩到隐空间再从隐空间重建出目标人脸然后把这张假脸贴回原来的视频帧里。这个过程会在图像上留下肉眼难察但在统计层面很明显的痕迹脸部边缘的融合伪影、肤色和光照不一致、眼睛高光异常、牙齿边缘模糊、甚至因为压缩导致的高频细节丢失。检测器的任务不是判断这张脸长得像不像某个人而是判断这块区域的像素统计规律是否符合自然图像的分布。换脸生成过的区域本质上和原图在统计特征上是割裂的这就是图像分支要找的指纹。3.2 从视频帧到分类结果的处理流水线图像分支在推理时的完整处理链条我按源码里的实现拆解如下。第一步是抽帧。一个视频通常有数百帧不能全部送进模型代码默认均匀抽取 8 帧。均匀抽帧的好处是时间覆盖更全面如果连续抽帧相邻帧几乎一模一样信息冗余严重还会让模型偷懒。第二步是人脸检测。用 MTCNN 提取每帧中置信度最高的人脸区域这一步很关键——直接把整张图送进模型模型会被背景和身体带偏学习的特征里混入大量不相关的信息。检测到人脸后依据左眼、右眼、鼻尖三个关键点的坐标做仿射变换对齐把人脸摆正再裁剪缩放到 224×224。第三步是归一化和特征提取。按 ImageNet 的均值方差做标准化后送入 ResNet50 骨干网络在 ImageNet 上预训练过然后在伪造检测数据集上微调输出 2048 维特征向量。为什么用预训练权重而不是从零训练因为伪造检测公开数据集的规模远小于 ImageNet从头训练很容易过拟合迁移学习可以让模型快速收敛到有区分度的特征空间。第四步是时序聚合。8 帧图像各得到一个特征向量源码默认的做法是把它们做平均池化合成一个视频级特征。这个方案简单有效但也损失了时间维度的信息。后续可以替换成 GRU 或者时序卷积网络让模型捕捉某一帧人脸姿态突变这类动态异常目前这是图像分支最值得升级的地方。4. 语音伪造检测分支在梅尔谱上听合成声音的齿音4.1 TTS和变声的瑕疵为什么逃不过频谱图语音伪造主要有两类TTS 文本转语音以及 VC 声音转换。现阶段的合成声音在波形层面已经非常接近真人但高频细节依然有可检测的系统性差异——齿音、气声、爆破音往往是合成模型最处理不好的部分另外相位一致性和帧间过渡也存在细微的周期失真。这些差异在波形图上很难肉眼看出来但转成频谱图之后就非常明显。频谱图本质上是把声音按时间切成很多小窗对每个窗做傅里叶变换再按频率排列出来横轴是时间纵轴是频率颜色深浅代表能量大小。合成声音在某个频段上会出现异常的连续能量带或者高频部分的能量分布和真实语音显著不同这些都是检测器可以捕捉的特征。4.2 MFCC和Log-Mel谱怎么选语音领域有两个最常见的特征MFCC 和 Log-Mel 频谱图。MFCC 是早期语音识别的标配它把梅尔谱做了 DCT 去相关压缩成几十维的系数优点是维度低、计算快适合传统 GMM/HMM 声学模型。但 DCT 是线性变换会丢掉频率细节。伪造检测是个细粒度分类任务模型需要尽量多的频率细节来判断这个频谱是自然产生的还是合成的所以源码默认用的是 Log-Mel 谱而不是 MFCC。简单说MFCC 是压缩过的摘要Log-Mel 是相对完整的频谱快照检测任务更需要后者。特征提取代码大约是这个样子import librosa import numpy as np def extract_log_mel(wav_path, sr16000, n_mels128, n_fft1024, hop_length512): waveform, _ librosa.load(wav_path, srsr, monoTrue) # 统一长度超过6秒截断不足补零 target_len sr * 6 if len(waveform) target_len: waveform waveform[:target_len] else: waveform np.pad(waveform, (0, target_len - len(waveform))) mel_spec librosa.feature.melspectrogram( ywaveform, srsr, n_fftn_fft, hop_lengthhop_length, n_melsn_mels ) log_mel librosa.power_to_db(mel_spec) # 归一化到0~1方便输入神经网络 log_mel (log_mel - log_mel.min()) / (log_mel.max() - log_mel.min() 1e-6) return log_mel.astype(np.float32)重采样到 16kHz 是语音处理里常用的折中选择既能保留足够多的频率信息又不会像 44.1kHz 那样浪费算力。n_mels128是工程上比较稳妥的配置hop_length512决定了时间方向的分辨率。4.3 音频分支模型设计小模型也能出好效果音频分支没有用很大的模型。Transformer 家族的 Audio Spectrogram TransformerAST效果确实好但参数量大、显存占用高对 16G 卡来说性价比不高。源码里的音频分支是一个轻量 CNN输入 128×128 的 Log-Mel 谱经过几个卷积块逐级下采样再过全局平均池化和分类头整个模型参数量只有几十万显存占用非常低。训练时配合几个数据增强手段效果更稳SpecAugment对频谱图做随机的时间掩码和频率掩码、音高微调、速度抖动、混入随机噪声。这些增强让模型不会死记某个数据集的噪声模式而是学到更本质的频谱异常特征。实测下来SpecAugment 对泛化能力的提升是最明显的。5. 多模态融合模块两条路的结果怎么合流5.1 单模态检测为什么有盲区做多模态之前先明确一个现实问题很多伪造样本只出现在单一模态。最常见的场景是换脸视频配真实音频——攻击者只替换了视频里的人脸声音是原声反过来也有真实视频配克隆语音的情况。如果只做图像检测遇到后者就直接漏报只做语音检测遇到前者也同样失效。多模态融合的核心价值在于信息互补。当两条分支各自给出判断时融合模块可以综合两边的线索做最终裁决同时还能捕捉跨模态的一致性特征——比如口型变化和语音内容的同步关系这类特征在单模态里根本不存在。5.2 特征级融合和决策级融合的取舍融合时机是设计决策的关键我整理了一个对比表格方便看清两种主流方式的差异。融合方式做法优点缺点决策级融合双分支分别输出概率加权平均实现简单两条路解耦单分支坏了不影响另一个丢失特征间的相关性无法利用跨模态信息特征级融合双分支的深层特征向量拼接再经过融合网络能学到模态间的关联模式训练耦合度高一条分支效果差会拖累整体工程上常见的做法是优先保证稳定性。双分支先独立预训练到各自有较好的效果再一起微调融合层。这样可以避免在训练早期就出现一条分支太弱、梯度噪声把另一条也带崩的情况。5.3 融合模块代码解析拼接、加权与保底策略源码里的融合模块其实是一套折中方案同时保留特征级熔接和一个决策级加权结果两者再做组合。核心代码逻辑如下import torch import torch.nn as nn class FusionModule(nn.Module): def __init__(self, img_dim2048, audio_dim256, hidden_dim256): super().__init__() self.fc_fusion nn.Sequential( nn.Linear(img_dim audio_dim, hidden_dim), nn.BatchNorm1d(hidden_dim), nn.ReLU(inplaceTrue), nn.Dropout(0.3), nn.Linear(hidden_dim, 1), nn.Sigmoid() ) self.img_weight 0.6 self.audio_weight 0.4 def forward(self, img_feat, audio_feat, img_prob, audio_prob): # 特征级融合拼接双分支的深层特征 fused torch.cat([img_feat, audio_feat], dim-1) fused_prob self.fc_fusion(fused) # 决策级融合加权平均作为保底信号 decision_prob ( self.img_weight * img_prob self.audio_weight * audio_prob ) # 最终概率 决策级结果 0.2倍特征级结果 final_prob (decision_prob 0.2 * fused_prob) / 1.2 return final_prob这个设计的巧妙之处在于特征级融合的强化信号只占 0.2 的权重就算它没学好最终结果依然主要靠决策级加权撑着不会出现融合之后反而比单一模态更差的尴尬情况。实测下来这 0.2 倍信号经常能把那些双分支概率都在 0.45~0.55 之间摇摆的模糊样本拉向正确方向。6. 复现过程中踩过的坑和针对性优化6.1 音频不等长导致的batch崩溃我第一个遇到的崩溃是 DataLoader 在 collate 阶段直接抛异常同一个 batch 里有的音频 4 秒有的音频 8 秒特征提取出来的频谱图宽度不一致torch.stack根本没法拼接。这个问题的本质是音频时长不可控必须处理成统一长度。解决方案就是在特征提取阶段做固定长度截断和补齐上面的extract_log_mel代码里已经包含这个逻辑。更进阶的做法是随机裁剪固定长度窗口作为数据增强的一部分——每次训练随机取音频中一段 4 秒的片段可以让模型看到不同位置的音频段对时长变化更鲁棒。如果一次性用整段音频模型很可能只学会看开头几秒的频谱。6.2 抽帧策略和样本不平衡的处理抽帧看起来是个小事实际上对最终效果影响很大。源码默认均匀抽 8 帧第一版我图省事直接取视频前 8 帧训练时 loss 下降很快但验证集效果明显变差。原因是很多视频的片头都有一段黑场或纯色画面连续取前几帧等于让模型反复看到近乎相同的输入信息量极低。均匀抽帧让每一帧都有独立的采样位置覆盖更多画面变化训练信号的多样性明显提升。另外伪造检测数据集天然存在类别不平衡——真实视频数量远多于伪造视频模型很容易学会无脑判真因为这样已经有很高的准确率。处理这个问题有三个有效手段一是用WeightedRandomSampler给伪造样本更高的采样权重二是用 Focal Loss 替换普通交叉熵损失让模型把注意力放在难以分类的样本上三是对伪造样本做更强的数据增强。Focal Loss 的核心思路是在交叉熵基础上加一个调制因子公式是FL(p_t) -α_t (1 - p_t)^γ log(p_t)其中 γ 通常取 2。当模型对某个样本已经给出很高的置信度时(1-p_t)^γ趋近于 0loss 被压低而当样本难以分类时loss 保持高位梯度信号更强。这比单纯调采样权重要平滑得多。6.3 ONNX导出加速推理的实操记录训练结束后源码仓库里有一个用torch.onnx.export导出 ONNX 模型的小脚本。这一步我非常推荐实际部署场景使用最大的好处有两个一是推理速度有提升二是部署环境不需要安装 PyTorch只要有 ONNX Runtime 就能跑。import torch model.eval() dummy_img torch.randn(1, 3, 224, 224) dummy_audio torch.randn(1, 1, 128, 128) torch.onnx.export( model, (dummy_img, dummy_audio), deepfake_multimodal.onnx, input_names[image, audio], output_names[prob], dynamic_axes{image: {0: batch}, audio: {0: batch}}, opset_version12 )导出时注意两个细节。一是dynamic_axes一定要设置否则导出的模型把输入 batch 固定为 1线上并发推理时不方便。二是 opset_version 不要一味追新12 左右的版本在 ONNX Runtime 的兼容性已经非常成熟。我用 FP32 精度导出后验证集上的指标和 PyTorch 原模型几乎完全一致没有任何精度损失。最后再说几句实在话。这套源码我完整跑下来最大的感受是多模态检测真正吃功夫的地方其实不在模型结构有多新而在于数据配对、特征对齐和融合策略的细节。16G 显存跑这套方案绰绰有余不要一上来就追大参数模型先把两条单模态分支做扎实再谈融合。按我个人经验如果后续想继续扩展可以往说话人验证和音画同步检测口型-音频对齐这两个方向深入它们是多模态伪造检测里非常有价值也还很值得深挖的突破口。本文还有配套的精品资源点击获取 多模态深度学习实战：图像+语音融合的深度伪造检测系统
简介面向深度学习与多媒体安全方向的研究者、开发者和安全从业者这份资源提供了一套同时覆盖图像与语音两个模态的深度伪造检测实现。项目整理了多个公开的深度伪造数据集内置BERT、CNN等可运行的深度学习模型并附有独立的脸部提取、图像流水线、音频流水线等Python脚本方便按需替换数据与模型进行测试。资源共11个文件包含6个Python源码、4张示例效果图和1份项目说明文档整体压缩包仅1.84MB轻量易上手适合作为课程设计或科研入门的基线方案。图像与语音两条检测管线相互独立目录结构清晰便于分别调试与扩展。目前已有220人学习下载说明其具备一定的参考价值。通过阅读说明文档并运行测试代码使用者可以快速理解多模态伪造检测的整体流程还能基于现有源码扩展新的检测策略从而有效识别和防范深度伪造引发的安全风险。 最近在整理手头的深度伪造检测项目正好碰到一套图像语音多模态的完整源码连同说明文档一起打包。这套代码用深度学习实现了对人脸图像视频帧和语音音频的双路伪造检测最后用一个融合模块把两条路的判定结果综合起来输出工程结构相当完整不是那种只能看看准确率的玩具代码。我从环境搭建、模块拆解、模型训练到实际推理全部跑了一遍也踩了不少坑。这篇文章把源码的核心设计思路、关键实现细节、以及我复现过程中遇到的问题全部同步出来。适合正在做AI安全检测、反欺诈风控、内容审核方向的朋友也适合刚入坑深度学习、想找一个多模态实战项目练手的人。1. 拿到压缩包先别急着跑源码结构和技术栈盘点1.1 目录结构一个模块管一件事后面才好改解压之后第一件事不是装环境而是把目录结构摸清楚。这个项目的文件组织方式比较规整基本按数据、模型、训练、推理四层来切分deepfake_detection/ ├── config/ │ └── config.yaml # 全部可调参数集中管理 ├── data/ │ ├── dataset.py # 视频/音频数据加载与batch组装 │ └── preprocessing/ │ ├── face_extract.py # 人脸检测、对齐、裁剪 │ └── audio_feature.py # 音频解码、重采样、梅尔谱提取 ├── models/ │ ├── image_branch.py # 图像伪造检测分支 │ ├── audio_branch.py # 语音伪造检测分支 │ └── fusion.py # 多模态融合模块 ├── train.py # 训练入口 ├── infer.py # 推理入口 ├── requirements.txt └── README.md这种一个模块管一件事的结构我建议直接照抄后面不管是换数据集还是调模型改动范围都能控制在一个文件里。尤其是config.yaml把所有超参数集中管理比散落在各个脚本里的硬编码参数好维护太多了。我见过太多项目把 batch size 写死在训练脚本里换个数据集就得翻源码非常痛苦。1.2 技术栈选型为什么是PyTorch、OpenCV、librosa这套组合requirements.txt里的依赖基本都是深度学习常用视觉库和音频处理库PyTorch 全家桶torch/torchvision/torchaudio、OpenCV、librosa、numpy、scikit-learn、tqdm。这套组合选得比较稳没有特别冷门的库。torchvision 的价值在于提供了 ImageNet 预训练权重图像分支可以直接用 ResNet50 或 EfficientNet 做骨干网络省去从零训练的时间和算力。librosa 是音频特征提取的事实标准一行代码就能把波形转成梅尔频谱图。OpenCV 则承担人脸检测、仿射变换、图像归一化等图像预处理工作。值得注意的一点是这套代码没有引入额外的检测框架来做人脸检测而是在face_extract.py里直接用 MTCNN 或 RetinaFace 的轻量实现。这意味着整个项目对第三方大型框架的依赖很低部署的时候不需要背一个几百兆的检测引擎。2. 环境搭建和硬件选型16G显存下怎么安排模型2.1 CUDA、PyTorch、显卡驱动三者版本必须对齐环境配置是多数人复现失败的第一道坎。核心逻辑是显卡驱动决定 CUDA 版本上限CUDA 版本决定 PyTorch 能用的编译方式三者必须对齐缺一不可。你可以把显卡驱动理解成地基CUDA 是盖在地基上的楼层PyTorch 是在楼层里干活的人地基不够高楼层就盖不上去。先看驱动支持的 CUDA 版本nvidia-smi右上角会显示CUDA Version: 12.x这是驱动支持的上限。然后安装对应版本的 PyTorch比如 CUDA 12.1 就装 cu121 后缀的版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121装了之后务必验证一下 GPU 是否真的可用import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果输出False99% 的情况是 PyTorch 版本和 CUDA 版本不匹配或者装成了 CPU 版本。这个坑我踩过不止一次命令行里多敲一个torch.cuda.is_available()能省一整天的排查时间。2.2 16G显存的真实容量双分支融合层能同时训练很多朋友纠结16G显存能跑多大的多模态模型我直接给结论这套方案在 16G 显存的卡上可以端到端同时训练图像分支、音频分支和融合层不需要轮流传参更不需要把某个分支冻结住。实际显存占用大概是这样的图像分支用 ResNet50、输入 224×224 的 RGB 人脸图batch 16 时显存占用约 6~8GB音频分支输入 128×128 的梅尔谱图模型参数只有几十万batch 32 时也就 2~3GB融合层是一个很小的 MLP显存占用可以忽略不计。三项加在一起16G 完全够用还能留出空间跑验证集的推理。如果你的卡只有 8G 或者更小也有办法把图像分支的骨干换成 ResNet18或者开启梯度累积gradient accumulation来模拟更大的 batch。梯度累积的原理比较简单——每跑几个小 batch 再更新一次参数效果上接近大 batch 训练但显存峰值只取决于单个小 batch 的大小。3. 图像伪造检测分支检测器在找生成器留下的指纹3.1 换脸视频的破绽都藏在哪里很多人以为 Deepfake 换脸是整体生成出来的其实主流换脸流程更像局部替换自编码器把真实人脸压缩到隐空间再从隐空间重建出目标人脸然后把这张假脸贴回原来的视频帧里。这个过程会在图像上留下肉眼难察但在统计层面很明显的痕迹脸部边缘的融合伪影、肤色和光照不一致、眼睛高光异常、牙齿边缘模糊、甚至因为压缩导致的高频细节丢失。检测器的任务不是判断这张脸长得像不像某个人而是判断这块区域的像素统计规律是否符合自然图像的分布。换脸生成过的区域本质上和原图在统计特征上是割裂的这就是图像分支要找的指纹。3.2 从视频帧到分类结果的处理流水线图像分支在推理时的完整处理链条我按源码里的实现拆解如下。第一步是抽帧。一个视频通常有数百帧不能全部送进模型代码默认均匀抽取 8 帧。均匀抽帧的好处是时间覆盖更全面如果连续抽帧相邻帧几乎一模一样信息冗余严重还会让模型偷懒。第二步是人脸检测。用 MTCNN 提取每帧中置信度最高的人脸区域这一步很关键——直接把整张图送进模型模型会被背景和身体带偏学习的特征里混入大量不相关的信息。检测到人脸后依据左眼、右眼、鼻尖三个关键点的坐标做仿射变换对齐把人脸摆正再裁剪缩放到 224×224。第三步是归一化和特征提取。按 ImageNet 的均值方差做标准化后送入 ResNet50 骨干网络在 ImageNet 上预训练过然后在伪造检测数据集上微调输出 2048 维特征向量。为什么用预训练权重而不是从零训练因为伪造检测公开数据集的规模远小于 ImageNet从头训练很容易过拟合迁移学习可以让模型快速收敛到有区分度的特征空间。第四步是时序聚合。8 帧图像各得到一个特征向量源码默认的做法是把它们做平均池化合成一个视频级特征。这个方案简单有效但也损失了时间维度的信息。后续可以替换成 GRU 或者时序卷积网络让模型捕捉某一帧人脸姿态突变这类动态异常目前这是图像分支最值得升级的地方。4. 语音伪造检测分支在梅尔谱上听合成声音的齿音4.1 TTS和变声的瑕疵为什么逃不过频谱图语音伪造主要有两类TTS 文本转语音以及 VC 声音转换。现阶段的合成声音在波形层面已经非常接近真人但高频细节依然有可检测的系统性差异——齿音、气声、爆破音往往是合成模型最处理不好的部分另外相位一致性和帧间过渡也存在细微的周期失真。这些差异在波形图上很难肉眼看出来但转成频谱图之后就非常明显。频谱图本质上是把声音按时间切成很多小窗对每个窗做傅里叶变换再按频率排列出来横轴是时间纵轴是频率颜色深浅代表能量大小。合成声音在某个频段上会出现异常的连续能量带或者高频部分的能量分布和真实语音显著不同这些都是检测器可以捕捉的特征。4.2 MFCC和Log-Mel谱怎么选语音领域有两个最常见的特征MFCC 和 Log-Mel 频谱图。MFCC 是早期语音识别的标配它把梅尔谱做了 DCT 去相关压缩成几十维的系数优点是维度低、计算快适合传统 GMM/HMM 声学模型。但 DCT 是线性变换会丢掉频率细节。伪造检测是个细粒度分类任务模型需要尽量多的频率细节来判断这个频谱是自然产生的还是合成的所以源码默认用的是 Log-Mel 谱而不是 MFCC。简单说MFCC 是压缩过的摘要Log-Mel 是相对完整的频谱快照检测任务更需要后者。特征提取代码大约是这个样子import librosa import numpy as np def extract_log_mel(wav_path, sr16000, n_mels128, n_fft1024, hop_length512): waveform, _ librosa.load(wav_path, srsr, monoTrue) # 统一长度超过6秒截断不足补零 target_len sr * 6 if len(waveform) target_len: waveform waveform[:target_len] else: waveform np.pad(waveform, (0, target_len - len(waveform))) mel_spec librosa.feature.melspectrogram( ywaveform, srsr, n_fftn_fft, hop_lengthhop_length, n_melsn_mels ) log_mel librosa.power_to_db(mel_spec) # 归一化到0~1方便输入神经网络 log_mel (log_mel - log_mel.min()) / (log_mel.max() - log_mel.min() 1e-6) return log_mel.astype(np.float32)重采样到 16kHz 是语音处理里常用的折中选择既能保留足够多的频率信息又不会像 44.1kHz 那样浪费算力。n_mels128是工程上比较稳妥的配置hop_length512决定了时间方向的分辨率。4.3 音频分支模型设计小模型也能出好效果音频分支没有用很大的模型。Transformer 家族的 Audio Spectrogram TransformerAST效果确实好但参数量大、显存占用高对 16G 卡来说性价比不高。源码里的音频分支是一个轻量 CNN输入 128×128 的 Log-Mel 谱经过几个卷积块逐级下采样再过全局平均池化和分类头整个模型参数量只有几十万显存占用非常低。训练时配合几个数据增强手段效果更稳SpecAugment对频谱图做随机的时间掩码和频率掩码、音高微调、速度抖动、混入随机噪声。这些增强让模型不会死记某个数据集的噪声模式而是学到更本质的频谱异常特征。实测下来SpecAugment 对泛化能力的提升是最明显的。5. 多模态融合模块两条路的结果怎么合流5.1 单模态检测为什么有盲区做多模态之前先明确一个现实问题很多伪造样本只出现在单一模态。最常见的场景是换脸视频配真实音频——攻击者只替换了视频里的人脸声音是原声反过来也有真实视频配克隆语音的情况。如果只做图像检测遇到后者就直接漏报只做语音检测遇到前者也同样失效。多模态融合的核心价值在于信息互补。当两条分支各自给出判断时融合模块可以综合两边的线索做最终裁决同时还能捕捉跨模态的一致性特征——比如口型变化和语音内容的同步关系这类特征在单模态里根本不存在。5.2 特征级融合和决策级融合的取舍融合时机是设计决策的关键我整理了一个对比表格方便看清两种主流方式的差异。融合方式做法优点缺点决策级融合双分支分别输出概率加权平均实现简单两条路解耦单分支坏了不影响另一个丢失特征间的相关性无法利用跨模态信息特征级融合双分支的深层特征向量拼接再经过融合网络能学到模态间的关联模式训练耦合度高一条分支效果差会拖累整体工程上常见的做法是优先保证稳定性。双分支先独立预训练到各自有较好的效果再一起微调融合层。这样可以避免在训练早期就出现一条分支太弱、梯度噪声把另一条也带崩的情况。5.3 融合模块代码解析拼接、加权与保底策略源码里的融合模块其实是一套折中方案同时保留特征级熔接和一个决策级加权结果两者再做组合。核心代码逻辑如下import torch import torch.nn as nn class FusionModule(nn.Module): def __init__(self, img_dim2048, audio_dim256, hidden_dim256): super().__init__() self.fc_fusion nn.Sequential( nn.Linear(img_dim audio_dim, hidden_dim), nn.BatchNorm1d(hidden_dim), nn.ReLU(inplaceTrue), nn.Dropout(0.3), nn.Linear(hidden_dim, 1), nn.Sigmoid() ) self.img_weight 0.6 self.audio_weight 0.4 def forward(self, img_feat, audio_feat, img_prob, audio_prob): # 特征级融合拼接双分支的深层特征 fused torch.cat([img_feat, audio_feat], dim-1) fused_prob self.fc_fusion(fused) # 决策级融合加权平均作为保底信号 decision_prob ( self.img_weight * img_prob self.audio_weight * audio_prob ) # 最终概率 决策级结果 0.2倍特征级结果 final_prob (decision_prob 0.2 * fused_prob) / 1.2 return final_prob这个设计的巧妙之处在于特征级融合的强化信号只占 0.2 的权重就算它没学好最终结果依然主要靠决策级加权撑着不会出现融合之后反而比单一模态更差的尴尬情况。实测下来这 0.2 倍信号经常能把那些双分支概率都在 0.45~0.55 之间摇摆的模糊样本拉向正确方向。6. 复现过程中踩过的坑和针对性优化6.1 音频不等长导致的batch崩溃我第一个遇到的崩溃是 DataLoader 在 collate 阶段直接抛异常同一个 batch 里有的音频 4 秒有的音频 8 秒特征提取出来的频谱图宽度不一致torch.stack根本没法拼接。这个问题的本质是音频时长不可控必须处理成统一长度。解决方案就是在特征提取阶段做固定长度截断和补齐上面的extract_log_mel代码里已经包含这个逻辑。更进阶的做法是随机裁剪固定长度窗口作为数据增强的一部分——每次训练随机取音频中一段 4 秒的片段可以让模型看到不同位置的音频段对时长变化更鲁棒。如果一次性用整段音频模型很可能只学会看开头几秒的频谱。6.2 抽帧策略和样本不平衡的处理抽帧看起来是个小事实际上对最终效果影响很大。源码默认均匀抽 8 帧第一版我图省事直接取视频前 8 帧训练时 loss 下降很快但验证集效果明显变差。原因是很多视频的片头都有一段黑场或纯色画面连续取前几帧等于让模型反复看到近乎相同的输入信息量极低。均匀抽帧让每一帧都有独立的采样位置覆盖更多画面变化训练信号的多样性明显提升。另外伪造检测数据集天然存在类别不平衡——真实视频数量远多于伪造视频模型很容易学会无脑判真因为这样已经有很高的准确率。处理这个问题有三个有效手段一是用WeightedRandomSampler给伪造样本更高的采样权重二是用 Focal Loss 替换普通交叉熵损失让模型把注意力放在难以分类的样本上三是对伪造样本做更强的数据增强。Focal Loss 的核心思路是在交叉熵基础上加一个调制因子公式是FL(p_t) -α_t (1 - p_t)^γ log(p_t)其中 γ 通常取 2。当模型对某个样本已经给出很高的置信度时(1-p_t)^γ趋近于 0loss 被压低而当样本难以分类时loss 保持高位梯度信号更强。这比单纯调采样权重要平滑得多。6.3 ONNX导出加速推理的实操记录训练结束后源码仓库里有一个用torch.onnx.export导出 ONNX 模型的小脚本。这一步我非常推荐实际部署场景使用最大的好处有两个一是推理速度有提升二是部署环境不需要安装 PyTorch只要有 ONNX Runtime 就能跑。import torch model.eval() dummy_img torch.randn(1, 3, 224, 224) dummy_audio torch.randn(1, 1, 128, 128) torch.onnx.export( model, (dummy_img, dummy_audio), deepfake_multimodal.onnx, input_names[image, audio], output_names[prob], dynamic_axes{image: {0: batch}, audio: {0: batch}}, opset_version12 )导出时注意两个细节。一是dynamic_axes一定要设置否则导出的模型把输入 batch 固定为 1线上并发推理时不方便。二是 opset_version 不要一味追新12 左右的版本在 ONNX Runtime 的兼容性已经非常成熟。我用 FP32 精度导出后验证集上的指标和 PyTorch 原模型几乎完全一致没有任何精度损失。最后再说几句实在话。这套源码我完整跑下来最大的感受是多模态检测真正吃功夫的地方其实不在模型结构有多新而在于数据配对、特征对齐和融合策略的细节。16G 显存跑这套方案绰绰有余不要一上来就追大参数模型先把两条单模态分支做扎实再谈融合。按我个人经验如果后续想继续扩展可以往说话人验证和音画同步检测口型-音频对齐这两个方向深入它们是多模态伪造检测里非常有价值也还很值得深挖的突破口。本文还有配套的精品资源点击获取