AGW 跨模态行人重识别：SYSU-MM01 数据集 80 Epoch 训练，Rank-1 达 77.8% 复现指南

AGW跨模态行人重识别实战SYSU-MM01数据集80 Epoch训练复现指南跨模态行人重识别Cross-Modality Person Re-identification是计算机视觉领域的前沿研究方向旨在解决不同模态如可见光与红外图像间的行人匹配问题。AGWAttention-Guided Wavelet作为该领域的代表性方法在SYSU-MM01数据集上实现了77.8%的Rank-1准确率。本文将提供从环境配置到模型训练的完整复现流程帮助研究者快速验证论文结果。1. 环境准备与数据集处理1.1 基础环境配置复现AGW模型需要以下环境依赖conda create -n agw python3.8 conda activate agw pip install torch1.8.1cu111 torchvision0.9.1cu111 -f https://download.pytorch.org/whl/torch_stable.html pip install numpy1.20.3 scipy1.7.1 opencv-python4.5.3.56关键组件版本要求CUDA 11.1cuDNN 8.0.5PyTorch 1.8.11.2 SYSU-MM01数据集下载与预处理SYSU-MM01数据集包含491个行人的287,628张RGB图像和15,792张红外图像采集自6个摄像头4个RGB2个IR。数据集结构如下SYSU-MM01/ ├── cam1/ # RGB摄像头1 ├── cam2/ # RGB摄像头2 ├── cam3/ # IR摄像头1 ├── cam4/ # RGB摄像头3 ├── cam5/ # RGB摄像头4 └── cam6/ # IR摄像头2预处理步骤从 官方渠道 下载数据集运行预处理脚本生成.npy文件python pre_processing_sysu.py --data_path /path/to/SYSU-MM01数据集将自动划分为训练集395人和测试集96人注意预处理时可能遇到路径错误需检查data_manager.py中的路径设置2. 模型代码与关键配置2.1 代码库获取与结构克隆官方代码库git clone https://github.com/mangye16/Cross-Modal-Re-ID-baseline cd Cross-Modal-Re-ID-baseline主要文件说明train.py: 主训练脚本test.py: 测试评估脚本model/agw.py: AGW模型实现data_loader.py: 数据加载器data_manager.py: 数据集管理2.2 关键参数配置在train.py中修改以下核心参数parser.add_argument(--dataset, defaultsysu, helpdataset name: sysu or regdb) parser.add_argument(--lr, default0.1, typefloat, helplearning rate) parser.add_argument(--method, defaultagw, helpmethod type: agw or baseline) parser.add_argument(--batch-size, default8, typeint) parser.add_argument(--epochs, default80, typeint) parser.add_argument(--gpu, default0, typestr)推荐训练配置参数值说明batch_size8根据GPU显存调整base_lr0.1初始学习率optimizerSGD动量0.9weight_decay5e-4L2正则化系数lr_schedule[40,60]学习率衰减epoch3. 训练流程与技巧3.1 启动训练单卡训练命令python train.py --dataset sysu --lr 0.1 --method agw --gpu 0 --batch-size 8多卡训练建议CUDA_VISIBLE_DEVICES0,1 python -m torch.distributed.launch --nproc_per_node2 train.py \ --dataset sysu --lr 0.2 --method agw --batch-size 163.2 训练监控训练过程中关注以下指标分类损失应稳定下降至0.5以下三元组损失逐渐收敛至0.3左右Rank-1/mAP验证集性能参考典型训练曲线特征前20 epoch快速收敛40 epoch后学习率衰减60 epoch后微调特征3.3 常见问题解决显存不足减小batch_size最低可设4使用梯度累积for i, (inputs, labels) in enumerate(dataloader): outputs model(inputs) loss criterion(outputs, labels) loss loss / accumulation_steps loss.backward() if (i1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()预处理报错检查pre_processing_sysu.py中的路径确保图像文件名格式正确4. 模型测试与性能验证4.1 测试脚本运行使用最佳模型进行测试python test.py --mode all --resume path/to/model.pth --gpu 0 --dataset sysu测试模式说明--mode all: 全搜索模式All-search--mode indoor: 室内搜索模式Indoor-search4.2 性能指标解读在SYSU-MM01上的预期结果模式Rank-1mAP备注All-search77.8%74.2%论文报告值Indoor-search82.3%79.1%论文报告值实际复现可能出现的波动范围Rank-1: ±1.5%mAP: ±2%4.3 结果可视化使用以下代码可视化检索结果import matplotlib.pyplot as plt def show_retrieval(query, gallery, indices): plt.figure(figsize(15,5)) plt.subplot(1,6,1) plt.imshow(query) plt.title(Query) for i in range(5): plt.subplot(1,6,i2) plt.imshow(gallery[indices[i]]) plt.title(fTop-{i1}) plt.show()5. 进阶优化策略5.1 数据增强改进推荐增强组合from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256,128)), transforms.RandomHorizontalFlip(), transforms.Pad(10), transforms.RandomCrop((256,128)), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])5.2 模型微调技巧非局部注意力调参nonlocal_params { in_channels: 2048, sub_sample: True, bn_layer: True, use_self: True # 启用自注意力 }损失函数加权criterion { id: CrossEntropyLabelSmooth(num_classes395), tri: TripletLoss(margin0.3), weight: [1.0, 1.0] # ID损失与三元组损失权重 }5.3 跨模态对齐策略AGW的核心创新点小波注意力引导的特征分解模态共享特征空间投影跨模态三元组挖掘实现关键代码段class WaveletAttention(nn.Module): def __init__(self, in_channels): super().__init__() self.query nn.Conv2d(in_channels, in_channels//8, 1) self.key nn.Conv2d(in_channels, in_channels//8, 1) self.value nn.Conv2d(in_channels, in_channels, 1) def forward(self, x): B, C, H, W x.shape q self.query(x).view(B, -1, H*W) k self.key(x).view(B, -1, H*W) v self.value(x).view(B, -1, H*W) attn torch.softmax(torch.bmm(q.transpose(1,2), k), dim-1) out torch.bmm(v, attn.transpose(1,2)) return out.view(B, C, H, W)