DL-FWI汇报2026-7-14

目录SearchNAS神经架构搜索NAS三要素搜索空间定义了所有可能的网络架构搜索策略指导如何在搜索空间中高效地探索性能估计评估候选架构的性能模型架构Train实验设置实验结果In-Distributionσ 3.0训练级别OOD — heavier blurσ 6.0OOD — lighter blurσ 1.5论文对比图像对比In-DistributionOOD-heavier_blurσ 6.0OOD-lighter_blurσ 1.5常规联邦学习对于不同地质数据的泛化性仍然很差基础的网络架构如InversionnetFCNVMB等都是针对某种特定的地形结构。反演的结果不尽人意根据联邦学习的特点仍然很难做到同一个模型适用于不同的数据集。SearchNAS神经架构搜索通过搜索算法自动设计神经网络架构从而优化特定任务的性能。NAS的目标是在一个定义好的搜索空间中找到最佳的网络结构该结构通常由性能指标例如准确率、速度、参数量等来衡量。NAS三要素搜索空间定义了所有可能的网络架构标准卷积 std_conv_3x3, std_conv_5x5, std_conv_7x7, 深度可分离卷积 sep_conv_3x3, sep_conv_5x5, sep_conv_7x7, 空洞卷积 dil_2_conv_3x3, dil_3_conv_3x3,搜索策略指导如何在搜索空间中高效地探索DARTS式可微分搜索 联邦双层优化,核心是把离散选择松弛成连续加权,让梯度能流过结构选择。DARTS定义连续的架构参数使得架构搜索问题可以用梯度下降的方式进行优化。简单来说就是定义了两个参数架构参数α和网络权重θ。架构参数α控制网络的结构或拓扑。在DARTS中网络结构被定义为一个超网络其中每个连接例如卷积操作、池化操作等都不是确定的而是由一系列可能的候选操作组合而成。架构参数 α为这些候选操作赋予不同的权重。作用通过调整 α可以动态调整每个操作的重要性最终确定网络中每条边所采用的具体操作。网络权重θ就是正常的网络训练权重。也就是最小化训练集的损失L更新权重。架构参数α决定模型的结构经过优化后可以确定最优的网络架构。模型权重θ是模型的标准训练参数经过优化后可以提升模型的表现但不会直接改变网络的结构。性能估计评估候选架构的性能性能估计的目标是评估每个候选架构的表现。参数共享Weight Sharing不同架构共享部分模型权重以减少重复训练。早期停止Early Stopping在验证集中观察到性能开始收敛时提前停止训练避免浪费计算资源。代理模型通过训练一个代理模型来估计架构的性能而不必进行完整训练。在我的模型中主要使用的是参数共享。具体实现方案为一个 cell 里 8 个算子只建一份实例存起来,14条边的混合计算全部从这一个池子里拿权重,而不是每条边各自维护一套算子参数。模型架构那么search出来的模型到底长什么样模型架构整个网络由左侧宏观架构以及右侧每个Cell内部的微观结构组成。输入首先经过Stem模块把输入映射为32通道依次经过5个由NAS搜索得到的Cell进行特征提取最后通过Head模块恢复到输出结果。右侧则是5个Cell的具体内部结构。每个Cell有两个输入分别来自前面的特征层中间有4个中间节点每个节点会融合来自前面节点的信息并执行卷积操作。至于执行哪种卷积操作就是通过搜索得到最佳的操作也就是中间每条连线所代表的。最后每个Cell讲中间节点进行Concat拼接经过1×1卷积完成通道融合并作为下一层Cell的输入。TrainTrain的最大特点就是公平性调整Fairness Adjustment主要是解决在联邦学习中不同客户端收益不均的问题。全局模型比本地模型差多少客户端训练完成之后会将全局模型与局部模型loss的差值与模型参数θ发送给服务器。服务器在接收之后会通过公平性调整方法更新每个客户端的聚合权重其公式为这个公式的含义是当本地训练并未让全局模型变好时也就是gap≤0时说明全局模型足够好不需要再改变了。当gap0时说明本地模型有提升进行优化。实验设置在实验中设置了5个cell每个cell中有4个node。数据集client数量6分别为CurveFaultACurveVelAFlatFaultAFlatVelASEGSaltSEGSimulation。search轮数100. 本地epoch5train轮数150. 本地epoch5实验结果实验设置变量blur_sigma控制输入的退化程度。也就是对输入增加高斯模糊的程度。训练blur3.0In-Distributionσ 3.0训练级别ClientσMSE↓MAE↓PSNR (dB)↑SSIM↑LPIPS↓UQI↑CurveFaultA3.00.001048280.0074653531.47900.97170.0222400.9852CurveVelA3.00.001372950.0129601831.82430.93110.0348430.9726FlatFaultA3.00.000597170.0056126835.14380.98030.0313360.9912FlatVelA3.00.000451990.0079484339.00020.97040.0131250.9923SEGSalt3.00.001376190.0131163329.35810.86420.2221110.8664SEGSimulation3.00.000399150.0043179837.08730.98290.0495450.9726OOD — heavier blurσ 6.0ClientσMSE↓MAE↓PSNR (dB)↑SSIM↑LPIPS↓UQI↑CurveFaultA6.00.001046700.0074573631.49550.97180.0221890.9852CurveVelA6.00.001380160.0129493931.82670.93120.0346190.9725FlatFaultA6.00.000598620.0056080735.14620.98030.0313540.9912FlatVelA6.00.000456440.0079348339.04260.97040.0131630.9922SEGSalt6.00.001300030.0124589029.89550.87340.2041130.8751SEGSimulation6.00.000394980.0042527037.25960.98340.0487020.9729OOD — lighter blurσ 1.5ClientσMSE↓MAE↓PSNR (dB)↑SSIM↑LPIPS↓UQI↑CurveFaultA1.50.001047650.0074684631.47860.97170.0221860.9852CurveVelA1.50.001373600.0129149431.87720.93140.0346130.9726FlatFaultA1.50.000594590.0056010935.15310.98030.0312760.9912FlatVelA1.50.000455130.0079538139.02560.97020.0132900.9922SEGSalt1.50.001323540.0128219129.56550.86770.2166070.8718SEGSimulation1.50.000409470.0043619637.16040.98290.0495780.9721论文对比图像对比In-DistributionCurveFaultACurveVelA​​FlatFaultAFlatVelASEGSaltSEGSimulationOOD-heavier_blurσ 6.0CurveFaultACurveVelAFlatFaultAFlatVelASEGSaltSEGSimulationOOD-lighter_blurσ 1.5CurveFaultACurveVelAFlatFaultAFlatVelASEGSaltSEGSimulation