张桂梅陶辉鲁飞飞彭昆等人提出了双源判别器这个方法。首先对源域 S 使用风格转换方法 FastPhotoStyle 得到新源域 S从图像层面降低域差异。其次利用生成器分别提取源域 S、新源域 S和目标域 T 的分割特征图将新源域的特征图作为中间桥梁分别与源域特征图目标域特征图进行通道维度上的特征融合如图1-1所示。最后将得到的 2 个融合后的特征图输入双源判别器中双源判别器和生成器迭代进行对抗训练。图1-1其利用带标注的虚拟城市场景数据集作为源域如 SYNTHIA 和 GTA5无标注的真实场景数据集作为目标域如 Cityscapes。通过使用对抗生成网络训练模型缩小跨域分割的域差异提升网络模型的分割精度与泛化性能使训练出来的分割模型不仅在源域数据集上而且在无标签的目标域数据集上均能获得理想的分割精度。如图2-1所示①为采用域自适应分割网络得到的跨域分割图②为用普通分割网络获得的跨域分割图域自适应分割方法获得分割效果明显优于普通的分割网络。图2-1整个框架主要分为2个部分。第1部分首先从图像层面降低跨域分割的域间差异利用FastPhotoStyle方法将源域图像进行风格转换,得到和目标域图像具有相似风格的新源域图像然后将新源域、目标域以及源域图像分别送入分割网络中得到其对应的特征图再将新源域的特征图作为中间桥梁分别与源域特征图、目标域特征图进行通道维度上的融合并将得到的2个拼接融合后的特征图作为判别器的输入进行对抗训练,如图3-1。图3-1为了验证新的数据集风格转换方法的有效性本文分别将源域图像转换后的新源域图像和目标域图像进行相似度对比从定性和定量 2 个方面设计了相应实验。本次实验选用了 3 组图像如图 4(a)~(c)所示其中第 1 行为源域图像(S)、第 2行为新源域图像(Sʹ)第 3 行为目标域图像(T)视觉对比结果如图 3 所示。图 4(a)~(c)为了进一步验证本文网络模型的性能还在2个常用数据集 GTA5 和 SYNTHIA 上分别做了消融实验。图5-1展示的是在 GTA5→Cityscapes 的跨域分割消融实验。GTA5 图像作为源域 SCityscapes图像作为目标域 T风格转换后的新源域图像为Sʹ常用的对抗学习方法一般仅使用单源输入判别器即仅将源域图像或者转换后的新源域图像 Sʹ与目标域图像送入判别器中进行对抗训练而本文网络模型是采用双源判别器同时将新源域图双源判别器的有效性在对抗训练的基础上引入自训练将伪标签作为目标域的监督信息将分割精度进一步提高到 46.9%表明了本文的自训练方法的有效性。针对小目标分割引入类平衡因子后跨域分割精度进一步提升到 48.5%表明了本文方法的有效性。图5-1