建筑物灾损识别是地震地质灾害灾情快速准确评估的重要依据。利用灾害前后影像分类后比较是提取建筑物灾损信息常用方法之一。但是，在灾害应急评估中，灾后重新构建适用于灾后获取的特定数据源的建筑物识别模型难以满足实际应用需求，如何充分利用好事先在给定类型遥感图像中（“源域”）训练好的模型通过迁移学习实现从多源异质的遥感影像中（“目标域”）准确识别建筑物是目前的研究热点和难点问题。
|
|
|
(a) 源域影像 | (b) 目标域灾前影像 | (c) 目标域灾后影像 |
图1 相同模型在不同域影像上的建筑物识别结果。(a)为训练模型数据集（源域）中的影像与识别结果，子图(b)、(c)分别为灾害事件前后获取的数据集（目标域）影像及其结果
如图1所示，建筑物识别模型在源域影像以及目标域灾前影像上能够达到较好的建筑物识别效果。但是在目标域的灾后影像上，即便所有建筑均未损毁，模型仍旧难以识别出完好的建筑物。为探究已训练好的建筑物识别模型在实际灾后影像上的泛化性能，本文采用如图2所示的方法评价了在全球建筑物数据集(DREAM-B)上训练的全球建筑物制图模型在灾害数据集(xBD)上的泛化能力，并使用了基于循环生成对抗网络(CycleGAN)的影像风格转换、模型微调(Fine-tuning)以及域对抗训练(Domain AdversarialTraining)三种方法对模型的泛化能力进行提升。
图2：基于迁移学习的灾区建筑物识别
（一）实验数据
(1)DREAM-B 数据集
为满足全球建筑制图的需要，DREAM-B数据集中的数据来自世界范围内不同的城市，以贴近真实的应用场景。其中共包含626幅RGB影像，每幅影像的尺寸为4096×4096，覆盖了不同大洲的100城市。数据集中包含两个类别：建筑物类和非建筑物类。图3中每一个点代表一幅影像，橙色点为训练集影像，蓝色点为测试集影像。本文所使用的全球建筑物制图模型为在DREAM-B数据集上训练的U-NASNetMobile模型。
图3 DREAM-B数据集地理分布
(2) xBD数据集
本文中使用的研究数据是xBD数据集的一部分。xBD数据集是美国国防部开源自然灾害卫星图像数据集，是目前最大的建筑物损坏评估数据集。其中共包含22068幅RGB图像，每幅影像的尺寸为1024×1024，涵盖了来自世界各地的19场自然灾害的灾前灾后影像，包括地震海啸、洪涝、火山喷发、飓风等。数据集中的建筑物包含四个类别：完好、轻微损毁、严重损毁以及倒塌。如图4所示，本文选取了其中14个灾害的数据进行实验。
图4 xBD数据集地理分布
（二）实验方法及结果
(1) Fine-tuning
模型微调是一种基于预训练的模型的迁移学习方法。当带有标注的目标域数据集规模明显小于源数据集时，基于预训练模型的迁移学习可以成为一个强大的工具。在实验中，基于在DREAM-B数据集上预训练的模型权重，我们对U-NASNetMobile的编码器进行了冻结，并使用xBD数据集中的灾后图像对U-NASNetMobile的解码器进行再训练，通过这种方法提升模型在xBD数据集灾后影像上的泛化能力。
|
|
|
(a) 完好建筑物标注 | (b) 微调前识别结果 | (c) 微调后识别结果 |
图5 模型微调结果
如图5所示为一幅美国哈维飓风的灾后影像与模型微调前后的建筑物识别结果，从中可以看到灾后影像中建筑物完全没有因飓风而受损，但在微调之前模型却漏掉了绝大部分建筑。然而，经过模型微调以后，建筑物识别的效果有了很大的改善。
(2)CycleGAN
基于CycleGAN的影像翻译方法可以在不需要配对的训练数据的情况下，将一类图像的风格转换到另一类图像的风格。如图6，将图像中的普通马转换为斑马，或将拍摄的照片转换为油画风格等等。
图6 CycleGAN的应用
在实际灾害发生后，由于数据源的不同、影像所属地区的不同以及灾害对成像条件的影响，灾后影像与模型训练数据的风格可能差异巨大。这种风格的差异可能是导致模型泛化能力差的原因之一，因此本文采用基于CycleGAN的图像翻译方法，使xBD数据集中的影像具有DREAM-B数据集中影像的风格。该方法可以使两类数据的分布尽可能接近，从而在不影响现有模型性能的情况下提高模型对目标域数据的泛化能力。
|
|
|
(a) DREAM-B影像 | (b) xBD影像 | (c) 转换后xBD影像 |
|
|
|
(d) 完好建筑物标注 | (e) 转换前识别结果 | (f) 转换后识别结果 |
图7 CycleGAN影像翻译结果
如图7所示，子图(a)和(b)分别为DREAM-B数据集和xBD数据集中的影像样例，子图(a)为中国上海地区影像，子图(b)为美国哈维飓风灾后影像。从图中可以看到，两个数据集的影像色调和风格是不同的。在进行风格转换后，影像整体色调从偏绿色转变为偏蓝紫色，影像对比度更高且影像中建筑物的边缘变得更清晰。从识别结果中也能发现，这幅影像中所有的建筑都没有受到飓风灾害的影响。在进行风格转换前，模型漏掉了大部分建筑。然而，经过CycleGAN的图像风格转换后，模型识别效果得到了极大的改善。
(3) Domain Adversarial Training
基于域对抗训练的迁移学习方法是域自适应研究中基于对抗思想的经典方法。该方法通过在现有模型的基础上添加一个目标函数来鼓励这两个领域特征之间的混淆，本文中的域对抗训练网络结构如图8所示：
图8 域对抗网络结构
网络的输入是分别来自DREAM-B（源域）和xBD（目标域）的两幅图像。训练过程中，由于梯度反转层(GRL)的存在，域分类器(domainclassifier)鼓励特征提取器(featureextractor)从源域与目标域影像中提取到相同分布的特征。同时标签预测器(label predictor)鼓励模型在源域影像上能够尽可能保持原有分类任务的性能。最后，在保证标签预测器的分类任务基本不受影响的前提下，使域分类器无法区分提取到的特征来自于哪个域的影像。此时特征提取器从两个域中提取到的特征完全混淆，因此模型在目标域上的分类性能也能够得到提高。
|
|
|
(a) 完好建筑物标注 | (b) 训练前识别结果 | (c) 训练后识别结果 |
图9 域对抗训练结果
如图9所示为一幅墨西哥地震的灾后影像与域对抗训练前后的建筑物识别结果，从中可以看到灾后影像中建筑物完全没有因地震而倒塌，但在域对抗训练之前模型却漏掉了绝大部分建筑。然而，经过域对抗训练以后，建筑物识别的效果有了很大的改善。
（三）讨论与结论
为了提升通过分类后比较来评估建筑物灾损的方法的可靠性，我们采用了三种迁移学习的方法提高现有建筑物识别模型在实际灾后影像上的泛化能力。这三种方法分别为基于循环生成对抗网络的影像风格转换、模型微调以及域对抗训练。总体而言，三种方式对模型泛化能力的提升都是非常明显的。在能获取少量人工标注信息的情况下，模型微调将是最可靠的迁移学习方法，这能较大程度上避免负迁移现象的产生。在人工标注信息无法获取的情况下，基于CycleGAN的图像翻译方法和域对抗训练方法也是提高泛化能力的有效方法。
参考文献：Hu Yijiang, Tang Hong, On the Generalization Ability of aGlobal Model for Rapid Building Mapping from Heterogeneous Satellite Images ofMultiple Natural Disaster Scenarios, Remote Sens. 2021, 13(5), 984; https://doi.org/10.3390/rs13050984
