Convective Clouds Extraction from Himawari-8 Satellite Images Based on Double-Stream Fully Convolutional Networks
Zhang X, Tong W, Chen G, Tan X, Kun Z.
IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
对流云的自动提取具有十分重要的意义。对流云经常带来大雨、强风和其他灾难性天气。利用遥感图像,可以获取大规模的云层信息,为对流云检测提供了许多有效的方法。本文提出了一种提取对流云的新方法。我们引入了一种只使用1×1卷积的神经网络(3ONet)来提取遥感影像的光谱特性。之后,我们将 3ONet 与对称密集短连接深度全卷积网络(SDFCN) 合并为双流全卷积网络用于提取对流云。在实验中,我们使用Himawari-8卫星图像来验证所提出的网络。实验结果的平均交并比（mIoU）为0.5882。因此，该方法能有效地提取对流云。此外，本文还探究了不同的归一化方法与不同的损失函数对模型训练结果的影响。
1. 简介
对流云探测与预警是现代天气预报的重要组成部分。对流云通常会带来恶劣天气，如强风、冰雹、雷电和暴雨等。遥感是一种有效的对流云探测方法。气象卫星的发展为对流云监测提供了方便。利用地球同步卫星数据，可以获得大尺度、连续时间的对流云信息。根据这些数据，也发展出了许多对流提取方法。
基于地球静止卫星数据的对流研究已经很多。Bai J.等人通过红外亮度温度（BTIR）和红外亮度温差（BTDIR）阈值检测云。然而，这种方法很容易提取出一些卷云，因为它们的云顶亮度温度有时与对流云比较相似。Carvalho等人则使用最大空间相关性来跟踪和匹配中尺度对流系统。
考虑到对流云的提取本质上属于语义分割任务，可以考虑采用全卷积网络（FCN）来进行分类。许多学者都将FCN引入了遥感影像语义分割领域。Chen等人引入了基于FCN模型的SDFCN，其在isprs-vaihingen和potsdam数据集上的性能优于经典的fcn-8s和segnet模型。在本文中，我们基于Himawari-8卫星的数据，设计了一个双流全卷积网络，用于对流云提取任务。我们提出3ONet提取光谱特征并使用SDFCN提取几何特征。
本文的主要贡献如下：
- 1×1卷积：我们探索了1×1卷积的作用，发现了它提取光谱特征的能力。在此基础上，我们提出了一个仅由1×1卷积组成的网络（3ONet）；
- 双流网络：我们提出了一种双流全卷积网络。 我们将3ONet提取的光谱特征与SDFCN提取的几何特征相结合，完成语义分割任务。
2. 方法
2.1 葵花八号卫星影像的光谱特征
对于遥感图像，尤其是多光谱图像，在进行解译时必须考虑其光谱特征。我们选择了一些样本进行假彩色合成，如下图所示：
该图像是由葵花卫星的7、9和13波段进行假彩色合成的。标记为1的区域为对流云，2为非对流。它们之间的不同色调表明对流云与非对流区的光谱特征是不同的，光谱特征是相对显著的。
此外，为了得到更有说服力的证据，我们对所有影像的对流与非对流区域的光谱特征进行了统计。统计结果如下图所示：
据此，我们可以说对流云与非对流区域的光谱特征有着较大差异。在进行语义分割时应当加以考虑。
2.2 3ONet
我们设计了3ONet进行光谱特征的提取，该网络的结构如下图所示：
3onet结构：蓝色代表卷积层，上面的数字代表卷积核的计数，绿色代表relu激活函数，橙色代表批标准化层。最终提取的光谱特征是32维。
其优点是1×1卷积只计算单个像素，避免与周围像素混合。因此，我们可以将光谱信息与几何信息分开。
2.2 双流神经网络
我们采用SDFCN来提取几何特征。所使用的SDFCN的网络结构如下：
将原SDFCN的Softmax层去掉，最终输出的是一个32维的Feature map，我们将其视为影像的几何特征。
最终设计的双流神经网络结构如下：
蓝色箭头表示光谱特征提取的数据流，橙色箭头表示几何特征提取的数据流，绿色箭头表示组合特征。对于其中的辅助输出的权重我们也进行了实验。
3. 实验结果与分析
本文利用葵花八号卫星的数据进行实验。在实验中，K（Kappa coefficient）与mIoU（mean intersection over union）作为实验结果的评定指标。
3.1 卫星数据
葵花八号卫星数据的具体参数如下：
网络输入的数据即7/9/13/15/16波段数据的组合。
3.2 结果与分析
3.2.1 辅助输出权重
我们对辅助输出权重进行了测试。所测试的范围为0.3-0.9，以0.1为间隔。所得到的结果如下图所示：
结果表明，权重为0.4-0.5之间时效果较好。
3.2.2 归一化与损失函数
我们对不同的归一化方式与不同的损失函数进行了测试。
归一化方式有三种：0-65535归一化、单影像归一化、全局归一化。
损失函数也有三种：CE（交叉熵）损失函数、Dice 损失函数、CE+Dice。
其中，Dice Loss是对mIoU进行平滑后所得到的一种损失函数，其值域为0-1。
测试结果如下：
图中，a 是7-9-13波段所形成的假彩色图像. b 是地面真实值, c 是FCN-8s的预测结果,d是PSPNet的预测结果, e是SDFCN的预测结果，f是3ONet的预测结果, g 是双流神经网络的预测结果。b-g中，白色区域为对流云，黑色区域为非对流。
结果表明，我们的3Onet和双流网络在mIoU和K系数方面优于FCN-8s和PSPNet。此外，我们发现归一化方法对结果有很大影响。全局归一化可以有效地提高模型mIoU和K系数。而对于损失函数则没有比较容易总结的规律，不同的模型可能有着不同的适宜的损失函数。
4．结论
根据上述实验结果，本文所提出的3ONet可以有效的提出光谱特征，并且双流全卷积网络在对流云提取的任务中表现出了较好的效果。
如何引用本文：
1 | @ARTICLE{8766846, |
(作者：王铜)