基于动态混合池化策略的SAR图像道路提取方法及系统

基于动态混合池化策略的SAR图像道路提取方法及系统

基于动态混合池化策略的sar图像道路提取方法及系统
技术领域
1.本发明属于合成孔径雷达图像检测与目标识别技术领域，具体涉及一种基于卷积神经网络动态混合池化策略的sar图像道路分割识别方法及系统。


背景技术：

2.21世纪是大数据的时代，遥感卫星技术通过不断的发展，sar卫星根据地面物体对雷达波束的反应能够实现对全球实时监控。sar指合成孔径雷达，图像的灰度主要跟物体的特性和雷达的工作参数有关。
3.道路是现代交通体系的重要组成部分，道路检测普遍应用在智慧城市、公路施工、智慧交通等领域。当下sar图像的道路特征提取已经是提取道路信息的主要来源。随着sar图像分辨率的提高，导致噪声也被放大，造成道路提取更加困难。图像中的大量道路信息使用人眼与人脑处理是不现实的，传统算法存在耗时长、稳定性差的缺点。因此，对于sar图像的自动语义解析应运而生。
4.近几年深度学习发展迅速，作为重要分支的卷积神经网络在sar图像的语义分割以及目标检测中取得了良好的研究成果。但是现有的sar图像道路检测方法，存在复杂地物环境中识别正确率低的缺点。池化策略作为深度网络特征提取的重要手段，在图像识别过程中起着至关重要的作用。比如传统的最大池化和平均值化，最大池化对图像的边缘提取更有优势，平均池化对图像纹理信息提取更有优势，但是这两种池化方式都丢失了很多图像特征信息。其他的池化策略也都各有优缺点。
5.传统池化为了增加感受野和减少对内存的占用，使用空间下采样层来缩小特征图，从而忽略特征图的细节，阻碍了学习进程；传统池化在方形窗口对特征图进行池化操作，忽略了普遍存在于道路sar图像中的长条形结构和纹理信息。
6.基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状，本发明基于动态混合池化策略，构建了动态混合池化模块对网络的池化层进行改进。


技术实现要素：

7.针对现有技术存在的缺点，本发明建立了一种基于动态混合池化策略的道路提取方法及系统，构建了动态混合池化模块来自适应网络中的池化操作。采用resnet-34作为主干网络来训练sar图像，通过反向传播算法来训练每层网络的参数和动态混合池化模块中每种池化策略的权重系数。
8.为了达到上述发明目的，本发明采用以下技术方案：
9.基于动态混合池化策略的sar图像道路提取方法，包括以下步骤：
10.s1、获取sar图像训练数据集，进行预处理并在数据集中标注出道路的区域；
11.s2、基于动态混合池化策略构建改进的resnet-34模型，在原来的resnet-34网络中构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作；
12.s3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的resnet-34中的参数和动态混合池化模块中每种池化的权重系数；
13.s4，利用训练好的resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
14.作为优选，步骤s1中，对sar图像进行预处理的过程包括：
15.对sar图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
16.作为优选，步骤s2包括如下步骤：
17.s21，resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共计34层，内部使用的残差块跳跃连接。在原有resnet-34网络的基础上构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为：
18.m
x'y'
＝λ1p
1xy
+λ2p
2xy
+λ3p
3xy
+λ4p
4xy
(0≤λ≤2)
19.其中，m
x'y'
为经过动态混合池化策略输出的特征图，为条形池化输出的特征图，λ1为其权重；为最大池化输出的特征图，λ2为其权重；为随机池化输出的特征图，λ3为其权重；为局部重要性池化输出的特征图，λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数，训练后由梯度下降算法和反向传播算法所得。
[0020]
s22，采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为h
×
1和1
×
w。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
[0021]
s23，采用最大池化将，输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
[0022]
所述最大池化定义如下：
[0023][0024]
其中，y
kij
表示第k个特征图，x
kpq
表示矩形区域中位于位置x
kpq
的元素。
[0025]
s24，采用随机池化，按照特征图内的数值大小进行概率划分。
[0026]
所述随机池化定义如下：
[0027][0028]
其中，p
kpq
表示取到矩形区域中位于位置x
kpq
的元素的概率。
[0029]
s25，采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下：
[0030][0031]
其中，i为输入的特征图，ω为一个滑动窗口内包含(δx,δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(i)被称为对数模块，exp(g(i))为重要性函数。
[0032]
作为优选，步骤s3具体如下：
[0033]
将交叉熵作为损失函数，求解resnet-34每一层的梯度，反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
[0034]
交叉熵的定义为：
[0035][0036]
网络参数的梯度下降为：
[0037][0038]
动态混合池化模块中的权重系数的更新过程为：
[0039][0040]
其中l为损失函数，y表示实际的概率，表示预测的概率。v表示更新的网络参数，v0表示还未更新的网络参数。表示为求偏导数。表示损失函数对参数v0的偏导数。表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改，动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
[0041]
作为优选，步骤s4具体如下：
[0042]
获取sar图像预测数据集，使用matlab将原始图像裁剪为224
×
224像素大小，利用训练好的基于动态混合池化策略的resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
[0043]
本发明还公开了一下基于动态混合池化策略的sar图像道路提取系统，其包括以下模块：
[0044]
sar图像训练数据集获取模块：获取sar图像训练数据集，进行预处理并在数据集中标注出道路的区域；
[0045]
动态混合池化构建模块：基于动态混合池化策略，在resnet-34网络中构建两个动态混合池化模块；
[0046]
网络参数及池化权重系数训练模块：采用梯度下降算法和反向传播算法训练改进的resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
[0047]
预测及道路结果提取模块：利用训练好的resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
[0048]
优选的，sar图像训练数据集获取模块中，预处理具体包括：
[0049]
对sar图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
[0050]
优选的，动态混合池化构建模块具体如下：
[0051]
构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输
出结果进行综合，表达式为：
[0052]mx'y'
＝λ1p
1xy
+λ2p
2xy
+λ3p
3xy
+λ4p
4xy
(0≤λ≤2)
[0053]
其中，m
x'y'
为经过动态混合池化策略输出的特征图，为条形池化输出的特征图，λ1为权重；为最大池化输出的特征图，λ2为权重；为随机池化输出的特征图，λ3为权重；为局部重要性池化输出的特征图，λ4为权重；[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
[0054]
采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为h
×
1和1
×
w，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
[0055]
采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
[0056]
最大池化定义如下：
[0057][0058]
其中，y
kij
表示第k个特征图，x
kpq
表示矩形区域中位于位置x
kpq
的元素；
[0059]
采用随机池化，按照特征图内的数值大小进行概率划分；
[0060]
随机池化定义如下：
[0061][0062]
其中，p
kpq
表示取到矩形区域中位于位置x
kpq
的元素的概率；
[0063]
采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
[0064][0065]
其中，i为输入的特征图，ω为一个滑动窗口内包含(δx,δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(i)为对数模块，exp(g(i))为重要性函数。
[0066]
优选的，网络参数及池化权重系数训练模块具体如下：
[0067]
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
[0068]
交叉熵的定义为：
[0069][0070]
网络参数的梯度下降为：
[0071][0072]
动态混合池化模块中的权重系数的更新过程为：
[0073]
[0074]
其中，l为损失函数，y表示实际的概率，表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；表示为求偏导数；表示损失函数对参数v0的偏导数；表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
[0075]
优选的，预测及道路结果提取模块具体如下：
[0076]
获取sar图像预测数据集，采用matlab将原始图像裁剪为224
×
224像素大小，利用步骤s3训练好的基于动态混合池化策略的resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
[0077]
本发明与现有技术相比，有益效果是：
[0078]
(1)本发明动态混合池化策略中的条形池化能够捕获道路sar图像中的长距离关系和局部上下文，适用于具有长条形结构特征的道路sar图像。
[0079]
(2)本发明动态混合池化策略中的最大池化、随机池化、局部重要性池化，提高了网络的分类精度和泛化能力，并且使网络拥有了自适应地对特征图的特征进行选取的能力。
[0080]
(3)本发明动态混合池化策略中不同的池化策略叠加时使用的权重为训练所得，在网络的两个动态混合池化模块中拥有不同的池化策略，弥补了不同sar图像使用单一池化无法自适应识别的漏洞。
附图说明
[0081]
图1是本发明基于动态混合池化策略的道路提取方法的流程图；
[0082]
图2是本发明基于动态混合池化策略的道路提取方法的网络构架图；
[0083]
图3是本发明基于动态混合池化策略的道路提取系统框图。
具体实施方式
[0084]
下面结合附图对本发明优选实施例做详细说明。
[0085]
实施例1
[0086]
如图1-2所示，本实施例一种基于动态混合池化策略的sar图像道路提取方法，包括以下步骤：
[0087]
s1、获取sar图像训练数据集，进行预处理并在数据集中标注出道路的区域；在本步骤中，对sar图像进行预处理包括：对sar图像数据集进行轨道校正、辐射定标、斜地转换、图像配准、以及相干斑滤波预处理。
[0088]
s2、基于动态混合池化策略构建改进的resnet-34模型，在原来的resnet-34网络中构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作；本步骤s2具体包括如下子步骤：
[0089]
s21，resnet-34网络由16个基本单元、1个7x7卷积层与1个全连接层构成。网络共
计34层，内部使用的残差块跳跃连接。在原有resnet-34网络的基础上构建两个动态混合池化模块来代替k＝3,s＝2,padding＝1的池化操作和全局平均池化操作。动态混合池化模块使用四种不同的池化操作并将输出结果进行综合。表达式为：
[0090]mx'y'
＝λ1p
1xy
+λ2p
2xy
+λ3p
3xy
+λ4p
4xy
(0≤λ≤2)
[0091]
其中，m
x'y'
为经过动态混合池化策略输出的特征图，为条形池化输出的特征图，λ1为其权重；为最大池化输出的特征图，λ2为其权重；为随机池化输出的特征图，λ3为其权重；为局部重要性池化输出的特征图，λ4为其权重。[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数，训练后由梯度下降算法和反向传播算法所得。
[0092]
s22，采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为h
×
1和1
×
w。随后将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果。
[0093]
s23，采用最大池化将，输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
[0094]
所述最大池化定义如下：
[0095][0096]
其中，y
kij
表示第k个特征图，x
kpq
表示矩形区域中位于位置x
kpq
的元素。
[0097]
s24，采用随机池化，按照特征图内的数值大小进行概率划分。
[0098]
所述随机池化定义如下：
[0099][0100]
其中，p
kpq
表示取到矩形区域中位于位置x
kpq
的元素的概率。
[0101]
s25，采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值依照大小进行概率划分。所述局部重要性池化定义如下：
[0102][0103]
其中，i为输入的特征图，ω为一个滑动窗口内包含(δx,δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(i)被称为对数模块，exp(g(i))为重要性函数。
[0104]
s3、采用梯度下降算法和反向传播算法来训练基于动态池化策略改进的resnet-34中的参数和动态混合池化模块中每种池化的权重系数；本步骤具体如下：将交叉熵作为损失函数，求解resnet-34每一层的梯度，反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率来调整参数大小。训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
[0105]
交叉熵的定义为：
[0106][0107]
网络参数的梯度下降为：
[0108][0109]
动态混合池化模块中的权重系数的更新过程为：
[0110][0111]
其中l为损失函数，y表示实际的概率，表示预测的概率。v表示更新的网络参数，v0表示还未更新的网络参数。表示为求偏导数。表示损失函数对参数v0的偏导数。表示损失函数对权重系数λ0的偏导数。η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率。当某一池化操作经过训练后的权重在[0,1)时表明在当前模块中该池化操作重要性降低，在(1,2]时表面在当前模块中该池化操作重要性增加。通过对权重的修改，动态混合池化模块可以自适应地选择当前环境下合适的池化操作。
[0112]
s4，利用训练好的resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。本步骤s4具体如下：获取sar图像预测数据集，使用matlab将原始图像裁剪为224
×
224像素大小，利用训练好的基于动态混合池化策略的resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
[0113]
实施例2
[0114]
如图3所示，本实施例基于动态混合池化策略的sar图像道路提取系统，包括以下模块：
[0115]
sar图像训练数据集获取模块：获取sar图像训练数据集，进行预处理并在数据集中标注出道路的区域；
[0116]
动态混合池化构建模块：基于动态混合池化策略，在resnet-34网络中构建两个动态混合池化模块；
[0117]
网络参数及池化权重系数训练模块：采用梯度下降算法和反向传播算法训练改进的resnet-34中每层网络的参数和动态混合池化模块中每种池化的权重系数；
[0118]
预测及道路结果提取模块：利用训练好的resnet-34道路提取网络对预测数据集目标区域的道路进行预测，并得到结果。
[0119]
本实施例中，sar图像训练数据集获取模块中，预处理具体包括：
[0120]
对sar图像数据集进行轨道校正、辐射定标、斜地转换、图像配准以及相干斑滤波预处理。
[0121]
本实施例中，动态混合池化构建模块具体如下：
[0122]
构建两个动态混合池化模块，动态混合池化模块使用四种不同的池化操作并将输出结果进行综合，表达式为：
[0123]mx'y'
＝λ1p
1xy
+λ2p
2xy
+λ3p
3xy
+λ4p
4xy
(0≤λ≤2)
[0124]
其中，m
x'y'
为经过动态混合池化策略输出的特征图，为条形池化输出的特征图，λ1为权重；为最大池化输出的特征图，λ2为权重；为随机池化输出的特征图，λ3为权重；为局部重要性池化输出的特征图，λ4为权重；[λ1,λ2,λ3,λ4]的初始值为[0,2]的随机数；
[0125]
采用条形池化，输入一个特征图，经过水平和数值条纹池化后变为h
×
1和1
×
w，将经过卷积、扩张、求和后得到的特征图与原输入图对应像素相乘后得到输出结果；
[0126]
采用最大池化，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
[0127]
最大池化定义如下：
[0128][0129]
其中，y
kij
表示第k个特征图，x
kpq
表示矩形区域中位于位置x
kpq
的元素；
[0130]
采用随机池化，按照特征图内的数值大小进行概率划分；
[0131]
随机池化定义如下：
[0132][0133]
其中，p
kpq
表示取到矩形区域中位于位置x
kpq
的元素的概率；
[0134]
采用局部重要性池化，通过一个子网络自动学习重要性度量，对特征图内的数值按大小进行概率划分；局部重要性池化定义如下：
[0135][0136]
其中，i为输入的特征图，ω为一个滑动窗口内包含(δx,δy)的索引集合，(x,y)为输入特征图中左上角位置，对应输出位置为(x',y')，g(i)为对数模块，exp(g(i))为重要性函数。
[0137]
本实施例中，网络参数及池化权重系数训练模块具体如下：
[0138]
将交叉熵作为损失函数，利用反向传播算法根据求导的链式法则向前计算每一层参数的梯度值，利用梯度下降算法根据梯度和学习率调整参数大小；训练后得到网络中每一层的参数和动态混合池化模块中的权重系数；
[0139]
交叉熵的定义为：
[0140][0141]
网络参数的梯度下降为：
[0142][0143]
动态混合池化模块中的权重系数的更新过程为：
[0144][0145]
其中，l为损失函数，y表示实际的概率，表示预测的概率；v表示更新的网络参数，v0表示还未更新的网络参数；表示为求偏导数；表示损失函数对参数v0的偏导数；表示损失函数对权重系数λ0的偏导数；η1为网络参数更新的学习率，η2为动态混合池化模块中权重系数更新的学习率；当某一池化操作经过训练后的权重在[0,1)时表明在当前模块
中该池化操作重要性降低，在(1,2]时表示在当前模块中该池化操作重要性增加。
[0146]
本实施例中，预测及道路结果提取模块具体如下：
[0147]
获取sar图像预测数据集，采用matlab将原始图像裁剪为224
×
224像素大小，利用步骤s3训练好的基于动态混合池化策略的resnet-34道路分割网络预测图像中的道路，将预测后的结果拼接为原图大小。
[0148]
综上，基于单一的池化策略无法满足在复杂环境中正确识别出道路的现状，本发明基于动态混合池化策略，构建了动态混合池化模块对网络的池化层进行改进。本发明采用条形池化策略(strip pooling)，能够捕获道路sar图像中的长距离关系和局部上下文；采用最大池化(max pooling)，能够提高对图像边缘的提取效果；采用随机池化(stochastic pooling)，能够提高泛化能力；采用局部重要性池化(local importance-based pooling)，能够自适应地对特征图的特征进行选取，丢弃冗余信息，保存了物体的局部细节；最后使用反向传播和梯度下降来训练不同池化的权重，弥补了不同sar图像使用单一池化无法自适应识别的漏洞。