语义分割学习-膨胀卷积
膨胀卷积
膨胀卷积视频
最大池化会导致特征信息丢失且难以上采样还原，而池化本身是增大感受野的。
而膨胀卷积可以增大我们的感受野
Gridding Effect
从设置的膨胀卷积参数来看，若是参数设置的不对，虽然增大了感受野，但有很多的特征信息并没有得到利用
Hybrid Dilated Convolution（HDC）
膨胀卷积的参数上设置成锯齿形
公约数不能大于1
语义分割学习-FCN网络结构
FCN网络
FCN网络讲解
整个网络架构以卷积为核心，整体下采样得到特征层，最后对每个像素的通道使用softmax预测像素分类。
使用卷积层替换全连接层可以放宽对输入图片大小尺寸的要求
FCN-32S
此处经过VGG16过后，将图像的宽和高缩小了32倍。将padding设置成100，以适应不同大小的图片输入。通过两个FC卷积操作后进入到我们的分类卷积，通道数为$num_{cls}$,将通道数降低为分类数。之后经过我们的转置卷积，将图片上采样恢复到原来的图像，对像素使用softmax得到分类结果并与原图对比。
FCN-16S
该网络利用了原本经过池化的特征图信息进行融合
FCN-8S
该网络融合了两次池化的特征图结果
损失计算（Cross Entropy Loss）
交叉熵损失
对于每一个类别使用softmax给出预测概率，与真实标签进行交叉熵计算，最后对所有像素的交叉熵损失进行求平均操作得到损失结果。
语义分割学习-转置卷积
转置卷积
视频链接：转置卷积
运算步骤
计算原理(卷积核翻转原理)
传统卷积采用滑动窗口的机制，现在的计算框架采用等效矩阵提高计算效率。
将等效矩阵展平后拼接
使用原始的特征矩阵展平后与等效矩阵做矩阵乘法得到最后的卷积结果。
由于卷积操作中的矩阵$C^{16\times4}$不是方阵，不存在可逆矩阵，因此无法通过计算还原出我们的原始特征矩阵
想要恢复到原特征矩阵的大小，我们可以再等式两边乘上矩阵$C$的转置$C^T$
将矩阵$O$和转置矩阵$C^T$的每一列做成等效矩阵$2\times2$的形式
我们发现等效矩阵的运算结果恰与绿色卷积核对原始特征卷积后的结果进行卷积的结果相同。
进一步发现该卷积核与原始卷积上下、左右翻转得到的卷积核相同。
这也是我们转置卷积计算过程中翻转卷积核的原理。
UNetFormer-基于UNet架构的Transformer遥感语义分割网络
UNetFormer
为了充分利用图像信息，平衡局部与全局信息在语义分割中的提取。在Unet网络的基础上设计了以CNN提取图像局部特征的编码器和以Transformer为基础的增强图像细节特征和全局信息的解码器作为网络的主体结构。
网络结构
编码器
以四阶段ResBlock18为主干网络提取特征多尺度语义特征，四阶段过程中不断下采样，每个阶段都与解码器相连。
解码器
传统语义分割中捕获全局信息通常是在网络的最后阶段加上单个注意力模块或是使用Transformer构建编码器提取全局特征。前者不能充分捕获多尺度全局特征，后者提高了模型的计算复杂度。而在本网络中，使用了三个GLTB块和FRH来构建轻量级的解码器。
GLTB(Global-local Transformer Block)
GLTB将标准Transformer块中的多头注意力变为了全局-局部注意力。该部分采用双分支结构来提取融合全局和局部特征。
Global branch
全局分支采用基于窗口的多头注意力。
将输入采用1x1卷积增加三倍通道数，使用窗口划分，对于每个窗口reshape成一维后划分成Q,K,K输入到到分支中进 ...
CMTFNet-卷积与多尺度Transformer融合网络在遥感图像语义分割的应用
CMTFNet
卷积神经网络提取局部信息能力强大，但缺乏全局信息的利用。本网络采用encoder-decoder结构，使用多尺度注意力构建Transformer-decoder，增强全局特征的提取。
网络结构
编码器
编码器部分采用ResNet50结构作为主体，经过4层主体不断降维，之后将语义特征送入解码器中，在解码器中将ResBlock的特征与经过MTF模块处理后的特征进行权重融合。
解码器
解码器由三级多尺度Transformer块和语义头组成。
M2SA模块
M2SA模块结合了通道注意力机制，多尺度特征机制，多尺度自注意力机制。
采用了双分支结构来提取全局特征和通道信息。
多注意力尺度分支经过1x1卷积降维后，分别进入三个空洞卷积中进行特征提取，之后将三分支的特征相加融合，最后使用1x1卷积结果和残差连接。之后进行多头注意力计算。
在另一分支中，首先进行平均池化操作降维，之后卷积降低通道数，经过Relu6和卷积升维后使用sigmoid函数得到每个通道的注意力得分，最后与原始输入特征相乘得到数据特征。
E-FFN模块
与传统的FFN相比，E-FFN采用了1x1卷积操作来替代了 ...
