SFFNet

创新点

  • 引入了小波变换特征器，分解空间的高频和低频信息，有效利用频域信息
  • 设计多尺度双表示对齐滤波器实现了频域和空间域特征对齐与选择，并进一步分割特征

网络结构

Stage one （ConvNext）

使用卷积操作提取图像空间特征，经过三次下采样提取，将最后三次卷积得到的不同尺度的特征处理后concat连接。

​ $X’=Cat(\delta_{1\times1}(\varphi(x_2)),\delta_{1\times1}(\varphi(x_3)),\delta_{1\times1}(\varphi(x_4)))$

$X’$作为原始输入到后续阶段二的多分枝中进行处理

Stage two（Feature Mapping）

Global Branch

在全局分支中，首先使用3x3卷积下采样输入特征，之后使用W-Trans块来划分窗口计算窗口注意力和建立窗口间关联。不同于SW-Trans中的方法，该划分采用垂直窗口卷积的方式建立关联。

Local Branch

局部分支采用了不同尺度的池化层来提取图像的深层特征，采用瓶盖形结构设计，通过卷积和金字塔池化提取特征。

Wavelet Transformer Feature Decomposer

小波变换特征分解利用卷积和空间域特征转换将空间域转化为低频分量和另外三个水平、垂直和对角方向上的高频分量。之后通过卷积对低频特征进行学习。

将图像的空间域通过高低频滤波后逐步下采样得到不同的分量。

通过低频的背景信息和高频信息的轮廓细节特征丰富特征集，进一步增强特征学习。

Multiscale Dual-Representation Alignment Filter

使用多尺度的特征融合器来对齐空间域特征和频率域特征从而得到融合特征。

将空间域和频域特征通过多尺度的的垂直条形卷积处理后连接起来，并通过1x1卷积映射到统一尺度的Q,K,V矩阵上进入下一阶段。

在DAF中，采用交叉注意力机制以更好匹配空间域和频域中的相关信息。最后通过卷积处理后Concat两部分结果作为最终输出。