RS   DL 91porn. com

题目：CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation

论文：http://arxiv.org/abs/2405.10530

代码：https://github.com/XiaoBuL/CM-UNet

年份：2024

图片91porn. com

提倡了一种新的搀杂架构CM-UNet，该架构集中了CNN和Mamba模子，用于遥感图像的语义分割，通过CNN编码器索要局部特征，愚弄Mamba解码器整合全局信息。

CSMamba模块：假想了一个中枢的CSMamba模块，使用通谈和空间概述力四肢激活要求来增强特征交互和全局-局部信息和会。

多措施概述力团聚模块（MSAA）：提倡了一个多措施概述力团聚模块，吞并不同措施的特征。

多输出监督机制：在解码器的各个层级引入多输出监督机制，以迟缓生成更精准的语义分割成果。

图片

已收录于公众号的遥感语义分割数据集汇总(确立完善中)：

https://github.com/rsdler/Remote-Sensing-Semantic-Segmentation-Dataset

ISPRS Potsdam 数据集

德国波茨坦市的高分辨率航空图像。空间分辨率5 厘米，图像尺寸6000 x 6000 像素。包括6类，分别为：建筑物Buildings、低植被Low vegetation、树木Trees、谈路Roads、汽车Cars、布景Background。数据永诀：数据集包括38张图像，其中23张图像用于测验(舍弃标注乖谬的710号图像)，14张图像用于测试。

https://www.isprs.org/education/benchmarks/UrbanSemLab/2d-sem-label-potsdam.aspx

ISPRS Vaihingen 数据集

德国瓦因根市的高分辨率航空图像。空间分辨率9 厘米。包括6类，分别为：建筑物Buildings、低植被Low vegetation、树木Trees、谈路Roads、汽车Cars、布景Background。数据集包括16个图像块，其中12个用于测验，4个用于测试。

https://www.isprs.org/education/benchmarks/UrbanSemLab/2d-sem-label-vaihingen.aspx

LoveDA 数据集

LoveDA（Land-cover Domain Adaptive）数据集用于跨领域语义分割任务，包含多种场景下的遥感图像，涵盖农村和城阛阓景。包括7类，分别为：布景Background、建筑物Buildings、谈路Roads、水域Water、瘠土Barren、丛林Forest、农业用地Agriculture测验集包含1156张图像，测试集包含677张图像。

https://codalab.lisn.upsaclay.fr/competitions/421

总体结构

CM-UNet框架包含三个中枢部分：基于CNN的编码器、MSAA（多措施概述力团聚）模块和基于CSMamba的解码器。

图片

CNN编码器

编码器部分使用ResNet索要图像的多脉络特征。ResNet通过其残差指导机制，有用捕捉图像中的丰富特征信息。

CSMamba解码器

解码器部分由CSMamba模块构成，该模块集中了Mamba架构和概述力机制，好像有用地捕捉长距离依赖性并进行特征选拔和和会。

CSMamba模块

并行分支贬责：输入特征通过两条并行分支进行贬责。第一条分支通过一系列卷积、激活函数和选拔性扫描模块来贬责特征。第二条分支则通过通谈和空间概述力模块进行贬责。

特征和会：两条分支的特征通过元素级乘法进行和会，生成最终输出特征。

2D选拔性扫描模块(2D-SSM)：该模块将图像特征展平成一维序列，并在多个方朝上进行扫描，捕捉长距离依赖性。这些扫描成果随后吞并以恢收复始二维结构，从而捕捉全局迤逦文信息。

多措施概述力团聚模块（MSAA）

特征团聚：从ResNet编码器的不同脉络输出的特征进行拼接。

空间团聚：使用不同尺寸的卷积核（举例3×3、5×5、7×7）进行多措施特征和会，然后通过池化操作和卷积进一步贬责特征。

通谈团聚：通过全局平均池化将特征进行降维，然后通过一系列卷积和激活函数生成通谈概述力求。

该模块的作用是增强特征的多措施和多脉络信息抒发。

图片

多输出监督

在解码器的每个CSMamba模块引入中间监督机制。这种多输出监督机制确保收集的各个阶段皆对最终的分割成果有所孝顺，使分割成果迟缓细致化。

精度对比

Potedam数据集

图片

图片

Vaihingen数据集

图片

图片

LoveDA数据集

图片

图片

消融本质

图片

盘算复杂度

图片

图片