2024 年 11 月 15 日,我院2024届本科生魏刊在遥感领域国际顶级期刊 International Journal of Applied Earth Observation and Geoinformation 发表题为“MGFNet: An MLP-dominated gated fusion network for semantic segmentation of high-resolution multi-modal remote sensing images”的学术论文。魏刊同学于 2022-2024年参与到永利大学生科研训练计划 (SRTP) 中,项目名称为“基于深度学习的光学和 SAR 图像融合分类”。该生积极参与到科研实训当中,实现了从理论到数据再到方法的成果积累,并在叶沅鑫教授细心地指导下,将 SRTP 项目成果转化为学术论文。该论文于2023年10月进行投稿,历经1年多的审稿周期,经过多次反复修改,最终于2024年11月在线发表。其中魏刊为第一作者,叶沅鑫教授为通讯作者,永利为第一单位。
图1 论文首页
该论文针对高分辨率遥感图像中多模态数据的异质性和复杂性,提出了一种多层感知器(MLP)主导的门控融合网络(MGFNet),以解决现有跨模态网络在融合高分辨率光学和合成孔径雷达(SAR)图像的互补信息时面临的挑战。MGFNet由三个模块组成:多路径特征提取网络、MLP门控融合(MGF)模块和解码器。首先,MGFNet独立提取高分辨率光学和SAR图像的特征,同时保留空间信息。然后,精心设计的MGF模块通过通道注意力和门控融合阶段结合多模态特征,利用MLP作为门控来利用互补信息并过滤冗余数据。此外,本研究还贡献了一个新的高分辨率多模态遥感数据集YESeg-OPT-SAR,空间分辨率为0.5米。为了评估MGFNet,我们将其与几个最先进的(SOTA)模型在YESeg-OPT-SAR和Pohang数据集上进行了比较,这两个数据集都是高分辨率多模态数据集。实验结果表明,MGFNet在评估指标上优于其他模型,表明其在多模态特征融合用于分割方面的有效性。源代码和数据可在https://www.sciencedirect.com/science/article/pii/S1569843224005971获取。
图2 论文方法
International Journal of Applied Earth Observation and Geoinformation为中科院一区TOP期刊,JCR分区为Q1区,其2023年影响因子 (IF) 为 7.6,CiteScore指数值为 12.0。这项研究受到永利 SRTP 项目和国家自然科学基金的资助。
论文详细信息:
Wei, K., Dai, J., Hong, D., Ye, Y.*, 2024. MGFNet: An MLP-dominated gated fusion network for semantic segmentation of high-resolution multi-modal remote sensing images. International Journal of Applied Earth Observation and Geoinformation 135, 104241.
论文DOI:
https://doi.org/10.1016/j.jag.2024.104241