科研成果 | 杨雪榕教授团队在视觉遥感领域顶刊IEEE TGRS发表论文
多模态遥感信息融合 + 几何结构特征匹配 赋能 GNSS 拒止城市场景下无人机跨视角定位
无人机的跨视角地理定位任务（Cross-View image Geo-Localization，CVGL）通过将无人机视角的图像与卫星图库进行匹配，以识别目标的地理位置，进而使无人机具备在复杂城市环境中实现目标精准定位的能力。这对无人机完成任务至关重要。其核心之一在于设计不依赖 GNSS、具备跨视角匹配能力的定位框架，使无人机在 GNSS 信号中断或不稳定的城市环境中，仍能保持与 GNSS 正常环境相当的定位能力。然而，无人机航拍视角与卫星俯拍视角存在显著差异，同时无人机飞行高度和拍摄角度的变化会导致同一目标建筑物的视觉外观发生变化，上述因素导致该任务长期面临视角差异大、特征歧义性强的核心挑战。
现有研究主要通过两类策略提升无人机跨视角地理定位性能：
（1）视角转换与生成。跨视角匹配的最大挑战在于同一个目标在不同视角下有较大差异。因此，若能利用视角转换或者图像生成方法减少无人机图像与卫星图像之间的差距，将有效提高匹配的准确性。
（2）辨别性特征提取。目前大多数现有的 CVGL 方法仅基于图像内容学习特征表示，而无人机与卫星图像之间的多模态信息对应关系并未得到充分探索。此外，CVGL 场景通常设定在城区环境中，而广泛用于 CVGL 的公开数据集包含来自不同地点的建筑。与其他目标相比，建筑具有大量角点和重复的线性设计。然而，大多数 CVGL 方法通过像素级特征的全局池化计算特征相似性，从而忽略了这种重要的结构对应关系。提取建筑的几何结构特征（如点、线特征），并基于线框构成策略完成匹配，能更好地利用建筑独一无二的地理坐标属性，提升定位的稳定性与准确性。
此外，如何在保证定位精度与跨模态泛化能力的前提下，实现两类策略的高效框架集成，是一个具有挑战性的问题，而以往的研究很少对这一问题进行深入探讨。
为了解决这一问题，该研究提出了 CDM-Net 跨视角地理定位框架（如下图），将多模态遥感信息融合与几何结构特征匹配相结合，为 CVGL 领域提供一种新的研究思路。该框架先对无人机图像进行透视变换与遥感图像描述，再以多模态遥感信息为条件生成接近卫星视图的无人机图像，最后通过点线特征匹配实现跨视角定位。日前，该研究成果以“CDM-Net: A Framework for Cross-View Geo-Localization With Multimodal Data”为题，在遥感领域顶刊 IEEE Transactions on Geoscience and Remote Sensing （中科院一区，IF=8.6）发表，博士生周鑫为第一作者，中山大学杨雪榕教授为通讯作者。
开源及自建数据集导航定位仿真验证
下表为CDM-Net 和现有主流跨视角定位方法在 University-1652 上的测试结果。下图 为 University-1652 数据集可视化的结果。表 中结果表明本文提出的方法在性能上优于现有的方法。
表 | 与近年来在 University-1652 上的STATE-OF-THE-ART 方法对比
在现实场景中，无人机需要全天候作业。因此，我们使用 CVGL-RGBT 数据集测试不同方法的泛化性。下图为数据集的示例。泛化的结果如表所示。泛化实验的结果表明，本文基于结构约束的点线特征在跨模态数据集上的泛化性能优于现有方法。
表 | 从 University-1652 泛化至 CVGL-RGBT 的实验结果
主要作者信息介绍
通讯作者
杨雪榕教授，中山大学航空航天学院博士生导师、中山大学“百人计划”（中青年杰出人才），深圳市“鹏城孔雀计划” B档特聘岗位。自动化学会系统复杂性专委会秘书长、系统仿真专业委员会委员，指挥与控制学会空天安全平行系统专业委员会副总干事、集群智能与协同控制专业委员会委员，仿真学会系统仿真应用专业委员会委员。
团队研究围绕飞行器协同感知展开，主要包括：
1.基于无人机、卫星等感知平台协同控制，开展复杂环境探测、测绘、目标搜索、目标跟踪等方面的感知与应用研究
2.大型卫星星座设计与应用、卫星集群应用、异构多飞行器分布式协同探测与识别、空间服务、深空协同观测等方面的应用研究
长期欢迎对该领域感兴趣的研究生、博士后和专职科研人员来学习、交流、或开展真诚合作。
第一作者
周鑫，中山大学2023级博士研究生，研究方向为基于视觉信息的无人机定位。
论文信息
Title: CDM-Net: A Framework for Cross-View Geo-Localization with Multimodal Data
Authors: Xin Zhou; Xuerong Yang*; Yanchun Zhang
Journal: IEEE Transactions on Geoscience and Remote Sensing
Website: https://ieeexplore.ieee.org/document/11105551
DOI: 10.1109/TGRS.2025.3594544
供稿 | 李嘉轩
排版 | 敖欣茹
初审 | 杨雪榕 张怀钦
审核 | 张锦绣 赵晓江
审核发布 | 罗愈业
