近日，国家天文台国家天文科学数据中心研究团队完成的综述论文《Deep learning-based astronomical multimodal data fusion: A comprehensive review》在人工智能与信息融合领域国际权威期刊《Information Fusion》（一区TOP，影响因子15.5）正式发表。作为天文多模态数据融合领域的首篇系统性综述，该研究首次全面梳理了基于深度学习的天文多模态数据融合方法论进展，从理论框架、算法创新到典型应用，为破解海量天文数据的融合难题、深化宇宙认知提供了思路。论文链接：点击这里。
随着LAMOST、SDSS、FAST、LIGO、JWST、LSST等一系列地面与空间观测设备的投入使用，天文学迎来了前所未有的 “数据爆炸”时代。这些设备不仅捕获了从射电到伽马射线的全波段电磁数据，还涵盖了引力波、中微子、宇宙射线等非电磁信号，形成了图像、光谱、时序、表格、文本等多种数据模态。
长期以来，天文学家主要依赖单一模态数据开展研究。然而，天体物理过程极为复杂，常常跨越多个波段、时间尺度以及能量范围。单模态数据所能提供的视角十分有限，导致得出的解读往往不够完整，甚至可能出现偏差，这就好比“盲人摸象”。比如，图像数据能够呈现天体形态，却缺乏光谱数据能够表达出的化学组成信息。这种背景下，打破模态间的信息壁垒，实现数据的有效融合，已经成为我们深度“感知”宇宙的关键。
图1. “盲人摸象”
其实，“数据融合”的需求和理念在天文学中早已存在，例如“多波段数据融合”与“多信使数据融合”。然而，这些研究主要服务于数据的管理与检索，大多停留在数据关联层面；又或者受限于传统分析方法，未能从原始高维表征中挖掘跨模态的复杂非线性关系。近年来，深度学习技术的兴起为深度数据融合提供了突破性解决方案：其强大的自动特征提取和复杂关系建模能力，能在不同模态数据间建立深层关联。因此，基于深度学习的天文多模态数据融合已成为当前重要研究方向，及时对其开展系统性综述具有重要意义。
图2. 天文多模态论文与数据集
研究团队通过系统梳理2025年10月前发表的58篇核心论文和6个公开数据集，构建出基于深度学习的天文多模态数据融合研究框架，涵盖数据来源、模态类型、融合层次与技术、模型开发等核心维度。论文首次在多模态数据融合背景下概述了图像、光谱、时序、表格、文本五大天文核心数据模态的特性与应用场景，并且归纳出ANN、CNN、AE、GAN、RNN、Transformer六大典型深度学习模型的适用场景、优势与局限，为研究者提供了一份清晰的技术选型参考。
图3. 基于深度学习的天文多模态数据融合研究框架
尤为重要的是，论文对天文多模态融合的四大核心策略进行了深入剖析与比较，明确了各自的适用场景与局限：
- 数据层融合：最早期的策略，直接在原始数据层面进行拼接或叠加，适用于高度相关的模态（如多波段图像），但难以处理异构数据，如图像数据与文本数据。因此，其在天文领域并没有得到青睐。
图4. 数据层融合示意图
- 特征层融合：先利用专用子网络提取各模态的高级特征，再通过特定融合模块进行融合。这一策略能促进深度的跨模态交互，在结构异质但语义一致的模态间表现优异。
图5. 特征层融合示意图
- 决策级融合：在各自模态独立完成推理后，对最终输出结果（如分类概率）进行融合。灵活性高，适用于数据异步或模型异构的场景，目前在空间天气监测等领域有特定应用。
图6. 决策层融合示意图
- 混合融合：动态结合以上两个及以上融合策略，兼具保留细节与全局一致性的能力，适合复杂的多模态任务，但对架构设计、训练策略、参数调整等要求更高。
图7. 混合融合示意图
此外，研究团队基于以上几项核心维度对论文及数据集进行了详细的归纳总结，发现了当前研究呈现的几项显著特点：
图8. 融合策略与模态数据应用占比情况
- “多模态”概念在天文领域被理解得更加灵活，可分为同质模态（如图像-图像）与异质模态（如图像-文本）；
- 特征层融合是当前天文多模态研究的绝对主流策略，使用的论文占比超93%（包括特征层融合与混合层融合）；
- 图像数据的应用占据主导地位，论文占比约78%，文本等其它多模态数据的融合价值正通过CLIP等跨模态对齐技术被逐步发掘；
- 太阳物理是其中最活跃的子领域，在融合策略探索和应用模态的多样性上均走在前沿；
面对数据异质性、基准数据集缺乏、计算效率、模型可解释性、数据稀缺性等关键挑战，研究团队也提出了一系列潜在的解决方案，包括嵌入物理先验的融合架构、社区共建标准化基准数据集、开发云原生融合算法、创新与应用可解释AI技术等方向。
这篇综述工作不仅全面梳理了天文多模态数据融合领域的研究现状，也通过批判性分析与趋势预判，为该领域提供了重要参考与指引，旨在助力天文学家更加高效地挖掘海量多模态数据中的科学价值，推动宇宙探索迈向新的研究范式。
论文第一作者为国家天文台在读博士研究生邵务俊，通讯作者为樊东卫正高级工程师与崔辰州研究员，合作者包括许允飞副研究员、韦诗睿、吕鑫。