突破多模态语义鸿沟，赋能智能摘要新时代——专访杨飞的前沿研究

（文作者：罗雯雯）在人工智能技术日新月异的今天，多模态学习正逐渐成为构建高效信息系统的关键驱动。杨飞，中颐云信息技术（北京）有限公司研发总监，凭借其在“面向多模态内容集成与摘要的关键技术研究”中的深耕与突破，已成为该领域的佼佼者。他所主导的研究不仅攻克了多模态语义对齐与冗余信息过滤的难题，更提出了两个具有高度原创性和工程实用价值的模型框架，为多模态摘要研究注入了强劲动能。

多模态挑战下的技术突围

在信息爆炸时代，传统的单模态信息处理系统早已难以胜任文本、图像、音频等多源数据的协同挖掘与压缩。面对这一挑战，杨飞精准切入“多模态摘要”这一前沿课题，其研究聚焦于两个根本问题：其一，如何在海量模态数据中高效识别冗余内容，提炼关键信息；其二，如何跨越模态语义鸿沟，实现语义空间对齐，从而增强摘要的准确性与一致性。

为此，杨飞系统设计并验证了两个层层递进、协同补强的模型：Multization和MA-Sum，分别在信息编码和摘要生成阶段引入前沿技术，完成了从语义对齐到上下文解码的闭环创新路径。

模型一：Multization——早期语义对齐与相关性增强

Multization是杨飞提出的第一个核心模型，其创新点在于利用多语境IR-Relevant注意力机制，在编码阶段即对文本与图像之间的共享核心语义进行高精度对齐。该模型引入了“二级门控机制”和“多模态二级编码器”，借助图像强化文本语义表示，进而生成更具综合信息的摘要。

在解码阶段，Multization 通过区分相关与不相关上下文向量，构建了正反向注意力机制，实现对摘要词汇概率分布的精细调整。此外，该模型在每一文本生成步中同步选择最具语义代表性的图像作为摘要视觉输出，在结构上首次实现了多模态信息生成过程的联合协同。

基于电商真实商品描述数据集的实验验证表明，Multization不仅显著提升了摘要内容的完整性与准确率，也有效缓解了图文语义失衡问题，为电子商务、新闻压缩与智能推荐等实际应用场景提供了极高的参考价值。

模型二：MA-Sum——锚点自适应选择与反事实优化

相比于Multization更侧重于编码层的对齐处理，MA-Sum（Multi-Modal Anchor-based Summarization）则聚焦于解码阶段的语义区分与优化。杨飞提出，一段多模态输入中，存在着高度相关的“正样本”与影响性能的“负样本”。MA-Sum的最大突破在于首次引入“多模态锚点自适应选择机制”，将语义最紧密的文本句子与图像对象分别定义为语言锚点与视觉锚点，并以此为中心进行语义聚合与分离。

在摘要生成过程中，MA-Sum构建“反事实学习机制”，利用负样本构建对抗式语义分布，从而提升模型区分冗余信息的能力。其解码通过同时考虑正负语义向量，确保生成结果高度依赖于核心语义而非外围干扰。

多轮实验显示，MA-Sum在摘要一致性、文本压缩率与多模态语义配准方面均超越现有主流模型，尤其在需要视觉支撑语义判断的应用领域，如舆情监测、金融新闻解析等场景中表现突出。

在杨飞看来，多模态摘要的终极目标，是构建“类人语义理解系统”，实现机器对跨模态语义的“对齐—融合—总结”一体化处理。他计划在未来工作中进一步拓展模型在跨语言、多任务协同与低资源学习场景下的适应能力，尤其在跨模态大模型架构（如 Vision-Language Transformer）中推进其成果的集成应用。

图片人物：杨飞，中颐云信息技术（北京）有限公司研发总监

他还指出，随着大模型如Gemini 等在多模态任务上的深度应用，多模态摘要系统亟需从数据处理逻辑、模型结构设计到可解释性评估三个维度进行协同创新，以提升系统的可控性、扩展性与现实场景中的部署能力。

从语义对齐到信息融合，从门控机制到锚点优化，杨飞的研究展现出对人工智能技术深厚的理解与前瞻性的技术判断。他以其严谨的科研态度、深邃的思维能力与系统性的创新路径，为多模态内容处理领域提供了典范式的理论范本与实践路径。在多模态技术逐渐融入各类信息系统之际，杨飞的研究为推动智能摘要系统向更高层次发展提供了关键支撑。