来源:成电DMLab文章链接:https://mp.weixin.qq.com/s/RPG5-RxizzddXtb7KpJTRw近日,电子科技大学计算机科学与工程学院(网络空间安全学院)数据挖掘实验室(DMLab)的论文“The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment”被多媒体领域重要国际会议The 35th ACM International Conference on Multimedia(ACM MM 2026)接收。该论文由实验室博士生刘鸿源(一作)、刘佳铭、韩葳、秦之理、郭锦霞以及实验室三位老师杨勤丽、张众、邵俊明等共同完成,其中杨勤丽、张众、邵俊明为共同通讯作者,电子科技大学为论文主要完成单位。ACM MM 是多媒体与人工智能领域具有重要影响力的国际学术会议,研究内容涵盖多媒体内容分析、计算机视觉、跨模态学习、视觉语言模型和生成式人工智能等方向。视觉语言模型通过将图像和文本映射到共享特征空间,实现了出色的零样本分类和跨模态检索能力。然而,图像与文本特征在共享空间中仍可能呈现明显的几何分离,即“模态鸿沟”。这一问题会限制图像描述、图文联合聚类等需要跨模态特征直接互换的任务。论文研究发现,现有方法主要缩小了图像与文本特征中心之间的距离,但未能解决两种模态内部几何结构的不一致。为此,论文将模态鸿沟分解为中心鸿沟(Centroid Gap)和分布鸿沟(Distribution Gap),并指出分布鸿沟与跨模态任务性能具有更强的相关性。针对上述问题,论文提出可控模态对齐框架。该方法通过负样本重加权和模态内几何匹配,同时缓解模态中心偏移与分布结构不一致;同时设计三阶段课程学习策略,逐步增强对齐约束,在跨模态对齐能力和原有判别能力之间实现可控平衡。论文链接:https://arxiv.org/abs/2604.00279代码链接:https://github.com/herkerser/tpc_cma成电DMLab实验室简介数据实验室(dm.uestc.edu.cn)致力于数据挖掘的基础理论及应用研究。团队目前包括教授、讲师、博士后、博士生、硕士生和优秀本科生组成的成员共50余人。其中教授2名,讲师1名,博士后2名,博士研究生16人,研究生30余名。团队成员入选国家级青年人才、德国洪堡学者、清华水木学者计划等,多次获四川省科技进步一等奖、二等奖。围绕大模型智能体、开放环境下的机器学习、可靠性数据流半监督学习、图神经网络、疾病AI可解释性辅助诊疗等领域,在KDD, ACL, ICLR, WWW, TKDE等CCF A及中科院一区论文发表大量论文, 其中五篇文章获最佳论文奖。在注重基础理论研究同时,面向国家重大战略需求,近年来承担了40余项国家/省部级项目。
