来源:TJUNLP
原文链接:https://mp.weixin.qq.com/s/CSQhDdBV97iaaTl46zUVrg
近期,天津大学自然语言处理实验室(TJUNLP)在多个国际顶级学术会议上取得佳绩,共有4篇论文分别被AAAI 2026、ICML 2026、IJCAI-ECAI 2026和ICASSP 2026接受。研究内容涵盖大模型可解释性与机器翻译、多语言安全对齐、参数高效微调、以及大模型安全与后门攻击等多个前沿方向。
第40届AAAI人工智能会议(The 40th AAAI Conference on Artificial Intelligence, AAAI 2026)已于2026年1月20日至27日在新加坡举办。AAAI是人工智能领域最具影响力的国际学术会议之一,是中国计算机学会(CCF)推荐的A类国际学术会议。
第43届国际机器学习会议(The 43rd International Conference on Machine Learning, ICML 2026)将于2026年7月6日至11日在韩国首尔举办。ICML是机器学习领域的顶级国际学术会议,是CCF推荐的A类国际学术会议。
第35届国际人工智能联合会议(The 35th International Joint Conference on Artificial Intelligence, IJCAI-ECAI 2026)将于2026年8月15日至21日在德国不来梅举办。IJCAI是人工智能领域历史最悠久的顶级国际学术会议之一,是CCF推荐的B类国际学术会议。
第51届IEEE国际声学、语音与信号处理会议(The 51st IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2026)将于2026年5月4日至8日在西班牙巴塞罗那举办。ICASSP是信号处理领域最具影响力的学术会议,是CCF推荐的B类国际学术会议。
1
Finding the Translation Switch: Discovering and Exploiting the Task-Initiation Features in LLMs
会议:AAAI 2026
作者:吴新维,刘恒,赵小虎,任玉琪,徐林龙,王龙跃,熊德意,骆卫华,张凯夫
大语言模型(LLMs)即使未经任务特定的微调,也常常展现出强大的翻译能力。然而,支配这一内在能力的内部机制在很大程度上仍不透明。为了揭示这一过程,本文利用稀疏自编码器(SAEs)并引入了一个用于识别任务特定特征的新框架。该方法首先召回在翻译输入上频繁共同激活的特征,然后使用基于PCA的一致性指标对其进行功能一致性过滤,成功分离出一小组"翻译启动"特征。因果干预实验表明,增强这些特征的激活可以引导模型产生正确的翻译,而消融这些特征则会导致幻觉和偏离任务的输出,从而证实它们是模型内在翻译能力的核心组成部分。进一步地,本文利用这一机制性洞见提出了一种新的数据选择策略,优先在"机制上困难"的样本上进行训练,显著提升了数据效率并抑制了幻觉。此外,这些机制可以迁移到同一模型家族中更大规模的模型上。
2
Multilingual Safety Alignment via Representation-Space Separability
会议:ICML 2026
作者:史丹,韩卓文,熊德意
大语言模型(LLMs)已被全球各类场景广泛采用,因此,稳健的多语言安全对齐是确保其在不同语言中可靠部署的前提条件。尽管近期取得了诸多进展,但LLMs在高资源语言和低资源语言之间仍存在显著的安全差距:能够在高资源语言中持续拒绝有害请求的模型,在低资源语言中往往无法做到这一点。在这项工作中,我们揭示了此类安全失败源于低资源语言中,有害请求与无害请求在表示空间上的可分性不足。通过几何分析,我们发现与英语相比,有害提示与无害提示表示之间的分离程度显著降低,并且由此产生的跨语言空间距离差距与攻击成功率密切相关。基于这些见解,我们提出了一种新型的训练策略——多语言空间距离差距优化(Multilingual Spatial Margin Gap-based Optimization,SMO)。它利用主导语言(如英语)中良好对齐的安全几何结构,来增强其他低资源语言的安全对齐效果。SMO 明确利用英语与目标语言之间的空间距离差距作为逐样本的监督信号,在保持主导语言原始性能的同时,实现了安全能力的有效跨语言迁移。在 LLaMA-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 上进行的实验表明,SMO 能够大幅降低低资源语言中的攻击成功率(Attack Success Rates, ASR)至接近甚至达到零,同时保持了强大的通用多语言性能。
3
SeMi-LoRA: Enhancing Low-Rank Adaptation via Separation and Mixing
会议:IJCAI-ECAI 2026
作者:杨振飞,于北溟,林佩勤,刘永康,熊德意
低秩适配(LoRA)已成为参数高效微调(PEFT)的标准范式。然而,其低秩约束会限制表达复杂权重更新的能力,导致与全量微调相比存在性能差距。近期的扩展方法虽然提升了表达能力,但往往牺牲了参数可合并性,或依赖于稀疏的块对角更新,从而阻碍了全局信息流动。我们提出了SeMi-LoRA(分离与混合LoRA),这是一个能够在保持可合并性的同时实现完整高秩更新的新框架。SeMi-LoRA 将适配过程解耦为通道级压缩,随后进行两阶段的隐空间混合(秩混合和通道混合)。我们的结构分析表明,在固定基础秩的条件下,有效更新秩随通道数量线性增长,并且支持完整更新而非部分稀疏更新。在常识推理、数学推理和自然语言理解基准上的大量实验表明,SeMi-LoRA 在提升参数效率的同时,始终优于强大的PEFT基线方法。
4
SatBadEdit: Towards Efficient and Robust Multi-Trigger Backdoor Injection in Large Language Models
会议:ICASSP 2026
作者:陈越,赵小虎,吴新维,彭鉴翔,史丹,杨磊,徐林龙,孙越恒,熊德意
向大语言模型(LLMs)进行高效且隐蔽的后门注入仍然是一个关键挑战。虽然近期的模型编辑技术提供了一种比传统微调更高效的替代方案,但它们通常仅限于注入少量触发器,且对现有的防御机制表现出较差的鲁棒性。为克服这一局限,我们提出了SatBadEdit,一种基于饱和的新型模型编辑方法,用于植入大量具有高对抗强度的后门。SatBadEdit 独特地利用批量编辑能力,在单次高效操作中注入大量触发器。为了抵消大规模注入可能带来的模型不稳定性,我们设计了一种低秩权重更新与聚合策略。该机制将参数修改限制在稀疏的低维子空间内,在最大化触发器有效性和稳定性的同时,确保对模型的干扰最小。实验表明,SatBadEdit 不仅在效率和隐蔽性方面超越了现有的微调和基于编辑的攻击方法,而且在多种主流防御机制下仍保持较高的攻击成功率。
/ 关于我们/
天津大学自然语言处理实验室在熊德意教授的带领下,开展大语言模型、机器翻译、AI对齐、AI for Science等方向的研究,建立了省部级科技创新合作平台,承担了国家重点研发计划等多项重要研究项目。实验室具备AI大模型全栈研发能力,覆盖数据采集与处理、基座模型训练、AI对齐、模型评测及应用部署大模型全生命周期,已自主研制中文大模型仁文伏羲、多语言大语言模型FuxiTranyu(覆盖40+语种并实现基座及对齐模型全开源)及DNA大模型。实验室围绕大模型安全、对齐及评测,积累了深厚的大模型安全可控技术,发布了数百页的大模型安全、对齐与评测全面报告,构建了大模型评测平台OpenEval及多个大模型安全评测基准,联合发布了大模型基准测试白皮书。实验室致力于为AI大模型构筑全面和多维度安全可控体系,助推AI大模型能力与安全协同发展!



