来源：香港中文大学（深圳）理工学院

原文链接：https://sse\.cuhk\.edu\.cn/article/2334

近日，香港中文大学（深圳）理工学院李镇教授团队题为“MaskVLA：Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model”的论文被IROS 2026（The IEEE/RSJ International Conference on Intelligent Robots and Systems，IEEE/RSJ智能机器人与系统国际会议）接收。

一、会议介绍

IEEE/RSJ智能机器人与系统国际会议（IROS）是机器人与智能系统领域规模最大、影响力最高的国际学术会议之一，为全球机器人研究者交流智能机器人、智能机器以及相关科学技术前沿成果提供了重要国际平台。会议议题涵盖机器人感知、学习、控制、系统集成、人机交互、具身智能、自动驾驶与机器人自动化等多个方向。IROS 2026将于2026年9月27日至10月1日在美国宾夕法尼亚州匹兹堡举行。

二、论文摘要

视觉-语言-动作（Vision-Language-Action, VLA）模型将视觉语言理解与可执行机器人动作相结合，为机器人控制提供端到端学习范式。然而，论文通过实验分析发现，现有VLA模型在有限数据集上微调时容易出现严重的轨迹过拟合：模型并未充分理解任务语义和物体关系，而是记忆训练演示中的局部纹理、空间位置或相机视角等偶然统计特征，导致在复杂环境、遮挡和物体位置变化下泛化能力下降。

针对上述问题，论文提出MaskVLA，一种面向多视角VLA模型的即插即用微调策略。该方法在训练阶段以一定概率随机遮蔽主视角相机图像，引导模型降低对主摄像头的过度依赖，更主动地利用左右腕部相机提供的近距离操作信息；在推理阶段，模型仍使用完整的多相机输入。通过这种随机视觉遮蔽机制，MaskVLA促进主视角与腕部视角之间更均衡的特征学习，在不改变基础模型推理结构的前提下提升模型在精细操作、遮挡场景和长时序任务中的鲁棒性。

实验结果表明，MaskVLA在RoboTwin 2.0仿真基准和真实ALOHA双臂机器人平台上均取得显著提升。在RoboTwin 2.0中，该方法相较π0和OpenVLA-OFT的平均成功率分别提升23.2%和16.8%；在Hard模式下平均成功率达到75.0%，较OpenVLA-OFT提高20.0%。在真实机器人实验中，MaskVLA在喂胡萝卜、调整杯子、放置橙子和叠碗等任务上均优于OpenVLA-OFT，验证了随机遮蔽训练对多视角信息融合和模型泛化能力提升的有效性。

三、作者简介

本文共同第一作者为理工学院计算机与信息工程专业博士生王戈，通讯作者为李镇教授。本文作者还包括崔曙光教授。

王戈，理工学院计算机与信息工程专业博士生，研究方向为具身智能、机器人学习与多模态大模型，目前聚焦视觉-语言-动作模型在双臂机器人操作中的泛化能力、多视角感知融合与真实机器人部署。

崔曙光教授，加拿大皇家科学院院士、加拿大工程院院士，全球高被引学者，IEEE Fellow，深圳市杰出人才培养计划首批入选人，深圳市决策咨询委员会成员。崔教授于2005年在美国斯坦福大学获得博士学位，先后在UC Davis等多所美国大学任教至讲座教授。2018年加入香港中文大学（深圳），先后担任理工学院执行院长、校长学勤讲座教授、深圳市未来智联网络研究院院长、港中大（深圳）-京东集团人工智能联合实验室主任，广东省未来智联网络重点实验室主任。崔教授当前的科研成果主要集中在通信网络与AI技术的深度融合。他已在国际一流期刊和会议上发表了近400篇论文，曾担任多个IEEE国际会议的主席和程序委员会主席，IEEE旗舰期刊的指导委员会成员、主席，IEEE无线技术委员会的主席。他在2012年获得IEEE信号处理协会最佳论文奖，2013年当选IEEE Fellow，2014年入选IEEE通信协会杰出讲师、汤森路透全球高被引科学家名单、ScienceWatch全球最具影响力科学家名单。崔教授在2020至2022年还获得IEEE ICC最佳论文奖，IEEE ICIP最佳论文列表，IEEE GLOBECOM最佳论文奖，中国ICT创新应用奖，IEEE WCNC最佳论文奖，CCF Chinagraph首个图形开源数据集奖，中国电子学会自然科学一等奖，中国通信学会技术发明一等奖。在2023年，崔教授获得IEEE马可尼最佳论文奖，IEEE WTC无线技术成就奖，并当选新一届IEEE Transactions on Mobile Computing（CCF-A核心期刊）主编，是中国大陆工作的学者首次担任。在2024年，崔教授荣获国家自然科学二等奖。

李镇博士，现任香港中文大学 (深圳）理工学院副教授，深圳市未来智联网络研究院助理院长，校长青年学者。李镇博士获得香港大学计算机科学博士学位(2014-2018年)，他还于2018年在芝加哥大学担任访问学者。李镇博士荣获2023年吴文俊人工智能优秀青年，2021年中国科协第七届青年托举人才，2023年IROS最佳论文Finalist，6次获得公开竞赛/数据集冠军等。李镇博士还获得了来自于国家、省市级以及工业界的科研项目（如华为青年科学家奖励捐赠、腾讯犀牛鸟项目等）。他领导了港中深的Deep Bit Lab（https://mypage\.cuhk\.edu\.cn/academics/lizhen/），其主要的研究方向是三维视觉，深度学习等基础理论算法研究，并致力于将人工智能算法推广应用于交叉学科，自动驾驶，具身智能，医学大数据分析等场景中，在该方向著名国际期刊和会议发表论文90余篇，包括顶级期刊Cell Systems，Nature Communications，npj Digital Medicine，T-PAMI，IJCV，TMI， TVCG，TNNLS等，以及顶级会议CVPR，ICCV，ECCV，NeurIPS，ICLR，ICML，IROS，ACM MM，AAAI，IJCAI，MICCAI等。李镇博士担任IEEE Transactions on Mobile Computing、IROS副编、ICLR/ICML/NeurIPS领域主席以及众多顶刊顶会的审稿人，如Nature Medicine、Nature Machine Intelligence，李镇博士还是广东院士联合会脑科学与类脑智能专委委员，VALSE、MICS、CSIG-MV、3DV专委会等学术组织的委员。

供稿 | 李镇教授团队

原文链接: https://www.leiphone.com/category/private/M5OaUvevBUJXPxFU.html