来源:佛山大学电子信息工程学院
文章链接:https://mp.weixin.qq.com/s/8__oAj4NsznfnwweeKKOag
近日,电子信息工程学院视觉感知与智能信息处理团队牛菓博士作为第一作者,佛山大学为第一署名单位的学术论文《Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation》被 ACM Multimedia(简称 ACM MM)录用。ACM MM由国际计算机协会发起,是多媒体信息处理、分析与计算领域最具影响力的国际顶级会议,被中国计算机学会(CCF)认定为A类学术会议。
在生成式人工智能领域,自回归模型虽凭借逐点预测机制展现出潜力,但其“短视”的单一预测模式往往难以兼顾全局上下文与二维空间关系,且密集计算易造成资源冗余。针对这一瓶颈,该论文提出了多Token自回归(Multi-Token Autoregressive,MTAR)图像生成训练框架,通过“三管齐下”的策略重塑了模型训练机制:一是引入多 Token 预测(MTP),增加对二维图像中下方 Token 的辅助预测,使监督信号更具前瞻性;二是采用 Token 级对比正则化(TCR),增强视觉特征的区分度;三是应用语义丢弃(SD)策略,智能剔除冗余 Token 以优化计算分配。这三项设计在不改变标准生成流程的前提下,有效改善了训练监督与计算效率。


实验数据显示,在同等训练轮次下,MTAR-L 模型在 ImageNet 256×256 类别条件图像生成任务中,将核心评价指标 FID 从基线模型 LlamaGen-L 的 3.80 大幅降至 2.85。这一显著的性能跃升表明,深度挖掘图像二维空间关系并协同优化 Token 表示与计算分配,已成为提升自回归图像生成质量的一条高效技术路径。
团队长期聚焦工业视觉、三维智能、智能制造与智慧教育等战略性新兴产业方向,坚持学术研究与科技成果转化并重。近三年团队在学术创新领域持续深耕,科研成果硕果累累,累计发表高水平论文60余篇。其中,中国科学院SCI一区及CCF-A类国际顶级会议论文占比约30%,相关成果广泛发表于Pattern Recognition、IEEE Transactions on Image Processing(TIP)、AAAI、ACM MM等国内外权威平台。团队成员在计算机视觉、量子架构搜索、多媒体信息处理、三维重构等前沿方向屡获突破,多项成果通过科技评价、获得省部级及行业学会奖励,充分彰显了团队在人工智能领域的深厚积淀与强劲创新势头。CCF将计算机相关领域的重要期刊与会议分为A、B、C三类,其中A类被定义为“国际上极少数的顶级刊物和会议,鼓励我国学者去突破”。

