来源:数智地球
原文链接:https://mp\.weixin\.qq\.com/s/n5NdWC6\_HE4kty71b2YZsA
近日,实验室团队的2篇研究论文被 ECCV 2026 接收。
European Conference on Computer Vision(ECCV)是计算机视觉领域的重要国际会议,与CVPR、ICCV并称计算机视觉三大会议。ECCV 2026将于2026年9月8日至12日在瑞典马尔默举办,共收到 10,473 篇有效投稿,录用 2,883 篇,录用率 27.5%。
两篇论文分别关注视频理解与多无人机协同跟踪:前者提出线索感知的视频推理框架ClueNet,通过显式的线索发现与过滤机制提升多模态大模型在视频问答任务上的推理准确性与可解释性;后者提出首个支持任意相机配置的多无人机跟踪基准 MDMOT 及端到端协同跟踪框架 FusionTrack。
视频理解
ClueNet:基于类脑潜在线索学习的视频推理增强
Clue matters: Empower Video Reasoning with Brain-Inspired Latent Clue Learning
作者:张开心,李肖赫,李佳浩,吴浩华,赵新昱,樊子德,王磊
视频问答(VideoQA)要求模型理解视频中的时序因果关系并生成有据可依的回答。然而,现有多模态大语言模型采用端到端的"直觉式"生成,即视觉信息对齐到文本空间后直接输出答案,缺乏显式的中间推理步骤,容易产生幻觉且难以解释。
受人类层次化视觉认知机制的启发(初级视觉区解析特征→高级视觉区提取线索→前额叶整合推理),本文提出线索感知的视频推理框架 ClueNet,将推理过程显式拆解为"线索发现→线索过滤→线索驱动推理"。ClueNet首先通过线索认知器从视频中提取结构化的视觉线索,记录“谁在什么时间段对谁做了什么”;然后通过两阶段训练方案,第一阶段解耦学习线索提取和线索驱动的问答能力,第二阶段引入自适应线索过滤器筛选高质量线索,训练模型基于自身生成的不完美线索稳健推理。推理阶段还设计了关键帧选择和视觉压缩模块以提升效率。
在NExT-QA、STAR和MVBench三个基准上,ClueNet均达到最先进性能,其中时序和因果推理类子任务提升最为显著。
本文第一作者是博士生张开心,2025年保送至中国科学院空天信息创新研究院,通讯作者是李肖赫助理研究员和赵新昱研究员,并由樊子德副研究员和王磊研究员共同指导完成。
多无人机协同跟踪
FusionTrack:面向任意多无人机的协同多目标跟踪
FusionTrack: Collaborative Multi-Object Tracking with Arbitrary Multi-UAVs
作者:李肖赫,李鹏飞,张开心,李佳浩,樊子德
多视角多目标跟踪(MVMOT)通过多相机协同观测扩大覆盖范围、提升跟踪鲁棒性。然而,现有基准数据集的视角数量有限、场景单一,且相机间的视场对应关系是预设固定的,难以反映真实无人机编队动态飞行时视场覆盖持续变化的实际情况。方法层面,主流的"先跟踪再关联"两阶段范式也面临级联误差累积的问题。
为此,本文首先提出多无人机跟踪基准数据集 MDMOT,使用5架无人机协同采集,覆盖立交桥、十字路口、城市道路、商业街区共6类场景(含昼夜条件),共计12.2万帧、248万标注框,同时支持重叠与非重叠视角配置。据我们所知,MDMOT是目前首个支持任意相机配置的多无人机跟踪数据集。在此基础上,本文提出端到端框架 FusionTrack,在统一架构内联合优化跟踪与跨视角身份关联,跟踪为关联提供更稳定的时序证据,关联反过来帮助跟踪在遮挡和视角变化时保持一致。推理阶段设计了视角感知层次聚类策略,确保跨视角关联的准确性。
在MDMOT上,FusionTrack以至少2.3%的优势超越已有方法;在CAMPUS、WILDTRACK、MvMHAT和DIVOTrack四个公开基准上同样取得最优结果。
该论文的第一作者是李肖赫助理研究员,学生一作为硕士生李鹏飞,2023年保送至中国科学院空天信息创新研究院,通讯作者为樊子德副研究员。
原文链接: https://www.leiphone.com/category/private/3gU5yoaVvuEeoHXm.html




