来源：遥感与深度学习
原文链接：https://mp\.weixin\.qq\.com/s/eILojMKltsVbx\_uLbYUC3Q
题目：Evaluating and Enhancing Negation Comprehension in Remote Sensing MLLMs
会议： European Conference on Computer Vision（ECCV 2026）
论文： https://arxiv\.org/abs/2606\.20177
年份： 2026
单位： 鹏城实验室、清华大学、中南大学
ECCV2026遥感方向合集：ECCV2026
创新点
提出 RS-Neg，首个面向遥感多模态大模型（MLLM）否定理解能力的评测基准，覆盖从区域级到场景级的四类任务。
设计了一套自动化数据生成流水线，用 LLM 合成多样化否定查询，并引入动态视觉聚焦模块对生成的否定概念进行核验。
提出 NeFo，首个针对 MLLM 否定理解的测试时学习方法，将否定的逻辑作用显式纳入优化目标，且无需额外标注或教师模型。
仅用约 5% 的无标注测试样本即可显著提升模型否定理解能力，并对未见任务表现出较强泛化性。
背景
否定是人类语言的基本组成部分，用于表达缺失、虚假或与观察相反的内容，认知科学研究显示这种理解能力在儿童早期即已出现。然而即便是参数量很大的多模态大模型在处理否定时也会出现明显性能下降，容易产生幻觉。
这一缺陷在遥感视觉-语言任务中尤为关键，因为许多现实场景天然依赖否定推理，例如灾害监测中需要回答"有多少建筑没有被淹"，或交通规划中需要定位"没有结冰的路线"，误解否定可能导致与用户意图相反的结果并带来安全风险。已有的否定评测工作主要面向通用领域网络图像，其数据生成流水线难以适配细粒度、小目标众多的遥感影像，由此引出两个问题：如何全面评测遥感 MLLM 的否定理解能力，以及如何增强模型应对否定查询的鲁棒性。
数据
RS-Neg 基于 7 个常用遥感图文数据集构建，将肯定性描述转化为带否定的对应版本，共包含 22,464 个样本，覆盖视觉问答、多选题、视觉定位和场景分类四类任务，每类否定又细分为物体级、属性级、状态级。
VQA 与 MCQ 数据
来源于 NWPU Caption、RSICD、Sydney Caption 和 VRSBench。
视觉问答（VQA）共 9,205 个样本，通过对图中存在或缺失的元素进行否定来构造二元判断问题。
多选题（MCQ）共 5,675 个样本，每张图配一个正确描述和三个干扰项，其中至少一个含否定，用于检验模型区分肯定、否定与混合描述的能力。
视觉定位数据
来源于 VRSBench，共 2,484 个样本，通过否定缺失元素同时保持指向同一目标，从而保留原有的真值定位框。
场景分类数据
来源于 AID 和 UCMerced，共 5,100 个样本，采用基于规则的改写方式，将否定标签作为干扰项引入分类任务。
迁移评测数据
另从 FloodNet 洪灾数据集整理出 1,037 个含真实否定查询的 VQA 样本，涵盖存在判断与计数两类，用于零样本迁移评测。
方法
RS-Neg 数据构建pipeline
针对遥感影像目标小、需要属性级与状态级推理的特点，设计了三步式自动化流水线。
先用 LLM 解析图文对的描述，抽取出包含物体、属性、状态的"肯定元组"。再将肯定元组输入 LLM，生成与上下文相关但实际缺失的"否定元组"作为候选。
由于上述步骤只考虑文本，需进一步核验这些概念是否真的不在图中。文中指出，即便是强闭源模型在遥感小目标场景下也可能判断失误。为此采用一种免训练的、基于蒙特卡洛树搜索的动态视觉聚焦方法（DyFo），让 MLLM 与视觉专家模型交互：物体级元素直接交由视觉专家做存在性检测；属性或状态元素则结合对应物体作为搜索根节点，在扩展阶段通过"语义聚焦"（裁剪定位目标区域）与"空间放大"（逐级放大以做实例级检查）两类动作生成子节点，由 MLLM 评估并给出奖励信号引导搜索。
用过滤后的缺失元素，针对四类任务分别构造数据，并由 LLM 改写以提升语言多样性。
NeFo 测试时学习方法
核心思想是把否定的逻辑作用——一个翻转语句真值的一元算子——显式纳入模型优化，仅用无标注测试数据、通过轻量 LoRA 更新实现自监督适配。
利用一个否定词词典对查询中的否定词（如 no、not、without）做掩码，得到"否定掩码变体"。训练目标是放大原否定查询输出与掩码变体输出之间的差异，从而迫使模型关注与否定相关的关键信息。
为防止测试时学习导致灾难性遗忘，以原始模型作为教师，仅在否定掩码变体上对预测进行正则约束，保留模型的基础知识。同时引入熵最小化作为辅助目标，帮助模型更好地适应测试数据分布，并为否定理解提供更稳定的优化方向。
将真值反转损失与知识保持损失结合作为最终目标，仅用 LoRA 微调 LLM 模块的注意力层，实现参数高效、面向实际部署的更新。
结果与分析
评测显示当前遥感 MLLM 在否定查询下普遍出现明显性能下降，推理增强模型也未能缓解这一根本缺陷。NeFo 在不同基座模型上均带来稳定提升，并对未见任务和不同模型规模展现出良好的泛化性。
更多图表分析可见原文
原文链接: https://www.leiphone.com/category/private/zVkgKCTPgyvUJ7QE.html
