来源：RoboPaperHub
原文链接：https://mp\.weixin\.qq\.com/s/gEEALnYbNF5phOmDpvfF\_A
长时程操控里，单步动作预测易随时间漂移，动作条件视频模型又常因误差累积或推理过慢难以闭环。RSS 2026多篇工作把世界模型接到策略链路：用中间视觉状态稳住目标条件控制，或以可交互模拟器与想象推演支撑长视界训练与自改进。
长时程操控不仅依赖部署阶段的想象和规划，也依赖预训练阶段是否学到了可迁移的动力学先验。第一篇论文从数据摄入角度回答这个前置问题。
长时程操控不仅依赖部署阶段的想象和规划，也依赖预训练阶段是否学到了可迁移的动力学先验。第一篇论文从数据摄入角度回答这个前置问题。
PAPER 01
低质量轨迹也能用：按数据质量分工训练基础模型
一句话结论
行为克隆式机器人预训练常丢弃异质具身数据中的动力学先验。LDA-1B按数据质量分配策略、动力学与视觉预测目标，在结构化DINO潜空间共训，使低质量轨迹与无动作视频也能参与缩放。
创新点
1不同于把异质数据统一对待，高质量示范同时训策略与动力学，低质量轨迹只用于动力学和视觉预测，无动作人类视频专训指令条件下的未来状态预测。
2相对像素空间VAE，视觉预测改用预训练DINO潜特征以减少冗余外观建模；并用不对称采样的MM-DiT对齐3Hz视觉与10Hz动作流，支撑十亿参数稳定训练。
3汇总超3万小时人机交互轨迹建成EI-30k，统一LeRobot格式并对齐末端坐标系，保留低质量数据并标注质量标签，支撑质量感知共训。
方法概括
模型在语言条件的多模态扩散变换器中联合去噪动作块与未来DINO特征，用任务嵌入切换策略、前向/逆向动力学与视觉预测，缺失模态由register token占位并按任务选择性开损失。动作表示为手腕坐标系下的增量位姿与手指配置；视觉3Hz、动作10Hz。预训练冻结VLM与DINO、更新MM-DiT与动作编解码，后训练直接吃混合质量遥操作数据做少样本适配。
适用边界
依赖固定DINO视觉特征，且观测以自我中心相机为主，可能限制对新视觉视角与多模态信号的泛化。
英文原题
LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion
Jiangran Lyu、Kai Liu、Xuheng Zhang、Haoran Liao、Yusen Feng、Wenxuan Zhu、Tingrui Shen、Jiayi Chen 等 24 位作者
RSS 2026 · 2026-07-13
原文地址
https://roboticsconference\.org/program/papers/210/
PAPER 02
先想象中间状态，再执行长时程动作
一句话结论
现有目标条件策略多依赖单步动作预测，长时程易漂移。Act2Goal用目标条件世界模型生成中间视觉状态，再以多尺度时序控制兼顾局部闭环与全局目标，支撑离线泛化与无奖励在线自改进。
创新点
1相对把观测与目标图像直接映射为动作的GCP，引入目标条件世界模型，由当前观测与目标生成中间视觉轨迹，显式刻画场景朝目标的演化。
2多尺度时序哈希将想象轨迹拆成稠密近端帧与对数稀疏远端帧；部署时只执行近端动作，远端作潜在引导，经交叉注意力接入动作专家。
3离线大规模模仿学习后，用事后经验回放将自身rollout重标为目标达成轨迹，仅更新LoRA，实现无奖励、无人工标注的在线自改进。
方法概括
给定当前多视角观测与目标图像，目标条件世界模型以流匹配在潜空间生成符合MSTH结构的中间视觉轨迹；动作DiT专家在机器人本体状态与世界模型多尺度特征上做交叉注意力，按近端稠密、远端稀疏输出动作，部署时只执行近端。离线先联合训练视觉与动作流匹配，再端到端行为克隆强化动作；部署阶段将达成状态重标为新目标并仅微调LoRA，使策略在分钟级交互中提升分布外成功率。
适用边界
在线自改进依赖冷启动：事后经验回放假定初始策略已有部分能力或至少与目标物体有有效交互，不能从零学会训练分布中完全缺失的新技能。
英文原题
Act2Goal: From World Model To General Goal-conditioned Policy
Pengfei Zhou、Liliang Chen、Shengcong Chen、Di Chen、Wenzhi Zhao、Rongjun Jin、Guanghui Ren、Jianlan Luo
RSS 2026 · 2026-07-13
原文地址
https://roboticsconference\.org/program/papers/15/
PAPER 03
把视频和动作串成因果序列，保留完整交互历史
一句话结论
现有VLA把观测直接映射成动作，缺少对物理过程的显式建模，也常丢掉消歧所需的长历史。Lingbot-VA把视频与动作串成因果序列，先预测近未来视觉状态再反推动作，支撑长时程与精细操控。
创新点
1用MoT把视频与动作交错进同一因果序列：大容量视频专家预测未来潜变量，轻量动作专家再据此解码控制量，把场景转移与逐步动作推断拆开建模。
2推理时把真实观测与动作写入KV缓存，按完整交互历史条件生成，而不是固定短窗口或只信预测状态，便于部分可观测场景里做持久记忆与在线纠错。
3训练时对视频历史加噪，使动作专家能从半去噪潜变量读出控制信号；部署时提前截断视频去噪步数，降低推理成本同时保持动作精度。
方法概括
系统先预测视觉世界如何演化，再由逆动力学从期望转移解码动作。架构上，Wan2.2初始化的视频专家与窄宽度动作专家经MoT共享因果注意力：观测经因果VAE压成潜变量后，与对应高频动作交错成序列，块内并行、块间因果。训练用teacher forcing联合优化动力学与逆动力学流匹配损失，并对历史视频加噪，使动作可读半去噪表示。部署时真实观测写入KV缓存闭环滚动，视频去噪提前截断、动作充分细化，兼顾长时记忆与控制频率。
适用边界
论文写明：历史感知策略可能过拟合数据动态、在强分布外（如人为打断进度）性能下降；视频骨干延迟高于无视频预测的VLA；预训练算力需求大。
英文原题
Causal World Modeling for Robot Control
Lin Li、Qihang Zhang、Yiming Luo、Shuai Yang、Ruilin Wang、Zhangluyao、Mingrui Yu、Zelin Gao 等 15 位作者
RSS 2026 · 2026-07-13
原文地址
https://roboticsconference\.org/program/papers/16/
PAPER 04
单卡4090实时运行：可交互世界模拟器如何训练策略
一句话结论
动作条件视频世界模型常因多步扩散过慢或长时程误差累积，难支撑可扩展策略数据与可复现评估。Interactive World Simulator用中等规模真实交互数据训练，在单卡RTX 4090上以15FPS稳定预测超10分钟，使纯模拟器数据训练的模仿策略与同等真实数据表现相当，且仿真与真机评估强相关。
创新点
1图像解码与潜空间动力学均用一致性模型，先以CNN编码器加一致性解码器做高保真重建，再冻结自编码器，用动作条件一致性模型做下一帧潜空间预测，兼顾多模态未来与交互速度。
2对上下文注入小噪声并固定长度滑窗自回归，使模型对噪声上下文更鲁棒；超出窗口丢弃旧潜变量，计算量不随视界增长，支撑超10分钟稳定交互。
3同一初始配置与采集协议下在模拟器收集等量专家数据，DP/ACT/π0/π0.5在模拟器与真实数据配比上任务分数相当，仿真与真机表现强正相关。
方法概括
以RGB观测与动作为输入，先把图像编码为紧凑2D潜变量并用一致性解码器重建；再冻结自编码器，在潜空间用3D卷积、FiLM与时空注意力的动作条件一致性模型预测下一帧，并滑窗自回归解码为视频。人通过遥操作向模拟器发动作即可生成示范轨迹，也可让策略与预测帧闭环交互做可复现评估。训练约每任务600段、每段200步真实play数据，默认128×128。
英文原题
Interactive World Simulator for Robot Policy Training and Evaluation
Yixuan Wang、Rhythm Syed、Fangyu Wu、Mengchao Zhang、Aykut Onol、Jose Barreiros、Hooshang Nayyeri、Tony Dear 等 11 位作者
RSS 2026 · 2026-07-13
原文地址
https://roboticsconference\.org/program/papers/18/
PAPER 05
在想象轨迹中做强化学习，减少真机试错
一句话结论
真机在线强化学习受硬件成本、串行交互与人工复位限制。RISE把学习环境换成组合世界模型，在想象轨迹上估计优势并更新策略，从而在接触丰富与动态操作上获得稳定自提升。
创新点
1组合世界模型把未来多视角状态预测与进度价值评估分开建模，各自选用更合适的结构与目标，再由想象状态差值得到动作块优势。
2动力学侧在大规模机器人数据上以任务中心批处理预训练并加轻量动作编码器，优先同一场景下的动作多样性，提高可控性与任务微调效率。
3自提升环在想象空间做在线推演：以最优优势提示采样动作，用动力学合成后续状态并由价值模型评估，再混合离线数据做优势条件化策略更新。
方法概括
RISE面向接触丰富与动态真机操作，输入多视角观测与语言指令，输出动作块。先在离线示教、成败回放与人工纠偏上对π0.5做优势条件化热身；再以组合世界模型交互——动力学模型预测动作条件下的未来多视角帧，价值模型用进度与TD目标评分并得到相对当前状态的平均优势。推演从离线初始状态出发最多连续想象两步，用评估优势条件化更新策略并混入离线数据防遗忘；世界模型仅用于训练。
适用边界
世界模型精度与覆盖仍约束效果，稀有或欠表征场景可产生物理不合理转移；学习仍需相当比例真机数据锚定，想象与真机数据最优配比仍待厘清。
英文原题
Self-Improving Robot Policy with Compositional World Model
Jiazhi Yang、Kunyang Lin、Wencong Zhang、Jinwei Li、Tianwei Lin、Longyan Wu、Ya-Qin Zhang、Hao Zhao 等 14 位作者
RSS 2026 · 2026-07-13
原文地址
https://roboticsconference\.org/program/papers/12/
本期判断
1.多篇工作不再把观测直接映射为动作，而是先建模场景演化或中间视觉状态，再据此解码控制，以缓解长时程漂移。
2.世界模型用途从单纯视频预测扩展到策略训练、可复现评估与无奖励自改进，成为长时程操控的训练与评测载体。
3.质量分层动力学共训、滑窗一致性交互与想象空间优势更新，都在用有限真实数据把异质轨迹与仿真推演纳入可缩放学习。
如果这份整理对你的研究或选题有帮助，欢迎收藏，也欢迎分享你的判断。
具体技术细节与实验结论请以论文原文为准。
原文链接: https://www.leiphone.com/category/private/mZIWyfWhiC1aVzNh.html
