过去两年，视频生成的发展几乎是指数级的。从最早只能生成模糊片段，到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频，行业表面上已经接近一个阶段性成熟。 但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”，问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中，它们擅长在时间上延续视觉模式，却缺乏对空间结构的稳定建模能力。 一旦涉及视角变化，模型往往无...

很多人都经历过这样一种落差。现实里的空间是立体的，是包围人的，是可以转身、抬头、回望的，可一旦被手机或相机拍成视频，世界立刻被压缩成一个窄窄的取景框。 暴雨来临前的天空并不只在镜头正前方，深夜街区的压迫感也不只来自路面，商场中庭、地下车站、展馆大厅、建筑内部，这些真正让人产生现场感的东西，往往恰恰存在于镜头之外。我们记录下了事件，却没有真正留住空间，保存了画面，却没有保存身处其中的感觉。 这...

过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然不...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续任...

很多人都有这样的体验：让 AI 画一个角色，第一张很好看，但第二张开始有点不一样，第三张基本就像换了个人。你让它做一套海报，单张都不错，但放在一起风格却完全不统一，再或者你让它画一个故事分镜，人物形象会一会胖一会瘦，甚至连脸都对不上，你只是改一下衣服颜色，它却顺手把脸也改了。 这些看起来像小问题，但在真实应用中却是致命的。在 IP 设计、品牌视觉、内容生产甚至工业和医疗场景中，要求的从来不是...

现如今，扩散模型已经成为当前图像生成领域的核心技术之一。从文本生成图像到复杂视觉内容合成，这类模型已经能够生成高度逼真的画面。然而，在真实应用场景中，人们对生成模型的要求并不仅仅是“生成逼真图像”，而是希望模型能够严格按照提示完成特定任务。 例如，在要求生成包含指定文字的图像时，模型可能 simply 将文字放大到占据画面大部分区域，从而轻松获得 OCR 系统的高分，而在需要生成多个对象的任...

在视觉生成领域，从图像生成到视频生成，研究的核心问题正逐渐从“能否生成内容”转向“能否生成可控且结构正确的内容”。 尤其是在人物动画生成任务中，研究人员不仅希望模型能够生成具有真实感的画面，还希望生成过程能够受到精确控制，例如通过输入人物图像与动作姿态序列，使模型自动生成连续的人物动画。在这一方向上，姿态驱动的人物图像动画已经取得了显著进展。然而，这些方法大多集中于单人物场景，当生成对象扩展...

随着深度学习技术在计算机视觉领域的快速发展，神经网络模型已经在自动驾驶、智能安防、医疗影像分析以及智能终端等关键场景中得到广泛应用。 例如，在自动驾驶系统中，视觉模型需要识别道路标志和行人；在智能安防系统中，人脸识别模型被用于身份验证；在医疗影像分析中，深度学习模型可以辅助医生识别疾病特征。 然而，近年来的研究不断表明，这些高性能模型在安全性方面仍然存在明显隐患。其中，对抗样本问题被认为是深...

近年来，多模态大模型的发展正在不断推动视觉理解能力的提升。从图像分类、目标检测到视觉问答等任务，视觉系统已经能够在多种场景中实现较高水平的识别和推理能力。然而，在更复杂的层级视觉识别任务中，现有模型仍然存在明显不足。 现实世界中的许多视觉概念天然具有层级结构，例如生物分类体系中的“界—门—纲—目—科—属—种”，以及商品分类、医学诊断等领域中的多层级标签体系。这类任务不仅要求模型识别具体类别，...

近日，国际计算机视觉顶会CVPR 2024在西雅图召开，阿里共34篇论文被收录，其中有6篇入选Highlight和Oral Paper，被收录论文研究方向涵盖多模态模型、图像编辑及可控视频生成等前沿领域。早些时候火遍国内外的Animate Anyone、EMO、Facechain等模型也在会议现场亮相，并吸引了大量参会人员的关注与体验。 CVPR是计算机视觉领域最顶级的学术会议，每年都有大量...