过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续...

很多人都有这样的体验：让 AI 画一个角色，第一张很好看，但第二张开始有点不一样，第三张基本就像换了个人。你让它做一套海报，单张都不错，但放在一起风格却完全不统一，再或者你让它画一个故事分镜，人物形象会一会胖一会瘦，甚至连脸都对不上，你只是改一下衣服颜色，它却顺手把脸也改了。 这些看起来像小问题，但在真实应用中却是致命的。在 IP 设计、品牌视觉、内容生产甚至工业和医疗场景中，要求的从来不...

现如今，扩散模型已经成为当前图像生成领域的核心技术之一。从文本生成图像到复杂视觉内容合成，这类模型已经能够生成高度逼真的画面。然而，在真实应用场景中，人们对生成模型的要求并不仅仅是“生成逼真图像”，而是希望模型能够严格按照提示完成特定任务。 例如，在要求生成包含指定文字的图像时，模型可能 simply 将文字放大到占据画面大部分区域，从而轻松获得 OCR 系统的高分，而在需要生成多个对象的...

在视觉生成领域，从图像生成到视频生成，研究的核心问题正逐渐从“能否生成内容”转向“能否生成可控且结构正确的内容”。 尤其是在人物动画生成任务中，研究人员不仅希望模型能够生成具有真实感的画面，还希望生成过程能够受到精确控制，例如通过输入人物图像与动作姿态序列，使模型自动生成连续的人物动画。在这一方向上，姿态驱动的人物图像动画已经取得了显著进展。然而，这些方法大多集中于单人物场景，当生成对象扩...

随着深度学习技术在计算机视觉领域的快速发展，神经网络模型已经在自动驾驶、智能安防、医疗影像分析以及智能终端等关键场景中得到广泛应用。 例如，在自动驾驶系统中，视觉模型需要识别道路标志和行人；在智能安防系统中，人脸识别模型被用于身份验证；在医疗影像分析中，深度学习模型可以辅助医生识别疾病特征。 然而，近年来的研究不断表明，这些高性能模型在安全性方面仍然存在明显隐患。其中，对抗样本问题被认为...

近年来，多模态大模型的发展正在不断推动视觉理解能力的提升。从图像分类、目标检测到视觉问答等任务，视觉系统已经能够在多种场景中实现较高水平的识别和推理能力。然而，在更复杂的层级视觉识别任务中，现有模型仍然存在明显不足。 现实世界中的许多视觉概念天然具有层级结构，例如生物分类体系中的“界—门—纲—目—科—属—种”，以及商品分类、医学诊断等领域中的多层级标签体系。这类任务不仅要求模型识别具体类别...

近日，国际计算机视觉顶会CVPR 2024在西雅图召开，阿里共34篇论文被收录，其中有6篇入选Highlight和Oral Paper，被收录论文研究方向涵盖多模态模型、图像编辑及可控视频生成等前沿领域。早些时候火遍国内外的Animate Anyone、EMO、Facechain等模型也在会议现场亮相，并吸引了大量参会人员的关注与体验。 CVPR是计算机视觉领域最顶级的学术会议，每年都...

2024 年美国时间 6 月 17 日至 21 日，IEEE 国际计算机视觉与模式识别会议（CVPR）在美国西雅图召开。 如大家预料，视觉 Foundation Model 成为今年 CVPR 除自动驾驶、3D 视觉等传统研究课题以外的核心会议主题。 此外，由于会议召开前后，国内快手「可灵」开放图生视频功能火爆出圈、Runway 时隔一年推出新模型 Gen-3 Alpha，文生视频也成为...

作者：赖文昕 马蕊蕾 编辑：陈彩娴 北京时间今天凌晨，美国西雅图正在召开的计算机视觉盛会 CVPR 2024 正式公布了最佳论文等奖项。今年共有 2 篇论文获得了这份全球最重要的计算机视觉领域的大奖，团队成员分别来自谷歌研究院、加州大学圣地亚哥分校、南加州大学、剑桥大学及布兰迪斯大学。 本周（6.17-6.21），第四十一届国际计算机视觉与模式识别会议（CVPR）在美国西雅图拉开帷幕。...