会前预热
具身智能
雷峰网 · Guangwei.mai · 2026-04-24
一、研究背景
视觉重定位(Visual Relocalization)是机器人和自动驾驶的基础能力:当系统回到一个曾经建图的场景时,如何通过单张图像精准估计6自由度相机位姿。这一任务在弱纹理场景、图像数据库稀疏或视角变化剧烈时面临严峻挑战。
现有方法存在三个核心痛点:一是图像稀疏瓶颈,数据库图像有限时,初始位姿检索和粗匹配精度下降明显;二是特征匹配局限,单一特征类型难...
会前预热
具身智能
雷峰网 · Guangwei.mai · 2026-04-24
一、研究背景
大型视觉语言模型(VLM)虽然在2D图像理解和语言推理上表现优异,但在3D空间推理能力上存在明显短板——它们往往难以准确理解物体的相对位置关系、深度信息及3D几何结构,直接制约了其在机器人、自动驾驶等具身智能场景中的应用。
现有多模态融合方法主要存在两大问题:一是浅层融合(Early Fusion)仅在模型输入或早期阶段融合视觉与语言,难以在高层建立细粒度...
会前预热
计算机视觉
雷峰网 · Guangwei.mai · 2026-04-24
一、研究背景
3D 高斯泼溅(3DGS)凭借其高质量实时渲染能力,已成为新视角合成领域的主流方法。然而随着各类变体涌现,学术界面临一个困境:这些工作往往混杂了实现层面的工程优化与算法层面的创新,导致难以公平评估哪些改进真正有价值,学术比较缺乏统一基准。
与此同时,3DGS 的训练耗时(通常30分钟以上)成为快速迭代实验的瓶颈,显存占用(12GB+)也限制了其在低资源环境下...
会前预热
大语言模型
雷峰网 · Guangwei.mai · 2026-04-24
一、研究背景
从视频中准确理解并重建人体3D运动是计算机视觉的重要研究方向,在体育赛事分析、VR/AR、人机交互以及医疗康复等领域具有广泛应用价值。然而,在真实复杂场景中,该任务仍面临三大严峻挑战:
首先是身份关联不稳定——多人交互时,频繁的遮挡和快速运动容易导致ID Switch,影响后续重建的一致性;其次是运动轨迹中断——视角变化和极端遮挡会造成目标跟踪丢失;第...
会前预热
具身智能
雷峰网 · Guangwei.mai · 2026-04-22
很多人其实已经在不知不觉中接触到了多智能体协作带来的变化。
电商大促时,仓库里往往不是一台机器人在工作,而是一整组机器人同时分拣、运输、避让和交接。自动驾驶真正困难的地方,也不只是让一辆车学会开,而是让很多辆车在同一条路上彼此配合。现实中的很多复杂任务,本质上都不是单个智能体可以独立完成的,智能系统也是一样。
但现实世界并不会给这些系统太多试错机会。仓库机器人撞一次货架,工业机械臂装错一...
会前预热
计算机视觉
雷峰网 · Guangwei.mai · 2026-04-22
很多人第一次觉得图像生成模型已经足够强,往往是在它能快速画出一张看上去不错的图的时候。但真正开始频繁使用之后,又会慢慢发现另一面。
比如做一张活动主视觉,前几次生成里主体、色调、氛围都对了,可一放大细节就会发现手部、材质、边缘关系经不起看。再比如给一篇文章配封面,模型明明理解了主题,却总在最后呈现时把重点元素放错位置,或者让画面风格和语义之间出现轻微但难以忽视的偏差。
这正是当前生成式 ...
会前预热
大语言模型
雷峰网 · Guangwei.mai · 2026-04-22
很多人在使用文生图工具时都会遇到类似的情况,输入一段很清晰的描述,希望画面中人物站在左边、动物在右边,或者希望海报上出现一段完整可读的文字,但生成结果却常常让人失望。
要么位置关系混乱,要么文字变形,要么整体画面看起来不自然。继续调整参数,有时结果会更接近描述,但画面质量却明显下降,颜色变得奇怪,结构开始扭曲。反复尝试之后,往往需要生成十几张甚至几十张图,才能勉强挑出一张可用的。
这种既...
会前预热
大语言模型
雷峰网 · Guangwei.mai · 2026-04-22
过去一段时间,AI 视频最让人惊艳的,往往都是前几秒。人物状态自然,光影氛围到位,动作也足够流畅,很容易让人产生一种感觉,视频生成已经离真正可用不远了。
但行业越往前走,问题也越清楚,真正难的从来不是做出一小段漂亮画面,而是能不能把这种质量稳定地延续下去。一旦视频时长被拉长,很多模型就会开始慢慢失稳,人物、场景和动作表面上还在延续,内部却已经出现细节漂移和时序松动。
这也是为什么,今天 ...
会前预热
大语言模型
雷峰网 · Guangwei.mai · 2026-04-22
过去两年,视频生成的发展几乎是指数级的。从最早只能生成模糊片段,到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频,行业表面上已经接近一个阶段性成熟。
但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”,问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中,它们擅长在时间上延续视觉模式,却缺乏对空间结构的稳定建模能力。
一旦涉及视角变化,模型往...
会前预热
计算机视觉
雷峰网 · Guangwei.mai · 2026-04-09
很多人都经历过这样一种落差。现实里的空间是立体的,是包围人的,是可以转身、抬头、回望的,可一旦被手机或相机拍成视频,世界立刻被压缩成一个窄窄的取景框。
暴雨来临前的天空并不只在镜头正前方,深夜街区的压迫感也不只来自路面,商场中庭、地下车站、展馆大厅、建筑内部,这些真正让人产生现场感的东西,往往恰恰存在于镜头之外。我们记录下了事件,却没有真正留住空间,保存了画面,却没有保存身处其中的感觉。
...