英伟达空间智能实验室的 Lyra 2.0 框架已经开源,它最大亮点就是只用一张静态图片作为输入,就能生成跨度约 90 米、可以自由漫游折返的 3D 场景,解决了过去 AI 生成 3D 场景容易出现画面错乱、回头场景变样的痛点,输出的结果还能直接导出高斯泼溅、网格模型,放进渲染引擎、仿真工具里面使用。以往很多单图转 3D 方案只能做小物件或者固定视角场景,一旦镜头走远、回头重看之前的区域,物体结构、纹理就会发生变化,也就是大家常说的空间遗忘、时间漂移;Lyra 2.0 新增了 3D 空间记忆机制,记录每一段画面的几何信息,模型回头的时候可以调取历史信息,搭配自增强训练方式,主动修正生成误差,不会越生成越跑偏。整个流程是先输入一张图,用户自定义相机漫游路线,模型持续生成连贯漫游视频,再把视频重建为完整三维场景,轻量蒸馏版本还大幅压缩去噪步数,在 GB200 等显卡上生成速度提升明显。这套项目代码上传 GitHub、模型权重同步放到 Hugging Face,目前主要面向学术研究、开发者二次开发,适合机器人仿真、游戏场景、VR 虚拟环境搭建,普通用户想要直接上手使用,需要配套高性能显卡和基础代码环境。
一、Lyra 2.0 和传统单图 3D 方案对比表
| 项目 | 英伟达 Lyra 2.0 | 普通单图 3D 生成模型 |
|---|---|---|
| 输入素材 | 单张静态图片 | 单张图片 |
| 场景范围 | 最长约 90 米可连续漫游 | 小范围物体、局部场景为主 |
| 视角折返 | 支持回头重访,场景保持一致 | 回头容易出现物体变形、结构错乱 |
| 输出格式 | 3D 高斯泼溅、Mesh 网格、漫游视频 | 大多是 NeRF、小尺寸 3D 模型 |
| 核心痛点优化 | 解决空间遗忘、时间漂移 | 缺少长期空间记忆,长镜头容易崩坏 |
| 使用门槛 | 需要 GPU、代码环境,学术许可 | 部分有网页 Demo,但场景规模受限 |
二、Lyra 2.0 核心能力清单
- 单图启动:只需要一张照片或者生成图,不需要多视角照片、深度图
- 可控相机轨迹:用户可以自己规划前进、转弯、后退的漫游路径,向外拓展场景
- 空间记忆路由:保存每帧 3D 几何信息,重访旧区域时调取历史内容,避免场景突变
- 漂移修正训练:模型学习识别自己生成的错误,逐步校正,误差不会持续累积
- 多格式导出:输出 3DGS、多边形网格,兼容 Isaac Sim、UE、Unity 等仿真和游戏引擎
- 速度优化版本:蒸馏轻量模型,去噪步数从 35 步降到 4 步,生成速度大幅提升
三、完整使用流程
- 准备素材:挑选一张清晰度合适的图片作为起始输入,风景、街道场景适配效果更好
- 规划相机路径:在交互界面设定漫游路线,决定前进方向、转弯、折返位置
- 生成漫游视频:模型按照轨迹持续生成连贯画面,同步维护空间记忆
- 3D 重建:把生成的视频序列,重建为可交互的 3D 场景
- 导出资产:按需导出高斯泼溅或者网格文件,导入仿真、渲染引擎继续加工
- 迭代调整:修改相机路线,继续拓展更大范围的场景
四、适用场景
- 机器人仿真:快速批量生成虚拟训练环境,用来做导航、避障算法训练
- 游戏开发:快速搭建户外街道、小镇等基础场景,美术再二次细化
- VR/AR 内容:生成可行走的沉浸式虚拟空间
- 影视预演:快速搭建镜头漫游预览场景
五、常见认知误区
❌ 误区 1:Lyra 2.0 开源之后,普通用户上传图片就能一键出成品游戏
✅ 真相:它是开发者框架,需要高性能显卡、代码部署,不是面向普通用户的一键工具
❌ 误区 2:Lyra 2.0 可以无限生成超大世界
✅ 真相:当前演示稳定漫游范围大约 90 米,更长距离依然会有稳定性下降的风险
❌ 误区 3:生成出来的 3D 模型可以直接商用无限制
✅ 真相:遵循英伟达学术许可协议,商用需要单独确认授权条款
❌ 误区 4:随便一张图都能稳定生成,复杂物体不会出错
✅ 真相:结构化街道、风景场景效果最好,复杂遮挡、大量细粒度物体依然容易出现幻觉
【相关 FAQ】
问题 1:英伟达 Lyra 2.0 开源,单图生成 3D 世界的核心优势是什么?
回答 1:英伟达 Lyra 2.0 开源,单图生成 3D 世界最大优势是支持长距离漫游、镜头折返,依靠 3D 空间记忆解决空间遗忘和时间漂移,回头看同一个地方场景不会乱变,还能导出标准 3D 资产给仿真、渲染引擎使用。
问题 2:英伟达 Lyra 2.0 单图生成 3D 世界,对硬件有什么要求?
回答 2:英伟达 Lyra 2.0 单图生成 3D 世界,对算力要求很高,官方测试主要使用 GB200 等高端 GPU,普通显卡运行速度很慢,轻量版本也需要大显存显卡,不适合入门电脑直接跑。
问题 3:英伟达 Lyra 2.0 单图生成 3D 世界,生成的文件可以直接导入哪些软件?
回答 3:英伟达 Lyra 2.0 单图生成 3D 世界,输出高斯泼溅、网格模型,能够导入 Unity、Unreal 引擎,也可以直接在英伟达 Isaac Sim 仿真平台里面做机器人训练。
问题 4:英伟达 Lyra 2.0 开源之后,是不是所有人都可以随便商用?
回答 4:英伟达 Lyra 2.0 开源之后,是学术研究许可,主要用于科研场景,如果要商用这套单图生成 3D 世界的框架,需要单独和英伟达确认授权。
【参考资料】
[2026-11-10](一张照片生成 90 米 3D 世界!英伟达 Lyra 2.0 开源:速度暴增 13 倍)太平洋科技
[2026-11-10](英伟达发布 Lyra 2.0:单图生成一致可交互三维空间)中关村在线
[2026-11-10](英伟达 Lyra 2.0 框架开源,单图生成可探索 3D 场景)映维网
[2026-04-17](NVIDIA Lyra 2.0: Explorable Generative 3D Worlds 项目发布)英伟达空间智能实验室
[2026-04-17](英伟达 Lyra2 论文:单图生成持久可探索 3D 世界)arXiv
【免责声明】
本文仅为英伟达 Lyra 2.0 开源资讯整理,不构成技术落地、采购显卡的建议。Lyra 2.0 属于科研框架,生成效果、稳定性受输入图片、显卡算力、参数设置影响;开源许可、商用权限以英伟达官方仓库协议为准;3D 资产存在 AI 幻觉,用于正式项目时需要人工校验修正。
本文来自作者[Marin55]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/439.html
评论列表(4条)
我是诚邦网的签约作者“Marin55”!
希望本篇文章《英伟达 Lyra 2.0 正式开源,支持单张图片生成可探索 3D 世界》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达空间智能实验室的 Lyra 2.0 框架已经开源,它最大亮点就是只用一张静态图片作为输入,就能生成跨度约 90 米、可以自由漫游折返的 3D 场景,解决了过去 AI 生成 3D 场景容易出现画面错乱、回头场景变样的痛点,输出的结果还能直接导出高斯泼溅、网格模型,放进渲染引擎、仿真工具里面使用。以往很多单图转 3D 方案只能做小物件或者固定视角场景,一旦镜头走远、回头重看之前的区域,物体结构、纹理就会发生变化,也就是大家常说的空间遗忘、时间漂移;Lyra 2.0 新增了 3D 空间记忆机制,记录每一段画面的几何信息,模型回头的时候可以调取历史信息,搭配自增强训练方式,主动修正生成误差,不会越生成越跑偏。整个流程是先输入一张图,用户自定义相机漫游路线,模型持续生成连贯漫游视频,再把视频重建为完整三维场景,轻量蒸馏版本还大幅压缩去噪步数,在 GB200 等显卡上生成速度提升明显。这套项目代码上传 GitHub、模型权重同步放到 Hugging Face,目前主要面向学术研究、开发者二次开发,适合机器人仿真、游戏场景、VR 虚拟环境搭建,普通用户想要直接上手使用,需要配套高性能显卡和基础代码环境。