英伟达 Lyra 2.0 正式开源,支持单张图片生成可探索 3D 世界

英伟达空间智能实验室的 Lyra 2.0 框架已经开源,它最大亮点就是只用一张静态图片作为输入,就能生成跨度约 90 米、可以自由漫游折返的 3D 场景,解决了过去 AI 生成 3D 场景容易出现画面错乱、回头场景变样的痛点,输出的结果还能直接导出高斯泼溅、网格模型,放进渲染引擎、仿真工具里面使用。以往很多单图转 3D 方案只能做小物件或者固定视角场景,一旦镜头走远、回头重看之前的区域,物体结构、纹理就会发生变化,也就是大家常说的空间遗忘、时间漂移;Lyra 2.0 新增了 3D 空间记忆机制,记录每一段画面的几何信息,模型回头的时候可以调取历史信息,搭配自增强训练方式,主动修正生成误差,不会越生成越跑偏。整个流程是先输入一张图,用户自定义相机漫游路线,模型持续生成连贯漫游视频,再把视频重建为完整三维场景,轻量蒸馏版本还大幅压缩去噪步数,在 GB200 等显卡上生成速度提升明显。这套项目代码上传 GitHub、模型权重同步放到 Hugging Face,目前主要面向学术研究、开发者二次开发,适合机器人仿真、游戏场景、VR 虚拟环境搭建,普通用户想要直接上手使用,需要配套高性能显卡和基础代码环境。

一、Lyra 2.0 和传统单图 3D 方案对比表

项目英伟达 Lyra 2.0普通单图 3D 生成模型
输入素材单张静态图片单张图片
场景范围最长约 90 米可连续漫游小范围物体、局部场景为主
视角折返支持回头重访,场景保持一致回头容易出现物体变形、结构错乱
输出格式3D 高斯泼溅、Mesh 网格、漫游视频大多是 NeRF、小尺寸 3D 模型
核心痛点优化解决空间遗忘、时间漂移缺少长期空间记忆,长镜头容易崩坏
使用门槛需要 GPU、代码环境,学术许可部分有网页 Demo,但场景规模受限

二、Lyra 2.0 核心能力清单

  1. 单图启动:只需要一张照片或者生成图,不需要多视角照片、深度图
  2. 可控相机轨迹:用户可以自己规划前进、转弯、后退的漫游路径,向外拓展场景
  3. 空间记忆路由:保存每帧 3D 几何信息,重访旧区域时调取历史内容,避免场景突变
  4. 漂移修正训练:模型学习识别自己生成的错误,逐步校正,误差不会持续累积
  5. 多格式导出:输出 3DGS、多边形网格,兼容 Isaac Sim、UE、Unity 等仿真和游戏引擎
  6. 速度优化版本:蒸馏轻量模型,去噪步数从 35 步降到 4 步,生成速度大幅提升

三、完整使用流程

  1. 准备素材:挑选一张清晰度合适的图片作为起始输入,风景、街道场景适配效果更好
  2. 规划相机路径:在交互界面设定漫游路线,决定前进方向、转弯、折返位置
  3. 生成漫游视频:模型按照轨迹持续生成连贯画面,同步维护空间记忆
  4. 3D 重建:把生成的视频序列,重建为可交互的 3D 场景
  5. 导出资产:按需导出高斯泼溅或者网格文件,导入仿真、渲染引擎继续加工
  6. 迭代调整:修改相机路线,继续拓展更大范围的场景

四、适用场景

  • 机器人仿真:快速批量生成虚拟训练环境,用来做导航、避障算法训练
  • 游戏开发:快速搭建户外街道、小镇等基础场景,美术再二次细化
  • VR/AR 内容:生成可行走的沉浸式虚拟空间
  • 影视预演:快速搭建镜头漫游预览场景

五、常见认知误区

❌ 误区 1:Lyra 2.0 开源之后,普通用户上传图片就能一键出成品游戏

✅ 真相:它是开发者框架,需要高性能显卡、代码部署,不是面向普通用户的一键工具

❌ 误区 2:Lyra 2.0 可以无限生成超大世界

✅ 真相:当前演示稳定漫游范围大约 90 米,更长距离依然会有稳定性下降的风险

❌ 误区 3:生成出来的 3D 模型可以直接商用无限制

✅ 真相:遵循英伟达学术许可协议,商用需要单独确认授权条款

❌ 误区 4:随便一张图都能稳定生成,复杂物体不会出错

✅ 真相:结构化街道、风景场景效果最好,复杂遮挡、大量细粒度物体依然容易出现幻觉

【相关 FAQ】

问题 1:英伟达 Lyra 2.0 开源,单图生成 3D 世界的核心优势是什么?

回答 1:英伟达 Lyra 2.0 开源,单图生成 3D 世界最大优势是支持长距离漫游、镜头折返,依靠 3D 空间记忆解决空间遗忘和时间漂移,回头看同一个地方场景不会乱变,还能导出标准 3D 资产给仿真、渲染引擎使用。

问题 2:英伟达 Lyra 2.0 单图生成 3D 世界,对硬件有什么要求?

回答 2:英伟达 Lyra 2.0 单图生成 3D 世界,对算力要求很高,官方测试主要使用 GB200 等高端 GPU,普通显卡运行速度很慢,轻量版本也需要大显存显卡,不适合入门电脑直接跑。

问题 3:英伟达 Lyra 2.0 单图生成 3D 世界,生成的文件可以直接导入哪些软件?

回答 3:英伟达 Lyra 2.0 单图生成 3D 世界,输出高斯泼溅、网格模型,能够导入 Unity、Unreal 引擎,也可以直接在英伟达 Isaac Sim 仿真平台里面做机器人训练。

问题 4:英伟达 Lyra 2.0 开源之后,是不是所有人都可以随便商用?

回答 4:英伟达 Lyra 2.0 开源之后,是学术研究许可,主要用于科研场景,如果要商用这套单图生成 3D 世界的框架,需要单独和英伟达确认授权。

【参考资料】

[2026-11-10](一张照片生成 90 米 3D 世界!英伟达 Lyra 2.0 开源:速度暴增 13 倍)太平洋科技

[2026-11-10](英伟达发布 Lyra 2.0:单图生成一致可交互三维空间)中关村在线

[2026-11-10](英伟达 Lyra 2.0 框架开源,单图生成可探索 3D 场景)映维网

[2026-04-17](NVIDIA Lyra 2.0: Explorable Generative 3D Worlds 项目发布)英伟达空间智能实验室

[2026-04-17](英伟达 Lyra2 论文:单图生成持久可探索 3D 世界)arXiv

【免责声明】

本文仅为英伟达 Lyra 2.0 开源资讯整理,不构成技术落地、采购显卡的建议。Lyra 2.0 属于科研框架,生成效果、稳定性受输入图片、显卡算力、参数设置影响;开源许可、商用权限以英伟达官方仓库协议为准;3D 资产存在 AI 幻觉,用于正式项目时需要人工校验修正。

本文来自作者[Marin55]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/439.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Marin55
    Marin55 2026年11月12日

    我是诚邦网的签约作者“Marin55”!

  • Marin55
    Marin55 2026年11月12日

    希望本篇文章《英伟达 Lyra 2.0 正式开源,支持单张图片生成可探索 3D 世界》能对你有所帮助!

  • Marin55
    Marin55 2026年11月12日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • Marin55
    Marin55 2026年11月12日

    本文概览:英伟达空间智能实验室的 Lyra 2.0 框架已经开源,它最大亮点就是只用一张静态图片作为输入,就能生成跨度约 90 米、可以自由漫游折返的 3D 场景,解决了过去 AI 生成 3D 场景容易出现画面错乱、回头场景变样的痛点,输出的结果还能直接导出高斯泼溅、网格模型,放进渲染引擎、仿真工具里面使用。以往很多单图转 3D 方案只能做小物件或者固定视角场景,一旦镜头走远、回头重看之前的区域,物体结构、纹理就会发生变化,也就是大家常说的空间遗忘、时间漂移;Lyra 2.0 新增了 3D 空间记忆机制,记录每一段画面的几何信息,模型回头的时候可以调取历史信息,搭配自增强训练方式,主动修正生成误差,不会越生成越跑偏。整个流程是先输入一张图,用户自定义相机漫游路线,模型持续生成连贯漫游视频,再把视频重建为完整三维场景,轻量蒸馏版本还大幅压缩去噪步数,在 GB200 等显卡上生成速度提升明显。这套项目代码上传 GitHub、模型权重同步放到 Hugging Face,目前主要面向学术研究、开发者二次开发,适合机器人仿真、游戏场景、VR 虚拟环境搭建,普通用户想要直接上手使用,需要配套高性能显卡和基础代码环境。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们