诺亦腾机器人在 CoRL 2026 机器人学习大会上正式对外开放 HiPHI-Hand 手部动捕数据集,这套数据已经作为真实真值数据,参与英伟达 EgoHand 第一视角手部重建模型的训练,数据集在 Hugging Face 平台上线,包含 11 小时同步采集的双目鱼眼第一视角视频、亚毫米级光学动捕手部三维标注,就算手部被物体遮挡,也能拿到可靠的关节真值,解决了第一人称视角下手部遮挡、精细动作标注难的痛点。EgoHand 依托 Isaac Capture 框架,只用单目第一视角视频就能重建手部三维姿态与形状,支持免费商用,而 HiPHI-Hand 提供的高精度真值,刚好补齐真实场景标注短板,缩小仿真数据和真实世界之间的差距,面向人形机器人灵巧手、第一视角视觉、具身智能方向的科研人员和开发者开放使用。
一、HiPHI-Hand 数据集核心清单
- 发布平台:Hugging Face
- 总时长:11 小时,一共 794 个片段
- 视频规格:双目鱼眼相机,分辨率 1360×1360,帧率 30fps
- 数据构成:同步第一视角视频、头戴 IMU 参照的相机外参、光学动捕三维手部关节真值
- 标注骨架:21 点 MediaPipe 关节、25 点 Vicon 关节两套标注
- 总文件大小:69.5GB
- 精度水平:亚毫米级手部真值,遮挡场景依然有效
- 许可方式:沿用 HiPHI 系列研究许可
- 配套设备:诺亦腾 SOL 头戴采集设备
二、英伟达 EgoHand 模型核心信息
- 底层框架:NVIDIA Isaac Capture
- 输入方式:单目第一人称视频
- 能力:重建手部三维姿态、手部形状
- 训练总图像:1400 万张图像,来源分为合成数据、野外真实视频、HiPHI-Hand 这类动捕真值数据
- 推理性能:单帧推理延迟约 9ms,零样本精度达到当前 SOTA 水平
- 开源许可:OpenMDW 许可,支持免费商用
三、HiPHI-Hand 与普通手部数据集对比表
| 对比项目 | HiPHI-Hand 手部动捕数据集 | 普通第一视角手部数据集 |
|---|---|---|
| 真值来源 | 光学动捕微型标记点,亚毫米级精度 | 大多只有图像标注,缺少精准三维真值 |
| 遮挡鲁棒性 | 手部被挡住时,动捕标记点依然可以输出真值 | 画面遮挡后缺少可靠标注,容易失效 |
| 数据同步 | 鱼眼视频、IMU、手部动捕三者严格时间对齐 | 视频和三维标注经常不同步 |
| 适用场景 | 灵巧手模仿学习、EgoHand 这类 3D 重建模型训练 | 基础手部检测、分割任务 |
| 开放渠道 | Hugging Face 公开下载 | 很多数据集仅限学术申请、不对外直接开放 |
四、数据采集与使用流程
- 采集环节:佩戴 SOL 头戴设备,手指布置微型标记点,光学动捕系统同步记录人手和物体交互
- 对齐处理:绑定头戴 IMU,统一相机外参,把视频帧和手部三维关节坐标逐帧匹配
- 数据发布:打包为标准化片段,上传至 Hugging Face,附带两套关节标注
- 模型训练:开发者直接加载真值数据,用于手部重建、灵巧操作策略训练
- 现场验证:CoRL 2026 现场演示,RTX PRO GPU 实时跑 EgoHand,即时重建手部三维模型
五、产业价值
- 补齐灵巧手数据短板:人形机器人做抓取、精细操作,非常依赖高精度手部交互真值
- 降低科研门槛:不用自己搭建昂贵光学动捕系统,直接拿到遮挡场景的高质量数据
- 打通仿真和现实:给 EgoHand 这类视觉模型提供真实世界基准,减少仿真到真机的迁移落差
- 推动第一视角具身智能:适合 AR 交互、机器人遥操作、穿戴设备手势识别等方向
【相关 FAQ】
问题 1:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 在哪里下载?
回答 1:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 在 Hugging Face 平台公开发布,开发者可以直接在平台获取整套数据。
问题 2:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 一共包含多少时长的数据?
回答 2:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 总时长为 11 小时,拆分为 794 个视频片段,整套数据大小 69.5GB。
问题 3:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,英伟达 EgoHand 模型有什么能力?
回答 3:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,EgoHand 基于 Isaac Capture 框架,只需要单目第一视角视频,就能重建手部三维姿态和形状,单帧推理延迟约 9ms,支持免费商用。
问题 4:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 最大优势是什么?
回答 4:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,它最大优势是依靠光学标记点实现亚毫米级三维真值,就算手部在画面里被遮挡,依然能输出可靠的手部关节标注。
【参考资料】
[2026-11-10](诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,已用于训练英伟达 EgoHand)新浪财经
[2026-11-10](助力英伟达 EgoHand 训练,诺亦腾机器人高精度手部数据正式开放)腾讯新闻
[2026-11-10](诺亦腾机器人携手英伟达亮相 CoRL,HiPHI-Hand 手部数据正式开放)亿欧
[2026-11-11](Noitom Robotics Opens HiPHI-Hand Dataset, Used to Train NVIDIA's EgoHand Model)Pandaily
【免责声明】
本文仅整理诺亦腾 HiPHI-Hand 手部动捕数据集、英伟达 EgoHand 模型的公开资讯,不构成项目采购、模型开发、数据集商用的决策建议;HiPHI-Hand 的许可协议、EgoHand 商用权限以 Hugging Face 页面、诺亦腾与英伟达官方文档为准,数据集标注精度、模型效果受采集场景、硬件、推理环境影响。
本文来自作者[Ezra69]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/476.html
评论列表(4条)
我是诚邦网的签约作者“Ezra69”!
希望本篇文章《诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 模型训练》能对你有所帮助!
本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索
本文概览:诺亦腾机器人在 CoRL 2026 机器人学习大会上正式对外开放 HiPHI-Hand 手部动捕数据集,这套数据已经作为真实真值数据,参与英伟达 EgoHand 第一视角手部重建模型的训练,数据集在 Hugging Face 平台上线,包含 11 小时同步采集的双目鱼眼第一视角视频、亚毫米级光学动捕手部三维标注,就算手部被物体遮挡,也能拿到可靠的关节真值,解决了第一人称视角下手部遮挡、精细动作标注难的痛点。EgoHand 依托 Isaac Capture 框架,只用单目第一视角视频就能重建手部三维姿态与形状,支持免费商用,而 HiPHI-Hand 提供的高精度真值,刚好补齐真实场景标注短板,缩小仿真数据和真实世界之间的差距,面向人形机器人灵巧手、第一视角视觉、具身智能方向的科研人员和开发者开放使用。