诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 模型训练

诺亦腾机器人在 CoRL 2026 机器人学习大会上正式对外开放 HiPHI-Hand 手部动捕数据集,这套数据已经作为真实真值数据,参与英伟达 EgoHand 第一视角手部重建模型的训练,数据集在 Hugging Face 平台上线,包含 11 小时同步采集的双目鱼眼第一视角视频、亚毫米级光学动捕手部三维标注,就算手部被物体遮挡,也能拿到可靠的关节真值,解决了第一人称视角下手部遮挡、精细动作标注难的痛点。EgoHand 依托 Isaac Capture 框架,只用单目第一视角视频就能重建手部三维姿态与形状,支持免费商用,而 HiPHI-Hand 提供的高精度真值,刚好补齐真实场景标注短板,缩小仿真数据和真实世界之间的差距,面向人形机器人灵巧手、第一视角视觉、具身智能方向的科研人员和开发者开放使用。

一、HiPHI-Hand 数据集核心清单

  • 发布平台:Hugging Face
  • 总时长:11 小时,一共 794 个片段
  • 视频规格:双目鱼眼相机,分辨率 1360×1360,帧率 30fps
  • 数据构成:同步第一视角视频、头戴 IMU 参照的相机外参、光学动捕三维手部关节真值
  • 标注骨架:21 点 MediaPipe 关节、25 点 Vicon 关节两套标注
  • 总文件大小:69.5GB
  • 精度水平:亚毫米级手部真值,遮挡场景依然有效
  • 许可方式:沿用 HiPHI 系列研究许可
  • 配套设备:诺亦腾 SOL 头戴采集设备

二、英伟达 EgoHand 模型核心信息

  • 底层框架:NVIDIA Isaac Capture
  • 输入方式:单目第一人称视频
  • 能力:重建手部三维姿态、手部形状
  • 训练总图像:1400 万张图像,来源分为合成数据、野外真实视频、HiPHI-Hand 这类动捕真值数据
  • 推理性能:单帧推理延迟约 9ms,零样本精度达到当前 SOTA 水平
  • 开源许可:OpenMDW 许可,支持免费商用

三、HiPHI-Hand 与普通手部数据集对比表

对比项目HiPHI-Hand 手部动捕数据集普通第一视角手部数据集
真值来源光学动捕微型标记点,亚毫米级精度大多只有图像标注,缺少精准三维真值
遮挡鲁棒性手部被挡住时,动捕标记点依然可以输出真值画面遮挡后缺少可靠标注,容易失效
数据同步鱼眼视频、IMU、手部动捕三者严格时间对齐视频和三维标注经常不同步
适用场景灵巧手模仿学习、EgoHand 这类 3D 重建模型训练基础手部检测、分割任务
开放渠道Hugging Face 公开下载很多数据集仅限学术申请、不对外直接开放

四、数据采集与使用流程

  1. 采集环节:佩戴 SOL 头戴设备,手指布置微型标记点,光学动捕系统同步记录人手和物体交互
  2. 对齐处理:绑定头戴 IMU,统一相机外参,把视频帧和手部三维关节坐标逐帧匹配
  3. 数据发布:打包为标准化片段,上传至 Hugging Face,附带两套关节标注
  4. 模型训练:开发者直接加载真值数据,用于手部重建、灵巧操作策略训练
  5. 现场验证:CoRL 2026 现场演示,RTX PRO GPU 实时跑 EgoHand,即时重建手部三维模型

五、产业价值

  1. 补齐灵巧手数据短板:人形机器人做抓取、精细操作,非常依赖高精度手部交互真值
  2. 降低科研门槛:不用自己搭建昂贵光学动捕系统,直接拿到遮挡场景的高质量数据
  3. 打通仿真和现实:给 EgoHand 这类视觉模型提供真实世界基准,减少仿真到真机的迁移落差
  4. 推动第一视角具身智能:适合 AR 交互、机器人遥操作、穿戴设备手势识别等方向

【相关 FAQ】

问题 1:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 在哪里下载?

回答 1:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 在 Hugging Face 平台公开发布,开发者可以直接在平台获取整套数据。

问题 2:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 一共包含多少时长的数据?

回答 2:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 总时长为 11 小时,拆分为 794 个视频片段,整套数据大小 69.5GB。

问题 3:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,英伟达 EgoHand 模型有什么能力?

回答 3:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,EgoHand 基于 Isaac Capture 框架,只需要单目第一视角视频,就能重建手部三维姿态和形状,单帧推理延迟约 9ms,支持免费商用。

问题 4:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,HiPHI-Hand 最大优势是什么?

回答 4:诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 训练,它最大优势是依靠光学标记点实现亚毫米级三维真值,就算手部在画面里被遮挡,依然能输出可靠的手部关节标注。

【参考资料】

[2026-11-10](诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,已用于训练英伟达 EgoHand)新浪财经

[2026-11-10](助力英伟达 EgoHand 训练,诺亦腾机器人高精度手部数据正式开放)腾讯新闻

[2026-11-10](诺亦腾机器人携手英伟达亮相 CoRL,HiPHI-Hand 手部数据正式开放)亿欧

[2026-11-11](Noitom Robotics Opens HiPHI-Hand Dataset, Used to Train NVIDIA's EgoHand Model)Pandaily

【免责声明】

本文仅整理诺亦腾 HiPHI-Hand 手部动捕数据集、英伟达 EgoHand 模型的公开资讯,不构成项目采购、模型开发、数据集商用的决策建议;HiPHI-Hand 的许可协议、EgoHand 商用权限以 Hugging Face 页面、诺亦腾与英伟达官方文档为准,数据集标注精度、模型效果受采集场景、硬件、推理环境影响。

本文来自作者[Ezra69]投稿,不代表诚邦网立场,如若转载,请注明出处:https://www.cbpmc.com.cn/qyzx/202611/476.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Ezra69
    Ezra69 2026年11月13日

    我是诚邦网的签约作者“Ezra69”!

  • Ezra69
    Ezra69 2026年11月13日

    希望本篇文章《诺亦腾机器人开放 HiPHI-Hand 手部动捕数据集,该数据集已用于英伟达 EgoHand 模型训练》能对你有所帮助!

  • Ezra69
    Ezra69 2026年11月13日

    本站[诚邦网]内容主要涵盖:互联网行业的追踪与探索

  • Ezra69
    Ezra69 2026年11月13日

    本文概览:诺亦腾机器人在 CoRL 2026 机器人学习大会上正式对外开放 HiPHI-Hand 手部动捕数据集,这套数据已经作为真实真值数据,参与英伟达 EgoHand 第一视角手部重建模型的训练,数据集在 Hugging Face 平台上线,包含 11 小时同步采集的双目鱼眼第一视角视频、亚毫米级光学动捕手部三维标注,就算手部被物体遮挡,也能拿到可靠的关节真值,解决了第一人称视角下手部遮挡、精细动作标注难的痛点。EgoHand 依托 Isaac Capture 框架,只用单目第一视角视频就能重建手部三维姿态与形状,支持免费商用,而 HiPHI-Hand 提供的高精度真值,刚好补齐真实场景标注短板,缩小仿真数据和真实世界之间的差距,面向人形机器人灵巧手、第一视角视觉、具身智能方向的科研人员和开发者开放使用。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们