GEM-X数据集解析：从Bones RigPlay-1到RenderPeople的训练数据策略

GEM-X数据集解析从Bones RigPlay-1到RenderPeople的训练数据策略【免费下载链接】GEM-X项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/GEM-XGEM-X通用人体运动模型是NVIDIA开发的单目视频3D人体姿态估计模型它从动态相机拍摄的无约束视频序列中重建全身运动包括身体和手部产生准确的每帧3D身体姿态和世界空间全局运动轨迹。这款强大的人体姿态估计模型采用了独特的合成数据训练策略完全避免了真实世界数据的隐私问题同时确保了商业使用的合规性。 训练数据策略概述GEM-X的训练数据策略是其成功的关键因素之一。与传统使用真实视频数据的方法不同GEM-X采用完全合成的训练数据这种创新方法不仅解决了隐私和版权问题还提供了高质量的标注数据。 核心数据集构成GEM-X的训练语料库通过结合四个NVIDIA拥有和商业许可的资产源构建Bones RigPlay-1- 350,000个动作捕捉动画序列由NVIDIA拥有提供多样化的人类运动动态Bones Audio2Gesture数据集- 447个动作捕捉动画序列RenderPeople- 500个高保真3D数字人体角色由NVIDIA拥有提供逼真的身体外观内部合成角色- 3,500个由NVIDIA内部开发的合成3D角色HDRI Haven- 448个4K HDRI环境贴图从HDRI Haven下载采用免费商业使用许可 合成渲染管道GEM-X的训练视频是通过将多个角色放置在同一个场景中并随机化相机运动来渲染的。这种合成渲染方法具有以下优势完美标注每帧的真实SOMA身体参数直接从mocap序列派生无隐私问题不包含任何真实个人数据可扩展性可以生成任意数量的训练样本多样性控制可以精确控制角色、动作和环境的组合 训练数据的技术实现数据生成流程动作数据准备从Bones RigPlay-1中提取350,000个动作捕捉序列角色模型准备从RenderPeople和内部合成角色库中选择角色模型场景构建使用HDRI Haven的环境贴图作为背景相机轨迹生成随机化相机运动以模拟真实拍摄条件合成渲染渲染包含多个角色的视频序列标注生成自动生成每帧的SOMA身体参数标注训练数据规模视频数量100,000个合成训练视频序列长度训练序列长度为N 120帧标注维度每帧585维SOMA特征向量数据划分训练集约90%验证集约10%️ 隐私与合规优势无真实数据训练GEM-X的训练数据完全由合成渲染视频构成这意味着无真实个人数据训练视频中不包含任何真实个体的影像隐私合规完全符合GDPR、CCPA等隐私法规要求商业友好所有训练数据都拥有适当的商业许可动作数据来源虽然Bones RigPlay-1包含来自真实表演者的动作捕捉数据但这些数据已被重新定位到固定骨骼上移除了任何个人特定的生物特征信号。所有其他训练组件RenderPeople、内部合成角色、HDRI Haven都是完全合成的或非个人资产。 多样性与泛化能力动作多样性Bones RigPlay-1提供的350,000个动作捕捉序列涵盖了广泛的活动、运动风格和身体动态确保模型学习到丰富的人类运动模式。外观多样性RenderPeople的500个高保真角色和3,500个内部合成角色提供了多样化的身体形状和外观尽管在人口统计学多样性方面可能存在一定限制。泛化机制GEM-X通过以下机制实现从合成到真实的泛化SOMA身体模型解耦输出表示77关节SOMA骨架是身份无关的运动多样性独立于外观动作捕捉数据提供了丰富的运动模式多角色场景训练训练场景包含多个合成角色帮助模型学习独立于特定角色外观的姿势估计 性能与评估评估指标GEM-X在内部合成数据上使用世界空间平均每关节位置误差W-MPJPESOMA 77关节骨架进行评估数据集指标GEM-XSOMA内部数据集W-MPJPE (mm) ↓115.2技术优势世界空间运动恢复能够从单目视频中恢复全局运动轨迹77关节全身姿态包括身体和手部的完整姿态估计动态相机支持支持无约束的动态相机视频商业使用许可所有训练数据和SOMA参数化身体模型都由NVIDIA拥有或发布在宽松许可下 实际应用场景游戏与动画GEM-X可以直接从视频中创建逼真的全身角色动画为游戏和电影应用提供高质量的动作捕捉解决方案。计算机视觉研究研究人员可以使用GEM-X进行人体运动分析、行为识别和交互理解等研究任务。生物力学分析在体育科学、康复医学和运动分析领域GEM-X提供了非侵入式的运动分析工具。3D内容创作内容创作者可以使用GEM-X从现有视频中提取3D人体运动用于数字人驱动和虚拟制作。 使用建议与最佳实践输入要求视频格式RGB张量(T, H, W, 3)任意分辨率人物边界框(T, 4)浮点数组xyxy像素坐标相机内参(T, 3)浮点数组Cliff表示焦距主点偏移部署考虑硬件要求推荐使用NVIDIA A100 80GB GPU软件依赖PyTorch 2.10.0PyTorch Lightning 2.6.1CUDA版本12.1操作系统Linux伦理使用指南获取适当许可处理真实人物视频时需获得合法授权隐私保护实施适当的隐私保护措施合规性遵守适用的隐私、生物识别或数据保护法律负责任使用避免用于未经授权的监视或深度伪造生成 快速开始要开始使用GEM-X您可以克隆项目仓库并运行演示脚本python scripts/demo/demo_soma.py --video video.mp4 --ckpt_path inputs/pretrained/gem_soma.ckpt 总结GEM-X的数据集策略代表了3D人体姿态估计领域的一个重要创新。通过完全依赖合成数据训练它不仅解决了隐私和版权问题还提供了高质量的标注数据。从Bones RigPlay-1的丰富动作数据到RenderPeople的高保真角色模型再到HDRI Haven的真实环境背景这一综合训练策略确保了模型在各种场景下的鲁棒性和准确性。无论您是计算机视觉研究人员、游戏开发者还是动画师GEM-X都提供了一个强大且合规的工具用于从单目视频中提取高质量的3D人体运动数据。其独特的训练数据策略不仅确保了模型的性能还为商业应用提供了法律上的安全保障。通过采用这种创新的训练方法GEM-X为3D人体姿态估计领域树立了新的标准展示了合成数据在解决现实世界问题中的巨大潜力。【免费下载链接】GEM-X项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/GEM-X创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考