具身智能领域常见机器人平台与数据格式

VLA 领域常见机器人平台与数据格式调研面向具身智能 / VLA 模型学习者整理主流机器人平台、数据集、数据格式及动作空间设计。目录文章目录VLA 领域常见机器人平台与数据格式调研目录1. 机器人平台分类1.1 单臂协作机器人Franka Emika / Franka Research 3 (Panda)UFACTORY xArm 6 / xArm 7WidowX 250 (Interbotix)UR5 / UR5e (Universal Robots)1.2 双臂 / 双手灵巧平台ALOHA (Bimanual Teleoperation)Mobile ALOHA1.3 移动操作机器人1.4 人形机器人2024-2025 新兴方向2. 主流开源数据集2.1 Open X-Embodiment (OXE)2.2 DROID2.3 BridgeData V22.4 RT-1 / RT-2 数据集2.5 RoboNet2.6 ALOHA / ACT 数据集2.7 其他重要数据集 (2024-2025)3. 数据格式标准3.1 RLDS (Reinforcement Learning Data Standard)3.2 LeRobot 格式 (HuggingFace)3.3 HDF5 格式3.4 格式对比总结4. 动作空间设计对比4.1 两种主流选择末端执行器 (EE) 空间控制关节空间 (Joint Space) 控制4.2 实际选择建议4.3 特殊设计5. 快速参考速查表5.1 数据集 → 机器人 → 格式5.2 机器人 → 控制频率 → 典型传感器主要参考来源1. 机器人平台分类1.1 单臂协作机器人Franka Emika / Franka Research 3 (Panda)VLA 领域使用最广泛的机器人平台。参数规格自由度 (DOF)7负载3 kg臂展855 mm关节力矩传感器7 个每关节集成控制频率1 kHz(1000 Hz)重复定位精度 ±0.1 mm夹爪Franka Hand两指平行电动夹爪730g控制接口libfranka (C), pylibfranka (Python), franka_ros / franka_ros2控制模式关节力矩/位置/速度、笛卡尔位姿/速度、笛卡尔/关节阻抗控制VLA 中典型使用: DROID 数据集、Open X-Embodiment 中的多个子集CMU Franka、NYU Franka 等UFACTORY xArm 6 / xArm 7参数xArm 6xArm 7自由度67负载5 kg3.5 kg臂展700 mm700 mm重复定位精度±0.1 mm±0.1 mm最大关节速度180 deg/s180 deg/s最大 TCP 速度1 m/s1 m/s状态上报频率5 Hz (normal/rich), 100 Hz (dev)同F/T 传感器频率200 Hz (AI1500)同夹爪xArm Gripper / Robotiq / Vacuum / BIO 等多种VLA 中典型使用: Open X-Embodiment 中的 utokyo_xarm 系列7D 动作空间: xyzrpygripperLeRobot 集成WidowX 250 (Interbotix)低成本研究用机械臂BridgeData V2 唯一使用的平台。参数规格自由度6成本~$4,000摄像头4 个RealSense D435 RGBD 2x Logitech C920 Raspberry Pi 腕部图像分辨率640x480训练下采样至 128x128 或 256x256控制频率5 Hz遥操作VR 控制器VLA 中典型使用: BridgeData V1/V2, RT-1 训练数据之一UR5 / UR5e (Universal Robots)参数规格自由度6负载5 kg臂展850 mm控制频率125 Hz (RTDE), 500 Hz (CB3)VLA 中典型使用: Berkeley Autolab UR5 (OXE 子集), RH20T1.2 双臂 / 双手灵巧平台ALOHA (Bimanual Teleoperation)参数规格结构2 个 leader 臂 2 个 follower (puppet) 臂单臂自由度6 关节动作空间14-D 左臂 6 关节 右臂 6 关节 2 夹爪控制方式绝对关节角度target qpos数据格式HDF5 (.hdf5)观测多视角 RGBtop, left_wrist, right_wrist, front qpos特色Action Chunking: 一次预测 100 步未来动作Mobile ALOHA在 ALOHA 基础上增加移动底座支持全身双手移动操作。动作空间额外包含 base 运动。VLA 中典型使用: ACT (Action Chunking Transformer) 论文1.3 移动操作机器人平台自由度典型数据集说明Fetch7-DOF 臂 移动底座OXE 子集经典研究平台PR2双 7-DOF 臂 移动底座RoboNet已停产的老牌平台Stretch (Hello Robot)3-DOF 升降臂 移动底座多个 OXE 子集低成本家用研究平台Everyday Robots (EDR)7-DOF 臂 移动底座RT-1130K episodesGoogle 内部已关停1.4 人形机器人2024-2025 新兴方向平台自由度说明Figure 02全身Figure AI2024 发布Tesla Optimus全身Tesla2024-2025 推进Unitree H1全身宇树科技相对低成本Fourier GR-1/GR-2全身傅利叶智能1X Neo轮式人形1X Technologies人形机器人目前尚无大规模公开数据集多为各厂商自研 / 未公开。2. 主流开源数据集2.1 Open X-Embodiment (OXE)论文: Open X-Embodiment: Robotic Learning Datasets and RT-X Models (2023, Google DeepMind 21 家机构)核心数据:指标数值子数据集数60机器人类型22 种总轨迹数100 万参与机构21 家统一动作空间 (7-D):[x, y, z, roll, pitch, yaw, gripper_open]动作频率:3 HzRT-1/RT-X 模型输出仅保留主相机 RGB 语言指令不包含深度图、腕部相机数据格式:RLDS (TFDS)部分子数据集列表:子数据集机器人轨迹数动作空间FractalEveryday Robots大量7-DBridge Data V2WidowX 25060K7-D deltaKukaKuka IIWA多种7-DLanguage TablexArm多种2-DStanford HydraFranka 双手多种14-DBerkeley Autolab UR5UR5多种7-DCMU FrankaFranka多种7-DNYU FrankaFranka多种7-DUTokyo xArm (pick place)xArm 7-DOF1027-DUTokyo xArm (bimanual)双 xArm7014-D (77)Taco PlayFranka多种7-DBC-ZEveryday Robots多种7-DGitHub: https://github.com/google-deepmind/open_x_embodiment2.2 DROID论文: DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset (2024)指标数值总轨迹数76,000总时长350 小时场景数564任务数86数据采集者50 人12 个月机器人Franka Panda 7-DoF唯一平台传感器配置:2xZed 2 立体相机外部、可调节1xZed Mini 立体相机腕部遥操作:Oculus Quest 2VR动作空间:[dx, dy, dz, droll, dpitch, dyaw, gripper] (7-D delta)数据格式: TFDS / RLDS (可通过 HuggingFace 镜像:KarlP/droid)项目网站: https://droid-dataset.github.io/2.3 BridgeData V2论文: BridgeData V2: A Dataset for Robot Learning at Scale (CoRL 2023)指标数值总轨迹数60,096人类遥操作50,365脚本化 rollout9,731环境数24技能类别13不同物体100平均轨迹长度38 steps控制频率5 Hz总时长~127 小时原始存储~441 GB机器人: WidowX 250 6-DOF唯一平台传感器: 4 个摄像头1x RealSense D435 RGBD 2x C920 1x 腕部 Pi Camera动作空间:[dx, dy, dz, drot_x, drot_y, drot_z, gripper] (7-D delta)数据格式:原始: JPEG PNG pickle (.pkl) → ZIP处理后:RLDS / TFDS(TFRecord, 1024 shards)GitHub: https://github.com/rail-berkeley/bridge_data_v22.4 RT-1 / RT-2 数据集RT-1(论文):130,000 episodes, 700 任务机器人: 13 台Everyday Robots (EDR) Kuka IIWA 模拟数据动作空间:11-D 7-D arm (xyzrpygripper) 3-D base (x,y,yaw) 1-D mode (arm/base/terminate)动作离散化为每维 256 bins频率: 3 HzRT-2(论文):将机器人动作tokenize 为文本字符串如1 128 91 241 5 101 127 217基于 PaLI-X (55B) / PaLM-E (12B) 视觉语言模型在 OXE 数据集 互联网图文数据上联合微调2.5 RoboNet机器人:7 台 PR2 1 台 Sawyer7 个不同摄像头视角约 160K trajectories自定义数据格式非 RLDS2.6 ALOHA / ACT 数据集格式:HDF5 (.hdf5)动作:14-D绝对关节角度66 关节 2 夹爪观测: 多视角 RGB qposAction Chunking: 一次预测 100 步2.7 其他重要数据集 (2024-2025)数据集年份机器人轨迹数特点AgiBot World2025全身移动操作100 万最大规模真机数据集RoboSet2024多平台35K多任务多场景RH20T2023-2024多平台110K多模态含触觉OpenVLA2024OXE 子集970K用于训练 OpenVLA 模型3. 数据格式标准3.1 RLDS (Reinforcement Learning Data Standard)GitHub: https://github.com/google-research/rlds核心概念:每数据集 tf.data.DatasetofEpisodes每 Episode steps(tf.data.Dataset of Steps) metadata每 Step {observation, action, reward, discount, is_first, is_last, is_terminal}Episode 结构示例:episode{steps:tf.data.Dataset,# 每个元素是 Step 字典metadata:{episode_id:...,environment_config:{...}}}step{observation:{image:rgb_array,wrist_image:rgb_array,state:joint_positions,natural_language_instruction:...},action:7-d vector,reward:0.0,discount:1.0,is_first:True,is_last:False,is_terminal:False}关键特性:基于TensorFlow Datasets (TFDS)支持并行 shuffle、交错处理、内存高效批处理所有 Step 必须使用相同 schema遵循 RL 惯例: (o_t, a_t, r_t, d_t)3.2 LeRobot 格式 (HuggingFace)GitHub: https://github.com/huggingface/lerobotv3.0 文件结构:dataset_name/ ├── meta/ │ ├── info.json # 特征定义、类型、shape │ ├── stats.json # 归一化统计量 │ ├── tasks.parquet # 任务/语言指令 │ └── episodes.parquet # Episode 元数据 ├── data/ │ ├── chunk-000/ │ │ ├── observation.images.cam_high.parquet │ │ ├── observation.images.cam_left_wrist.parquet │ │ ├── observation.state.parquet │ │ ├── action.parquet │ │ ├── episode_index.parquet │ │ └── ... │ ├── chunk-001/ │ │ └── ... │ └── ... └── videos/ ├── observation.images.cam_high/ │ ├── chunk-000/ │ │ ├── episode_000000.mp4 │ │ └── ... │ └── ... └── ...核心特点:Parquet存储状态/动作数据列式存储高效查询和流式加载MP4 视频存储视觉数据与状态/动作同步分块 (chunk) 组织提高存储和加载效率直接托管在HuggingFace Hub支持流式下载硬件无关支持简单机械臂到人形机器人同时支持关节空间和末端执行器空间控制使用方式:dataset LeRobotDataset(lerobot/aloha_mobile_cabinet)3.3 HDF5 格式ALOHA / ACT 等早期项目使用。单个 HDF5 文件包含多个 episode灵活性高但无标准化 schema不适合大规模分布式训练3.4 格式对比总结特性RLDS (TFDS)LeRobot (Parquet)HDF5存储后端TFRecordParquet MP4HDF5流式加载✅ (tf.data)✅ (HuggingFace Hub)❌跨平台✅ (OXE 统一)✅ (硬件无关)❌视频支持图片序列✅ MP4 视频图片序列标准化 schema✅ 严格✅ 灵活❌ 无标准主要用户Google / DeepMindHuggingFace 社区早期研究项目压缩TFRecord 压缩Parquet snappy MP4gzip4. 动作空间设计对比4.1 两种主流选择末端执行器 (EE) 空间控制[dx, dy, dz, droll, dpitch, dyaw, gripper] (7-D delta) 或 [x, y, z, roll, pitch, yaw, gripper] (7-D absolute)使用方: OXE、DROID、BridgeData V2、RT-1优点:跨机器人泛化更容易不同机器人共用同一表示与视觉输入对齐更自然图像空间到笛卡尔空间易于通过逆运动学 (IK) 部署到不同机器人缺点:需要 IK 求解器可能有多解/奇异点问题丢失关节力矩等本体感知信息不同机器人工作空间不同需要归一化关节空间 (Joint Space) 控制[q1, q2, q3, q4, q5, q6, q7, gripper] (N-DOF gripper)使用方: ALOHA / ACT, 部分灵巧手操作优点:直接控制无需 IK可精确控制每个关节力矩/阻抗更自然用于双手灵巧操作缺点:跨机器人泛化困难不同 DOF 数、不同运动学结构需要学习机器人特定的运动学同样动作在不同机器人上对应不同关节配置4.2 实际选择建议场景推荐理由多机器人/跨平台泛化EE deltaOXE 统一格式易于迁移单手操作抓取/放置EE delta简单高效工业界主流双手灵巧操作关节空间需要精确关节协调人形机器人关节空间DOF 多EE 难以表示接触密集型任务关节空间/混合需要力矩/阻抗信息4.3 特殊设计RT-1 动作离散化: 每维 256 bins → 动作 token 化RT-2 动作文本化: 动作数字串 → 与语言 token 统一ACT Action Chunking: 一次预测 100 步未来动作减少累积误差提高时序一致性Diffusion Policy: 动作表示为去噪过程天然支持多模态分布5. 快速参考速查表5.1 数据集 → 机器人 → 格式数据集机器人动作空间格式频率OXE22 种7-D EE absRLDS/TFDS3 HzDROIDFranka7-D EE deltaTFDS-BridgeData V2WidowX7-D EE deltaRLDS/TFDS5 HzRT-1EDR Kuka11-D (731)RLDS3 HzALOHA/ACTALOHA 双臂14-D joint absHDF5-LeRobot多平台EE/joint 均可ParquetMP4-5.2 机器人 → 控制频率 → 典型传感器机器人DOF控制频率典型传感器夹爪Franka FR371000 Hz关节力矩传感器Franka HandxArm 77100 Hz (dev)F/T 200Hz多种可选WidowX 25065 Hz4x RGB内置UR5e6125-500 Hz外部相机多种可选ALOHA2x6-4x RGB内置主要参考来源Open X-Embodiment: https://arxiv.org/abs/2310.08864 | https://github.com/google-deepmind/open_x_embodimentDROID: https://arxiv.org/abs/2403.12945 | https://droid-dataset.github.io/BridgeData V2: https://arxiv.org/abs/2308.12952 | https://github.com/rail-berkeley/bridge_data_v2RT-1: https://arxiv.org/abs/2212.06817RT-2: https://arxiv.org/abs/2307.15818ACT / ALOHA: https://github.com/tonyzhaozh/act | https://mobile-aloha.github.io/LeRobot: https://github.com/huggingface/lerobotRLDS: https://github.com/google-research/rldsFranka FR3: https://franka.de/xArm: https://www.ufactory.cc/RLDS format specification: https://github.com/google-research/rlds/blob/main/rlds/rlds_metadata.proto