Diffusion Policy 快速上手指南3 步通关让机器人学会看图自主决策【免费下载链接】diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址: https://gitcode.com/gh_mirrors/di/diffusion_policy第一次在实验室里给机械臂上课的人大多经历过同样的崩溃写了上百行状态机机械臂还是会在某个意想不到的角落卡住调了三天参数动作轨迹依然僵硬得像提线木偶。直到我遇到Diffusion Policy——这个来自哥伦比亚大学、丰田研究院和 MIT 等机构、发表于 RSS 2023 的开源机器人控制项目它把图像生成领域大放异彩的扩散模型搬进了动作空间让机械臂学会看着画面自主决策。这篇文章不打算按环境配置→数据采集→训练→部署的流水线讲一遍而是把整个上手过程拆成三关先搞懂它在解决什么难题再亲手跑通一次完整闭环最后学会把它调得更好用。全程不堆砌代码只讲清楚为什么。第一关看懂这张三连对比图你就理解了 Diffusion Policy 的一半机器人控制策略大致分三代理解它们的区别就理解了 Diffusion Policy 存在的意义。显式策略直接学习画面 → 动作的映射像查字典一样干脆。但它有个致命弱点——不会处理多模态。如果同一张画面下存在两条同样合理的动作路径比如从左边绕和从右边绕都能成功它会和稀泥把两条正确轨迹平均成一条不存在的废动作。隐式策略不直接输出动作而是训练一个能量函数推理时用优化去找能量最低点。理论很优美但每次都要现场跑一轮优化又慢又容易陷进局部最优。扩散策略Diffusion Policy换个思路把画一张图的扩散过程套到动作上。推理时先随机撒一把噪声再根据观测一步步把噪声洗成一段平滑的动作序列。因为生成过程天生支持分布采样它既能表达多模态又不用在推理时做昂贵优化。上图从左到右依次是显式、隐式和扩散策略的机制对比显式策略靠回归或分类直接输出动作隐式策略靠能量优化间接求解而扩散策略靠迭代去噪逐步生成动作。真实的机器人任务几乎都是一图多解的——Push-T 任务里 T 形块可以从两侧推入目标区抓取任务里可以抓把手也可以抓杯身。谁更能表达这种多解性谁的成功率就更高这正是 Diffusion Policy 的核心优势。第二关一次完整上手——从空目录到机器人自己动起来这一关是一条贯穿全文的主线任务用一下午时间跑通喂数据 → 训练 → 落地的完整闭环。你可以先在模拟环境里练手硬件齐全后再上真实机器人。起步装备3 分钟完成环境搭建模拟环境只需要一台 Linux 机器加 NVIDIA GPU。拿到代码git clone https://gitcode.com/gh_mirrors/di/diffusion_policy cd diffusion_policy装系统依赖并创建 conda 环境sudo apt install -y libosmesa6-dev libgl1-mesa-glx libglfw3 patchelf mamba env create -f conda_environment.yaml conda activate robodiff小贴士想先零成本感受一下项目还提供了免安装的 Colab 笔记本状态版和视觉版各一份在浏览器里就能跑完训练 → 评估的全流程适合正式动手前先建立体感。喂数据演示数据到底长什么样Diffusion Policy 属于模仿学习——先看人类演示再学着做。所有演示都存在一个 zarr 格式的 replay buffer 里data/pusht_cchi_v7_replay.zarr ├── data │ ├── action (25650, 2) float32 │ ├── img (25650, 96, 96, 3) float32 │ └── state (25650, 5) float32 └── meta └── episode_ends (206,) int64时间轴上的每一帧 一张图像 一个机器人状态 一个动作episode_ends标记每一段演示的结束位置。真实机器人采集的数据结构类似只是把img换成相机画面color、把state换成robot_state。数据落地存放在diffusion_policy/common/replay_buffer.py压缩、切片、内存加载都由它负责。如果你手头有 UR5 机器人和 SpaceMouse采集一段自己的演示只需要一条命令python demo_real_robot.py -o data/demo_pusht_real --robot_ip 192.168.0.204按C开始录制用 SpaceMouse 遥控机械臂按S停止——就这么简单。跑训练一条命令盯住一个指标训练入口只有一个文件train.py选好 workspace 配置即可python train.py --config-nametrain_diffusion_unet_real_image_workspace task.dataset_pathdata/demo_pusht_real训练过程中模型每 50 个 epoch 会自动在环境中评估一次只需要盯住一个指标test/mean_score成功率。检查点会按分数自动命名存档例如epoch0550-test_mean_score0.969.ckpt——一眼就能看出哪个模型最好用。官方实验日志里Push-T 任务的成功率指标普遍在 0.9 以上部分任务甚至能到 1.0。落地把控制权交给策略模拟环境里评估一个训练好的模型python eval.py --checkpoint data/epoch0550-test_mean_score0.969.ckpt --output_dir data/pusht_eval_output真实机器人上则是python eval_real_robot.py -i data/outputs/你的实验目录/checkpoints/latest.ckpt -o data/eval_pusht_real --robot_ip 192.168.0.204按C键把控制权交给策略按S键暂停当前回合。所有评估结果指标 回放视频都会汇总到eval_log.json里方便你复盘每一次表现。真实部署的实时控制由diffusion_policy/real_world/real_env.py和rtde_interpolation_controller.py协作完成——观测采集和动作执行是异步的保证策略思考和机械臂运动互不阻塞。第三关从能跑到好用——3 个旋钮 1 张对比图跑通只是及格想让策略稳定又顺滑关键是拧对下面三个旋钮。旋钮 1动作平滑。在真实机器人上给max_pos_speed和max_rot_speed设置合理上限能避免机械臂猛冲猛停。旋钮 2控制频率与缓冲区。调高frequency会让控制更细腻但别忘了同步放大观测缓冲区如max_obs_buffer_size否则策略看到的永远是旧画面。旋钮 3数据与模型。更丰富多样的演示数据、更合适的扩散步数与噪声调度、以及 UNet 或 Transformer 两种骨干网络的切换都能带来明显收益。那 Diffusion Policy 到底比别的策略强多少这张图给出了最直观的答案同样是把 T 形块推入目标的多模态任务Diffusion Policy左一的轨迹平滑集中几乎没有多余的探索而 LSTM-GMM 和 BET 的轨迹乱成一团、反复震荡。面对同一个画面存在多种解法的情况前者稳定输出合理轨迹后者则暴露了显式策略多模态和稀泥的通病——这就是 Diffusion Policy 在真实部署中更可靠的底层原因。避坑指南新手最常见的 5 个坑坑 1忘了登录 wandb。训练脚本默认会把指标同步到 wandb先执行wandb login否则训练可能直接卡住。坑 2归一化参数出错。数据归一化是项目里最常见的 bug 来源遇到结果离谱时把LinearNormalizer的scale和bias打出来核对一遍。坑 3多进程环境段错误。项目用fork启动多进程环境若环境初始化了 OpenGL 上下文子进程继承后容易段错误需要提供一个不初始化 OpenGL 的dummy_env_fn兜底。坑 4相机掉流、数据丢失。先用realsense-viewer确认相机连接再核对相机序列号配置在diffusion_policy/config/task/real_pusht_image.yaml里最后检查 USB 供电。坑 5动作执行延迟。检查frequency是否匹配、共享内存缓冲区是否够大、系统负载是否过高。⚠️注意在真实机器人上操作时请永远确保急停按钮在可及范围内——这不是一句客套话。写在最后现在轮到你动手了回顾一下这条通关路线第一关搞懂了 Diffusion Policy 用动作扩散解决多模态难题的机制第二关亲手跑通了从数据到部署的完整闭环第三关学会了用三个旋钮把策略调得更顺滑。整个过程不需要你精通扩散模型的数学细节项目把最复杂的部分都封装在了diffusion_policy/policy/和diffusion_policy/workspace/的清晰分层里。如果你正被机械臂怎么教都教不会困扰或者想在机器人控制领域快速起步Diffusion Policy 是当下性价比最高的选择之一。现在就动手克隆仓库、用模拟数据跑通第一次训练、再去 GitHub 上给项目点个 Star——从看懂到跑通只差你敲下第一条命令的距离。【免费下载链接】diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址: https://gitcode.com/gh_mirrors/di/diffusion_policy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Diffusion Policy 快速上手指南：3 步通关，让机器人学会看图自主决策
Diffusion Policy 快速上手指南3 步通关让机器人学会看图自主决策【免费下载链接】diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址: https://gitcode.com/gh_mirrors/di/diffusion_policy第一次在实验室里给机械臂上课的人大多经历过同样的崩溃写了上百行状态机机械臂还是会在某个意想不到的角落卡住调了三天参数动作轨迹依然僵硬得像提线木偶。直到我遇到Diffusion Policy——这个来自哥伦比亚大学、丰田研究院和 MIT 等机构、发表于 RSS 2023 的开源机器人控制项目它把图像生成领域大放异彩的扩散模型搬进了动作空间让机械臂学会看着画面自主决策。这篇文章不打算按环境配置→数据采集→训练→部署的流水线讲一遍而是把整个上手过程拆成三关先搞懂它在解决什么难题再亲手跑通一次完整闭环最后学会把它调得更好用。全程不堆砌代码只讲清楚为什么。第一关看懂这张三连对比图你就理解了 Diffusion Policy 的一半机器人控制策略大致分三代理解它们的区别就理解了 Diffusion Policy 存在的意义。显式策略直接学习画面 → 动作的映射像查字典一样干脆。但它有个致命弱点——不会处理多模态。如果同一张画面下存在两条同样合理的动作路径比如从左边绕和从右边绕都能成功它会和稀泥把两条正确轨迹平均成一条不存在的废动作。隐式策略不直接输出动作而是训练一个能量函数推理时用优化去找能量最低点。理论很优美但每次都要现场跑一轮优化又慢又容易陷进局部最优。扩散策略Diffusion Policy换个思路把画一张图的扩散过程套到动作上。推理时先随机撒一把噪声再根据观测一步步把噪声洗成一段平滑的动作序列。因为生成过程天生支持分布采样它既能表达多模态又不用在推理时做昂贵优化。上图从左到右依次是显式、隐式和扩散策略的机制对比显式策略靠回归或分类直接输出动作隐式策略靠能量优化间接求解而扩散策略靠迭代去噪逐步生成动作。真实的机器人任务几乎都是一图多解的——Push-T 任务里 T 形块可以从两侧推入目标区抓取任务里可以抓把手也可以抓杯身。谁更能表达这种多解性谁的成功率就更高这正是 Diffusion Policy 的核心优势。第二关一次完整上手——从空目录到机器人自己动起来这一关是一条贯穿全文的主线任务用一下午时间跑通喂数据 → 训练 → 落地的完整闭环。你可以先在模拟环境里练手硬件齐全后再上真实机器人。起步装备3 分钟完成环境搭建模拟环境只需要一台 Linux 机器加 NVIDIA GPU。拿到代码git clone https://gitcode.com/gh_mirrors/di/diffusion_policy cd diffusion_policy装系统依赖并创建 conda 环境sudo apt install -y libosmesa6-dev libgl1-mesa-glx libglfw3 patchelf mamba env create -f conda_environment.yaml conda activate robodiff小贴士想先零成本感受一下项目还提供了免安装的 Colab 笔记本状态版和视觉版各一份在浏览器里就能跑完训练 → 评估的全流程适合正式动手前先建立体感。喂数据演示数据到底长什么样Diffusion Policy 属于模仿学习——先看人类演示再学着做。所有演示都存在一个 zarr 格式的 replay buffer 里data/pusht_cchi_v7_replay.zarr ├── data │ ├── action (25650, 2) float32 │ ├── img (25650, 96, 96, 3) float32 │ └── state (25650, 5) float32 └── meta └── episode_ends (206,) int64时间轴上的每一帧 一张图像 一个机器人状态 一个动作episode_ends标记每一段演示的结束位置。真实机器人采集的数据结构类似只是把img换成相机画面color、把state换成robot_state。数据落地存放在diffusion_policy/common/replay_buffer.py压缩、切片、内存加载都由它负责。如果你手头有 UR5 机器人和 SpaceMouse采集一段自己的演示只需要一条命令python demo_real_robot.py -o data/demo_pusht_real --robot_ip 192.168.0.204按C开始录制用 SpaceMouse 遥控机械臂按S停止——就这么简单。跑训练一条命令盯住一个指标训练入口只有一个文件train.py选好 workspace 配置即可python train.py --config-nametrain_diffusion_unet_real_image_workspace task.dataset_pathdata/demo_pusht_real训练过程中模型每 50 个 epoch 会自动在环境中评估一次只需要盯住一个指标test/mean_score成功率。检查点会按分数自动命名存档例如epoch0550-test_mean_score0.969.ckpt——一眼就能看出哪个模型最好用。官方实验日志里Push-T 任务的成功率指标普遍在 0.9 以上部分任务甚至能到 1.0。落地把控制权交给策略模拟环境里评估一个训练好的模型python eval.py --checkpoint data/epoch0550-test_mean_score0.969.ckpt --output_dir data/pusht_eval_output真实机器人上则是python eval_real_robot.py -i data/outputs/你的实验目录/checkpoints/latest.ckpt -o data/eval_pusht_real --robot_ip 192.168.0.204按C键把控制权交给策略按S键暂停当前回合。所有评估结果指标 回放视频都会汇总到eval_log.json里方便你复盘每一次表现。真实部署的实时控制由diffusion_policy/real_world/real_env.py和rtde_interpolation_controller.py协作完成——观测采集和动作执行是异步的保证策略思考和机械臂运动互不阻塞。第三关从能跑到好用——3 个旋钮 1 张对比图跑通只是及格想让策略稳定又顺滑关键是拧对下面三个旋钮。旋钮 1动作平滑。在真实机器人上给max_pos_speed和max_rot_speed设置合理上限能避免机械臂猛冲猛停。旋钮 2控制频率与缓冲区。调高frequency会让控制更细腻但别忘了同步放大观测缓冲区如max_obs_buffer_size否则策略看到的永远是旧画面。旋钮 3数据与模型。更丰富多样的演示数据、更合适的扩散步数与噪声调度、以及 UNet 或 Transformer 两种骨干网络的切换都能带来明显收益。那 Diffusion Policy 到底比别的策略强多少这张图给出了最直观的答案同样是把 T 形块推入目标的多模态任务Diffusion Policy左一的轨迹平滑集中几乎没有多余的探索而 LSTM-GMM 和 BET 的轨迹乱成一团、反复震荡。面对同一个画面存在多种解法的情况前者稳定输出合理轨迹后者则暴露了显式策略多模态和稀泥的通病——这就是 Diffusion Policy 在真实部署中更可靠的底层原因。避坑指南新手最常见的 5 个坑坑 1忘了登录 wandb。训练脚本默认会把指标同步到 wandb先执行wandb login否则训练可能直接卡住。坑 2归一化参数出错。数据归一化是项目里最常见的 bug 来源遇到结果离谱时把LinearNormalizer的scale和bias打出来核对一遍。坑 3多进程环境段错误。项目用fork启动多进程环境若环境初始化了 OpenGL 上下文子进程继承后容易段错误需要提供一个不初始化 OpenGL 的dummy_env_fn兜底。坑 4相机掉流、数据丢失。先用realsense-viewer确认相机连接再核对相机序列号配置在diffusion_policy/config/task/real_pusht_image.yaml里最后检查 USB 供电。坑 5动作执行延迟。检查frequency是否匹配、共享内存缓冲区是否够大、系统负载是否过高。⚠️注意在真实机器人上操作时请永远确保急停按钮在可及范围内——这不是一句客套话。写在最后现在轮到你动手了回顾一下这条通关路线第一关搞懂了 Diffusion Policy 用动作扩散解决多模态难题的机制第二关亲手跑通了从数据到部署的完整闭环第三关学会了用三个旋钮把策略调得更顺滑。整个过程不需要你精通扩散模型的数学细节项目把最复杂的部分都封装在了diffusion_policy/policy/和diffusion_policy/workspace/的清晰分层里。如果你正被机械臂怎么教都教不会困扰或者想在机器人控制领域快速起步Diffusion Policy 是当下性价比最高的选择之一。现在就动手克隆仓库、用模拟数据跑通第一次训练、再去 GitHub 上给项目点个 Star——从看懂到跑通只差你敲下第一条命令的距离。【免费下载链接】diffusion_policy[RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion项目地址: https://gitcode.com/gh_mirrors/di/diffusion_policy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考