：从安装到首次推理的简单教程)
如何快速上手X-VLA (LeRobot)从安装到首次推理的简单教程【免费下载链接】xvla-base项目地址: https://ai.gitcode.com/hf_mirrors/lerobot/xvla-baseX-VLA (LeRobot) 是一款强大的视觉-语言-动作基础模型采用软提示技术在统一的Transformer架构中实现跨机器人和跨领域的控制能力。本教程将帮助你快速掌握从安装到首次推理的完整流程让你轻松开启机器人控制之旅。 准备工作安装X-VLA (LeRobot)简单安装步骤X-VLA (LeRobot) 提供了便捷的Python包安装方式只需一行命令即可完成核心功能的安装pip install lerobot[xvla]完整安装指南如需安装可选的视频依赖如用于torchcodec的ffmpeg请参考官方文档获取详细说明。 配置环境准备模型和数据集克隆项目仓库首先克隆X-VLA (LeRobot) 的项目仓库到本地git clone https://gitcode.com/hf_mirrors/lerobot/xvla-base模型文件说明在项目目录中你会看到以下关键文件model.safetensors模型权重文件config.json模型配置文件policy_preprocessor.json和policy_postprocessor.json策略预处理和后处理配置 快速开始首次推理体验加载模型和数据集以下是加载X-VLA模型并运行推理的简单示例代码import torch from lerobot.datasets.lerobot_dataset import LeRobotDataset from lerobot.policies.factory import make_pre_post_processors from lerobot.policies.xvla.modeling_xvla import XVLAPolicy # 加载策略 model_id lerobot/xvla-base device torch.device(cuda if torch.cuda.is_available() else cpu) policy XVLAPolicy.from_pretrained(model_id).to(device).eval() # 创建预处理和后处理 preprocess, postprocess make_pre_post_processors( policy.config, model_id, preprocessor_overrides{device_processor: {device: str(device)}}, ) # 加载数据集 dataset LeRobotDataset(lerobot/libero)执行推理从数据集中选择一个样本进行预处理后输入模型获取预测动作# 选择一个 episode episode_index 0 from_idx dataset.meta.episodes[dataset_from_index][episode_index] to_idx dataset.meta.episodes[dataset_to_index][episode_index] # 获取一帧数据 frame_index from_idx frame dict(dataset[frame_index]) # 预处理并推理 batch preprocess(frame) with torch.inference_mode(): pred_action policy.select_action(batch) pred_action postprocess(pred_action) 训练与微调定制你的模型基本训练命令使用lerobot-train脚本可以方便地进行模型训练和微调lerobot-train \ --dataset.repo_id${HF_USER}/dataset \ --output_dir./outputs/[RUN_NAME] \ --job_name[RUN_NAME] \ --policy.repo_id${HF_USER}/desired_policy_repo_id \ --policy.pathlerobot/[BASE_CHECKPOINT] \ --policy.dtypebfloat16 \ --policy.devicecuda \ --steps100000 \ --batch_size4常用训练参数根据你的需求可以添加以下策略特定的参数--policy.chunk_size...设置块大小--policy.n_action_steps...设置动作步数--policy.max_action_tokens...设置最大动作令牌数--policy.gradient_checkpointingtrue启用梯度检查点 实际应用推理与评估使用lerobot-record脚本可以在真实环境中运行推理并记录评估结果lerobot-record \ --robot.typeso100_follower \ --robot.port/dev/ttyACM1 \ --robot.cameras{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}, side: {type: intelrealsense, serial_number_or_name: 233522074606, width: 640, height: 480, fps: 30}} \ --robot.idmy_awesome_follower_arm \ --display_datafalse \ --dataset.repo_id${HF_USER}/eval_so100 \ --dataset.single_taskPut lego brick into the transparent box \ --policy.path${HF_USER}/my_policy 总结通过本教程你已经了解了X-VLA (LeRobot) 的基本安装、配置和使用方法。从简单的推理到复杂的训练微调X-VLA (LeRobot) 提供了灵活而强大的工具链帮助你在机器人控制领域快速上手并实现自己的创意。如果你想深入了解更多细节可以查阅项目中的README.md文件那里有更全面的文档和示例代码。现在就开始你的X-VLA (LeRobot) 之旅吧【免费下载链接】xvla-base项目地址: https://ai.gitcode.com/hf_mirrors/lerobot/xvla-base创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何快速上手X-VLA (LeRobot)：从安装到首次推理的简单教程
如何快速上手X-VLA (LeRobot)从安装到首次推理的简单教程【免费下载链接】xvla-base项目地址: https://ai.gitcode.com/hf_mirrors/lerobot/xvla-baseX-VLA (LeRobot) 是一款强大的视觉-语言-动作基础模型采用软提示技术在统一的Transformer架构中实现跨机器人和跨领域的控制能力。本教程将帮助你快速掌握从安装到首次推理的完整流程让你轻松开启机器人控制之旅。 准备工作安装X-VLA (LeRobot)简单安装步骤X-VLA (LeRobot) 提供了便捷的Python包安装方式只需一行命令即可完成核心功能的安装pip install lerobot[xvla]完整安装指南如需安装可选的视频依赖如用于torchcodec的ffmpeg请参考官方文档获取详细说明。 配置环境准备模型和数据集克隆项目仓库首先克隆X-VLA (LeRobot) 的项目仓库到本地git clone https://gitcode.com/hf_mirrors/lerobot/xvla-base模型文件说明在项目目录中你会看到以下关键文件model.safetensors模型权重文件config.json模型配置文件policy_preprocessor.json和policy_postprocessor.json策略预处理和后处理配置 快速开始首次推理体验加载模型和数据集以下是加载X-VLA模型并运行推理的简单示例代码import torch from lerobot.datasets.lerobot_dataset import LeRobotDataset from lerobot.policies.factory import make_pre_post_processors from lerobot.policies.xvla.modeling_xvla import XVLAPolicy # 加载策略 model_id lerobot/xvla-base device torch.device(cuda if torch.cuda.is_available() else cpu) policy XVLAPolicy.from_pretrained(model_id).to(device).eval() # 创建预处理和后处理 preprocess, postprocess make_pre_post_processors( policy.config, model_id, preprocessor_overrides{device_processor: {device: str(device)}}, ) # 加载数据集 dataset LeRobotDataset(lerobot/libero)执行推理从数据集中选择一个样本进行预处理后输入模型获取预测动作# 选择一个 episode episode_index 0 from_idx dataset.meta.episodes[dataset_from_index][episode_index] to_idx dataset.meta.episodes[dataset_to_index][episode_index] # 获取一帧数据 frame_index from_idx frame dict(dataset[frame_index]) # 预处理并推理 batch preprocess(frame) with torch.inference_mode(): pred_action policy.select_action(batch) pred_action postprocess(pred_action) 训练与微调定制你的模型基本训练命令使用lerobot-train脚本可以方便地进行模型训练和微调lerobot-train \ --dataset.repo_id${HF_USER}/dataset \ --output_dir./outputs/[RUN_NAME] \ --job_name[RUN_NAME] \ --policy.repo_id${HF_USER}/desired_policy_repo_id \ --policy.pathlerobot/[BASE_CHECKPOINT] \ --policy.dtypebfloat16 \ --policy.devicecuda \ --steps100000 \ --batch_size4常用训练参数根据你的需求可以添加以下策略特定的参数--policy.chunk_size...设置块大小--policy.n_action_steps...设置动作步数--policy.max_action_tokens...设置最大动作令牌数--policy.gradient_checkpointingtrue启用梯度检查点 实际应用推理与评估使用lerobot-record脚本可以在真实环境中运行推理并记录评估结果lerobot-record \ --robot.typeso100_follower \ --robot.port/dev/ttyACM1 \ --robot.cameras{ up: {type: opencv, index_or_path: /dev/video10, width: 640, height: 480, fps: 30}, side: {type: intelrealsense, serial_number_or_name: 233522074606, width: 640, height: 480, fps: 30}} \ --robot.idmy_awesome_follower_arm \ --display_datafalse \ --dataset.repo_id${HF_USER}/eval_so100 \ --dataset.single_taskPut lego brick into the transparent box \ --policy.path${HF_USER}/my_policy 总结通过本教程你已经了解了X-VLA (LeRobot) 的基本安装、配置和使用方法。从简单的推理到复杂的训练微调X-VLA (LeRobot) 提供了灵活而强大的工具链帮助你在机器人控制领域快速上手并实现自己的创意。如果你想深入了解更多细节可以查阅项目中的README.md文件那里有更全面的文档和示例代码。现在就开始你的X-VLA (LeRobot) 之旅吧【免费下载链接】xvla-base项目地址: https://ai.gitcode.com/hf_mirrors/lerobot/xvla-base创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考