CameraCtrl的10个关键推理参数详解video_length、guidance_scale与多GPU并行全攻略【免费下载链接】CameraCtrl项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrlCameraCtrl 是基于 AnimateDiff 的可控镜头运动文生视频模型只需一段相机轨迹 一句文本提示就能让镜头按你的运镜设计动起来。本文以 inference.py 为主线带你逐个吃透video_length、guidance_scale等 10 个最常用的推理参数并附上多GPU并行的完整使用攻略帮助新手一次跑通第一个镜头可控视频。一、先认识推理入口整个推理流程由一个脚本完成inference.py。它做四件事加载 SD1.5 AnimateDiffV3 运动模块 CameraCtrl 相机控制权重读取轨迹文件把每帧相机位姿转成 Plücker 嵌入核心算法见 ray_condition将提示词均匀切分到多张 GPU循环调用 CameraCtrlPipeline 生成并保存 mp4 视频。相机轨迹是 CameraCtrl 的灵魂——同一段文字提示配合不同轨迹镜头运动完全不同。官方示例轨迹的可视化如下每个小四棱锥代表一帧相机箭头表示位置移动方向二、10个关键推理参数逐一详解 参数1video_length视频帧数默认 16决定生成多少帧默认 16 与训练配置sample_n_frames: 16见 adv3_256_384_cameractrl_relora.yaml严格对齐建议保持 16。⚠️ 必须≤ 轨迹文件的行数否则切分时相特征帧数不够会直接报错。帧数越多视频越长但显存与耗时近似线性增长。参数2guidance_scale提示词跟随强度默认 14.0这是无分类器引导CFG系数。在 pipeline_animation.py 中大于 1 时会同时做条件 无条件两次前向再按uncond scale × (cond − uncond)融合。数值越大画面越贴合文字描述但过大容易出现色彩过饱和、细节扭曲调小则画面更随性。设为 ≤ 1 可完全关闭 CFG省算力。官方默认 14.0 偏高属于强跟随风格12~14 之间是不错的调参区间。参数3num_inference_steps去噪步数默认 25由model_config中noise_scheduler_kwargs决定的 DDIM 调度器执行步数。20~30 是质量与速度的平衡点低于 15 步时容易出现伪影与抖动。参数4image_height / image_width输出分辨率默认 256 × 384二者必须能被 8 整除VAE 下采样 8 倍否则check_inputs直接抛错。256×384 即训练分辨率sample_size: [256, 384]是效果最稳的选择。参数5trajectory_file相机轨迹文件必填每行一帧内容为帧序号 内参fx, fy, cx, cy 12 个数位的 world-to-camera 矩阵首行是表头链接代码会自动跳过。示例文件assets/pose_files/0f47577ab3441480.txt。没有现成轨迹可用 tools/select_realestate_poses.py 从 RealEstate10K 数据中随机截取 16 帧轨迹配套参考视频在 assets/reference_videos 中。参数6original_pose_width / original_pose_height轨迹原始分辨率默认 1280 × 720轨迹内参是在原视频分辨率下采集的而输出是 384×256。这两个参数告诉代码如何把焦距 fx/fy 等比映射到新分辨率宽高比不一致时自动按长边/短边 rescale 对应的 fx 或 fy。只要你用官方工具处理轨迹保持默认值即可。参数7model_config模型结构配置yaml指向 adv3_256_384_cameractrl_relora.yaml提供四组关键配置unet_additional_kwargs运动模块、noise_scheduler_kwargsDDIM 调度器、pose_encoder_kwargs位姿编码器、attention_processor_kwargs注意力注入方式。与下载的 CameraCtrl 权重配套无需手改。参数8visualization_captions 种子开关提示词与可复现性支持 txt每行一条提示或 json。json 可含prompts、negative_prompts、seeds三个键示例见 assets/cameractrl_prompts.json。--use_specific_seeds每条提示使用 json 里各自的 seed同一配置每次运行结果一致适合对比实验。--use_negative_prompt启用 json 中的负提示词抑制不想要的画面元素。参数9image_lora_ckpt / image_lora_rank风格域 LoRA可选加载域适配 LoRAimage_lora_rank默认 2例如官方提供的 RealEstate10K LoRA 可显著提升室内外场景生成质量。进阶玩法--personalized_base_model直接整体替换 VAE/UNet/文本编码器接入 Realistic Vision 等社区底模.safetensors或.ckpt均可。配合不同轨迹同一提示词马在草地上吃草会生成风格各异的镜头运动视频参数10n_procs并行进程数默认 8决定把多少张 GPU 用于一条提示词一个进程的并行推理详见下一节。三、多GPU并行全攻略 官方推理采用torch.distributed.launch启动完整示例见 README.mdpython -m torch.distributed.launch --nproc_per_node8 --master_port25000 inference.py \ --out_root ${OUTPUT_PATH} \ --ori_model_path ${SD1.5_PATH} \ --pose_adaptor_ckpt ${CAMERACTRL_CKPT} \ --model_config configs/train_cameractrl/adv3_256_384_cameractrl_relora.yaml \ --visualization_captions assets/cameractrl_prompts.json \ --use_specific_seeds \ --trajectory_file assets/pose_files/0f47577ab3441480.txt \ --n_procs 8关键规则一览要点说明数字对齐--nproc_per_node进程数必须与--n_procs切分 GPU 数一致提示词自动切分总数 ÷ n_procs余数分给前几个进程11 条提示 8 卡 → 前 3 卡各 2 条其余各 1 条单卡独立每个进程各自把完整 pipeline 搬到自己的卡上结果写入out_root单卡运行两处都设为 1 即可多机训练同理训练侧的 slurm_run.sh、dist_run.sh 也是同一套 DDP 启动逻辑四、实战参数速查表 参数默认值推荐设置说明video_length1616≤ 轨迹行数guidance_scale14.012~14越大越贴合提示词num_inference_steps2520~30速度与质量平衡image_height / width256 / 384保持不变须被 8 整除original_pose_width / height1280 / 720保持不变轨迹内参映射n_procs8 GPU 卡数与 nproc_per_node 对齐use_specific_seeds关开保证结果可复现五、新手三大高频坑位 ️video_length 超过轨迹行数→ 位姿特征切分后帧数不足直接报维度错误先用 tools/visualize_trajectory.py 预览轨迹再定帧数。分辨率不能被 8 整除→check_inputs立即抛 ValueError改回 256×384 最省心。n_procs 与 nproc_per_node 不一致→ 多出的进程空转或端口冲突崩溃启动前核对两个数字。显存吃紧时也别慌代码默认已开启enable_vae_slicing()按帧解码省显存仍不够时再降分辨率或帧数。写在最后掌握这 10 个参数你就拥有了 CameraCtrl 推理的全部旋钮轨迹文件决定镜头怎么走提示词 guidance_scale 决定画面长什么样video_length 与分辨率决定代价n_procs 决定多快。照着速查表起步遇到问题回到 inference.py 的参数定义处查默认值基本就能独立驾驭这个镜头可控视频生成工具了。【免费下载链接】CameraCtrl项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CameraCtrl的10个关键推理参数详解：video_length、guidance_scale与多GPU并行全攻略
CameraCtrl的10个关键推理参数详解video_length、guidance_scale与多GPU并行全攻略【免费下载链接】CameraCtrl项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrlCameraCtrl 是基于 AnimateDiff 的可控镜头运动文生视频模型只需一段相机轨迹 一句文本提示就能让镜头按你的运镜设计动起来。本文以 inference.py 为主线带你逐个吃透video_length、guidance_scale等 10 个最常用的推理参数并附上多GPU并行的完整使用攻略帮助新手一次跑通第一个镜头可控视频。一、先认识推理入口整个推理流程由一个脚本完成inference.py。它做四件事加载 SD1.5 AnimateDiffV3 运动模块 CameraCtrl 相机控制权重读取轨迹文件把每帧相机位姿转成 Plücker 嵌入核心算法见 ray_condition将提示词均匀切分到多张 GPU循环调用 CameraCtrlPipeline 生成并保存 mp4 视频。相机轨迹是 CameraCtrl 的灵魂——同一段文字提示配合不同轨迹镜头运动完全不同。官方示例轨迹的可视化如下每个小四棱锥代表一帧相机箭头表示位置移动方向二、10个关键推理参数逐一详解 参数1video_length视频帧数默认 16决定生成多少帧默认 16 与训练配置sample_n_frames: 16见 adv3_256_384_cameractrl_relora.yaml严格对齐建议保持 16。⚠️ 必须≤ 轨迹文件的行数否则切分时相特征帧数不够会直接报错。帧数越多视频越长但显存与耗时近似线性增长。参数2guidance_scale提示词跟随强度默认 14.0这是无分类器引导CFG系数。在 pipeline_animation.py 中大于 1 时会同时做条件 无条件两次前向再按uncond scale × (cond − uncond)融合。数值越大画面越贴合文字描述但过大容易出现色彩过饱和、细节扭曲调小则画面更随性。设为 ≤ 1 可完全关闭 CFG省算力。官方默认 14.0 偏高属于强跟随风格12~14 之间是不错的调参区间。参数3num_inference_steps去噪步数默认 25由model_config中noise_scheduler_kwargs决定的 DDIM 调度器执行步数。20~30 是质量与速度的平衡点低于 15 步时容易出现伪影与抖动。参数4image_height / image_width输出分辨率默认 256 × 384二者必须能被 8 整除VAE 下采样 8 倍否则check_inputs直接抛错。256×384 即训练分辨率sample_size: [256, 384]是效果最稳的选择。参数5trajectory_file相机轨迹文件必填每行一帧内容为帧序号 内参fx, fy, cx, cy 12 个数位的 world-to-camera 矩阵首行是表头链接代码会自动跳过。示例文件assets/pose_files/0f47577ab3441480.txt。没有现成轨迹可用 tools/select_realestate_poses.py 从 RealEstate10K 数据中随机截取 16 帧轨迹配套参考视频在 assets/reference_videos 中。参数6original_pose_width / original_pose_height轨迹原始分辨率默认 1280 × 720轨迹内参是在原视频分辨率下采集的而输出是 384×256。这两个参数告诉代码如何把焦距 fx/fy 等比映射到新分辨率宽高比不一致时自动按长边/短边 rescale 对应的 fx 或 fy。只要你用官方工具处理轨迹保持默认值即可。参数7model_config模型结构配置yaml指向 adv3_256_384_cameractrl_relora.yaml提供四组关键配置unet_additional_kwargs运动模块、noise_scheduler_kwargsDDIM 调度器、pose_encoder_kwargs位姿编码器、attention_processor_kwargs注意力注入方式。与下载的 CameraCtrl 权重配套无需手改。参数8visualization_captions 种子开关提示词与可复现性支持 txt每行一条提示或 json。json 可含prompts、negative_prompts、seeds三个键示例见 assets/cameractrl_prompts.json。--use_specific_seeds每条提示使用 json 里各自的 seed同一配置每次运行结果一致适合对比实验。--use_negative_prompt启用 json 中的负提示词抑制不想要的画面元素。参数9image_lora_ckpt / image_lora_rank风格域 LoRA可选加载域适配 LoRAimage_lora_rank默认 2例如官方提供的 RealEstate10K LoRA 可显著提升室内外场景生成质量。进阶玩法--personalized_base_model直接整体替换 VAE/UNet/文本编码器接入 Realistic Vision 等社区底模.safetensors或.ckpt均可。配合不同轨迹同一提示词马在草地上吃草会生成风格各异的镜头运动视频参数10n_procs并行进程数默认 8决定把多少张 GPU 用于一条提示词一个进程的并行推理详见下一节。三、多GPU并行全攻略 官方推理采用torch.distributed.launch启动完整示例见 README.mdpython -m torch.distributed.launch --nproc_per_node8 --master_port25000 inference.py \ --out_root ${OUTPUT_PATH} \ --ori_model_path ${SD1.5_PATH} \ --pose_adaptor_ckpt ${CAMERACTRL_CKPT} \ --model_config configs/train_cameractrl/adv3_256_384_cameractrl_relora.yaml \ --visualization_captions assets/cameractrl_prompts.json \ --use_specific_seeds \ --trajectory_file assets/pose_files/0f47577ab3441480.txt \ --n_procs 8关键规则一览要点说明数字对齐--nproc_per_node进程数必须与--n_procs切分 GPU 数一致提示词自动切分总数 ÷ n_procs余数分给前几个进程11 条提示 8 卡 → 前 3 卡各 2 条其余各 1 条单卡独立每个进程各自把完整 pipeline 搬到自己的卡上结果写入out_root单卡运行两处都设为 1 即可多机训练同理训练侧的 slurm_run.sh、dist_run.sh 也是同一套 DDP 启动逻辑四、实战参数速查表 参数默认值推荐设置说明video_length1616≤ 轨迹行数guidance_scale14.012~14越大越贴合提示词num_inference_steps2520~30速度与质量平衡image_height / width256 / 384保持不变须被 8 整除original_pose_width / height1280 / 720保持不变轨迹内参映射n_procs8 GPU 卡数与 nproc_per_node 对齐use_specific_seeds关开保证结果可复现五、新手三大高频坑位 ️video_length 超过轨迹行数→ 位姿特征切分后帧数不足直接报维度错误先用 tools/visualize_trajectory.py 预览轨迹再定帧数。分辨率不能被 8 整除→check_inputs立即抛 ValueError改回 256×384 最省心。n_procs 与 nproc_per_node 不一致→ 多出的进程空转或端口冲突崩溃启动前核对两个数字。显存吃紧时也别慌代码默认已开启enable_vae_slicing()按帧解码省显存仍不够时再降分辨率或帧数。写在最后掌握这 10 个参数你就拥有了 CameraCtrl 推理的全部旋钮轨迹文件决定镜头怎么走提示词 guidance_scale 决定画面长什么样video_length 与分辨率决定代价n_procs 决定多快。照着速查表起步遇到问题回到 inference.py 的参数定义处查默认值基本就能独立驾驭这个镜头可控视频生成工具了。【免费下载链接】CameraCtrl项目地址: https://gitcode.com/gh_mirrors/ca/CameraCtrl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考