三步实现单目视频相机轨迹重定向TrajectoryCrafter 扩散模型实战指南【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter随手拍的单目视频往往只有一个视角、一条固定轨迹想从侧面看、从空中看、从背后看镜头却不听话。TrajectoryCrafter 就是为解决这个痛点而生的开源项目——它基于扩散模型对单目视频进行相机轨迹重定向合成出视频中从未真正拍摄过的高保真新视角并且支持高度精确的姿态控制。这项研究发表在 ICCV 2025Oral上论文标题很直白TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models。说人话就是——一段随手拍到的素材你可以命令它重新运镜。这篇文章会以最省心的方式带你从零跑通整个流程再摸清它的适用边界和周边生态。它解决的是一个想换角度却换不了的难题先聊聊为什么换个角度看视频这件事以前这么难。传统路线架设多相机阵列同步拍摄或者对场景做精细的 3D 重建。效果确实好但设备、成本、场地要求全都高得离谱普通人根本玩不起。单目视频信息只来自一个视角要无中生有地补出其他角度的画面本质上是一个严重欠约束的逆问题模糊且多解。TrajectoryCrafter 的思路可以概括为两步走先用深度估计把单目视频立起来得到一个带几何约束的点云先验再让预训练的视频扩散模型在这个先验的引导下把新轨迹对应的画面画出来。几何给了它骨架扩散给了它血肉二者配合才有了既稳定又逼真的新视角。更讨喜的是它把我要怎么运镜这件事做成了非常直观的参数——你可以指定一条复杂轨迹也可以只给一个目标姿态。这一点我们后面详细展开。从零到跑通四步上手指南 别被扩散模型四个字劝退实际动手只需要四步。先说硬件门槛⚡ 值得注意官方建议 GPU 显存 ≥ 28GB。这是经过验证的推荐值生成类模型对显存非常敏感显存不够很容易中途爆掉动手前请务必确认你的显卡配置。第 1 步克隆仓库git clone --recursive https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter cd TrajectoryCrafter这里的--recursive参数一定不能省它会把项目依赖的子模块一并拉取漏掉它你后面大概率会踩到缺文件的坑。第 2 步创建环境、安装依赖建议你用 conda 单独开一个环境避免和系统里其他 Python 包互相干扰conda create -n trajcrafter python3.10 conda activate trajcrafter pip install -r requirements.txt依赖清单里包含 torch、diffusers、xformers、deepspeed 等一整套扩散模型工具链安装耗时可能偏长耐心等它跑完就好。第 3 步下载预训练模型这一步是关键中的关键——模型没到位后面的推理就是空中楼阁。官方给了两条下载路径# 方式一HuggingFace 下载推荐速度快 sh download/download_hf.sh # 方式二git-lfs 下载慢一些但更稳定 sh download/download_lfs.sh如果你的网络连 HuggingFace 不顺畅就果断选方式二。下载完成后有个细节要留意如果模型被放到了非默认位置记得打开inference.py把预训练模型的默认路径改成你的本地实际路径。第 4 步正式跑起来命令行推理只需一条命令sh run.sh想要图形界面同样简单python gradio_app.py跑之前建议你花两分钟翻一下官方配置文档docs/config_help.md所有参数的解释都在里面遇到看不懂的选项随时回来查。玩转参数四种运镜模式总有一款适合你打开run.sh你会发现一个运镜模式切换器这正是 TrajectoryCrafter 最有意思的地方。项目内置了四种模式gradual渐进默认模式相机平滑移动到位适合大多数常规场景direct直接一步切到目标视角节奏更利落硬朗bullet子弹时间经典慢速环绕好莱坞大片同款氛围zoom变焦模拟希区柯克式推拉镜头画面张力拉满。至于轨迹怎么定义两种方式任你挑指定复杂轨迹--camera traj配合--traj_txt用一个 txt 文件写三行序列theta、phi、r脚本会自动插值为 49 帧的连续运镜。test/trajs/目录下就有现成示例可以照抄指定目标姿态--camera target配合--target_pose直接给五个数值theta phi r x y分别对应仰角、转向、推近与横移几秒钟就能调出一个想要的机位。还有几个参数值得你动手调一调--stride控制输入视频的帧采样间隔--mask负责清理点云里的脏数据--radius_scale调整渲染球面半径。给你一条经验第一次先原样跑一遍 demo确认整条链路通了再换上自己的视频和轨迹。是不是很省心哪些场景惊艳哪些场景会翻车坦诚地讲它并不是万能的。提前摸清适用边界你才能少走弯路。✅ 效果惊艳的场景物体轮廓清晰、运动明确的视频这是它的绝对主场官方 demo 里的大多数案例都属于这一类视频编辑时想为素材补充新机位、制造运镜花活的场景VR 与交互式应用里需要多视角内容来丰富沉浸体验的场景。⚠️ 容易翻车的场景严重遮挡、快速运动模糊、结构异常复杂的画面。原因其实不复杂它建立在预训练视频扩散模型之上凡是超出基座模型生成能力的情况它也会跟着吃力。 如何规避这些坑选素材时优先挑定义良好的物体 清晰运动的片段用--stride调整采样密度别让相邻帧之间跳得太猛点云渲染出来显得脏时记得开启--mask清理一下。生态版图它站在谁的肩膀上又与谁同行判断一个开源项目的价值光看它自己还不够还要看它周围的世界。TrajectoryCrafter 的生态可以从两个维度来理解。上游它体内装了哪些组件翻一下download/download_lfs.sh就能看到它的技术栈深度估计用的是 DepthCrafter视频生成基座与 3D VAE 来自 CogVideo-Fun 一系再搭配 stable-video-diffusion-img2vid 与 blip2 字幕模型。换句话说DepthCrafter 和 CogVideo-Fun 不只是相关项目它们就是 TrajectoryCrafter 管线里的真零件。看懂这一层你对整个项目的架构就有了具体画面。同行还有谁在做类似的事新视角合成线ViewCrafter、CAT4D、GEN3C 都在尝试从单目视频或图像生成多视角内容思路相近、彼此启发轨迹控制线ReCapture、RecamMaster、DimensionX 把火力集中在如何控制镜头走位上与 TrajectoryCrafter 是同一命题的不同解法底层技术线GCD、NVS-Solver、GS-DiT、DaS、TrajAttention 则分别从 3D 表示、采样求解、注意力机制等角度为这类可控视频生成持续输送弹药。把这些项目串起来看你会发现视频重拍正从论文一步步走向实用而 TrajectoryCrafter 恰好是这条路上位置很关键的一环。下一步动手试试回顾一下我们走过的路先用换不了视角的痛点引出 TrajectoryCrafter 的定位与原理接着走完了环境准备 → 克隆仓库 → 安装依赖 → 下载模型 → 运行推理的完整流程然后搞懂了四种运镜模式和轨迹参数最后摸清了它的适用边界与生态位置。现在轮到你了。挑一段轮廓清晰、运动明确的视频克隆项目、跑通sh run.sh亲眼看看自己的素材被重新拍摄是什么效果。上手之后想更深入项目主页、arXiv 论文编号 2503.05638、HuggingFace 在线 Demo 以及官方演示视频都是很不错的下一站。愿你从此告别一个角度拍到底尽早享受视角自由的快乐。【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 三步实现单目视频相机轨迹重定向：TrajectoryCrafter 扩散模型实战指南
三步实现单目视频相机轨迹重定向TrajectoryCrafter 扩散模型实战指南【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter随手拍的单目视频往往只有一个视角、一条固定轨迹想从侧面看、从空中看、从背后看镜头却不听话。TrajectoryCrafter 就是为解决这个痛点而生的开源项目——它基于扩散模型对单目视频进行相机轨迹重定向合成出视频中从未真正拍摄过的高保真新视角并且支持高度精确的姿态控制。这项研究发表在 ICCV 2025Oral上论文标题很直白TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models。说人话就是——一段随手拍到的素材你可以命令它重新运镜。这篇文章会以最省心的方式带你从零跑通整个流程再摸清它的适用边界和周边生态。它解决的是一个想换角度却换不了的难题先聊聊为什么换个角度看视频这件事以前这么难。传统路线架设多相机阵列同步拍摄或者对场景做精细的 3D 重建。效果确实好但设备、成本、场地要求全都高得离谱普通人根本玩不起。单目视频信息只来自一个视角要无中生有地补出其他角度的画面本质上是一个严重欠约束的逆问题模糊且多解。TrajectoryCrafter 的思路可以概括为两步走先用深度估计把单目视频立起来得到一个带几何约束的点云先验再让预训练的视频扩散模型在这个先验的引导下把新轨迹对应的画面画出来。几何给了它骨架扩散给了它血肉二者配合才有了既稳定又逼真的新视角。更讨喜的是它把我要怎么运镜这件事做成了非常直观的参数——你可以指定一条复杂轨迹也可以只给一个目标姿态。这一点我们后面详细展开。从零到跑通四步上手指南 别被扩散模型四个字劝退实际动手只需要四步。先说硬件门槛⚡ 值得注意官方建议 GPU 显存 ≥ 28GB。这是经过验证的推荐值生成类模型对显存非常敏感显存不够很容易中途爆掉动手前请务必确认你的显卡配置。第 1 步克隆仓库git clone --recursive https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter cd TrajectoryCrafter这里的--recursive参数一定不能省它会把项目依赖的子模块一并拉取漏掉它你后面大概率会踩到缺文件的坑。第 2 步创建环境、安装依赖建议你用 conda 单独开一个环境避免和系统里其他 Python 包互相干扰conda create -n trajcrafter python3.10 conda activate trajcrafter pip install -r requirements.txt依赖清单里包含 torch、diffusers、xformers、deepspeed 等一整套扩散模型工具链安装耗时可能偏长耐心等它跑完就好。第 3 步下载预训练模型这一步是关键中的关键——模型没到位后面的推理就是空中楼阁。官方给了两条下载路径# 方式一HuggingFace 下载推荐速度快 sh download/download_hf.sh # 方式二git-lfs 下载慢一些但更稳定 sh download/download_lfs.sh如果你的网络连 HuggingFace 不顺畅就果断选方式二。下载完成后有个细节要留意如果模型被放到了非默认位置记得打开inference.py把预训练模型的默认路径改成你的本地实际路径。第 4 步正式跑起来命令行推理只需一条命令sh run.sh想要图形界面同样简单python gradio_app.py跑之前建议你花两分钟翻一下官方配置文档docs/config_help.md所有参数的解释都在里面遇到看不懂的选项随时回来查。玩转参数四种运镜模式总有一款适合你打开run.sh你会发现一个运镜模式切换器这正是 TrajectoryCrafter 最有意思的地方。项目内置了四种模式gradual渐进默认模式相机平滑移动到位适合大多数常规场景direct直接一步切到目标视角节奏更利落硬朗bullet子弹时间经典慢速环绕好莱坞大片同款氛围zoom变焦模拟希区柯克式推拉镜头画面张力拉满。至于轨迹怎么定义两种方式任你挑指定复杂轨迹--camera traj配合--traj_txt用一个 txt 文件写三行序列theta、phi、r脚本会自动插值为 49 帧的连续运镜。test/trajs/目录下就有现成示例可以照抄指定目标姿态--camera target配合--target_pose直接给五个数值theta phi r x y分别对应仰角、转向、推近与横移几秒钟就能调出一个想要的机位。还有几个参数值得你动手调一调--stride控制输入视频的帧采样间隔--mask负责清理点云里的脏数据--radius_scale调整渲染球面半径。给你一条经验第一次先原样跑一遍 demo确认整条链路通了再换上自己的视频和轨迹。是不是很省心哪些场景惊艳哪些场景会翻车坦诚地讲它并不是万能的。提前摸清适用边界你才能少走弯路。✅ 效果惊艳的场景物体轮廓清晰、运动明确的视频这是它的绝对主场官方 demo 里的大多数案例都属于这一类视频编辑时想为素材补充新机位、制造运镜花活的场景VR 与交互式应用里需要多视角内容来丰富沉浸体验的场景。⚠️ 容易翻车的场景严重遮挡、快速运动模糊、结构异常复杂的画面。原因其实不复杂它建立在预训练视频扩散模型之上凡是超出基座模型生成能力的情况它也会跟着吃力。 如何规避这些坑选素材时优先挑定义良好的物体 清晰运动的片段用--stride调整采样密度别让相邻帧之间跳得太猛点云渲染出来显得脏时记得开启--mask清理一下。生态版图它站在谁的肩膀上又与谁同行判断一个开源项目的价值光看它自己还不够还要看它周围的世界。TrajectoryCrafter 的生态可以从两个维度来理解。上游它体内装了哪些组件翻一下download/download_lfs.sh就能看到它的技术栈深度估计用的是 DepthCrafter视频生成基座与 3D VAE 来自 CogVideo-Fun 一系再搭配 stable-video-diffusion-img2vid 与 blip2 字幕模型。换句话说DepthCrafter 和 CogVideo-Fun 不只是相关项目它们就是 TrajectoryCrafter 管线里的真零件。看懂这一层你对整个项目的架构就有了具体画面。同行还有谁在做类似的事新视角合成线ViewCrafter、CAT4D、GEN3C 都在尝试从单目视频或图像生成多视角内容思路相近、彼此启发轨迹控制线ReCapture、RecamMaster、DimensionX 把火力集中在如何控制镜头走位上与 TrajectoryCrafter 是同一命题的不同解法底层技术线GCD、NVS-Solver、GS-DiT、DaS、TrajAttention 则分别从 3D 表示、采样求解、注意力机制等角度为这类可控视频生成持续输送弹药。把这些项目串起来看你会发现视频重拍正从论文一步步走向实用而 TrajectoryCrafter 恰好是这条路上位置很关键的一环。下一步动手试试回顾一下我们走过的路先用换不了视角的痛点引出 TrajectoryCrafter 的定位与原理接着走完了环境准备 → 克隆仓库 → 安装依赖 → 下载模型 → 运行推理的完整流程然后搞懂了四种运镜模式和轨迹参数最后摸清了它的适用边界与生态位置。现在轮到你了。挑一段轮廓清晰、运动明确的视频克隆项目、跑通sh run.sh亲眼看看自己的素材被重新拍摄是什么效果。上手之后想更深入项目主页、arXiv 论文编号 2503.05638、HuggingFace 在线 Demo 以及官方演示视频都是很不错的下一站。愿你从此告别一个角度拍到底尽早享受视角自由的快乐。【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考