
LTX-2 微调指南LoRA、IC-LoRA 与全模型训练怎么选【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2LTX-2 是 Lightricks 开源的音视频生成模型能同时产出视频和配套音频。想做 LTX-2 训练或微调时很多人卡在第一关LoRA不动模型本体、只训一小片附加权重、IC-LoRA 还是全模型该选哪个显存够不够。下面先按场景对号入座再逐个拆清每种方式的资源和最小步骤。 场景对号入座LTX-2 微调前先找到自己的位置你的目标只是固定一种画风、一个主体不想动模型本身。那就只需要最轻量的训练方式单卡就能跑。你想让模型学会它从没见过的能力比如根据一段参考视频把任意输入转成你的目标风格。这种参考上下文的需求需要专门的上下文适配器。你想明显改变模型的基础生成质量、适配一个全新领域并且接受多机训练的成本。那就得走到全模型训练。无论你选哪条路都在 LTX-Trainer 里完成区别只是指向哪个 LTX-Trainer 配置文件。 三种训练方式按需解析从 LoRA 配置到全模型启动只调风格或主体LoRA 就够一句话结论基础能力没问题只想改画风、主体、镜头语言时LoRA 训练配置就够了。资源成本标准配置建议 80GB 单卡32GB 卡如 RTX 5090用低显存配置不强制多卡可用 DDP 多卡加速完全可逆产出独立小权重随时可摘除最小上手指向现成的 LoRA 训练配置启动即可T2V、I2V、A2V 各有一份。以下命令在packages/ltx-trainer目录下执行uv run python scripts/train.py configs/t2v_lora.yaml # 32GB 显存就换低显存配置 uv run python scripts/train.py configs/t2v_lora_low_vram.yaml低显存配置已内置 INT8 量化与 8 位优化器低显存训练可以直接用。数据组织跟着数据集准备指南走。让模型学会新能力IC-LoRA 加参考视频一句话结论目标是参考视频/音频 → 目标视频/音频的转换比如风格迁移、深度或姿态控制就选 IC-LoRA——它把参考片段拼进上下文当条件让模型学会转换规则。资源成本显存与常规 LoRA 同量级单卡可跑数据需成对参考-目标各一份多一步预处理产出同样是可拆卸适配器可逆最小上手把配置换成 v2v_ic_lora.yaml视频转视频参考视频的 latent 放在 reference_latents 目录启动命令与上面一致。纯音频转换用 a2a_ic_lora.yaml。连底层行为一起改上全模型训练一句话结论需要实质改变模型能力、适配全新领域、且不介意资源账单时才选全模型训练——所有参数都更新不再附加适配器。资源成本量级 4-8× H100 80GB必须单机多卡配 FSDP 分布式训练不可逆产出是新的完整模型权重最小上手在 t2v_lora.yaml 基础上改成全模型模式model: training_mode: full再用仓库自带的 FSDP 配置启动以 4 卡为例CUDA_VISIBLE_DEVICES0,1,2,3 \ uv run accelerate launch --config_file configs/accelerate/fsdp.yaml \ scripts/train.py configs/t2v_lora.yaml 决策速查表资源门槛与可逆性一览方式资源门槛卡数可逆性现成配置适合的任务LoRA标准 80GB低显存配置 32GB1 卡可多卡可逆适配器可摘除t2v_lora.yaml、t2v_lora_low_vram.yaml固定风格、主体、画风IC-LoRA与 LoRA 同量级单卡可行1 卡可多卡可逆适配器可摘除v2v_ic_lora.yaml、a2a_ic_lora.yaml参考到目标的转换全模型4-8× H100 80GB≥4 卡必须 FSDP不可逆产出完整新模型fsdp.yaml 加 full 模式改底层能力、全新领域 下一步去哪儿低显存先跑通再谈深度定制资源有限做 LTX-2 微调先把 t2v_lora_low_vram.yaml 跑通一遍完整流程。想深度定制或上多卡再看下面几份指南快速上手从安装到第一次训练训练模式速查各条件组合对照多 GPU 与 FSDP 启动说明完整配置参数参考【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考