ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Stability AI生成模型获取与本地部署实战

Stability AI生成模型获取与本地部署实战 Stability AI生成模型获取与本地部署实战【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsStability AI 官方生成模型仓库 generative-models 集成了 SDXL、SVD、SV3D、SV4D 的完整推理代码。你按本文操作可以拿到对应权重、完成完整性校验并在本地跑通第一次生成。全文围绕文生图、图生视频、4D 资产三个典型需求展开每条路径都给出最小命令和验证手段。先定目标你要拉哪个模型拉权重之前先确定输入是什么这直接决定你要下载的文件输入一段文本提示词要一张静态图SDXL-base-1.0需要细化细节再加 refiner。输入一张静态图要几秒动态视频SVD更长版本为 SVD-XT。输入白底单图或短视频要新视角镜头SV3D 或 SV4D 2.0。模型名称核心文件体积约备注SDXL-base-1.0sd_xl_base_1.0.safetensors~6.9GB文生图主力1024x1024SDXL-refiner-1.0sd_xl_refiner_1.0.safetensors~5.2GB图生图细化不能单独文生图SVDsvd.safetensors~9.5GB单图扩 14 帧576x1024SV3Dsv3d_u.safetensors~5GB单图生成 21 帧环绕视频SV4D 2.0sv4d2.safetensors~7GB12 帧视频输入48 帧新视角输出体积为约数实际以下载页显示为准。SDXL 的出图效果大致如下克隆仓库并搭好运行环境仓库官方验证环境是 Python 3.10其他版本可能出现依赖冲突。# 克隆代码仓库并进入目录 git clone https://gitcode.com/GitHub_Trending/ge/generative-models generative-models cd generative-models接着建虚拟环境并安装依赖cu118 这个索引地址要按你机器的 CUDA 版本替换# 创建虚拟环境安装 PyTorch 与项目依赖 python3 -m venv .pt2 source .pt2/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install .最后一条把仓库自带的sgm库装进环境。仅做推理不需要额外安装训练用的sdata。拉取并校验 SDXL 权重如果你的网络到 HuggingFace 官方站点较慢可先配置 HuggingFace 模型镜像加速再只拉取推理必需的文件# 指向镜像源把 SDXL base 权重拉到 checkpoints 目录 export HF_ENDPOINThttps://hf-mirror.com huggingface-cli download stabilityai/stable-diffusion-xl-base-1.0 \ --local-dir checkpoints权重统一放在checkpoints/下演示脚本默认从该目录读取。SDXL 模型文件校验下载完成不等于文件完整先直接加载验证一遍# 打开权重文件确认可读并输出张量信息 from safetensors import safe_open with safe_open(checkpoints/sd_xl_base_1.0.safetensors, frameworkpt) as f: keys list(f.keys()) print(f张量数量: {len(keys)})仓库 README 中给出了 SDXL 权重的 sha25631e35c80fc48 开头可用sha256sum命令对本地文件比对。不一致时删除文件重新拉取不要带着残损权重继续跑。确认无误后启动界面验证出图# 启动文生图演示服务 streamlit run scripts/demo/sampling.py --server.port 8501浏览器打开 localhost:8501输入提示词能保存出图即说明整条链路通了。把静态图变视频本地跑 SVDSVD 把一张 576x1024 的图扩展成 14 帧视频。权重与 SDXL 放同一个目录# 拉取 SVD 图生视频权重 huggingface-cli download stabilityai/stable-video-diffusion-img2vid \ svd.safetensors --local-dir checkpoints随后用独立脚本推理版本号必须与你放入 checkpoints/ 的权重一致# 对单张图执行图生视频 python scripts/sampling/simple_video_sample.py \ --input_path assets/test_image.png --version svd该文件必须与权重版本匹配--version传错会导致配置与权重错位输出异常且不易排查。生成新视角 4D 资产SV3D 与 SV4D 2.0SV4D 2.0 接收一段 12 帧的短视频白底单物体效果最佳输出 48 帧的多机位新视角。拉取权重# 拉取 SV4D 2.0 权重 huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors \ --local-dir checkpoints# 用仓库自带示例视频跑一次 4D 生成 python scripts/sampling/simple_video_sample_4d2.py \ --input_path assets/sv4d_videos/camel.gif --output_folder outputs输入可以是 gif、mp4 单文件也可以是帧图文件夹。若显存吃紧加--encoding_t1 --decoding_t1把编解码改为逐帧或把--img_size降到 512。五步走通最小启动路径若你只想先看到第一张生成图按最短路径走克隆仓库git clone https://gitcode.com/GitHub_Trending/ge/generative-modelsPython 3.10 建 venv装 torch 与requirements/pt2.txt再pip install .huggingface-cli download拉 SDXL base 权重到checkpoints/用 safe_open 加载一次权重确认张量可读streamlit run scripts/demo/sampling.py等待第一张图处理两个典型问题下载中断、文件残缺症状是加载时报缺 key 或哈希不符。处理方式是删除本地文件重拉模型较多时建议写一个生成模型批量下载脚本循环多个 repo_id 调用snapshot_download并统一指定local_dir失败后重跑只会补缺失部分。显存不足视频类模型在 576x1024 下显存占用较高。若 CUDA 报 OOM优先使用上文提到的逐帧编解码参数或降分辨率SDXL 可考虑 fp16 推理。这两类参数改动不损失功能只是采样时间变长。先把 SDXL 跑通拿到第一张图再按开头的表格按需扩展 SVD 与 4D 模型即可。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表