从零玩转国产大模型DeepSeek/Qwen3/ChatGLM部署、微调、私有化实战一条龙最近在尝试将大模型能力集成到内部业务系统时发现从环境搭建到模型微调每一步都充满了“惊喜”。网上的教程要么过于零散只讲部署不讲优化要么过于学术对工程落地帮助有限。本文将整合一套从零开始的完整闭环方案手把手带你搞定 DeepSeek、Qwen3、ChatGLM 这三款主流国产大模型的本地部署、高效微调以及私有化服务搭建。无论你是想快速体验大模型能力的学生还是需要在企业内网安全落地的开发者都能从本文中找到可直接复用的代码、配置和避坑指南。1. 背景与核心概念为什么选择国产大模型在 ChatGPT 引领的浪潮下国内也涌现出一批优秀的大语言模型。对于开发者而言选择国产模型进行私有化部署和微调主要基于以下几点考虑数据安全与合规性许多企业业务涉及敏感数据无法将数据上传至海外云端服务。本地化部署能确保数据不出域完全符合国内的数据安全法规要求。定制化需求通用大模型在特定垂直领域如法律、医疗、金融的表现往往不尽如人意。通过微调我们可以让模型更好地理解专业术语、遵循行业规范输出更符合业务场景的内容。成本可控虽然一次性硬件投入可能较高但私有化部署避免了按 token 计费的持续支出长期来看对于高频调用场景更具成本效益。网络稳定性服务部署在内网或国内服务器避免了因国际网络波动导致的 API 调用延迟或失败服务更稳定。本文聚焦的三款模型各有特色DeepSeek由深度求索公司开发以强大的代码能力和推理性能著称对开发者友好社区活跃。Qwen3阿里通义千问的最新系列在中文理解、多模态和长上下文方面表现突出工具调用能力强大。ChatGLM智谱 AI 开源的双语对话模型以其优秀的对话流畅度和较低的部署资源要求成为许多入门项目的首选。接下来我们将从环境准备开始一步步实现这三款模型的实战应用。2. 环境准备与版本说明工欲善其事必先利其器。一个稳定、兼容的环境是后续所有操作的基础。本节将详细说明硬件、软件及关键依赖的配置。2.1 硬件与操作系统要求大模型对算力有较高要求尤其是微调阶段。GPU强烈推荐用于模型推理和微调。显存是关键指标。体验/轻量推理至少需要 8GB 显存如 RTX 3070/4060 Ti可运行 7B 参数模型的量化版。全量微调/多模型部署建议 24GB 及以上显存如 RTX 3090/4090, A10, A100。CPU仅推理若无 GPU可使用 CPU 进行纯推理但速度会慢数十倍。需要足够的内存RAM通常需要模型大小的 1.5-2 倍。内存RAM建议 32GB 或以上用于加载模型和处理数据。磁盘空间预留 50GB 以上空间用于存放模型文件单个 7B 模型约 15GB、数据集和虚拟环境。操作系统本文以Ubuntu 22.04 LTS为主要环境进行演示大部分命令在 Linux/macOS 上通用。Windows 用户建议使用 WSL2Windows Subsystem for Linux 2以获得接近原生 Linux 的体验。2.2 基础软件安装首先更新系统并安装必要的编译工具和 Python 环境。# 更新系统包列表 sudo apt update sudo apt upgrade -y # 安装基础编译工具、GPU驱动依赖等 sudo apt install -y build-essential git curl wget software-properties-common # 安装 Python 3.10Ubuntu 22.04 默认是 3.10确保版本 sudo apt install -y python3.10 python3.10-venv python3.10-dev python3-pip2.3 CUDA 与 cuDNN 安装GPU用户必看如果你的机器有 NVIDIA GPU必须正确安装 CUDA 工具包和 cuDNN 库这是 PyTorch 等框架调用 GPU 的基础。检查 GPU 和驱动nvidia-smi确保命令能正确输出 GPU 信息。如果未安装驱动可参考 NVIDIA 官网或使用ubuntu-drivers工具安装。安装 CUDA Toolkit访问 NVIDIA CUDA Toolkit 下载页面 选择与你的驱动兼容的版本如 12.1。使用 runfile 或 deb 包安装。# 例如安装 CUDA 12.1 的示例命令具体请以官网为准 wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run安装后将 CUDA 路径加入环境变量echo export PATH/usr/local/cuda-12.1/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc安装 cuDNN在 NVIDIA cuDNN 页面 下载与 CUDA 版本对应的 cuDNN 库需要注册账号按照指南安装。2.4 创建 Python 虚拟环境为每个项目创建独立的虚拟环境是 Python 开发的最佳实践可以避免依赖冲突。# 创建一个名为 llm_env 的虚拟环境 python3.10 -m venv llm_env # 激活虚拟环境 source llm_env/bin/activate # 激活后命令行提示符前会出现 (llm_env) # 升级 pip 和 setuptools pip install --upgrade pip setuptools wheel至此基础环境已准备就绪。后续所有 Python 包的安装都应在激活的llm_env虚拟环境中进行。3. 核心工具与框架选型在开始部署具体模型前我们需要了解几个核心工具它们能极大简化我们的工作。Ollama一个强大的本地大模型运行和管理的命令行工具。它简化了模型的下载、加载和运行特别适合快速体验和轻量级服务。支持众多开源模型包括本文提到的 Qwen 和 Llama 系列。LM Studio一个图形化界面的本地大模型运行工具对新手极其友好。无需命令行通过点击即可下载、加载模型并进行对话。适合 Windows/macOS 用户快速上手。Llama-Factory一个功能强大且易用的开源大模型微调框架。它统一了多种微调方法如 LoRA, QLoRA, 全参数微调并提供了 Web UI让微调像填写表单一样简单极大降低了微调门槛。vLLM一个专注于高速推理的库。它采用了 PagedAttention 等优化技术能够极大地提升大模型的文本生成速度特别适合用于部署高并发的 API 服务。Dify一个开源的 LLM 应用开发平台。它允许你通过可视化工作流的方式快速构建基于大模型的 AI 应用如智能客服、知识库问答而无需编写大量后端代码。了解这些工具后我们就可以根据目标快速体验、微调还是部署服务选择合适的工具链。4. 实战一使用 Ollama 快速本地运行 Qwen3Ollama 是体验开源大模型最快捷的方式之一。它自动处理模型下载和运行环境。4.1 安装 Ollama在 Linux/macOS 上使用一键安装脚本curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。4.2 拉取并运行 Qwen3 模型Ollama 官方提供了许多模型可以直接拉取。以 Qwen2.5 的 7B 参数版本为例# 拉取模型首次运行会自动下载 ollama run qwen2.5:7b运行后会进入一个交互式对话界面你可以直接输入问题。例如输入“用 Python 写一个快速排序函数”模型会立即生成代码。4.3 以 API 服务器模式运行为了后续集成我们更常将 Ollama 作为后台服务运行。# 启动 Ollama 服务如果尚未启动 ollama serve # 在另一个终端以服务器模式运行特定模型 ollama run qwen2.5:7b # 或者直接调用已拉取的模型生成内容 curl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好请介绍一下你自己。, stream: false }Ollama 默认在11434端口提供兼容 OpenAI 格式的 API这使得我们可以用类似调用 ChatGPT API 的方式调用本地模型。5. 实战二使用 Llama-Factory 微调 ChatGLM3微调是大模型适应特定任务的关键。我们以 ChatGLM3-6B 模型为例使用 Llama-Factory 对其进行 LoRA 微调使其擅长写“科技新闻稿”。5.1 环境与项目准备首先确保在之前创建的虚拟环境中安装 Llama-Factory 及其依赖。# 激活虚拟环境 source llm_env/bin/activate # 克隆 Llama-Factory 仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory # 安装依赖推荐使用豆瓣源加速 pip install -r requirements.txt -i https://pypi.douban.com/simple5.2 准备微调数据集微调需要特定格式的数据。Llama-Factory 支持多种格式这里我们使用简单的json格式包含指令和输出。创建数据集文件data/tech_news_train.json[ { instruction: 写一篇关于人工智能芯片突破的新闻稿。, output: 近日某科技公司发布了新一代人工智能训练芯片‘玄武’其算力较上一代提升300%能效比显著优化。该芯片采用5纳米工艺集成超过1000亿晶体管专为大模型训练设计预计将加速AGI通用人工智能的研发进程。行业专家认为此举将打破算力瓶颈推动AI应用遍地开花。 }, { instruction: 撰写一则关于量子计算云平台发布的短讯。, output: 全球领先的量子计算公司‘量子前沿’今日正式对外开放其量子云服务平台。该平台允许研究人员通过互联网远程访问其127量子比特处理器进行复杂的化学模拟和优化算法实验。此举降低了量子计算的研究门槛被誉为‘量子计算的AWS时刻’。 }, { “instruction”: “报道一下新能源汽车电池技术的新进展。”, “output”: “在最新电池技术论坛上‘绿色动力’实验室宣布成功研发固态电池原型能量密度达到每公斤500瓦时是当前主流锂电池的两倍以上。该电池在零下30度至80度的极端环境下仍能稳定工作充电速度提升至15分钟充满80%。分析指出这项技术有望彻底解决电动汽车的里程焦虑和充电慢难题。” } ]你可以根据需要准备几十到几百条这样的数据。创建数据集配置文件data/dataset_info.json告诉框架如何读取数据{ tech_news: { file_name: tech_news_train.json, file_sha1: // 可留空或通过 sha1sum 命令计算后填入 } }5.3 配置与启动微调Llama-Factory 提供了便捷的 Web UI 和命令行两种方式。这里使用其提供的训练脚本。下载基础模型从 Hugging Face 或 ModelScope 下载 ChatGLM3-6B 模型到本地目录例如./model/chatglm3-6b。# 使用 git lfs 克隆需先安装 git-lfs git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git ./model/chatglm3-6b准备训练脚本创建一个训练配置脚本train_glm3_lora.sh。#!/bin/bash export CUDA_VISIBLE_DEVICES0 # 指定使用第一块GPU python src/train_bash.py \ --stage sft \ # 监督微调阶段 --do_train \ --model_name_or_path ./model/chatglm3-6b \ # 基础模型路径 --dataset tech_news \ # 对应 dataset_info.json 中的 key --template chatglm3 \ # 使用 chatglm3 的对话模板 --finetuning_type lora \ # 使用 LoRA 微调 --lora_target query_key_value \ # 对 GLM 的 Attention 层进行 LoRA --output_dir ./saves/chatglm3-6b-lora-tech-news \ # 输出目录 --overwrite_cache \ --per_device_train_batch_size 4 \ # 根据显存调整 --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --fp16 # 使用混合精度训练节省显存开始微调chmod x train_glm3_lora.sh ./train_glm3_lora.sh训练开始后终端会显示损失loss下降曲线。训练完成后LoRA 权重文件会保存在./saves/chatglm3-6b-lora-tech-news目录下。5.4 加载与测试微调后的模型训练完成后可以使用以下脚本加载基础模型和 LoRA 权重进行推理测试。# test_lora_model.py from transformers import AutoTokenizer, AutoModel from peft import PeftModel import torch # 1. 加载原始模型和分词器 model_name “./model/chatglm3-6b” tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) base_model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_map“auto”) # 自动分配 GPU/CPU # 2. 加载 LoRA 适配器权重 lora_path “./saves/chatglm3-6b-lora-tech-news” model PeftModel.from_pretrained(base_model, lora_path) # 3. 将模型设置为评估模式 model.eval() # 4. 进行推理 prompt “写一篇关于太空探索机器人最新发现的新闻稿。” inputs tokenizer(prompt, return_tensors“pt”).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_length500, temperature0.9) response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(“提问”, prompt) print(“\n模型生成\n”, response)运行此脚本你将看到模型生成的新闻稿已经带有你训练数据中的风格和领域特征。6. 实战三使用 vLLM 高性能部署 DeepSeek 模型当我们需要将模型部署为可供多个用户或系统同时调用的 API 服务时推理速度至关重要。vLLM 正是为此而生。6.1 安装 vLLM在虚拟环境中安装 vLLM它会自动安装兼容的 PyTorch 版本。pip install vllm # 如果需要使用 OpenAI 兼容的 API 服务器额外安装 pip install ‘vllm[openai]’6.2 下载 DeepSeek 模型从 Hugging Face 下载 DeepSeek 模型例如deepseek-ai/DeepSeek-V2-Lite-Chat。# 使用 huggingface-cli需先登录huggingface-cli login huggingface-cli download deepseek-ai/DeepSeek-V2-Lite-Chat --local-dir ./model/deepseek-v2-lite-chat或者直接使用git lfs clone。6.3 启动 vLLM OpenAI API 服务器vLLM 提供了与 OpenAI API 完全兼容的接口这意味着之前为 ChatGPT 编写的代码几乎可以无缝迁移。# 启动 API 服务器指定模型路径和端口 python -m vllm.entrypoints.openai.api_server \ --model ./model/deepseek-v2-lite-chat \ --served-model-name deepseek-v2-lite-chat \ --api-key “your-api-key-here” \ # 设置一个 API 密钥 --port 8000 \ --tensor-parallel-size 1 # 如果有多张 GPU可以设置为 GPU 数量以并行计算服务器启动后会在http://localhost:8000提供v1/chat/completions等端点。6.4 调用部署的 API现在你可以像调用 OpenAI 一样调用你的本地模型服务。# call_vllm_api.py from openai import OpenAI # 注意base_url 指向本地 vLLM 服务器 client OpenAI( api_key“your-api-key-here”, base_url“http://localhost:8000/v1” # vLLM OpenAI API 的地址 ) completion client.chat.completions.create( model“deepseek-v2-lite-chat”, # 与 --served-model-name 一致 messages[ {“role”: “system”, “content”: “你是一个乐于助人的AI助手。”}, {“role”: “user”, “content”: “用三句话解释什么是量子计算。”} ], temperature0.7, max_tokens500 ) print(completion.choices[0].message.content)vLLM 的高效引擎能显著降低每个请求的响应时间尤其在高并发场景下优势明显。7. 常见问题与排查思路 (FAQ)在部署和微调过程中你可能会遇到以下常见问题。问题现象可能原因排查思路与解决方案Ollama 运行时提示CUDA error或GPU not found1. Ollama 未检测到 GPU。2. Docker 容器内无 GPU 访问权限。1. 运行ollama ps查看运行环境。在 Linux 宿主机上运行通常没问题。2. 若在 Docker 中确保使用--gpus all参数运行容器。微调时OutOfMemoryError (CUDA)显存不足。批处理大小batch size太大或模型太大。1. 减小per_device_train_batch_size。2. 增大gradient_accumulation_steps以补偿。3. 使用fp16或bf16混合精度训练。4. 使用--quantization_bit 4QLoRA进行 4 比特量化微调极大减少显存占用。Llama-Factory 训练时损失loss为NaN学习率learning rate过高导致梯度爆炸。大幅降低学习率例如从5e-5降至1e-5或5e-6。同时可以尝试启用梯度裁剪--max_grad_norm 1.0。vLLM 启动失败提示不支持的模型架构vLLM 尚未官方支持该模型架构。1. 查看 vLLM 官方文档的 Model Support 页面。2. DeepSeek、Qwen、ChatGLM 的最新版本通常都能得到快速支持请确保 vLLM 版本最新pip install -U vllm。3. 可尝试使用--dtype float16或--dtype bfloat16指定精度。加载微调后的模型生成效果毫无变化1. LoRA 权重未正确加载或合并。2. 微调数据量太少或质量不高。3. 在推理时未激活 LoRA 模块。1. 确保推理代码中通过PeftModel正确加载了 LoRA 路径。2. 检查训练日志确认 loss 确实下降了。3. 尝试增加训练数据至数百条并确保指令和输出质量。API 调用返回401 Unauthorized未提供或提供了错误的 API Key。1. 检查调用代码中的api_key是否与启动 vLLM 服务器时设置的--api-key一致。2. 如果仅用于本地测试可以在启动 vLLM 时使用--disable-log-requests并省略--api-key参数不推荐生产环境。8. 最佳实践与工程建议将大模型真正用于生产环境除了能跑起来还需要考虑更多工程化因素。模型选择与量化平衡速度与效果参数越大的模型通常效果越好但推理和微调成本也越高。7B-14B 参数模型是性价比很高的起点。积极使用量化使用 GPTQ、AWQ、GGUF 等量化技术可以将模型显存占用降低 2-4 倍而精度损失很小。例如使用TheBloke在 Hugging Face 上传的Qwen2.5-7B-Instruct-GGUF模型配合llama.cpp或 Ollama可以在 8GB 显存的消费级显卡上流畅运行。微调数据与策略质量优于数量精心设计 100-500 条高质量、多样化的指令数据远胜于数万条爬取的粗糙数据。数据应覆盖你希望模型掌握的所有任务类型。从 LoRA/QLoRA 开始全参数微调成本极高。优先尝试 LoRA低秩适配或 QLoRA量化低秩适配它们只需训练极少的参数通常 1%就能达到接近全参数微调的效果且保存的权重文件很小几 MB 到几百 MB。验证集与早停一定要从训练数据中留出一部分如 10%作为验证集监控验证集上的损失。当验证集损失不再下降时启用早停early stopping防止过拟合。部署与服务化使用专用推理服务器生产环境不要直接用transformers的pipeline或脚本。应使用vLLM或TGI(Text Generation Inference) 这类高性能推理服务器它们具备连续批处理、动态批处理、流量控制等特性能极大提升吞吐量和资源利用率。API 网关与鉴权在 vLLM API 前放置一层 API 网关如 Nginx, Kong实现负载均衡、限流、熔断和更完善的鉴权如 JWT提升服务稳定性和安全性。监控与日志集成 Prometheus 和 Grafana 监控 GPU 使用率、显存占用、请求延迟、QPS 等关键指标。记录详细的请求和响应日志注意脱敏便于问题排查和效果分析。版本管理与回滚对基础模型、微调后的适配器权重、推理服务代码进行版本控制如 Git。制定清晰的回滚策略。当新微调的模型上线后效果不佳时能快速切换回上一个稳定版本。成本控制无请求时休眠对于内部使用频率不高的服务可以编写脚本在长时间无请求时自动休眠模型释放 GPU 显存有请求时再唤醒虽然有一定冷启动延迟。考虑 CPU 推理对于对延迟不敏感的后台任务可以考虑使用llama.cpp、ollama在 CPU 上运行量化模型充分利用空闲的 CPU 和内存资源。通过以上步骤你不仅能让大模型在本地跑起来更能以工程化的思维将其稳健、高效、安全地融入到实际业务流中。从快速体验的 Ollama到灵活微调的 Llama-Factory再到高性能服务的 vLLM这套组合拳基本覆盖了个人学习与企业级应用的主要场景。 国产大模型实战指南：DeepSeek/Qwen3/ChatGLM部署、微调与私有化
从零玩转国产大模型DeepSeek/Qwen3/ChatGLM部署、微调、私有化实战一条龙最近在尝试将大模型能力集成到内部业务系统时发现从环境搭建到模型微调每一步都充满了“惊喜”。网上的教程要么过于零散只讲部署不讲优化要么过于学术对工程落地帮助有限。本文将整合一套从零开始的完整闭环方案手把手带你搞定 DeepSeek、Qwen3、ChatGLM 这三款主流国产大模型的本地部署、高效微调以及私有化服务搭建。无论你是想快速体验大模型能力的学生还是需要在企业内网安全落地的开发者都能从本文中找到可直接复用的代码、配置和避坑指南。1. 背景与核心概念为什么选择国产大模型在 ChatGPT 引领的浪潮下国内也涌现出一批优秀的大语言模型。对于开发者而言选择国产模型进行私有化部署和微调主要基于以下几点考虑数据安全与合规性许多企业业务涉及敏感数据无法将数据上传至海外云端服务。本地化部署能确保数据不出域完全符合国内的数据安全法规要求。定制化需求通用大模型在特定垂直领域如法律、医疗、金融的表现往往不尽如人意。通过微调我们可以让模型更好地理解专业术语、遵循行业规范输出更符合业务场景的内容。成本可控虽然一次性硬件投入可能较高但私有化部署避免了按 token 计费的持续支出长期来看对于高频调用场景更具成本效益。网络稳定性服务部署在内网或国内服务器避免了因国际网络波动导致的 API 调用延迟或失败服务更稳定。本文聚焦的三款模型各有特色DeepSeek由深度求索公司开发以强大的代码能力和推理性能著称对开发者友好社区活跃。Qwen3阿里通义千问的最新系列在中文理解、多模态和长上下文方面表现突出工具调用能力强大。ChatGLM智谱 AI 开源的双语对话模型以其优秀的对话流畅度和较低的部署资源要求成为许多入门项目的首选。接下来我们将从环境准备开始一步步实现这三款模型的实战应用。2. 环境准备与版本说明工欲善其事必先利其器。一个稳定、兼容的环境是后续所有操作的基础。本节将详细说明硬件、软件及关键依赖的配置。2.1 硬件与操作系统要求大模型对算力有较高要求尤其是微调阶段。GPU强烈推荐用于模型推理和微调。显存是关键指标。体验/轻量推理至少需要 8GB 显存如 RTX 3070/4060 Ti可运行 7B 参数模型的量化版。全量微调/多模型部署建议 24GB 及以上显存如 RTX 3090/4090, A10, A100。CPU仅推理若无 GPU可使用 CPU 进行纯推理但速度会慢数十倍。需要足够的内存RAM通常需要模型大小的 1.5-2 倍。内存RAM建议 32GB 或以上用于加载模型和处理数据。磁盘空间预留 50GB 以上空间用于存放模型文件单个 7B 模型约 15GB、数据集和虚拟环境。操作系统本文以Ubuntu 22.04 LTS为主要环境进行演示大部分命令在 Linux/macOS 上通用。Windows 用户建议使用 WSL2Windows Subsystem for Linux 2以获得接近原生 Linux 的体验。2.2 基础软件安装首先更新系统并安装必要的编译工具和 Python 环境。# 更新系统包列表 sudo apt update sudo apt upgrade -y # 安装基础编译工具、GPU驱动依赖等 sudo apt install -y build-essential git curl wget software-properties-common # 安装 Python 3.10Ubuntu 22.04 默认是 3.10确保版本 sudo apt install -y python3.10 python3.10-venv python3.10-dev python3-pip2.3 CUDA 与 cuDNN 安装GPU用户必看如果你的机器有 NVIDIA GPU必须正确安装 CUDA 工具包和 cuDNN 库这是 PyTorch 等框架调用 GPU 的基础。检查 GPU 和驱动nvidia-smi确保命令能正确输出 GPU 信息。如果未安装驱动可参考 NVIDIA 官网或使用ubuntu-drivers工具安装。安装 CUDA Toolkit访问 NVIDIA CUDA Toolkit 下载页面 选择与你的驱动兼容的版本如 12.1。使用 runfile 或 deb 包安装。# 例如安装 CUDA 12.1 的示例命令具体请以官网为准 wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run安装后将 CUDA 路径加入环境变量echo export PATH/usr/local/cuda-12.1/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc安装 cuDNN在 NVIDIA cuDNN 页面 下载与 CUDA 版本对应的 cuDNN 库需要注册账号按照指南安装。2.4 创建 Python 虚拟环境为每个项目创建独立的虚拟环境是 Python 开发的最佳实践可以避免依赖冲突。# 创建一个名为 llm_env 的虚拟环境 python3.10 -m venv llm_env # 激活虚拟环境 source llm_env/bin/activate # 激活后命令行提示符前会出现 (llm_env) # 升级 pip 和 setuptools pip install --upgrade pip setuptools wheel至此基础环境已准备就绪。后续所有 Python 包的安装都应在激活的llm_env虚拟环境中进行。3. 核心工具与框架选型在开始部署具体模型前我们需要了解几个核心工具它们能极大简化我们的工作。Ollama一个强大的本地大模型运行和管理的命令行工具。它简化了模型的下载、加载和运行特别适合快速体验和轻量级服务。支持众多开源模型包括本文提到的 Qwen 和 Llama 系列。LM Studio一个图形化界面的本地大模型运行工具对新手极其友好。无需命令行通过点击即可下载、加载模型并进行对话。适合 Windows/macOS 用户快速上手。Llama-Factory一个功能强大且易用的开源大模型微调框架。它统一了多种微调方法如 LoRA, QLoRA, 全参数微调并提供了 Web UI让微调像填写表单一样简单极大降低了微调门槛。vLLM一个专注于高速推理的库。它采用了 PagedAttention 等优化技术能够极大地提升大模型的文本生成速度特别适合用于部署高并发的 API 服务。Dify一个开源的 LLM 应用开发平台。它允许你通过可视化工作流的方式快速构建基于大模型的 AI 应用如智能客服、知识库问答而无需编写大量后端代码。了解这些工具后我们就可以根据目标快速体验、微调还是部署服务选择合适的工具链。4. 实战一使用 Ollama 快速本地运行 Qwen3Ollama 是体验开源大模型最快捷的方式之一。它自动处理模型下载和运行环境。4.1 安装 Ollama在 Linux/macOS 上使用一键安装脚本curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。4.2 拉取并运行 Qwen3 模型Ollama 官方提供了许多模型可以直接拉取。以 Qwen2.5 的 7B 参数版本为例# 拉取模型首次运行会自动下载 ollama run qwen2.5:7b运行后会进入一个交互式对话界面你可以直接输入问题。例如输入“用 Python 写一个快速排序函数”模型会立即生成代码。4.3 以 API 服务器模式运行为了后续集成我们更常将 Ollama 作为后台服务运行。# 启动 Ollama 服务如果尚未启动 ollama serve # 在另一个终端以服务器模式运行特定模型 ollama run qwen2.5:7b # 或者直接调用已拉取的模型生成内容 curl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好请介绍一下你自己。, stream: false }Ollama 默认在11434端口提供兼容 OpenAI 格式的 API这使得我们可以用类似调用 ChatGPT API 的方式调用本地模型。5. 实战二使用 Llama-Factory 微调 ChatGLM3微调是大模型适应特定任务的关键。我们以 ChatGLM3-6B 模型为例使用 Llama-Factory 对其进行 LoRA 微调使其擅长写“科技新闻稿”。5.1 环境与项目准备首先确保在之前创建的虚拟环境中安装 Llama-Factory 及其依赖。# 激活虚拟环境 source llm_env/bin/activate # 克隆 Llama-Factory 仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory # 安装依赖推荐使用豆瓣源加速 pip install -r requirements.txt -i https://pypi.douban.com/simple5.2 准备微调数据集微调需要特定格式的数据。Llama-Factory 支持多种格式这里我们使用简单的json格式包含指令和输出。创建数据集文件data/tech_news_train.json[ { instruction: 写一篇关于人工智能芯片突破的新闻稿。, output: 近日某科技公司发布了新一代人工智能训练芯片‘玄武’其算力较上一代提升300%能效比显著优化。该芯片采用5纳米工艺集成超过1000亿晶体管专为大模型训练设计预计将加速AGI通用人工智能的研发进程。行业专家认为此举将打破算力瓶颈推动AI应用遍地开花。 }, { instruction: 撰写一则关于量子计算云平台发布的短讯。, output: 全球领先的量子计算公司‘量子前沿’今日正式对外开放其量子云服务平台。该平台允许研究人员通过互联网远程访问其127量子比特处理器进行复杂的化学模拟和优化算法实验。此举降低了量子计算的研究门槛被誉为‘量子计算的AWS时刻’。 }, { “instruction”: “报道一下新能源汽车电池技术的新进展。”, “output”: “在最新电池技术论坛上‘绿色动力’实验室宣布成功研发固态电池原型能量密度达到每公斤500瓦时是当前主流锂电池的两倍以上。该电池在零下30度至80度的极端环境下仍能稳定工作充电速度提升至15分钟充满80%。分析指出这项技术有望彻底解决电动汽车的里程焦虑和充电慢难题。” } ]你可以根据需要准备几十到几百条这样的数据。创建数据集配置文件data/dataset_info.json告诉框架如何读取数据{ tech_news: { file_name: tech_news_train.json, file_sha1: // 可留空或通过 sha1sum 命令计算后填入 } }5.3 配置与启动微调Llama-Factory 提供了便捷的 Web UI 和命令行两种方式。这里使用其提供的训练脚本。下载基础模型从 Hugging Face 或 ModelScope 下载 ChatGLM3-6B 模型到本地目录例如./model/chatglm3-6b。# 使用 git lfs 克隆需先安装 git-lfs git lfs install git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git ./model/chatglm3-6b准备训练脚本创建一个训练配置脚本train_glm3_lora.sh。#!/bin/bash export CUDA_VISIBLE_DEVICES0 # 指定使用第一块GPU python src/train_bash.py \ --stage sft \ # 监督微调阶段 --do_train \ --model_name_or_path ./model/chatglm3-6b \ # 基础模型路径 --dataset tech_news \ # 对应 dataset_info.json 中的 key --template chatglm3 \ # 使用 chatglm3 的对话模板 --finetuning_type lora \ # 使用 LoRA 微调 --lora_target query_key_value \ # 对 GLM 的 Attention 层进行 LoRA --output_dir ./saves/chatglm3-6b-lora-tech-news \ # 输出目录 --overwrite_cache \ --per_device_train_batch_size 4 \ # 根据显存调整 --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --fp16 # 使用混合精度训练节省显存开始微调chmod x train_glm3_lora.sh ./train_glm3_lora.sh训练开始后终端会显示损失loss下降曲线。训练完成后LoRA 权重文件会保存在./saves/chatglm3-6b-lora-tech-news目录下。5.4 加载与测试微调后的模型训练完成后可以使用以下脚本加载基础模型和 LoRA 权重进行推理测试。# test_lora_model.py from transformers import AutoTokenizer, AutoModel from peft import PeftModel import torch # 1. 加载原始模型和分词器 model_name “./model/chatglm3-6b” tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) base_model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_map“auto”) # 自动分配 GPU/CPU # 2. 加载 LoRA 适配器权重 lora_path “./saves/chatglm3-6b-lora-tech-news” model PeftModel.from_pretrained(base_model, lora_path) # 3. 将模型设置为评估模式 model.eval() # 4. 进行推理 prompt “写一篇关于太空探索机器人最新发现的新闻稿。” inputs tokenizer(prompt, return_tensors“pt”).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_length500, temperature0.9) response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(“提问”, prompt) print(“\n模型生成\n”, response)运行此脚本你将看到模型生成的新闻稿已经带有你训练数据中的风格和领域特征。6. 实战三使用 vLLM 高性能部署 DeepSeek 模型当我们需要将模型部署为可供多个用户或系统同时调用的 API 服务时推理速度至关重要。vLLM 正是为此而生。6.1 安装 vLLM在虚拟环境中安装 vLLM它会自动安装兼容的 PyTorch 版本。pip install vllm # 如果需要使用 OpenAI 兼容的 API 服务器额外安装 pip install ‘vllm[openai]’6.2 下载 DeepSeek 模型从 Hugging Face 下载 DeepSeek 模型例如deepseek-ai/DeepSeek-V2-Lite-Chat。# 使用 huggingface-cli需先登录huggingface-cli login huggingface-cli download deepseek-ai/DeepSeek-V2-Lite-Chat --local-dir ./model/deepseek-v2-lite-chat或者直接使用git lfs clone。6.3 启动 vLLM OpenAI API 服务器vLLM 提供了与 OpenAI API 完全兼容的接口这意味着之前为 ChatGPT 编写的代码几乎可以无缝迁移。# 启动 API 服务器指定模型路径和端口 python -m vllm.entrypoints.openai.api_server \ --model ./model/deepseek-v2-lite-chat \ --served-model-name deepseek-v2-lite-chat \ --api-key “your-api-key-here” \ # 设置一个 API 密钥 --port 8000 \ --tensor-parallel-size 1 # 如果有多张 GPU可以设置为 GPU 数量以并行计算服务器启动后会在http://localhost:8000提供v1/chat/completions等端点。6.4 调用部署的 API现在你可以像调用 OpenAI 一样调用你的本地模型服务。# call_vllm_api.py from openai import OpenAI # 注意base_url 指向本地 vLLM 服务器 client OpenAI( api_key“your-api-key-here”, base_url“http://localhost:8000/v1” # vLLM OpenAI API 的地址 ) completion client.chat.completions.create( model“deepseek-v2-lite-chat”, # 与 --served-model-name 一致 messages[ {“role”: “system”, “content”: “你是一个乐于助人的AI助手。”}, {“role”: “user”, “content”: “用三句话解释什么是量子计算。”} ], temperature0.7, max_tokens500 ) print(completion.choices[0].message.content)vLLM 的高效引擎能显著降低每个请求的响应时间尤其在高并发场景下优势明显。7. 常见问题与排查思路 (FAQ)在部署和微调过程中你可能会遇到以下常见问题。问题现象可能原因排查思路与解决方案Ollama 运行时提示CUDA error或GPU not found1. Ollama 未检测到 GPU。2. Docker 容器内无 GPU 访问权限。1. 运行ollama ps查看运行环境。在 Linux 宿主机上运行通常没问题。2. 若在 Docker 中确保使用--gpus all参数运行容器。微调时OutOfMemoryError (CUDA)显存不足。批处理大小batch size太大或模型太大。1. 减小per_device_train_batch_size。2. 增大gradient_accumulation_steps以补偿。3. 使用fp16或bf16混合精度训练。4. 使用--quantization_bit 4QLoRA进行 4 比特量化微调极大减少显存占用。Llama-Factory 训练时损失loss为NaN学习率learning rate过高导致梯度爆炸。大幅降低学习率例如从5e-5降至1e-5或5e-6。同时可以尝试启用梯度裁剪--max_grad_norm 1.0。vLLM 启动失败提示不支持的模型架构vLLM 尚未官方支持该模型架构。1. 查看 vLLM 官方文档的 Model Support 页面。2. DeepSeek、Qwen、ChatGLM 的最新版本通常都能得到快速支持请确保 vLLM 版本最新pip install -U vllm。3. 可尝试使用--dtype float16或--dtype bfloat16指定精度。加载微调后的模型生成效果毫无变化1. LoRA 权重未正确加载或合并。2. 微调数据量太少或质量不高。3. 在推理时未激活 LoRA 模块。1. 确保推理代码中通过PeftModel正确加载了 LoRA 路径。2. 检查训练日志确认 loss 确实下降了。3. 尝试增加训练数据至数百条并确保指令和输出质量。API 调用返回401 Unauthorized未提供或提供了错误的 API Key。1. 检查调用代码中的api_key是否与启动 vLLM 服务器时设置的--api-key一致。2. 如果仅用于本地测试可以在启动 vLLM 时使用--disable-log-requests并省略--api-key参数不推荐生产环境。8. 最佳实践与工程建议将大模型真正用于生产环境除了能跑起来还需要考虑更多工程化因素。模型选择与量化平衡速度与效果参数越大的模型通常效果越好但推理和微调成本也越高。7B-14B 参数模型是性价比很高的起点。积极使用量化使用 GPTQ、AWQ、GGUF 等量化技术可以将模型显存占用降低 2-4 倍而精度损失很小。例如使用TheBloke在 Hugging Face 上传的Qwen2.5-7B-Instruct-GGUF模型配合llama.cpp或 Ollama可以在 8GB 显存的消费级显卡上流畅运行。微调数据与策略质量优于数量精心设计 100-500 条高质量、多样化的指令数据远胜于数万条爬取的粗糙数据。数据应覆盖你希望模型掌握的所有任务类型。从 LoRA/QLoRA 开始全参数微调成本极高。优先尝试 LoRA低秩适配或 QLoRA量化低秩适配它们只需训练极少的参数通常 1%就能达到接近全参数微调的效果且保存的权重文件很小几 MB 到几百 MB。验证集与早停一定要从训练数据中留出一部分如 10%作为验证集监控验证集上的损失。当验证集损失不再下降时启用早停early stopping防止过拟合。部署与服务化使用专用推理服务器生产环境不要直接用transformers的pipeline或脚本。应使用vLLM或TGI(Text Generation Inference) 这类高性能推理服务器它们具备连续批处理、动态批处理、流量控制等特性能极大提升吞吐量和资源利用率。API 网关与鉴权在 vLLM API 前放置一层 API 网关如 Nginx, Kong实现负载均衡、限流、熔断和更完善的鉴权如 JWT提升服务稳定性和安全性。监控与日志集成 Prometheus 和 Grafana 监控 GPU 使用率、显存占用、请求延迟、QPS 等关键指标。记录详细的请求和响应日志注意脱敏便于问题排查和效果分析。版本管理与回滚对基础模型、微调后的适配器权重、推理服务代码进行版本控制如 Git。制定清晰的回滚策略。当新微调的模型上线后效果不佳时能快速切换回上一个稳定版本。成本控制无请求时休眠对于内部使用频率不高的服务可以编写脚本在长时间无请求时自动休眠模型释放 GPU 显存有请求时再唤醒虽然有一定冷启动延迟。考虑 CPU 推理对于对延迟不敏感的后台任务可以考虑使用llama.cpp、ollama在 CPU 上运行量化模型充分利用空闲的 CPU 和内存资源。通过以上步骤你不仅能让大模型在本地跑起来更能以工程化的思维将其稳健、高效、安全地融入到实际业务流中。从快速体验的 Ollama到灵活微调的 Llama-Factory再到高性能服务的 vLLM这套组合拳基本覆盖了个人学习与企业级应用的主要场景。