LocalAI实战指南两条命令在纯CPU上跑起OpenAI兼容的本地AI API【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是免费开源的本地AI推理引擎LLM、图像生成、语音转写与合成、视频模型都能在没有GPU的消费级硬件上运行对外提供兼容OpenAI、Anthropic接口的REST API。现有代码若已在调用OpenAI兼容端点多数情况下只需换掉base URL。可插拔backend架构只装你用的LocalAI的架构和大而全的推理框架不同核心二进制很小只负责路由、智能体、模型库和WebUI真正干活的是60多个独立backend——llama.cpp、vLLM、whisper.cpp、stable-diffusion等各自打包成独立镜像。跑某个模型时对应backend才被自动拉取不用的不占磁盘backend可以随装随卸加一种能力不用重建环境。从0到第一次回复Docker一行命令启动CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest浏览器打开 http://localhost:8080 WebUI里聊天、模型管理、生图、智能体配置都有不需要额外工具。官方快速入门建议从画廊里选qwen3-4b2.5GB纯CPU可用还支持函数调用。也可以在终端直接拉取local-ai run qwen3-4b模型就位后在Chat页提问或从任何语言curl/v1/chat/completions。终端里local-ai chat --model qwen3-4b可进入内置智能体能读文件、跑命令改动状态前会要求确认。模型选型纯CPU能跑什么首页会自动探测硬件并推荐对应模型。无GPU机器上的一般性结论模型规格定位qwen3-4b2.5GB通用对话支持函数调用纯CPU响应快deepseek-v4-flash-Q31Q3量化质量更高吃内存gemma-3-4b-it小体量轻量适合边缘与低配硬件拿不准就先选4B级别的量化模型先把链路跑通再换大模型。画廊目前收录900多个模型可按类型文本生成、生图、TTS、嵌入、rerank、转写和标签cpu、gguf、function-calling等过滤也支持从HuggingFace或Ollama注册表一键导入。聊天之外图像、语音与RealtimeLocalAI不只是一个文本模型代理。文生图走stable-diffusion后端TTS和ASR分别有Kokoro、parakeet.cpp、whisper.cpp等独立backendPiper TTS提供60种音色覆盖42种语言。Realtime API基于WebRTC做双向语音可以搭会调用工具的实时语音助手。嵌入、rerank、目标检测、人脸检测也走同一套API不用另起服务。硬件加速镜像对照没有GPU也能跑有对应硬件时选对应镜像即可硬件镜像后缀追加参数CPU onlylatest无NVIDIA CUDA 12/13latest-gpu-nvidia-cuda-12--gpus allAMD ROCmlatest-gpu-hipblas--device/dev/kfd --device/dev/driIntel oneAPIlatest-gpu-intel--device/dev/dri/card1支持Vulkan的卡latest-gpu-vulkan无Apple Silicon原生支持MLXJetson也有现成镜像。部署后的常见坑首次请求慢因为要下载backend镜像和模型权重重启容器用docker start -i local-ai别重复拉取。默认端口8080被占用时改-p的主机侧端口WebUI地址随之变化。对外暴露时加LOCALAI_API_KEY启用API密钥或LOCALAI_AUTHtrue开启多用户、OIDC登录与配额管理。显存或算力不够时上分布式模式基于PostgreSQL NATS支持VRAM感知路由和多节点水平扩展。谁该先上手如果你现在在调云端OpenAI API但有数据合规要求或想在自家服务器上玩多模态模型又不想采购GPU先用CPU版把qwen3-4b跑起来把现有代码的base URL换掉十分钟就能拿到一个本地AI API。安装细节见 docs/content/getting-started/install.md 内置模型清单在 gallery/index.yaml 。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LocalAI实战指南：两条命令在纯CPU上跑起OpenAI兼容的本地AI API
LocalAI实战指南两条命令在纯CPU上跑起OpenAI兼容的本地AI API【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是免费开源的本地AI推理引擎LLM、图像生成、语音转写与合成、视频模型都能在没有GPU的消费级硬件上运行对外提供兼容OpenAI、Anthropic接口的REST API。现有代码若已在调用OpenAI兼容端点多数情况下只需换掉base URL。可插拔backend架构只装你用的LocalAI的架构和大而全的推理框架不同核心二进制很小只负责路由、智能体、模型库和WebUI真正干活的是60多个独立backend——llama.cpp、vLLM、whisper.cpp、stable-diffusion等各自打包成独立镜像。跑某个模型时对应backend才被自动拉取不用的不占磁盘backend可以随装随卸加一种能力不用重建环境。从0到第一次回复Docker一行命令启动CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest浏览器打开 http://localhost:8080 WebUI里聊天、模型管理、生图、智能体配置都有不需要额外工具。官方快速入门建议从画廊里选qwen3-4b2.5GB纯CPU可用还支持函数调用。也可以在终端直接拉取local-ai run qwen3-4b模型就位后在Chat页提问或从任何语言curl/v1/chat/completions。终端里local-ai chat --model qwen3-4b可进入内置智能体能读文件、跑命令改动状态前会要求确认。模型选型纯CPU能跑什么首页会自动探测硬件并推荐对应模型。无GPU机器上的一般性结论模型规格定位qwen3-4b2.5GB通用对话支持函数调用纯CPU响应快deepseek-v4-flash-Q31Q3量化质量更高吃内存gemma-3-4b-it小体量轻量适合边缘与低配硬件拿不准就先选4B级别的量化模型先把链路跑通再换大模型。画廊目前收录900多个模型可按类型文本生成、生图、TTS、嵌入、rerank、转写和标签cpu、gguf、function-calling等过滤也支持从HuggingFace或Ollama注册表一键导入。聊天之外图像、语音与RealtimeLocalAI不只是一个文本模型代理。文生图走stable-diffusion后端TTS和ASR分别有Kokoro、parakeet.cpp、whisper.cpp等独立backendPiper TTS提供60种音色覆盖42种语言。Realtime API基于WebRTC做双向语音可以搭会调用工具的实时语音助手。嵌入、rerank、目标检测、人脸检测也走同一套API不用另起服务。硬件加速镜像对照没有GPU也能跑有对应硬件时选对应镜像即可硬件镜像后缀追加参数CPU onlylatest无NVIDIA CUDA 12/13latest-gpu-nvidia-cuda-12--gpus allAMD ROCmlatest-gpu-hipblas--device/dev/kfd --device/dev/driIntel oneAPIlatest-gpu-intel--device/dev/dri/card1支持Vulkan的卡latest-gpu-vulkan无Apple Silicon原生支持MLXJetson也有现成镜像。部署后的常见坑首次请求慢因为要下载backend镜像和模型权重重启容器用docker start -i local-ai别重复拉取。默认端口8080被占用时改-p的主机侧端口WebUI地址随之变化。对外暴露时加LOCALAI_API_KEY启用API密钥或LOCALAI_AUTHtrue开启多用户、OIDC登录与配额管理。显存或算力不够时上分布式模式基于PostgreSQL NATS支持VRAM感知路由和多节点水平扩展。谁该先上手如果你现在在调云端OpenAI API但有数据合规要求或想在自家服务器上玩多模态模型又不想采购GPU先用CPU版把qwen3-4b跑起来把现有代码的base URL换掉十分钟就能拿到一个本地AI API。安装细节见 docs/content/getting-started/install.md 内置模型清单在 gallery/index.yaml 。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考