Llama：Meta 开源大语言模型，近 6 万 Star

文章目录LlamaMeta 开源大语言模型近 6 万 StarLlamaMeta 开源大语言模型近 6 万 StarMeta 的开源大语言模型 Llama在 GitHub 上拿到了 59,453 个 Star。Llama 是 Meta 发布的开源大语言模型提供 7B、13B、70B 三种参数规模包含预训练和微调两个版本。模型权重和推理代码完全公开研究者和企业都可以直接使用。这个仓库目前已标记为废弃。Meta 在 Llama 3.1 发布时将项目拆分为多个独立仓库分别负责模型本体、安全工具、推理微调工具链、智能体系统和社区示例。模型获取到 Meta 官网提交申请并同意许可协议后会收到包含下载链接的邮件。链接有效期 24 小时配合仓库中的 download.sh 脚本即可拉取模型权重和 tokenizer。Hugging Face 上也提供了下载渠道。在模型卡片页面确认许可后大约一小时内可以访问同版本的全部模型。快速上手本地运行需要 PyTorch 和 CUDA 环境。克隆仓库后执行 pip install -e . 安装依赖再用 torchrun 启动推理torchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir llama-2-7b-chat/ \ --tokenizer_path tokenizer.model \ --max_seq_len 512 --max_batch_size 6不同规模的模型需要不同的并行度。7B 用 1 张卡13B 用 2 张70B 需要 8 张。序列长度最长支持 4096 token缓存空间根据 max_seq_len 和 max_batch_size 预分配。预训练和微调预训练模型没有针对对话做过调优需要通过 prompt 引导自然续写。微调后的 chat 模型使用特定的格式化标签包括 INST、SYS 标签以及 BOS 和 EOS token仓库中有对应示例代码。许可证Llama 的模型和权重对研究者和商业实体均可使用附带 LICENSE 文件和使用政策。Meta 还提供了负责任使用指南帮助开发者应对模型可能带来的风险。用政策。Meta 还提供了负责任使用指南帮助开发者应对模型可能带来的风险。