一、大模型开发整体流程1. 何为大模型开发我们将开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型开发。开发大模型相关应用其技术核心点虽然在大语言模型上但一般通过调用 API 或开源模型来实现核心的理解与生成通过 Prompt Enginnering 来实现大语言模型的控制因此虽然大模型是深度学习领域的集大成之作大模型开发却更多是一个工程问题。在大模型开发中我们一般不会去大幅度改动模型而是将大模型作为一个调用工具通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力适配应用任务而不会将精力聚焦在优化模型本身上。因此作为大模型开发的初学者我们并不需要深研大模型内部原理而更需要掌握使用大模型的实践技巧。大模型开发要素同时以调用、发挥大模型为核心的大模型开发与传统的 AI 开发在整体思路上有着较大的不同。大语言模型的两个核心能力指令理解与文本生成提供了复杂业务逻辑的简单平替方案。在传统的 AI 开发中我们首先需要将非常复杂的业务逻辑依次拆解对于每一个子业务构造训练数据与验证数据对于每一个子业务训练优化模型最后形成完整的模型链路来解决整个业务逻辑。然而在大模型开发中我们将尝试用 Prompt Engineering 来替代子模型的训练调优通过 Prompt 链路组合来实现业务逻辑用一个通用大模型 若干业务 Prompt 来解决任务从而将传统的模型训练调优转变成了更简单、轻松、低成本的 Prompt 设计调优。同时在评估思路上大模型开发与传统 AI 开发也有了质的差异。传统 AI 开发需要首先构造训练集、测试集、验证集通过在训练集上训练模型、在验证集上调优模型、在测试集上最终验证模型效果来实现性能的评估。然而大模型开发更敏捷、灵活我们一般不会在初期显式地确定训练集、验证集由于不再需要训练子模型我们不再构造训练集而是直接从实际业务需求出发构造小批量验证集设计合理 Prompt 来满足验证集效果。然后我们将不断从业务逻辑中收集当下 Prompt 的 Bad Case并将 Bad Case 加入到验证集中针对性优化 Prompt最后实现较好的泛化效果。传统 AI 评估LLM 评估 在本章中我们将简述大模型开发的一般流程并结合项目实际需求逐步分析完成项目开发的工作和步骤。2. 大模型开发的整体流程结合上述分析我们一般可以将大模型开发分解为以下几个流程1. 确定目标。在进行开发前我们首先需要确定开发的目标即要开发的应用的应用场景、目标人群、核心价值。对于个体开发者或小型开发团队而言一般应先设定最小化目标从构建一个 MVP最小可行性产品开始逐步进行完善和优化。2. 设计功能。在确定开发目标后需要设计本应用所要提供的功能以及每一个功能的大体实现逻辑。虽然我们通过使用大模型来简化了业务逻辑的拆解但是越清晰、深入的业务逻辑理解往往也能带来更好的 Prompt 效果。同样对于个体开发者或小型开发团队来说首先要确定应用的核心功能然后延展设计核心功能的上下游功能例如我们想打造一款个人知识库助手那么核心功能就是结合个人知识库内容进行问题的回答那么其上游功能的用户上传知识库、下游功能的用户手动纠正模型回答就是我们也必须要设计实现的子功能。3. 搭建整体架构。目前绝大部分大模型应用都是采用的特定数据库 Prompt 通用大模型的架构。我们需要针对我们所设计的功能搭建项目的整体架构实现从用户输入到应用输出的全流程贯通。一般来说我们推荐基于 LangChain 框架进行开发。LangChain 提供了 Chain、Tool 等架构的实现我们可以基于 LangChain 进行个性化定制实现从用户输入到数据库再到大模型最后输出的整体架构连接。4. 搭建数据库。个性化大模型应用需要有个性化数据库进行支撑。由于大模型应用需要进行向量语义检索一般使用诸如 chroma 的向量数据库。在该步骤中我们需要收集数据并进行预处理再向量化存储到数据库中。数据预处理一般包括从多种格式向纯文本的转化例如 pdf、markdown、html、音视频等以及对错误数据、异常数据、脏数据进行清洗。完成预处理后需要进行切片、向量化构建出个性化数据库。5. Prompt Engineering。优质的 Prompt 对大模型能力具有极大影响我们需要逐步迭代构建优质的 Prompt Engineering 来提升应用性能。在该步中我们首先应该明确 Prompt 设计的一般原则及技巧构建出一个来源于实际业务的小型验证集基于小型验证集设计满足基本要求、具备基本能力的 Prompt。6. 验证迭代。验证迭代在大模型开发中是极其重要的一步一般指通过不断发现 Bad Case 并针对性改进 Prompt Engineering 来提升系统效果、应对边界情况。在完成上一步的初始化 Prompt 设计后我们应该进行实际业务测试探讨边界情况找到 Bad Case并针对性分析 Prompt 存在的问题从而不断迭代优化直到达到一个较为稳定、可以基本实现目标的 Prompt 版本。7. 前后端搭建。完成 Prompt Engineering 及其迭代优化之后我们就完成了应用的核心功能可以充分发挥大语言模型的强大能力。接下来我们需要搭建前后端设计产品页面让我们的应用能够上线成为产品。前后端开发是非常经典且成熟的领域此处就不再赘述我们将主要介绍两种快速开发 Demo 的框架Gradio 和 Streamlit可以帮助个体开发者迅速搭建可视化页面实现 Demo 上线。8. 体验优化。在完成前后端搭建之后应用就可以上线体验了。接下来就需要进行长期的用户体验跟踪记录 Bad Case 与用户负反馈再针对性进行优化即可。如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。