这次继续聊国产主流AI大模型。各家模型的更新节奏比上一轮评测时快了不少之前还在靠“聊天截图”和“单项Demo”判断模型能力的做法已经很难支撑真正的技术选型。现在更需要做的是把“评价大模型”变成一套可复现的工程流程固定样本集、固定参数、固定模型版本让任何人拿到脚本后都能跑出同样的结果而不是听一个人说哪家好用就跟着用。国产主流AI大模型已经分化成多个类型有的擅长深度推理有的主打长文本理解有的多模态输入稳定有的专门为Agent工具调用优化。它们的能力边界、接口稳定性、价格策略差得很多适合的业务场景也完全不同。如果只看搜索结果和各类评分榜单很容易在真实生产环境里踩坑。更稳妥的方式是用统一的评测脚本、统一的Prompt模板、统一的数据集在自己的账号和网络环境下做一轮横向对比。本文按这个顺序展开先给评测维度和指标速览再讲怎么准备评测环境、怎么设计评测样本集、怎么用API统一调用模板做批量评测然后看响应性能和资源占用最后补充幻觉抑制、常见问题排查和最佳实践。整个过程不需要本地GPU只要你有目标模型的API Key和Python环境。如果之后要本地部署开源模型我也会说明通用检查思路。1. 核心能力速览先明确一件事我们评测的不是“聊天体验”这一个点而是把大模型拆成多个可量化的能力项。下面这张表是本文使用的评测维度也可以直接作为你后续做模型选型的基础模板。实际使用的时候可以按业务场景增删维度但建议先保持维度固定否则结果之间没有可比性。评测维度核心指标评测方式关键说明对话理解语义准确性、多轮一致性多轮对话、改述测试考察上下文跟踪能力推理与数学逻辑正确性、计算准确率数学题、逻辑谜题建议按难度分级代码生成正确率、可运行性给定需求生成代码用单测和静态检查验证长文本处理有效上下文长度、信息提取准确率长文档问答、摘要宣传长度不等于有效长度多模态理解图像/表格/图表理解准确率图片问答、图表分析仅对支持多模态的模型指令遵循格式约束、角色约束要求输出JSON/Markdown检查能否严格遵循格式幻觉抑制事实一致性、拒答率事实问答、错误前提测试降低温度后再测试响应性能首token延迟、总耗时记录调用耗时网络环境要固定API稳定性错误率、限流频率、可用性批量压测包含超时和重试逻辑成本与配额单位token价格、免费额度查看厂商定价文档成本要按实际用量估算表格里的维度并不需要每次都全跑但至少应该覆盖“你要用它的那个核心场景”。比如你做AI大模型应用开发代码能力和指令遵循就比多模态更重要你做知识库问答长文本处理和幻觉抑制是重点。评测之前先明确业务指标比跑一堆泛化题目更有效。这里特别提一下“有效上下文长度”和“幻觉抑制”两个维度。很多模型宣传的上下文窗口很大但真实检索和定位信息的能力并不一定随窗口同步提升。长文本评测要设计“信息分散在文档不同位置”的题目而不是只丢一段长文章进去让模型复述。幻觉抑制则直接影响生产可用性如果一个模型总是自信地给出错误答案那它聊天体验再好做自动化应用时也需要额外加很多约束。2. 适用场景与使用边界这篇评测指南适合四类读者。第一类是正在做技术选型的后端或者算法工程师需要在多个国产主流AI大模型之间做横向对比第二类是AI应用开发工程师想让模型通过API接入业务系统而不是只做网页问答第三类是提示词工程和Agent方向的研究者需要统一环境验证Prompt效果第四类是希望了解“AI大模型排名前十”这类信息但不想被排行榜牵着走的普通开发者。这套评测流程能解决的核心问题是把主观的“感觉A比B好用”变成可记录的测试数据。你可以用同一套样本集分别测试多个模型把回复保存下来按维度打分最后形成一份自己团队的评测报告。这个过程也能顺带暴露接口限流、模型版本不稳定、返回格式不统一等工程问题这些在网页聊天里根本看不出来。但它并不适合所有场景。如果你只是想选一个日常聊天工具不需要跑批量脚本网页端直接体验可能更快。如果你要的是领域专用模型比如法律、医疗、金融场景通用评测集不能替代领域真实数据你还需要准备脱敏后的业务样本。另外任何评测都不能脱离版本模型版本更新后旧结果就失效了需要重新复测。还有一条必须强调的使用边界评测用的数据要合规。不能把用户隐私、未脱敏的医疗记录、内部商业文档直接发给外部模型服务涉及人脸、声音、版权素材的生成类测试必须有明确的授权链。评测脚本和样本集建议在团队内部管理如果涉及对外发布需要先检查内容是否符合相关平台和法规要求。3. 评测环境的准备先给出一份通用环境清单适合API评测。操作系统不限Windows、Linux、macOS都可以跑Python建议用3.10以上的版本避免老版本语法兼容问题。网络要求是能够正常访问目标模型服务商的接口这个在国内云服务环境下通常没有问题。如果服务商同时提供OpenAI兼容接口和官方SDK本文示例采用OpenAI兼容接口因为代码更通用换模型时只需要改base_url、api_key和model三个参数。pip install openai python-dotenv requests安装完成后建议把密钥和模型配置放到环境变量里而不是写死在代码中。这样脚本可以提交到代码仓库而不会泄露密钥。下面是一个.env文件示例字段需要按你的服务商信息替换。# 示例配置请替换成你实际使用的服务商信息 OPENAI_BASE_URLhttps://api.your-provider.com/v1 OPENAI_API_KEYsk-your-key-here EVAL_MODELyour-model-name EVAL_TEMPERATURE0 EVAL_MAX_TOKENS2048如果你测试的是官方SDK而不是OpenAI兼容接口结构类似只是把OPENAI_BASE_URL换成官方SDK的初始化参数。建议把模型名完整写进配置不要用“最新版”“默认版”等模糊描述否则后续复测时无法确认到底跑的是哪个版本。部分服务商支持带日期或版本号的模型标识评测期间建议锁定一个明确版本。除了API调用环境还需要准备一个专门存放评测项目的目录建议结构如下samples/存放评测样本集每批一个文件。results/存放模型回复和评分记录。scripts/存放调用、评分、统计脚本。prompts/存放统一Prompt模板。样本和结果分开存放后续做数据分析会更方便。如果你后面要做本地部署对比还需要额外准备GPU服务器建议先确认设备支持CUDA、显存和磁盘空间是否满足模型要求这部分无法一概而论需要以具体模型文档为准。4. 评测样本集设计评测样本集是整个流程的地基。样本集如果设计得不好后面所有数据都不可信。设计时遵循五个原则样本固定一批评测内不要随意增删题目所有模型跑同一套题结果才有可比性难度要有梯度覆盖简单、中等、困难三个档次避免全是简单题导致区分度太低场景要覆盖业务上最关心的两到三个能力维度防止污染不要直接使用网上公开流传的“大模型面试题”作为唯一来源可以自己改写数据必须脱敏任何真实业务数据都要去除姓名、手机号、身份证号等敏感信息。建议第一批样本控制在20到80条之间。太少结果不稳定太多人工复核成本高。可以按下面的维度分配数量样本类别建议数量考察点多轮对话5-10条上下文跟踪、指代消解逻辑推理5-10条条件推理、反事实判断数学计算5-10条精确计算、分步推导代码生成5-10条功能实现、边界处理长文本问答3-5条长文档信息定位与归纳指令遵循5条JSON/Markdown格式输出幻觉检测5-10条事实一致性、拒答能力中文场景5-10条中文歧义、成语、古文理解JSONL格式比较适合批量评测每行一条独立样本字段可以自定义。下面是一个样例格式{id: chat_001, type: multi_turn, messages: [{role: user, content: 我今天想去杭州帮我把行程安排一下。}, {role: assistant, content: 好的请问你计划待几天}, {role: user, content: 三天主要想去西湖和灵隐寺。}], reference: 行程需要覆盖交通、住宿、景点安排}每条样本包含唯一ID、样本类型、输入消息序列、参考要点。参考要点不是标准答案而是人工判断回复质量时的关注点这样评分时更有依据。对于代码类样本可以增加test_cases字段存放单测用例用于自动验证生成代码的正确性对于长文本样本可以把原文单独放一个字段或文件让提示词引用。5. 统一API调用模板下面这个Python脚本是本文的核心模板。它通过OpenAI兼容接口调用模型读取环境变量配置并记录每次请求的耗时。这里故意把调用封装成函数方便后面做批量评测时统一复用。import os import time import json from dotenv import load_dotenv from openai import OpenAI load_dotenv() client OpenAI( base_urlos.getenv(OPENAI_BASE_URL), api_keyos.getenv(OPENAI_API_KEY), timeout120.0, ) def chat(messages, temperatureNone, max_tokensNone): temperature temperature if temperature is not None else float(os.getenv(EVAL_TEMPERATURE, 0)) max_tokens max_tokens if max_tokens is not None else int(os.getenv(EVAL_MAX_TOKENS, 2048)) start time.perf_counter() response client.chat.completions.create( modelos.getenv(EVAL_MODEL), messagesmessages, temperaturetemperature, max_tokensmax_tokens, ) elapsed time.perf_counter() - start content response.choices[0].message.content usage response.usage return { content: content, elapsed_sec: round(elapsed, 3), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, total_tokens: usage.total_tokens, } if __name__ __main__: result chat([{role: user, content: 请用一句话解释什么是数据库索引。}]) print(json.dumps(result, ensure_asciiFalse, indent2))这个模板有几个细节值得注意。温度默认设为0这是评测类任务比较稳妥的起点能减少随机性如果你要测创造性任务可以单独在样本里声明temperature再传进chat函数。超时设置为120秒避免长文本生成时连接被中断。返回结果里记录了耗时和token用量这些字段在后续性能和成本分析中会用到。如果你的服务商不提供OpenAI兼容接口不要硬套这个模板直接去看官方SDK文档。多数国产AI大模型都有Python SDK通常只需要替换初始化方式和调用函数名业务逻辑保持一致。另外部分模型的max_tokens参数名可能是max_completion_tokens字段名差异要以官方文档为准。6. 批量评测与结果记录有了统一调用模板就可以批量评测了。下面脚本读取一个JSONL样本文件逐条调用模型把回复和元信息追加写入结果文件。这个版本先做串行调用方便定位错误如果你确认账号没有限流问题再改成并发。import json import os from datetime import datetime from chat_template import chat # 上一节的函数 SAMPLE_FILE samples/round_001.jsonl RESULT_FILE fresults/round_001_{datetime.now().strftime(%Y%m%d_%H%M%S)}.jsonl def run_batch(): with open(SAMPLE_FILE, r, encodingutf-8) as f: samples [json.loads(line) for line in f if line.strip()] os.makedirs(results, exist_okTrue) with open(RESULT_FILE, w, encodingutf-8) as out: for idx, sample in enumerate(samples): print(f[{idx 1}/{len(samples)}] processing {sample[id]}) try: result chat(sample[messages]) record { id: sample[id], type: sample.get(type, ), reference: sample.get(reference, ), response: result[content], elapsed_sec: result[elapsed_sec], prompt_tokens: result[prompt_tokens], completion_tokens: result[completion_tokens], total_tokens: result[total_tokens], status: success, } except Exception as e: record { id: sample[id], type: sample.get(type, ), reference: sample.get(reference, ), response: , error: str(e), status: error, } out.write(json.dumps(record, ensure_asciiFalse) \n) out.flush() if __name__ __main__: run_batch()脚本会对每条样本做异常捕获成功的记录回复内容和token用量失败的记录错误信息不会因为单条超时中断整批任务。out.flush()保证每条结果即时落盘避免程序中途崩溃导致前面全部丢失。批量跑完之后建议先做人工复核再做自动评分。人工复核适合看回答质量、代码可运行性、长文本归纳是否准确自动评分适合做格式校验比如检查是否输出了合法JSON、是否包含关键词、单测能否跑通。用另外一个模型当裁判LLM-as-Judge可以批量打分但要注意裁判模型本身也可能有偏见最好让裁判模型只输出结构化分数不要让它替代人工判断。JUDGE_PROMPT 请根据以下评分标准对模型回复打分0到5分。 只输出JSON格式为 {score: 0, reason: 简短理由}。 题目类型{type} 参考要点{reference} 模型回复{response} LLM-as-Judge适合在样本量大、人工看不过来时做粗筛但最终结论最好还是由人来复核。打分维度要提前写清楚比如“事实是否准确、是否完全遵循指令、格式是否符合要求”避免裁判模型自己自由发挥。评分结果保存下来后可以按样本类型、模型、输出长度做统计分析找出每个模型的强弱项。7. 响应性能与资源占用观察评测除了能力分数还要关注两个工程指标响应性能和资源占用。API模式下主要观察首token延迟、总耗时、每分钟请求数限制、错误率本地部署模式下则要观察GPU显存、CPU占用、磁盘读写和内存占用。用上一节的elapsed_sec字段可以画出总耗时分布。总耗时受网络、模型排队和输出长度影响不能只看平均值建议同时记录P50、P95和最大值。如果某个模型在相同prompt下经常超过30秒说明它的排队或输出策略可能不适合你的实时业务场景。更细致的性能分析还需要拆解首token时间比如用流式响应来记录第一个token返回的时刻这个可以在批量评测稳定后单独做。本地部署评测的思路完全不同。你可以用nvidia-smi持续观察显存占用用htop观察内存和CPU用常见的模型管理工具查看模型加载情况。需要注意显存占用和模型参数量、量化精度、上下文长度都有关系不能只凭模型的参数量估算要以实际部署文档和本机测试为准。如果你的设备不支持CUDA很多大模型只能退化到CPU推理速度会明显下降评测重点也应改为“能不能跑通”而不是“性能多好”。影响生成速度的主要因素包括输入长度、输出长度、并发数、显存带宽、是否量化、服务端排队策略。评测时要尽量控制变量比如固定输入长度范围、固定max_tokens、固定并发数这样对比出来的延迟才有意义。如果想降低显存占用常见方向是使用量化版本、缩短上下文长度、降低并发、启用KV Cache优化但这些都要看具体部署框架是否支持。8. 幻觉抑制与提示词工程在国产主流AI大模型的真实使用中“AI幻觉”是一个绕不开的问题。所谓幻觉就是模型生成了听起来合理、但与事实不符的内容。它不只在对话场景出现也会在知识库问答、摘要、代码注释里出现。幻觉是生成式模型本身的统计特性不能彻底消除但可以通过评测和提示词工程控制在可接受范围内。先讲评测幻觉的三种方法。第一种是事实问答准备一批有明确答案的中文事实题看模型是否给出正确答案第二种是错误前提测试故意在问题里埋一个错误假设看模型是纠正还是顺着错误继续答第三种是“自知之明”测试让模型判断“这个问题我是否知道答案”如果不知道模型应该明确说不知道而不是强行编造。第三种方法对知识库场景尤其重要本质上就是在训练模型学会拒绝。幻觉抑制的提示词工程常见做法有五种把温度调低减少随机性在指令里添加“如果信息不足请直接回答不知道”用few-shot示例让模型模仿正确行为使用思维链让模型分步推理降低中间错误让模型在回答末尾标注不确定程度。下面是幻觉抑制Prompt的通用模板可以按业务调整你是一个严谨的问答助手。回答规则 1. 只能依据我提供的资料回答不能使用未提供的知识。 2. 如果资料中没有答案直接回复“资料中未找到相关信息”。 3. 不要猜测不要编造。 4. 涉及时间、价格、数量等关键信息时必须在回答中标注信息出处。 以下为资料 {context} 以下是问题 {question}需要强调提示词工程不能替代评测。同一个Prompt模板在不同模型上效果差异很大必须用固定样本集去对比观察哪个模型的拒答率、错误率、格式遵循率更好。把“幻觉抑制方案”和“提示词工程”结合起来才能真正提升应用可靠性。这类实验也可以单独做成一个评测目录专门用来跑“事实一致性”和“错误前提拒绝率”。9. 常见问题与排查方法评测过程中会碰到很多工程问题下面给出最常见的几类按“现象、原因、排查、解决”整理成表实际遇到时可以按表排查。问题现象可能原因排查方式解决方案接口返回401API Key无效或权限不足检查请求头中的Key重新生成Key并确认模型访问权限接口返回429触发限流或额度不足查看响应头和官方控制台降低并发、增加重试退避、升级套餐请求超时网络或模型排队严重检查日志中的耗时增大timeout、分批提交、换非高峰时段返回内容为空max_tokens过小或内容被安全策略拦截查看usage和结束原因 国产主流AI大模型评测工程化指南：从API到幻觉抑制
这次继续聊国产主流AI大模型。各家模型的更新节奏比上一轮评测时快了不少之前还在靠“聊天截图”和“单项Demo”判断模型能力的做法已经很难支撑真正的技术选型。现在更需要做的是把“评价大模型”变成一套可复现的工程流程固定样本集、固定参数、固定模型版本让任何人拿到脚本后都能跑出同样的结果而不是听一个人说哪家好用就跟着用。国产主流AI大模型已经分化成多个类型有的擅长深度推理有的主打长文本理解有的多模态输入稳定有的专门为Agent工具调用优化。它们的能力边界、接口稳定性、价格策略差得很多适合的业务场景也完全不同。如果只看搜索结果和各类评分榜单很容易在真实生产环境里踩坑。更稳妥的方式是用统一的评测脚本、统一的Prompt模板、统一的数据集在自己的账号和网络环境下做一轮横向对比。本文按这个顺序展开先给评测维度和指标速览再讲怎么准备评测环境、怎么设计评测样本集、怎么用API统一调用模板做批量评测然后看响应性能和资源占用最后补充幻觉抑制、常见问题排查和最佳实践。整个过程不需要本地GPU只要你有目标模型的API Key和Python环境。如果之后要本地部署开源模型我也会说明通用检查思路。1. 核心能力速览先明确一件事我们评测的不是“聊天体验”这一个点而是把大模型拆成多个可量化的能力项。下面这张表是本文使用的评测维度也可以直接作为你后续做模型选型的基础模板。实际使用的时候可以按业务场景增删维度但建议先保持维度固定否则结果之间没有可比性。评测维度核心指标评测方式关键说明对话理解语义准确性、多轮一致性多轮对话、改述测试考察上下文跟踪能力推理与数学逻辑正确性、计算准确率数学题、逻辑谜题建议按难度分级代码生成正确率、可运行性给定需求生成代码用单测和静态检查验证长文本处理有效上下文长度、信息提取准确率长文档问答、摘要宣传长度不等于有效长度多模态理解图像/表格/图表理解准确率图片问答、图表分析仅对支持多模态的模型指令遵循格式约束、角色约束要求输出JSON/Markdown检查能否严格遵循格式幻觉抑制事实一致性、拒答率事实问答、错误前提测试降低温度后再测试响应性能首token延迟、总耗时记录调用耗时网络环境要固定API稳定性错误率、限流频率、可用性批量压测包含超时和重试逻辑成本与配额单位token价格、免费额度查看厂商定价文档成本要按实际用量估算表格里的维度并不需要每次都全跑但至少应该覆盖“你要用它的那个核心场景”。比如你做AI大模型应用开发代码能力和指令遵循就比多模态更重要你做知识库问答长文本处理和幻觉抑制是重点。评测之前先明确业务指标比跑一堆泛化题目更有效。这里特别提一下“有效上下文长度”和“幻觉抑制”两个维度。很多模型宣传的上下文窗口很大但真实检索和定位信息的能力并不一定随窗口同步提升。长文本评测要设计“信息分散在文档不同位置”的题目而不是只丢一段长文章进去让模型复述。幻觉抑制则直接影响生产可用性如果一个模型总是自信地给出错误答案那它聊天体验再好做自动化应用时也需要额外加很多约束。2. 适用场景与使用边界这篇评测指南适合四类读者。第一类是正在做技术选型的后端或者算法工程师需要在多个国产主流AI大模型之间做横向对比第二类是AI应用开发工程师想让模型通过API接入业务系统而不是只做网页问答第三类是提示词工程和Agent方向的研究者需要统一环境验证Prompt效果第四类是希望了解“AI大模型排名前十”这类信息但不想被排行榜牵着走的普通开发者。这套评测流程能解决的核心问题是把主观的“感觉A比B好用”变成可记录的测试数据。你可以用同一套样本集分别测试多个模型把回复保存下来按维度打分最后形成一份自己团队的评测报告。这个过程也能顺带暴露接口限流、模型版本不稳定、返回格式不统一等工程问题这些在网页聊天里根本看不出来。但它并不适合所有场景。如果你只是想选一个日常聊天工具不需要跑批量脚本网页端直接体验可能更快。如果你要的是领域专用模型比如法律、医疗、金融场景通用评测集不能替代领域真实数据你还需要准备脱敏后的业务样本。另外任何评测都不能脱离版本模型版本更新后旧结果就失效了需要重新复测。还有一条必须强调的使用边界评测用的数据要合规。不能把用户隐私、未脱敏的医疗记录、内部商业文档直接发给外部模型服务涉及人脸、声音、版权素材的生成类测试必须有明确的授权链。评测脚本和样本集建议在团队内部管理如果涉及对外发布需要先检查内容是否符合相关平台和法规要求。3. 评测环境的准备先给出一份通用环境清单适合API评测。操作系统不限Windows、Linux、macOS都可以跑Python建议用3.10以上的版本避免老版本语法兼容问题。网络要求是能够正常访问目标模型服务商的接口这个在国内云服务环境下通常没有问题。如果服务商同时提供OpenAI兼容接口和官方SDK本文示例采用OpenAI兼容接口因为代码更通用换模型时只需要改base_url、api_key和model三个参数。pip install openai python-dotenv requests安装完成后建议把密钥和模型配置放到环境变量里而不是写死在代码中。这样脚本可以提交到代码仓库而不会泄露密钥。下面是一个.env文件示例字段需要按你的服务商信息替换。# 示例配置请替换成你实际使用的服务商信息 OPENAI_BASE_URLhttps://api.your-provider.com/v1 OPENAI_API_KEYsk-your-key-here EVAL_MODELyour-model-name EVAL_TEMPERATURE0 EVAL_MAX_TOKENS2048如果你测试的是官方SDK而不是OpenAI兼容接口结构类似只是把OPENAI_BASE_URL换成官方SDK的初始化参数。建议把模型名完整写进配置不要用“最新版”“默认版”等模糊描述否则后续复测时无法确认到底跑的是哪个版本。部分服务商支持带日期或版本号的模型标识评测期间建议锁定一个明确版本。除了API调用环境还需要准备一个专门存放评测项目的目录建议结构如下samples/存放评测样本集每批一个文件。results/存放模型回复和评分记录。scripts/存放调用、评分、统计脚本。prompts/存放统一Prompt模板。样本和结果分开存放后续做数据分析会更方便。如果你后面要做本地部署对比还需要额外准备GPU服务器建议先确认设备支持CUDA、显存和磁盘空间是否满足模型要求这部分无法一概而论需要以具体模型文档为准。4. 评测样本集设计评测样本集是整个流程的地基。样本集如果设计得不好后面所有数据都不可信。设计时遵循五个原则样本固定一批评测内不要随意增删题目所有模型跑同一套题结果才有可比性难度要有梯度覆盖简单、中等、困难三个档次避免全是简单题导致区分度太低场景要覆盖业务上最关心的两到三个能力维度防止污染不要直接使用网上公开流传的“大模型面试题”作为唯一来源可以自己改写数据必须脱敏任何真实业务数据都要去除姓名、手机号、身份证号等敏感信息。建议第一批样本控制在20到80条之间。太少结果不稳定太多人工复核成本高。可以按下面的维度分配数量样本类别建议数量考察点多轮对话5-10条上下文跟踪、指代消解逻辑推理5-10条条件推理、反事实判断数学计算5-10条精确计算、分步推导代码生成5-10条功能实现、边界处理长文本问答3-5条长文档信息定位与归纳指令遵循5条JSON/Markdown格式输出幻觉检测5-10条事实一致性、拒答能力中文场景5-10条中文歧义、成语、古文理解JSONL格式比较适合批量评测每行一条独立样本字段可以自定义。下面是一个样例格式{id: chat_001, type: multi_turn, messages: [{role: user, content: 我今天想去杭州帮我把行程安排一下。}, {role: assistant, content: 好的请问你计划待几天}, {role: user, content: 三天主要想去西湖和灵隐寺。}], reference: 行程需要覆盖交通、住宿、景点安排}每条样本包含唯一ID、样本类型、输入消息序列、参考要点。参考要点不是标准答案而是人工判断回复质量时的关注点这样评分时更有依据。对于代码类样本可以增加test_cases字段存放单测用例用于自动验证生成代码的正确性对于长文本样本可以把原文单独放一个字段或文件让提示词引用。5. 统一API调用模板下面这个Python脚本是本文的核心模板。它通过OpenAI兼容接口调用模型读取环境变量配置并记录每次请求的耗时。这里故意把调用封装成函数方便后面做批量评测时统一复用。import os import time import json from dotenv import load_dotenv from openai import OpenAI load_dotenv() client OpenAI( base_urlos.getenv(OPENAI_BASE_URL), api_keyos.getenv(OPENAI_API_KEY), timeout120.0, ) def chat(messages, temperatureNone, max_tokensNone): temperature temperature if temperature is not None else float(os.getenv(EVAL_TEMPERATURE, 0)) max_tokens max_tokens if max_tokens is not None else int(os.getenv(EVAL_MAX_TOKENS, 2048)) start time.perf_counter() response client.chat.completions.create( modelos.getenv(EVAL_MODEL), messagesmessages, temperaturetemperature, max_tokensmax_tokens, ) elapsed time.perf_counter() - start content response.choices[0].message.content usage response.usage return { content: content, elapsed_sec: round(elapsed, 3), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, total_tokens: usage.total_tokens, } if __name__ __main__: result chat([{role: user, content: 请用一句话解释什么是数据库索引。}]) print(json.dumps(result, ensure_asciiFalse, indent2))这个模板有几个细节值得注意。温度默认设为0这是评测类任务比较稳妥的起点能减少随机性如果你要测创造性任务可以单独在样本里声明temperature再传进chat函数。超时设置为120秒避免长文本生成时连接被中断。返回结果里记录了耗时和token用量这些字段在后续性能和成本分析中会用到。如果你的服务商不提供OpenAI兼容接口不要硬套这个模板直接去看官方SDK文档。多数国产AI大模型都有Python SDK通常只需要替换初始化方式和调用函数名业务逻辑保持一致。另外部分模型的max_tokens参数名可能是max_completion_tokens字段名差异要以官方文档为准。6. 批量评测与结果记录有了统一调用模板就可以批量评测了。下面脚本读取一个JSONL样本文件逐条调用模型把回复和元信息追加写入结果文件。这个版本先做串行调用方便定位错误如果你确认账号没有限流问题再改成并发。import json import os from datetime import datetime from chat_template import chat # 上一节的函数 SAMPLE_FILE samples/round_001.jsonl RESULT_FILE fresults/round_001_{datetime.now().strftime(%Y%m%d_%H%M%S)}.jsonl def run_batch(): with open(SAMPLE_FILE, r, encodingutf-8) as f: samples [json.loads(line) for line in f if line.strip()] os.makedirs(results, exist_okTrue) with open(RESULT_FILE, w, encodingutf-8) as out: for idx, sample in enumerate(samples): print(f[{idx 1}/{len(samples)}] processing {sample[id]}) try: result chat(sample[messages]) record { id: sample[id], type: sample.get(type, ), reference: sample.get(reference, ), response: result[content], elapsed_sec: result[elapsed_sec], prompt_tokens: result[prompt_tokens], completion_tokens: result[completion_tokens], total_tokens: result[total_tokens], status: success, } except Exception as e: record { id: sample[id], type: sample.get(type, ), reference: sample.get(reference, ), response: , error: str(e), status: error, } out.write(json.dumps(record, ensure_asciiFalse) \n) out.flush() if __name__ __main__: run_batch()脚本会对每条样本做异常捕获成功的记录回复内容和token用量失败的记录错误信息不会因为单条超时中断整批任务。out.flush()保证每条结果即时落盘避免程序中途崩溃导致前面全部丢失。批量跑完之后建议先做人工复核再做自动评分。人工复核适合看回答质量、代码可运行性、长文本归纳是否准确自动评分适合做格式校验比如检查是否输出了合法JSON、是否包含关键词、单测能否跑通。用另外一个模型当裁判LLM-as-Judge可以批量打分但要注意裁判模型本身也可能有偏见最好让裁判模型只输出结构化分数不要让它替代人工判断。JUDGE_PROMPT 请根据以下评分标准对模型回复打分0到5分。 只输出JSON格式为 {score: 0, reason: 简短理由}。 题目类型{type} 参考要点{reference} 模型回复{response} LLM-as-Judge适合在样本量大、人工看不过来时做粗筛但最终结论最好还是由人来复核。打分维度要提前写清楚比如“事实是否准确、是否完全遵循指令、格式是否符合要求”避免裁判模型自己自由发挥。评分结果保存下来后可以按样本类型、模型、输出长度做统计分析找出每个模型的强弱项。7. 响应性能与资源占用观察评测除了能力分数还要关注两个工程指标响应性能和资源占用。API模式下主要观察首token延迟、总耗时、每分钟请求数限制、错误率本地部署模式下则要观察GPU显存、CPU占用、磁盘读写和内存占用。用上一节的elapsed_sec字段可以画出总耗时分布。总耗时受网络、模型排队和输出长度影响不能只看平均值建议同时记录P50、P95和最大值。如果某个模型在相同prompt下经常超过30秒说明它的排队或输出策略可能不适合你的实时业务场景。更细致的性能分析还需要拆解首token时间比如用流式响应来记录第一个token返回的时刻这个可以在批量评测稳定后单独做。本地部署评测的思路完全不同。你可以用nvidia-smi持续观察显存占用用htop观察内存和CPU用常见的模型管理工具查看模型加载情况。需要注意显存占用和模型参数量、量化精度、上下文长度都有关系不能只凭模型的参数量估算要以实际部署文档和本机测试为准。如果你的设备不支持CUDA很多大模型只能退化到CPU推理速度会明显下降评测重点也应改为“能不能跑通”而不是“性能多好”。影响生成速度的主要因素包括输入长度、输出长度、并发数、显存带宽、是否量化、服务端排队策略。评测时要尽量控制变量比如固定输入长度范围、固定max_tokens、固定并发数这样对比出来的延迟才有意义。如果想降低显存占用常见方向是使用量化版本、缩短上下文长度、降低并发、启用KV Cache优化但这些都要看具体部署框架是否支持。8. 幻觉抑制与提示词工程在国产主流AI大模型的真实使用中“AI幻觉”是一个绕不开的问题。所谓幻觉就是模型生成了听起来合理、但与事实不符的内容。它不只在对话场景出现也会在知识库问答、摘要、代码注释里出现。幻觉是生成式模型本身的统计特性不能彻底消除但可以通过评测和提示词工程控制在可接受范围内。先讲评测幻觉的三种方法。第一种是事实问答准备一批有明确答案的中文事实题看模型是否给出正确答案第二种是错误前提测试故意在问题里埋一个错误假设看模型是纠正还是顺着错误继续答第三种是“自知之明”测试让模型判断“这个问题我是否知道答案”如果不知道模型应该明确说不知道而不是强行编造。第三种方法对知识库场景尤其重要本质上就是在训练模型学会拒绝。幻觉抑制的提示词工程常见做法有五种把温度调低减少随机性在指令里添加“如果信息不足请直接回答不知道”用few-shot示例让模型模仿正确行为使用思维链让模型分步推理降低中间错误让模型在回答末尾标注不确定程度。下面是幻觉抑制Prompt的通用模板可以按业务调整你是一个严谨的问答助手。回答规则 1. 只能依据我提供的资料回答不能使用未提供的知识。 2. 如果资料中没有答案直接回复“资料中未找到相关信息”。 3. 不要猜测不要编造。 4. 涉及时间、价格、数量等关键信息时必须在回答中标注信息出处。 以下为资料 {context} 以下是问题 {question}需要强调提示词工程不能替代评测。同一个Prompt模板在不同模型上效果差异很大必须用固定样本集去对比观察哪个模型的拒答率、错误率、格式遵循率更好。把“幻觉抑制方案”和“提示词工程”结合起来才能真正提升应用可靠性。这类实验也可以单独做成一个评测目录专门用来跑“事实一致性”和“错误前提拒绝率”。9. 常见问题与排查方法评测过程中会碰到很多工程问题下面给出最常见的几类按“现象、原因、排查、解决”整理成表实际遇到时可以按表排查。问题现象可能原因排查方式解决方案接口返回401API Key无效或权限不足检查请求头中的Key重新生成Key并确认模型访问权限接口返回429触发限流或额度不足查看响应头和官方控制台降低并发、增加重试退避、升级套餐请求超时网络或模型排队严重检查日志中的耗时增大timeout、分批提交、换非高峰时段返回内容为空max_tokens过小或内容被安全策略拦截查看usage和结束原因