Aletheias Quest 是一个用机器学习判断一段陈述是否包含欺骗性信息的实验项目项目名来自希腊神话中的真理女神 Aletheia。这类“AI 谎言检测器”在技术社区并不少见但真正从零开始做一遍之后会发现模型能否在测试集上拿到一个不错的分数和它能不能在实际场景中被信任是完全两件事。这篇文章会完整记录这个项目从数据组织、特征工程、模型训练到服务部署的过程重点不是宣称 AI 能测谎而是复盘工程上哪些环节容易让项目失真以及如何用更稳健的方式评估这类带伦理争议的分类任务。在开始之前需要先约定边界本文所有代码和配置都是实验性演示不服务于司法、面试筛选、医疗诊断或任何对人的自动定性判断。模型输出只能叫“宣称真实性评分”或“伪造迹象线索”不能叫“说谎概率”。这个边界不仅是伦理要求也是技术上的诚实目前公开可复现的欺骗检测研究在跨场景、跨说话人、跨语言环境下的稳定性和可解释性都还不足以支撑高风险决策。1. 先想清楚 Aletheias Quest 到底要解决什么问题1.1 谎言检测不是简单的二分类任务从表面看任务可以简化成一个二分类问题输入一段话或一段语音模型输出语义标签“真实”或“欺骗”。但真正动手时很快会遇到三个难题。第一个难题是“欺骗”的定义。一个人在谈判中隐瞒真实报价和一个人在法庭上否认目击事实虽然都可以被归入欺骗行为但它们背后的认知过程、语言模式和社会压力完全不同。把它们混在同一个标签里训练模型学到的往往是任务场景的噪声而不是通用的欺骗信号。第二个难题是标签来源。真实场景中的谎言标签极少有客观依据通常依赖人工标注者判断而标注者之间的共识可能很低。研究中常见的做法是设计“对抗任务”让一部分参与者故意说谎另一部分说真话然后按实验条件打标签。这种标签相对干净但它只能代表实验室环境下的“故意欺骗”不能代表现实中复杂陈述的真假。第三个难题是评估方式。二分类准确率在类别不平衡时几乎没有参考价值。如果样本中 90% 是真实陈述模型只要全部预测为真实准确率就能到 90%但这个模型没有任何用处。Aletheias Quest 在设计时就把评估指标放在准确率之前优先关注精确率、召回率、F1、AUC 和置信度校准。1.2 项目范围与约束只做实验性分类不做司法判断Aletheias Quest 的目标不是做一个“测谎仪”而是构建一个可解释的技术基线用来回答三个问题给定一段陈述文本能否提取到与“伪造迹象”相关的可计算特征这些特征在固定数据集、固定场景下能否训练出一个比随机猜测更有效的分类器在部署为 HTTP 服务时如何让输出结果足够谨慎避免产品化后被滥用项目因此设定了三条硬约束不使用真实姓名、真实案件、真实谈话录音作为训练数据。模型输出必须带有置信度、特征解释和使用限制提示禁止直接输出“他在说谎”这类绝对结论。所有实验必须记录数据版本、模型版本和评估结果方便回溯。这些约束不只是在规避风险它们本身也改善了研发质量。没有这些约束项目很容易陷入“用模型给自己编造的标签背书”的陷阱。1.3 技术选型要跟着约束走基于上述范围技术选型做了三个取舍。第一文本为主、语音为辅。首版只处理陈述文本和转录文本原因是文本特征更容易解释也更容易进行错误分析。语音特征放在后续版本作为可插拔模块。这样项目不会在早期就被音频对齐、降噪、说话人归一化等问题拖垮。第二先跑经典机器学习基线再上预训练模型。逻辑回归配合 TF-IDF 或心理语言学词典特征训练快、结果可控、特征权重可以直接观察。如果基线在验证集上都没有信号那么换复杂模型也只是把噪声拟合得更漂亮。第三用 MLflow 记录每次实验的参数、指标和模型存档。谎言检测这类任务很容易陷入“反复调参但不知道哪一版更好”的状态实验记录是后期排查问题的基础。2. 环境准备与数据组织先把数据管好模型才有意义2.1 运行环境与依赖版本建议使用 Python 3.10 或 3.11创建独立虚拟环境避免和系统 Python 环境冲突。以下依赖版本来自项目实际使用的版本你可以根据自己的环境调整不要照搬版本号。transformers4.40.0 torch2.2.0 pandas2.2.0 numpy1.26.4 scikit-learn1.4.0 librosa0.10.1 fastapi0.110.0 uvicorn0.27.0 pydantic2.6.0 mlflow2.10.0 pytest8.1.0如果你只需要跑文本基线可以先不安装 librosa。音频特征部分会在后面单独拆成一个模块不影响服务主体。安装完成后建议先确认核心包能够正常导入python -c import torch, transformers, sklearn, pandas; print(ok)如果输出ok环境基本就绪。遇到ModuleNotFoundError时优先检查是否在正确的虚拟环境中执行命令。2.2 数据集的最小闭环结构Aletheias Quest 没有使用真实司法或医疗数据而是采用自建的小规模实验样本。这里给出一个最小 CSV 结构用于打通数据读取、清洗和特征提取流程。字段类型说明idstr样本唯一编号scenariostr任务场景如 game、interview、writtentextstr陈述文本或人工转录文本audio_pathstr音频文件路径没有音频时为空labelint标签0 表示真实1 表示欺骗speaker_idstr说话人编号用于分组划分数据集下面是一个用于测试数据管线的示例代码。import pandas as pd sample_data pd.DataFrame([ { id: s001, scenario: game, text: 我是按照规则完成任务的没有查看其他人的答案。, audio_path: , label: 0, speaker_id: spk_01, }, { id: s002, scenario: game, text: 我肯定没有动过那个文件可能是系统自动清除了。, audio_path: , label: 1, speaker_id: spk_02, }, { id: s003, scenario: interview, text: 我昨天下午一直在家没有接到任何异常电话。, audio_path: , label: 1, speaker_id: spk_03, }, ]) def load_data(path: str) - pd.DataFrame: df pd.read_csv(path, dtype{id: str, speaker_id: str}) df[label] df[label].astype(int) df[text] df[text].astype(str).str.strip() return df if __name__ __main__: sample_data.to_csv(data/samples.csv, indexFalse) df load_data(data/samples.csv) print(df[[id, label, scenario]].head())这里的关键点是speaker_id不是可选字段。如果不是按说话人划分训练集和测试集同一个人的多条样本会同时出现在训练集和测试集中模型就可能学到“记住说话人”而不是“学会判断陈述”这就是数据泄漏的一种常见形态。2.3 训练集、验证集、测试集的划分策略划分策略比想象中重要。针对谎言检测任务推荐按speaker_id分组划分而不是直接对全量样本进行随机切分。from sklearn.model_selection import GroupShuffleSplit def split_by_speaker(df, test_size0.2, random_state42): splitter GroupShuffleSplit( n_splits1, test_sizetest_size, random_staterandom_state, ) train_idx, temp_idx next(splitter.split(df, groupsdf[speaker_id])) train_df df.iloc[train_idx].reset_index(dropTrue) temp_df df.iloc[temp_idx].reset_index(dropTrue) splitter2 GroupShuffleSplit( n_splits1, test_size0.5, random_staterandom_state, ) val_idx, test_idx next(splitter2.split(temp_df, groupstemp_df[speaker_id])) val_df temp_df.iloc[val_idx].reset_index(dropTrue) test_df temp_df.iloc[test_idx].reset_index(dropTrue) return train_df, val_df, test_df这样做的目的是避免同一说话人同时出现在训练集和验证集中。如果在真实部署时遇到了新说话人按说话人划分的测试集更接近真实表现。学习阶段可以先不管这个细节但项目一旦要进入评估环节这步不能省。3. 特征工程文本特征、语音特征和元数据如何融合3.1 文本侧心理语言学特征加上预训练表示Aletheias Quest 的第一版特征来自心理语言学研究中常见的统计量词数、句长、第一人称代词数量、负面情绪词数量、确定性词与模糊词数量、否定词数量。这些特征的直觉是人在编造信息时可能会更频繁地使用“我”来强调可信度也可能会用更多“可能”“大概”等模糊词来减少后续矛盾。为了不依赖庞大的词汇表可以先写一个简单的特征函数。import re FIRST_PERSON_WORDS {我, 我们, i, me, my, we, our} FILLER_WORDS {嗯, 呃, 就是, 反正, 可能, 也许, 大概, maybe, perhaps} NEGATION_WORDS {不, 没有, 没, 从未, not, no, never} def basic_text_features(text: str) - dict: text_lower text.lower() tokens re.findall(r[\w\u4e00-\u9fff], text_lower) first_person sum(1 for w in tokens if w in FIRST_PERSON_WORDS) fillers sum(1 for w in tokens if w in FILLER_WORDS) negations sum(1 for w in tokens if w in NEGATION_WORDS) return { char_len: len(text), word_count: len(tokens), first_person: first_person, fillers: fillers, negations: negations, filler_ratio: round(fillers / max(len(tokens), 1), 4), }这里的词典只是一个演示样例不能代表严谨的情感或心理语言学词典。在实际项目中如果你要复现类似特征建议使用已经经过验证的词典工具或者先从自己数据的标注样本中统计高频词再决定是否纳入特征。仅仅使用统计特征还不够。预训练语言模型可以给每个句子生成一组向量表示例如使用 Sentence-BERT 或者 BERT 的[CLS]向量。Aletheias Quest 的做法是把统计特征和 Transformer 表示分开处理统计特征用于训练逻辑回归基线Transformer 表示用于微调序列分类模型。两者不要混在一起输入逻辑回归因为 BERT 表示通常有几百到上千维和几个统计特征拼接会让统计特征的权重变得不稳定。3.2 语音侧韵律特征和语音嵌入语音特征可以补充文本中没有的信息比如停顿、语速、音高变化。使用 librosa 可以提取一些基础音频特征。import librosa import numpy as np def extract_audio_features(audio_path, sr16000): y, sr librosa.load(audio_path, srsr) duration librosa.get_duration(yy, srsr) rms librosa.feature.rms(yy) mfcc librosa.feature.mfcc(yy, srsr, n_mfcc13) f0, voiced_flag, _ librosa.pyin( y, fminlibrosa.note_to_hz(C2), fmaxlibrosa.note_to_hz(C7), ) return { duration: round(duration, 3), rms_mean: round(float(np.mean(rms)), 6), mfcc_mean: np.mean(mfcc, axis1).round(6).tolist(), f0_mean: round(float(np.nanmean(f0)), 2) if np.any(voiced_flag) else None, f0_std: round(float(np.nanstd(f0)), 2) if np.any(voiced_flag) else None, }需要提醒的是语音特征在部署阶段负担较重需要处理不同采样率、噪声、人声检测、对齐问题而且不同麦克风录出来的特征分布差异很大。Aletheias Quest 在实验中发现语音特征在小样本上容易造成过拟合因为它捕捉到的常常是录音设备的差异而不是欺骗信号。建议优先把语音特征作为实验对照不要直接并入生产模型。3.3 特征融合与时间对齐的坑如果不使用语音即使音频文件存在也只采用人工转录文本特征融合就不存在对齐问题。一旦加入语音特征常见的坑会立刻出现问题现象常见原因检查方式处理建议音频特征和文本特征长度不一致一个音频对应多段文本或一段文本拼接多个音频检查样本 id 与音频文件是否多对一先按音频切分再转录保证一对一语音特征跨设备漂移明显不同录音设备频率响应不同按录音设备分组查看特征分布录音设备作为分组变量或加入设备标识多次运行特征不一致音频读取时采样率不同打印sr和音频时长统一先重采样到 16000 Hzf0 全为空音频环境噪声大或音高检测失败查看voiced_flag比例增加降噪或放弃 f0 特征在数据量不足的情况下多模态并不是更“高级”的方向而是更容易给模型注入虚假线索的方向。Aletheias Quest 最终在首版部署中选择只依赖文本特征语音特征全部保留在离线实验中。4. 模型训练与评估准确率不是唯一指标4.1 基线模型逻辑回归与 TF-IDF首版模型选择一个最简单、最容易解释的路线TF-IDF 特征加逻辑回归。虽然它不一定能捕捉复杂语义但它能作为后续复杂模型的对照。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline text_pipeline Pipeline([ (tfidf, TfidfVectorizer(ngram_range(1, 2), max_features5000)), (clf, LogisticRegression(max_iter1000, class_weightbalanced)), ]) text_pipeline.fit(train_df[text], train_df[label])class_weightbalanced是针对类别不平衡最简单的手段它会让少数类的误分类代价更高。注意这只在目标偏向多数类时才有效如果数据标签噪声很大类别加权可能会放大噪声。训练完成后一定要在验证集上看指标不能只看训练集准确率。4.2 基于 Transformers 的微调路线在数据集足够大的情况下可以尝试微调一个预训练序列分类模型。这里使用 Hugging Face 的 Trainer 封装减少自定义训练循环带来的错误。from transformers import ( AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer, ) model_name bert-base-chinese # 根据语料语言选择 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained( model_name, num_labels2, ) def tokenize_function(examples): return tokenizer( examples[text], truncationTrue, max_length128, paddingmax_length, ) train_enc train_df[[text, label]].rename(columns{text: text, label: label}) val_enc val_df[[text, label]].rename(columns{text: text, label: label}) train_dataset Dataset.from_pandas(train_enc).map(tokenize_function, batchedTrue) val_dataset Dataset.from_pandas(val_enc).map(tokenize_function, batchedTrue) training_args TrainingArguments( output_dir./checkpoints, evaluation_strategyepoch, save_strategyepoch, learning_rate2e-5, per_device_train_batch_size8, per_device_eval_batch_size8, num_train_epochs3, weight_decay0.01, logging_dir./logs, report_to[], ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, tokenizertokenizer, ) trainer.train()如果使用的是英文语料把模型名换成bert-base-uncased或roberta-base。微调时最大的风险是训练时间过长、显存不足和过拟合。建议在小规模验证集上先跑一个 epoch确认批量大小和显存没问题再正式训练。4.3 评估指标选择精确率、召回率、F1、AUC 与校准曲线评估脚本需要同时输出分类报告和 ROC AUC并且计算校准曲线。from sklearn.metrics import classification_report, roc_auc_score, brier_score_loss from sklearn.calibration import calibration_curve y_val_true val_df[label] y_val_prob text_pipeline.predict_proba(val_df[text])[:, 1] y_val_pred (y_val_prob 0.5).astype(int) print(classification_report(y_val_true, y_val_pred, target_names[真实, 欺骗])) print(AUC:, roc_auc_score(y_val_true, y_val_prob)) print(Brier:, brier_score_loss(y_val_true, y_val_prob)) fraction_of_positives, mean_predicted_value calibration_curve( y_val_true, y_val_prob, n_bins5 ) print(校准曲线预测均值 vs 实际正样本比例:) for pred, actual in zip(mean_predicted_value, fraction_of_positives): print(fpred{pred:.3f}, actual{actual:.3f})校准曲线是谎言检测模型最容易忽略的指标。很多分类器输出的概率只是排序分数并不是真实概率。如果模型输出 0.8但实际只有 0.5 的样本是正类就不能把 0.8 解释为“80% 说谎”。Aletheias Quest 在评估时发现微调后的 BERT 模型在验证集上 AUC 并不低但置信度明显偏高。后来通过温度缩放和阈值调整才让输出分数更接近真实分布。注意不要只验证模型能训练完还要看它在不同场景、不同说话人下的表现。一个在验证集上 AUC 为 0.85 的模型换到新场景可能直接跌到 0.55。5. 部署与验证把模型包装成可调用的服务5.1 FastAPI 服务的最小实现模型训练完成后需要把它封装成可复用的服务。首版采用 FastAPI 提供 HTTP 接口。import logging import time from fastapi import FastAPI, HTTPException from pydantic import BaseModel, Field import joblib logger logging.getLogger(aletheia) app FastAPI(titleAletheias Quest, version0.1.0) class PredictRequest(BaseModel): text: str Field(..., min_length1, max_length2000) scenario: str default class PredictResponse(BaseModel): label: int score: float warning: str model joblib.load(models/text_pipeline.joblib) app.post(/predict, response_modelPredictResponse) def predict(req: PredictRequest): start time.time() text req.text.strip() if not text: raise HTTPException(status_code400, detailtext 不能为空) prob model.predict_proba([text])[0, 1] label int(prob 0.5) warning ( 该结果仅作为实验性线索不能作为任何决策依据。 if 0.3 prob 0.7 else 该结果置信度较高但仍需人工复核。 ) logger.info( predict duration%.3f label%d score%.4f, time.time() - start, label, prob, ) return PredictResponse(labellabel, scoreround(float(prob), 4), warningwarning)部署时不要把模型加载放在每次请求内部。上面的示例在模块导入时加载一次模型后续请求复用性能会好很多。5.2 请求、响应与日志规范请求示例{ text: 我是按照规则完成任务的没有查看其他人的答案。, scenario: game }响应示例{ label: 0, score: 0.21, warning: 该结果仅作为实验性线索不能作为任何决策依据。 }日志建议至少记录以下信息请求 ID、耗时、输入长度、输出分数、阈值命中情况。这些信息在线上排查时会非常有用。不要把完整输入文本都写进日志涉及隐私数据时要脱敏或只记录哈希值。5.3 本地联调与接口测试启动服务uvicorn app.main:app --host 0.0.0.0 --port 8000用 curl 测试curl -X POST http://127.0.0.1:8000/predict \ -H Content-Type: application/json \ -d {text: 我肯定没有动过那个文件。, scenario: interview}再用 pytest 写一个最简单的接口测试from fastapi.testclient import TestClient from app.main import app client TestClient(app) def test_predict_empty_text(): resp client.post(/predict, json{text: }) assert resp.status_code 400 def test_predict_normal(): resp client.post(/predict, json{text: 我确实没有看到异常情况。}) assert resp.status_code 200 assert score in resp.json()这个闭环确保接口在后续修改中不会意外破坏基本功能。正式发布前还要考虑限流、鉴权和模型版本管理这些在生产环境是必需的但在本地实验阶段可以先不实现。6. 从 N 次失败中沉淀的教训6.1 最容易踩的三个坑数据泄漏、类别不平衡、标签噪声Aletheias Quest 在迭代中至少踩过三个和主题强相关的坑。问题现象错误原因检查方式处理建议验证集 AUC 很高换新说话人后效果骤降同说话人样本同时进入训练和验证集模型记住了说话人风格按speaker_id分组重划分统计每组平均长度和词频划分数据时强制使用GroupShuffleSplit模型几乎全部预测为“真实”标签严重不平衡准确率看似很高打印value_counts()统计标签比例使用class_weight或采样策略并优先看 AUC、F1特征重要性和直觉相反标注噪声大人打的标签本身不可靠随机抽 50 条样本让两名标注者重复标注计算一致性建立标注规范和一致性校验将低置信标签单独处理第一个坑在实验早期最隐蔽。模型并没有学会判断欺骗只是学会了识别某个说话人的措辞习惯。第二个坑会让团队误以为模型可以上线。第三个坑更根本如果标签本身不准任何模型产出都是幻觉。6.2 模型置信度不能被当成事实很多人在看到score 0.92时会习惯性理解成“有 92% 概率在说谎”。这个理解是错误的除非模型已经做好了概率校准。在 Aletheias Quest 中微调后的 BERT 模型输出的 softmax 概率并不是真实概率而是带有模型过拟合倾向的排序分数。处理方式有两种在验证集上做温度缩放调整 softmax 的平滑程度。把输出从单一概率改成“低置信区间、高置信区间”两档低置信区间直接转人工。最终部署的策略是score 0.3视为偏向真实score 0.7视为有较高伪造迹象中间部分一律返回“无法判断”。这个设计比输出一个看似精确的小数更有实际价值。注意如果模型在训练集上能达到 0.99 准确率但在验证集上只有 0.65这通常不是模型能力问题而是你通过多次调参无意中把验证集信息泄露进了模型选择过程。6.3 生产环境必须有人工审核和回退机制即使模型在测试集上取得了不错的结果部署到生产环境也必须保留一条人工审核链路。谎言检测模型一旦被集成到自动化系统输出结果就可能直接影响用户或员工这种影响需要被严格控制。Aletheias Quest 建议的最小回退机制包含三层分数超过阈值但场景不在训练分布内时返回“无法判断”不返回标签。所有高风险结果必须附带特征摘要供人工复核。每次调用都记录输入样本 hash、模型版本和输出分数便于事后抽样评估。这三层不负责提高准确率只负责减少误判的扩散范围。真实项目的正确目标不应该是“让模型更准确”而是“让误判成本更低”。7. 可复用的检查清单与下一步扩展7.1 数据、模型、部署三层检查清单在项目收尾阶段可以用下面这份清单快速检查是否还有明显遗漏。Aletheias Quest 每次迭代都会过一遍这份清单。数据层是否按说话人划分训练、验证、测试集标签是否来源可靠是否做过标注者一致性评估是否检查过文本长度、空值、重复样本和标签比例是否记录了数据文件和版本号模型层是否先跑简单基线再对比复杂模型是否同时报告准确率、AUC、精确率、召回率、F1 和 Brier 分数是否检查过置信度校准曲线是否记录训练参数和模型文件路径部署层接口是否处理空文本、超长文本和异常输入是否对 low-confidence 输出做了“无法判断”处理是否记录请求日志、模型版本和输出分数是否有人工复核和回退机制是否在页面上声明“结果不能作为决策依据”7.2 从实验到生产的扩展路径如果要把 Aletheias Quest 往前推进建议按下面的顺序扩展。先从评估和可解释性入手。用 SHAP 或 LIME 对单条样本做特征归因观察让模型判定为“欺骗”的到底是哪些词。很多这类模型的弱点在于依赖少数高频词而不是理解语义。通过错误分析你能知道模型是不是在偷懒。再把单一模型改成多模型投票。文本模型、语音韵律模型、心理语言学特征模型各自输出得分最后由一个简单融合器汇总。这样至少能避免某一个模型的系统性偏差被无限放大。最后引入主动学习。将低置信结果交给人工复核复核结果回流到训练集持续更新模型。这个闭环对数据需求巨大并不适合小团队但只有这样才能逐步逼近真实场景的分布。7.3 对新手最值得做的一次练习如果把复杂度降到最低Aletheias Quest 最值得新手复现的部分不是 BERT而是那条完整的评估链路准备一个带标签的小样本文本集用 TF-IDF 加逻辑回归训练按说话人分组划分输出分类报告和校准曲线最后包装成 FastAPI 服务。这个练习不会让你得到一个能“测谎”的模型但能让你理解一个更重要的原则在模型产生的任何输出被当成事实之前必须先定义清楚这个输出的含义、边界和容错方式。谎言检测是一个被技术浪漫化的话题真正做一遍后你会发现最有技术价值的不是模型本身而是那些防止模型被过度解读的工程决策。如果只保留一个实践建议我会建议在模型输出旁永远保留一个“无法判断”的选项。这不仅是对用户负责也是对自己的模型诚实。下一步不妨把这份代码和数据集整理成一个教程项目加上更完整的日志、评估曲线和错误分析让你的下一次实验从一开始就避免重走那些已经踩过的坑。