首先我们需要严肃说明一点本文Human Shadows in Machine Minds: Study Interpreting AI Responses to Rorschach属于多媒体内容理解、多模态模型行为分析与视觉语义解释方向的技术探讨。在展开代码与方案之前必须强调真实罗夏墨迹测试Rorschach Inkblot Test所使用的标准墨迹图卡受版权与伦理使用限制且在现代心理学中已不再被推荐作为唯一的人格测量工具。本文仅在技术实验与教学演示前提下讨论如何用合成墨迹图、生成式图像与多模态大模型配合分析 AI 对模糊视觉刺激的解释规律。因此本文不会提供真实罗夏卡片图片或直接的在线测试链接仅用可自行生成的抽象墨迹轮廓替代真实素材。所有结果均属于演示性输出不应作为心理学结论或人格判断依据。这一点非常重要请务必在真实项目中遵守。1. 为什么研究 AI 对罗夏墨迹测试的反应罗夏墨迹测试是心理学史上非常著名的投射测验。它让被试者观看一系列对称的、无意义的墨迹图案并自由描述自己看到了什么。理论上被试者会把自己的内心冲突、动机、情感和认知方式投射到模糊刺激上从而让心理医生获得一些线索。当多模态大模型普及后很多研究者开始好奇如果让 GPT-4V、Gemini、Qwen-VL 这类模型观看罗夏墨迹图它们会“看到”什么它们的解释是否稳定它们是否会在模糊视觉刺激下表现出类似人类的投射现象这种研究有实际意义吗从技术角度看这个问题很有价值。因为罗夏墨迹测试的核心在于“模糊刺激下的自由解释”而多模态大模型的视觉语言理解能力本质上也是在“有限像素信息下生成最可能的语义描述”。两者之间存在着某种可类比的计算机制。研究 AI 对罗夏墨迹的反应实际上可以帮助我们理解多模态模型在视觉信息不足时如何利用语言先验补全语义。模型是否存在系统性的视觉偏见或语言偏好。模型如何在不同提示词、不同温度参数下产生不确定性输出。模糊视觉输入是否能够诱发模型的“幻觉”或过度解释。本文会从项目背景、核心概念、环境准备、代码实现、实验结果分析与最佳实践等几个方面展开给出一个适合 CSDN 读者复现的实验框架。无论你是 NLP 研究者、多模态应用开发工程师还是对 AI 行为分析感兴趣的算法工程师都能从这套思路中获得启发。2. 核心概念罗夏墨迹、AI 幻觉与语义投射在动手写代码之前我们先把几个关键概念讲清楚。否则后面看到实验现象时很难判断 AI 到底在做什么。2.1 罗夏墨迹测试的原始设计罗夏测试由瑞士精神科医生 Hermann Rorschach 于 1921 年提出。它使用 10 张标准墨迹卡其中 5 张是黑白的2 张是黑白加红色斑块的3 张是彩色卡。测试者会询问被试“这可能是什么”被试的回答会被记录并从回答部位、决定因素、回答内容、从众性等维度评分。在心理学界罗夏测试的信效度一直存在争议。它更多被视为一种辅助访谈工具而不是标准化的客观测验。这里需要特别说明本文不讨论罗夏测试在临床心理学中的真实价值只关注它在 AI 视觉语言理解实验中作为“模糊刺激集”的技术价值。2.2 多模态大模型的视觉理解机制多模态大模型通常由视觉编码器如 ViT、图文对齐模块和语言模型组成。它的工作流程可以简化为将输入图片切分为固定大小的 patch。用视觉编码器提取每个 patch 的向量特征。通过投影层将视觉特征映射到语言模型的嵌入空间。语言模型结合图像 token 与文本 token 进行自回归生成。在这个流程中如果输入图像本身就非常模糊或没有明确语义视觉编码器输出的特征就会缺少高置信度的语义线索。此时语言模型会更多地依赖“语言先验”和“上下文先验”来补全回答。这就是我们常说的幻觉产生机制之一。当多模态模型面对墨迹图像时视觉编码器可能提取到一些形状、颜色、纹理特征但与“蝴蝶”“蝙蝠”“人脸”这些具体概念之间并没有强对应关系。模型会从自己的训练数据中寻找最接近的形状语义从而产生类似人类投射的效果。2.3 语义投射与 AI 偏见的区别人类在罗夏测试中的投射反映的是潜意识内容。而 AI 在罗夏墨迹上的解释反映的是训练数据中的统计规律和视觉语义关联。这两者有本质区别。AI 的“投射”更多表现为对对称图形的高频解释。对黑白墨迹倾向于解释为动物、面孔、器官。对带红色斑块的墨迹倾向于解释为血液、火焰、花朵。对同一张图在不同 prompt 下产生完全不同的回答。这些现象不是“AI 有潜意识”而是训练数据偏置、视觉特征分布、解码策略共同作用的结果。理解了这一点我们就会知道AI 对罗夏墨迹的反应本质上是视觉语言模型的可解释性测试和幻觉压力测试而不是人格测试。3. 实验设计思路我们既然要研究 AI 对罗夏墨迹的反应就需要一个可复现的实验框架。我先描述整体设计思路然后在下一节给出完整的工程实现。3.1 实验目标本实验要回答以下问题同一张墨迹图在不同多模态模型下会产生怎样不同的描述同一张墨迹图在同一模型多次生成下回答的稳定性如何改变提示词例如“请描述你看到了什么” vs “请用心理学视角解释”对回答有什么影响AI 的回答中高频出现的语义类别有哪些3.2 数据准备由于标准罗夏卡片不能直接使用我们需要自己生成“类罗夏墨迹图”。可以用以下方式使用 Python 的 matplotlib 或 OpenCV 绘制随机黑色墨迹形状。使用图像增强操作如对称翻转、模糊、添加噪声生成多组变体。用生成式模型如 Stable Diffusion生成抽象墨迹风格的图像但需要注意风格控制。我们采用 matplotlib 绘制对称墨迹再叠加随机椭圆、贝塞尔曲线和噪点模拟墨迹的随机形态。这种方式足以让视觉模型产生模糊语义。3.3 模型选择实验需要选取至少两个多模态模型进行对比。建议选择开源模型Qwen-VL-Chat、CogVLM2、InternVL 等。API 模型OpenAI GPT-4V或 GPT-4o、Google Gemini 等。考虑到实际可复现性本文使用 HuggingFace transformers 加载 Qwen-VL-Chat 或 CogVLM2 为例。如果你在本地没有显卡也可以直接使用在线 API代码思路完全相同。3.4 指标设计我们需要把模型生成的描述拆成可量化的指标回答长度token 数。语义类别使用关键词词典进行分类。回答一致性多次采样之间的文本相似度。置信度如果模型返回 logprob可计算平均对数概率。一个简单做法是对模型生成的多条回答用 jieba 分词后统计高频词再用一段关键词词典做语义归类。这里不引入复杂模型降低复现门槛。4. 环境准备与工程实现下面进入代码实战环节。我们使用 Python 3.10依赖库包括transformers、torch、opencv-python、matplotlib、jieba、numpy、Pillow。4.1 创建项目结构建议项目目录如下ai_rorschach/ ├── data/ │ ├── inkblot_generator.py │ └── generate_inkblots.py ├── models/ │ └── load_model.py ├── experiments/ │ └── run_experiment.py ├── analysis/ │ └── analyze_results.py ├── outputs/ │ └── (生成的图像与结果 json) └── requirements.txt这样一个清晰的结构既方便本地实验也可以扩展到批处理任务。4.2 安装依赖在项目根目录创建 requirements.txttransformers4.41.0 torch2.1.0 accelerate0.30.0 opencv-python4.8.0 matplotlib3.7.0 jieba0.42.1 numpy1.24.0 Pillow10.0.0然后执行pip install -r requirements.txt如果你使用 GPU请确保 PyTorch 版本与 CUDA 版本匹配。CPU 也可以运行但推理速度会明显下降。4.3 生成罗夏风格的墨迹图我们先用 matplotlib 生成合成的对称墨迹图。核心思路是在画布上随机绘制多个半透明的椭圆和曲线然后做水平对称复制再添加少量随机噪声。# 文件路径data/inkblot_generator.py import numpy as np import matplotlib.pyplot as plt from matplotlib.patches import Ellipse import random from PIL import Image import os def create_inkblot(size(512, 512), seed42): random.seed(seed) np.random.seed(seed) fig, ax plt.subplots(figsize(size[0]/100, size[1]/100), dpi100) ax.set_xlim(0, 10) ax.set_ylim(0, 10) ax.axis(off) # 绘制左半边形状 for _ in range(random.randint(8, 16)): cx random.uniform(1.5, 4.8) cy random.uniform(1.5, 8.5) w random.uniform(0.5, 2.5) h random.uniform(0.8, 3.5) angle random.uniform(0, 180) color (random.random(), random.random(), random.random()) alpha random.uniform(0.5, 1.0) ellipse Ellipse((cx, cy), w, h, angleangle, colorcolor, alphaalpha) ax.add_patch(ellipse) # 水平对称复制到右半边 for patch in list(ax.patches): cx patch.center[0] cy patch.center[1] w patch.width h patch.height angle patch.angle color patch.get_facecolor() alpha patch.get_alpha() ellipse_right Ellipse((10 - cx, cy), w, h, angleangle, colorcolor, alphaalpha) ax.add_patch(ellipse_right) # 添加少量噪声点 noise_x np.random.uniform(0, 10, 200) noise_y np.random.uniform(0, 10, 200) noise_s np.random.uniform(1, 30, 200) ax.scatter(noise_x, noise_y, snoise_s, cblack, alpha0.05) # 保存图片 plt.subplots_adjust(left0, right1, top1, bottom0) plt.savefig(outputs/inkblot_temp.png, bbox_inchestight, pad_inches0) plt.close() return Image.open(outputs/inkblot_temp.png).convert(RGB)这里需要注意两点图中颜色暂时是随机的而不是标准罗夏的黑白或红黑配色。如果你希望更接近经典风格可以将color固定为黑色或者只使用黑色和红色。生成之后要确保图像背景是白色并且墨迹形状充分占据画面这样多模态模型才有足够多的视觉特征去“解释”。你可以再写一个批量生成脚本# 文件路径data/generate_inkblots.py import os from inkblot_generator import create_inkblot os.makedirs(outputs, exist_okTrue) for i in range(10): img create_inkblot(seed100 i) img.save(foutputs/inkblot_{i}.png) print(fGenerated inkblot_{i}.png)运行后outputs 目录下会出现 10 张随机墨迹图。4.4 加载多模态模型这里以 Qwen-VL-Chat 为例。如果你使用其他模型核心逻辑相同。# 文件路径models/load_model.py import torch from transformers import AutoModelForVision2Seq, AutoTokenizer def load_qwen_vl(model_nameQwen/Qwen-VL-Chat): tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForVision2Seq.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.bfloat16 if torch.cuda.is_available() else torch.float32 ).eval() if torch.cuda.is_available(): model model.cuda() return model, tokenizer如果你的显存有限可以加载 4-bit 量化版本。示例思路如下from transformers import BitsAndBytesConfig quantization_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.bfloat16 )然后将quantization_config参数传入from_pretrained。注意这需要安装 bitsandbytes 库。4.5 编写实验脚本实验脚本的主要功能是读取图片、构造提示词、调用模型生成文本、保存结果。# 文件路径experiments/run_experiment.py import json import os import torch from PIL import Image from models.load_model import load_qwen_vl model, tokenizer load_qwen_vl() image_dir outputs prompt 请描述这张图片。你看到了什么请用一两句话回答。 results [] for img_name in sorted(os.listdir(image_dir)): if not img_name.endswith(.png): continue img_path os.path.join(image_dir, img_name) image Image.open(img_path).convert(RGB) # Qwen-VL 需要将图片转换为特定格式 query tokenizer.from_list_format([ {image: img_path}, {text: prompt}, ]) inputs tokenizer(query, return_tensorspt) if torch.cuda.is_available(): inputs {k: v.cuda() for k, v in inputs.items()} with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens128, do_sampleTrue, top_p0.9, temperature0.8 ) answer tokenizer.decode(outputs[0], skip_special_tokensTrue) results.append({ image: img_name, prompt: prompt, answer: answer }) with open(outputs/results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(Experiment completed. Results saved to outputs/results.json)这里有几个参数值得注意temperature0.8会让模型输出具有一定的随机性便于观察同一个模型对同一张图的不同解释。top_p0.9是核采样参数用于控制候选 token 的范围。max_new_tokens128限制回答长度避免过度冗长。如果你希望测试 prompt 对回答的影响可以构造一个 prompt 列表循环每个 prompt 生成回答。例如prompts [ 请描述这张图片。你看到了什么, 这是一个模糊的图像请用心理学视角描述你看到的物体。, 请你用诗人般的语言描述这张图片。, ]4.6 运行与验证在项目根目录执行python data/generate_inkblots.py python experiments/run_experiment.py如果没有报错outputs 目录下会出现results.json。打开文件你应该能看到每个图片的生成结果。示例输出可能类似{ image: inkblot_0.png, prompt: 请描述这张图片。你看到了什么请用一两句话回答。, answer: 这张图片看起来像是一只展开翅膀的蝴蝶左右对称中间有一些不规则的纹理。 }这个结果说明模型确实在模糊图像中识别出了“蝴蝶”这一语义。但你换一个 seed 生成的墨迹图模型可能又会说“像一只蝙蝠”或“像一张人脸”。这就是我们接下来要分析的现象。5. 实验结果分析方法有了 results.json 之后我们需要设计一个简单的分析脚本来统计高频语义、稳定性和类别倾向。5.1 关键词类别统计这里使用一个最简单的方案定义若干类别关键词然后用 jieba 分词后做关键词匹配。# 文件路径analysis/analyze_results.py import json import jieba categories { 动物: [蝴蝶, 蝙蝠, 鸟, 鹰, 狗, 猫, 昆虫, 恐龙], 人: [人, 脸, 面孔, 女人, 男人, 儿童], 器官: [肺, 心脏, 大脑, 骨骼, 牙齿], 自然: [山, 树, 花, 火焰, 云, 水], 物品: [面具, 桌子, 衣服, 书本] } def classify_answer(answer): words jieba.lcut(answer) matched {} for category, keywords in categories.items(): count 0 for kw in keywords: if kw in words: count 1 if count 0: matched[category] count return matched with open(outputs/results.json, r, encodingutf-8) as f: results json.load(f) stats {} for item in results: matched classify_answer(item[answer]) for cat, cnt in matched.items(): stats[cat] stats.get(cat, 0) cnt print(类别统计) for cat, cnt in sorted(stats.items(), keylambda x: -x[1]): print(f {cat}: {cnt})这种统计方式很粗糙但足以让我们观察到一个模型是否倾向于回答“动物类”或“人脸类”语义。如果样本量增大你会发现大多数模型对对称墨迹图的第一反应集中在蝙蝠、蝴蝶、人脸、昆虫这四类。这与人类被试在罗夏测试中的常见回答有惊人相似之处因为对称性会强烈暗示“有翅膀的生物”或“对称的面孔”。5.2 多次生成的稳定性分析我们可以在同一张图上用不同temperature生成多次然后使用文本相似度或 BLEU 等指标评估稳定性。from difflib import SequenceMatcher def compute_similarity(text1, text2): return SequenceMatcher(None, text1, text2).ratio()如果你生成 5 次可以计算 5 次回答两两之间的平均相似度。得分高说明模型对这张图的解释比较稳定得分低说明模型在模糊刺激下容易“飘移”。这种稳定性指标在工程上很有意义。如果某个应用场景需要模型对同一张质检图片给出稳定判断而模型在模糊图像上频繁变化输出那我们就需要调整提示词或温度参数或者在业务层面对多次生成结果做投票。5.3 答案中的幻觉检测多模态模型在模糊图像上最容易出现对象幻觉。一个简单的检测方式是对照提问先让模型描述图片。再让模型回答“图片中是否存在某个具体物体”。比如模型说“我看到了蝴蝶”我们可以追问“图片中是否有蝴蝶的翅膀”。如果模型坚持说“有”而实际上图像是随机生成的墨迹就可以视为幻觉。但要注意这种追问方式带有很强的诱导性模型可能因为上下文被迫同意。所以更严谨的做法是独立生成两次第一次问开放描述第二次问封闭判断并且不让模型看到第一次的答案。这样才能降低结果偏差。6. 常见问题与排查思路在整个实验过程中你可能会遇到各种报错和异常现象。下面整理了几个高频问题。问题现象常见原因解决思路加载模型时提示 CUDA Out of Memory模型尺寸大于显存使用 4-bit 量化或切换 CPU 模式生成的中文答案出现乱码或英文混入tokenizer 或解码参数不一致检查 tokenizer 是否与模型匹配使用 skip_special_tokensTrue图片不显示或加载失败图片路径错误使用绝对路径或检查当前工作目录模型多次回答完全一致temperature 太低调高 temperature 或关闭 do_sample墨迹图全是黑色块没有形状matplotlib 坐标设置问题调整椭圆尺寸与画布坐标范围生成的答案非常长难以统计max_new_tokens 过大根据需求缩短为 64 或 128如果遇到“模型不理解图片”的问题先检查你的图片是否清晰保存成功以及模型版本是否支持中文图片输入。部分旧模型对分辨率过大或过小的图片表现不佳你可以使用 OpenCV 统一缩放为 512x512。7. 最佳实践与工程建议如果你准备把这个实验扩展到更正式的研究或产品化场景下面几条建议可以帮你在工程质量与结果可信度上更进一步。7.1 严格遵守数据使用边界请务必记住真实罗夏墨迹卡片不能随意传播和使用。本文使用合成墨迹图就是为了避免版权与伦理风险。如果你是在临床或教育场景中使用请咨询专业心理学人员并遵循当地伦理规范。AI 的视觉解释不能替代专业心理测评。7.2 控制变量记录完整实验参数多模态模型对 prompt 极其敏感。你在报告实验结果时必须记录模型名称、版本、参数量。温度、top_p、max_new_tokens。输入图片的分辨率、格式。prompt 的完整文本。生成次数与随机种子。缺乏这些信息任何实验结论都无法复现。7.3 采用多次采样与聚合策略在工程落地时如果模型需要处理模糊图像不要只做单次推理。建议生成 3 到 5 次。去掉空回答或明显异常回答。对剩余回答进行语义聚类或投票。输出最终结果时附上置信度分数。这不仅是工程上的稳妥做法也能在一定程度上抑制随机性带来的输出漂移。7.4 善用开放词表与封闭词表双验证开放描述适合探索模型语义偏好封闭问题适合验证模型是否存在特定幻觉。两者结合可以得出更有说服力的结论。比如先问“描述你看到的画面”。再问“画面中是否存在蝴蝶请回答是或否”。对比两个回答你就能知道模型是真正看到了类似蝴蝶的形状还是只是语言偏好导致它使用了“蝴蝶”这个词。7.5 警惕 prompt 注入与偏见放大如果你把这个实验做成 Web 应用用户上传的图片和 prompt 都可能携带恶意内容。建议对上传图片做格式校验和大小限制。对 prompt 做长度限制和敏感词过滤。记录模型输入输出日志便于审计。不要允许用户直接输入系统级指令。在面向公众的 AI 产品中prompt 注入一直是高发风险这里同样不能放松。8. 总结与后续扩展本文围绕“AI 对罗夏墨迹测试的反应”这一研究主题展示了从概念理解、实验设计、墨迹图生成、多模态模型调用到结果分析的完整流程。你可以看到AI 在模糊视觉刺激下展示出的“语义投射”本质上是视觉编码、语言先验和解码策略共同作用的结果。通过合理的实验框架我们能够量化这种偏置与不稳定性。如果你对后续工作感兴趣可以从以下几个方向深入引入更多不同类型的模糊图像如对抗样本、低分辨率图像、风格化图像。对比不同多模态模型在相同墨迹图下的解释差异。使用更细粒度的视觉 grounding 模型定位模型“看到”的图像区域。结合人类被试的回答对比 AI 与人类在模糊感知上的异同。将这套实验方法迁移到工业质检、医学影像解释和自动驾驶场景中的不确定性评估。这套实验思路不仅能用于研究 AI 的视觉行为也能帮助你更深入地理解多模态模型的工作原理和边界。希望你能亲手运行一遍代码观察不同模型面对同一张墨迹图时的不同反应——这种直观体验要比读十篇论文更有收获。