1. 为什么要在本地搭一个 SICA 自改进闭环SICASelf-Improving Coding Agent最吸引人的地方是它把「智能体改自己代码」这件事做成了可复现的循环生成候选改动、跑基准评估、把结果写回档案库再挑出当前最优的版本进入下一轮。你不需要真的去复现论文里那套 7000 美元级别的实验但完全可以在本地用一个小任务把「生成→评估→回写配置」这条链路跑通观察指标怎么变。我这次的目标很明确30 分钟内让第一个自改进循环转起来。核心难点其实不在算法而在调用链——SICA 的元智能体、子智能体、监督器会反复调用 LLM如果每个组件各配一套 Key成本统计和限流排查会非常痛苦。所以我用 TaoToken 的统一 Key 把整条调用链接口收敛到一个通道上config.toml 和 settings.json 只维护一份凭证评估阶段统计 token 消耗也简单。这篇适合两类人一是想理解 SICA 循环机制、准备自己搭原型的开发者二是已经在跑编码智能体、但被多 Key 管理搞烦的人。下面所有配置都可以直接复制改掉模型名和路径就能用。2. TaoToken 前置统一 Key 与调用通道TaoToken 在这里扮演的角色是「一个 Key 打通所有模型调用」。SICA 的调用链里至少有三类角色主编码智能体、推理子智能体、异步监督器。传统做法是给每个角色配不同厂商的 Key但评估阶段要算「每个问题花了多少钱」多 Key 会让成本归因变得很乱。统一通道的好处有三个第一config.toml 里只写一个 base_url 和一个 api_key所有子智能体继承同一份配置第二评估脚本统计 token 时只需要读一个账单口径第三切换模型比如把监督器换成更便宜的模型只改一个字段不用动调用代码。你需要先拿到 Key。访问控制台创建控制台入口https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveAPI 基地址统一用https://taotoken.net/api注意这个地址不带 UTM 参数直接写进配置文件即可。如果你后面要接 Claude Code 这类编码工具做辅助调试可以参考文档里的 Anthropic 兼容说明接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveClaudeCode Anthropic 配置https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve注意Key 只存在本地配置文件里不要提交到 git。建议在项目根目录加.gitignore排除config.toml和settings.json。3. 可复制配置config.toml 与 settings.json 骨架SICA 的配置分两层config.toml管模型与通道settings.json管智能体角色和评估参数。下面这份骨架是我实测能跑通的最小版本字段名按你实际代码调整但结构可以直接抄。3.1 config.toml统一 Key 与模型路由# config.toml [llm] # 统一通道所有子智能体共用 base_url https://taotoken.net/api api_key sk-你的TaoTokenKey timeout_seconds 300 [llm.models] # 主编码智能体负责生成改动 coder claude-sonnet-4-20250514 # 推理子智能体负责难题分解 reasoner o3-mini # 异步监督器负责病态行为检测用便宜模型即可 supervisor claude-haiku-4-20250514 [agent] max_iterations 15 archive_dir ./archive work_dir ./workspace # 单问题成本上限美元对应效用函数里的 cost 项 cost_limit_usd 10.0 # 单问题超时秒 time_limit_sec 300 [eval] # 效用函数权重论文里是 0.5 / 0.25 / 0.25 w_score 0.5 w_cost 0.25 w_time 0.25 # 超时惩罚系数 tau 0.5这里的关键是base_url和api_key只出现一次。你的调用代码里所有 OpenAI 兼容客户端都从[llm]读这两个值子智能体不再单独持有凭证。3.2 settings.json智能体角色与工具集{ agents: { coder: { model: coder, tools: [open_file, close_file, overwrite_file, apply_diff, run_shell, calculator, submit_answer], subagents: [reasoner], system_prompt_file: ./prompts/coder_system.txt }, reasoner: { model: reasoner, tools: [calculator, submit_answer], subagents: [] } }, supervisor: { model: supervisor, interval_seconds: 30, cancel_on: [task_deviation, pathological_loop] }, archive: { keep_best_n: 5, metrics: [pscore, pcost, ptime] } }tools列表对应 SICA 初始智能体的工具集apply_diff就是论文里那个「智能编辑工具」的简化版——第一轮你可能只有overwrite_file跑完一次评估后让智能体自己加上 diff 能力这正是自改进的观察点。3.3 调用层如何读取统一配置如果你用 Python客户端初始化大概长这样import tomllib from openai import OpenAI with open(config.toml, rb) as f: cfg tomllib.load(f) client OpenAI( base_urlcfg[llm][base_url], api_keycfg[llm][api_key], timeoutcfg[llm][timeout_seconds], ) def call_model(role: str, messages: list): model cfg[llm][models][role] resp client.chat.completions.create( modelmodel, messagesmessages, ) return resp.choices[0].message.content所有角色都走call_modelKey 只在client里出现一次。评估脚本统计成本时直接累加每次响应的 usage 字段即可。4. 跑通第一个自改进循环生成→评估→回写配置就绪后用一个合成任务来验证闭环。我选的是「文件编辑基准」的极简版给一个目标文件内容让智能体编辑当前文件去匹配目标按字符相似度打分。4.1 准备任务与初始档案mkdir -p workspace archive prompts cat workspace/target.py EOF def add(a, b): return a b EOF cp workspace/target.py workspace/current.py # 故意改坏一点制造改进空间 sed -i s/return a b/return a - b/ workspace/current.py初始档案archive/iter_0.json记录第 0 代的分数{ iteration: 0, pscore: 0.17, pcost: 0.42, ptime: 38.5, config_snapshot: config.tomliter0 }4.2 生成阶段让智能体提出改动调用主编码智能体提示它读取current.py和target.py输出一个 diffprompt 你是一个编码智能体。读取 workspace/current.py 和 workspace/target.py 比较两者差异输出一个 unified diff 让 current.py 匹配 target.py。 只输出 diff不要解释。 diff call_model(coder, [{role: user, content: prompt}]) with open(workspace/patch.diff, w) as f: f.write(diff)4.3 评估阶段算效用并写回档案评估脚本按论文的效用函数计算注意超时要打tau惩罚import json, time, difflib def score_files(current_path, target_path): cur open(current_path).read() tgt open(target_path).read() return difflib.SequenceMatcher(None, cur, tgt).ratio() def utility(pscore, pcost, ptime, timed_out, cfg): u (cfg[w_score] * pscore cfg[w_cost] * (1 - min(1, pcost / 10.0)) cfg[w_time] * (1 - min(1, ptime / 300.0))) return u * (1 - cfg[tau]) if timed_out else u start time.time() pscore score_files(workspace/current.py, workspace/target.py) ptime time.time() - start pcost 0.05 # 从本次调用的 usage 换算 u utility(pscore, pcost, ptime, timed_outFalse, cfgcfg[eval]) record {iteration: 1, pscore: pscore, pcost: pcost, ptime: ptime, utility: u} json.dump(record, open(archive/iter_1.json, w), indent2) print(fiter1 pscore{pscore:.2f} utility{u:.3f})4.4 回写配置让下一轮继承改进自改进的关键一步是「把有效改动固化到配置或代码里」。如果这一轮pscore比上一轮高就把当前config.toml快照存进档案并让智能体在下一轮可以引用它import shutil prev json.load(open(archive/iter_0.json)) if record[pscore] prev[pscore]: shutil.copy(config.toml, farchive/config_iter_1.toml) print(改进有效配置已回写档案) else: print(未超过上一代保留原配置)跑完这一轮你会看到archive/下多出iter_1.json和config_iter_1.toml。把max_iterations设成 5循环就会自动往下走每轮挑档案库里效用最高的版本作为下一代基础。5. 本篇常见错排查5.1 401 或鉴权失败最常见的原因是api_key写成了别的厂商的 Key或者base_url末尾多了/v1。TaoToken 的基地址就是https://taotoken.net/api客户端会自动补路径。检查config.toml里[llm]段是否被后续配置覆盖。5.2 超时导致 pscore 偏低论文里 300 秒超时会让初始分数低于模型裸跑水平。如果你本地网络慢先把time_limit_sec调到 600观察ptime是否稳定。注意超时惩罚tau0.5会让效用直接砍半所以评估脚本里timed_out标志一定要准确。5.3 监督器误取消任务异步监督器每 30 秒调一次如果它把正常的长时间编辑判成「病态循环」任务会被中断。排查方法是把supervisor模型换成更强的型号或者在cancel_on里暂时去掉pathological_loop先让循环跑完再收紧。5.4 档案库路径写错导致回写失败archive_dir是相对路径时取决于你从哪个目录启动脚本。建议在代码里统一转成绝对路径from pathlib import Path archive Path(cfg[agent][archive_dir]).resolve() archive.mkdir(parentsTrue, exist_okTrue)5.5 成本统计对不上如果你在多个地方各自创建了 OpenAI 客户端usage 会分散。确保所有调用都走同一个call_model并在响应里累加resp.usage.total_tokens。统一 Key 的最大好处就在这里账单口径只有一个。6. 继续往下跑从单轮到多轮自改进第一个循环跑通后你可以把max_iterations调到 15让 SICA 自己决定每轮改什么。观察重点有两个一是pscore是否像论文里那样从 0.17 爬到 0.5 以上二是pcost和ptime是否因为智能体自己加了 diff 工具而下降。如果你打算长期跑编码智能体、或者把它接进日常开发流程建议用 Coding Plan 来管理调用额度避免每轮评估时手动换 KeyCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve想先验证模型对话是否通可以在这里发一条测试消息模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve我自己的做法是每轮评估结束后把archive/iter_n.json里的pscore和utility画成折线如果连续三轮 utility 不涨就手动检查监督器日志看是不是智能体陷入了同一主题的变体。这个路径依赖问题论文里也提到了早点发现能省不少 token。 从配置到自我进化：用 TaoToken 统一 Key 跑通 SICA 编码智能体自改进闭环
1. 为什么要在本地搭一个 SICA 自改进闭环SICASelf-Improving Coding Agent最吸引人的地方是它把「智能体改自己代码」这件事做成了可复现的循环生成候选改动、跑基准评估、把结果写回档案库再挑出当前最优的版本进入下一轮。你不需要真的去复现论文里那套 7000 美元级别的实验但完全可以在本地用一个小任务把「生成→评估→回写配置」这条链路跑通观察指标怎么变。我这次的目标很明确30 分钟内让第一个自改进循环转起来。核心难点其实不在算法而在调用链——SICA 的元智能体、子智能体、监督器会反复调用 LLM如果每个组件各配一套 Key成本统计和限流排查会非常痛苦。所以我用 TaoToken 的统一 Key 把整条调用链接口收敛到一个通道上config.toml 和 settings.json 只维护一份凭证评估阶段统计 token 消耗也简单。这篇适合两类人一是想理解 SICA 循环机制、准备自己搭原型的开发者二是已经在跑编码智能体、但被多 Key 管理搞烦的人。下面所有配置都可以直接复制改掉模型名和路径就能用。2. TaoToken 前置统一 Key 与调用通道TaoToken 在这里扮演的角色是「一个 Key 打通所有模型调用」。SICA 的调用链里至少有三类角色主编码智能体、推理子智能体、异步监督器。传统做法是给每个角色配不同厂商的 Key但评估阶段要算「每个问题花了多少钱」多 Key 会让成本归因变得很乱。统一通道的好处有三个第一config.toml 里只写一个 base_url 和一个 api_key所有子智能体继承同一份配置第二评估脚本统计 token 时只需要读一个账单口径第三切换模型比如把监督器换成更便宜的模型只改一个字段不用动调用代码。你需要先拿到 Key。访问控制台创建控制台入口https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveAPI 基地址统一用https://taotoken.net/api注意这个地址不带 UTM 参数直接写进配置文件即可。如果你后面要接 Claude Code 这类编码工具做辅助调试可以参考文档里的 Anthropic 兼容说明接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improveClaudeCode Anthropic 配置https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve注意Key 只存在本地配置文件里不要提交到 git。建议在项目根目录加.gitignore排除config.toml和settings.json。3. 可复制配置config.toml 与 settings.json 骨架SICA 的配置分两层config.toml管模型与通道settings.json管智能体角色和评估参数。下面这份骨架是我实测能跑通的最小版本字段名按你实际代码调整但结构可以直接抄。3.1 config.toml统一 Key 与模型路由# config.toml [llm] # 统一通道所有子智能体共用 base_url https://taotoken.net/api api_key sk-你的TaoTokenKey timeout_seconds 300 [llm.models] # 主编码智能体负责生成改动 coder claude-sonnet-4-20250514 # 推理子智能体负责难题分解 reasoner o3-mini # 异步监督器负责病态行为检测用便宜模型即可 supervisor claude-haiku-4-20250514 [agent] max_iterations 15 archive_dir ./archive work_dir ./workspace # 单问题成本上限美元对应效用函数里的 cost 项 cost_limit_usd 10.0 # 单问题超时秒 time_limit_sec 300 [eval] # 效用函数权重论文里是 0.5 / 0.25 / 0.25 w_score 0.5 w_cost 0.25 w_time 0.25 # 超时惩罚系数 tau 0.5这里的关键是base_url和api_key只出现一次。你的调用代码里所有 OpenAI 兼容客户端都从[llm]读这两个值子智能体不再单独持有凭证。3.2 settings.json智能体角色与工具集{ agents: { coder: { model: coder, tools: [open_file, close_file, overwrite_file, apply_diff, run_shell, calculator, submit_answer], subagents: [reasoner], system_prompt_file: ./prompts/coder_system.txt }, reasoner: { model: reasoner, tools: [calculator, submit_answer], subagents: [] } }, supervisor: { model: supervisor, interval_seconds: 30, cancel_on: [task_deviation, pathological_loop] }, archive: { keep_best_n: 5, metrics: [pscore, pcost, ptime] } }tools列表对应 SICA 初始智能体的工具集apply_diff就是论文里那个「智能编辑工具」的简化版——第一轮你可能只有overwrite_file跑完一次评估后让智能体自己加上 diff 能力这正是自改进的观察点。3.3 调用层如何读取统一配置如果你用 Python客户端初始化大概长这样import tomllib from openai import OpenAI with open(config.toml, rb) as f: cfg tomllib.load(f) client OpenAI( base_urlcfg[llm][base_url], api_keycfg[llm][api_key], timeoutcfg[llm][timeout_seconds], ) def call_model(role: str, messages: list): model cfg[llm][models][role] resp client.chat.completions.create( modelmodel, messagesmessages, ) return resp.choices[0].message.content所有角色都走call_modelKey 只在client里出现一次。评估脚本统计成本时直接累加每次响应的 usage 字段即可。4. 跑通第一个自改进循环生成→评估→回写配置就绪后用一个合成任务来验证闭环。我选的是「文件编辑基准」的极简版给一个目标文件内容让智能体编辑当前文件去匹配目标按字符相似度打分。4.1 准备任务与初始档案mkdir -p workspace archive prompts cat workspace/target.py EOF def add(a, b): return a b EOF cp workspace/target.py workspace/current.py # 故意改坏一点制造改进空间 sed -i s/return a b/return a - b/ workspace/current.py初始档案archive/iter_0.json记录第 0 代的分数{ iteration: 0, pscore: 0.17, pcost: 0.42, ptime: 38.5, config_snapshot: config.tomliter0 }4.2 生成阶段让智能体提出改动调用主编码智能体提示它读取current.py和target.py输出一个 diffprompt 你是一个编码智能体。读取 workspace/current.py 和 workspace/target.py 比较两者差异输出一个 unified diff 让 current.py 匹配 target.py。 只输出 diff不要解释。 diff call_model(coder, [{role: user, content: prompt}]) with open(workspace/patch.diff, w) as f: f.write(diff)4.3 评估阶段算效用并写回档案评估脚本按论文的效用函数计算注意超时要打tau惩罚import json, time, difflib def score_files(current_path, target_path): cur open(current_path).read() tgt open(target_path).read() return difflib.SequenceMatcher(None, cur, tgt).ratio() def utility(pscore, pcost, ptime, timed_out, cfg): u (cfg[w_score] * pscore cfg[w_cost] * (1 - min(1, pcost / 10.0)) cfg[w_time] * (1 - min(1, ptime / 300.0))) return u * (1 - cfg[tau]) if timed_out else u start time.time() pscore score_files(workspace/current.py, workspace/target.py) ptime time.time() - start pcost 0.05 # 从本次调用的 usage 换算 u utility(pscore, pcost, ptime, timed_outFalse, cfgcfg[eval]) record {iteration: 1, pscore: pscore, pcost: pcost, ptime: ptime, utility: u} json.dump(record, open(archive/iter_1.json, w), indent2) print(fiter1 pscore{pscore:.2f} utility{u:.3f})4.4 回写配置让下一轮继承改进自改进的关键一步是「把有效改动固化到配置或代码里」。如果这一轮pscore比上一轮高就把当前config.toml快照存进档案并让智能体在下一轮可以引用它import shutil prev json.load(open(archive/iter_0.json)) if record[pscore] prev[pscore]: shutil.copy(config.toml, farchive/config_iter_1.toml) print(改进有效配置已回写档案) else: print(未超过上一代保留原配置)跑完这一轮你会看到archive/下多出iter_1.json和config_iter_1.toml。把max_iterations设成 5循环就会自动往下走每轮挑档案库里效用最高的版本作为下一代基础。5. 本篇常见错排查5.1 401 或鉴权失败最常见的原因是api_key写成了别的厂商的 Key或者base_url末尾多了/v1。TaoToken 的基地址就是https://taotoken.net/api客户端会自动补路径。检查config.toml里[llm]段是否被后续配置覆盖。5.2 超时导致 pscore 偏低论文里 300 秒超时会让初始分数低于模型裸跑水平。如果你本地网络慢先把time_limit_sec调到 600观察ptime是否稳定。注意超时惩罚tau0.5会让效用直接砍半所以评估脚本里timed_out标志一定要准确。5.3 监督器误取消任务异步监督器每 30 秒调一次如果它把正常的长时间编辑判成「病态循环」任务会被中断。排查方法是把supervisor模型换成更强的型号或者在cancel_on里暂时去掉pathological_loop先让循环跑完再收紧。5.4 档案库路径写错导致回写失败archive_dir是相对路径时取决于你从哪个目录启动脚本。建议在代码里统一转成绝对路径from pathlib import Path archive Path(cfg[agent][archive_dir]).resolve() archive.mkdir(parentsTrue, exist_okTrue)5.5 成本统计对不上如果你在多个地方各自创建了 OpenAI 客户端usage 会分散。确保所有调用都走同一个call_model并在响应里累加resp.usage.total_tokens。统一 Key 的最大好处就在这里账单口径只有一个。6. 继续往下跑从单轮到多轮自改进第一个循环跑通后你可以把max_iterations调到 15让 SICA 自己决定每轮改什么。观察重点有两个一是pscore是否像论文里那样从 0.17 爬到 0.5 以上二是pcost和ptime是否因为智能体自己加了 diff 工具而下降。如果你打算长期跑编码智能体、或者把它接进日常开发流程建议用 Coding Plan 来管理调用额度避免每轮评估时手动换 KeyCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve想先验证模型对话是否通可以在这里发一条测试消息模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentsica_self_improve我自己的做法是每轮评估结束后把archive/iter_n.json里的pscore和utility画成折线如果连续三轮 utility 不涨就手动检查监督器日志看是不是智能体陷入了同一主题的变体。这个路径依赖问题论文里也提到了早点发现能省不少 token。