Spring AI 降级链延迟叠加让走 TaoToken 的 Codex 对着熔断配置查这篇不重写 Spring AI 的降级链业务逻辑而是用 TaoTokenhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex给 Codex 开一条排查通道让它对着MultiModelChatService、CircuitBreakerConfig和isRetryable白名单查三件事降级链延迟到底叠在哪、熔断判定有没有提前生效、429/503/504 之外的异常是不是被误判成可重试。TaoToken 只提供 Key 和 Base URL不接管 Spring AI 的ChatModel调用链改熔断参数、加日志、调整超时仍然是读者本地工程里的事。这个场景的痛点很典型MODEL_FALLBACK_CHAIN把 openai、claude、qwen 串成一条链CircuitBreakerConfig设置了failureRateThreshold(50.0f)、waitDurationInOpenState(30s)、slidingWindowSize(10)同时用isRetryable判断 429、503、504 和超时。表面上看主模型失败后会自动降级可用性提高了但真实用户感知到的可能是“主模型先等超时再重试再降级备用模型又等超时”延迟一层层叠加。再加上三家供应商错误码不统一监控分散在不同异常类型里排查时很难一眼看出问题在超时配置、重试次数还是熔断判定。一、原问题与场景MultiModelChatService 的降级链延迟叠加MultiModelChatService的核心逻辑是先按 preferredModel 构建降级链然后依次遍历模型对每个模型包一层 Resilience4j 的 CircuitBreaker 和 Retry。只要当前模型没有熔断就尝试调用如果抛CallNotPermittedException说明熔断器已打开直接跳到下一个模型如果是其他异常记录llm.call.failure后也继续下一个模型。问题出在“继续下一个模型”之前请求已经在当前模型上消耗了太多时间。特别是当主模型没有单独设置 3 到 5 秒的短超时而是依赖底层 HTTP 客户端默认超时或较长的 ReadTimeout 时一次调用可能先等满超时再触发maxAttempts(2)的第二次尝试第二次又等满超时最后才进入 catch 分支降级。用户看到的是首字延迟和总耗时同时升高而不是快速切换到备用模型。从CircuitBreakerConfig看failureRateThreshold(50.0f)、waitDurationInOpenState(30s)、slidingWindowSize(10)是一组典型的熔断参数。它们控制的是“什么时候打开熔断器”和“打开后多久再放量”并不直接控制单次请求的等待时间。真正影响用户延迟的是主模型单次调用超时是多少maxAttempts(2)会让单次模型调用最多等待几次超时降级链上 openai、claude、qwen 是否都会经历同样的重试isRetryable是否把不该重试的异常也放进了重试路径。更麻烦的是错误码不统一。isRetryable当前只判断HttpStatusCodeException的 429、503、504以及TimeoutException、SocketTimeoutException。但不同供应商 SDK 可能把限流包装成其他异常或者在 200 响应体里返回错误码。这样会出现两种极端该重试的没有重试直接降级不该重试的却被反复重试把延迟进一步拉长。所以排查目标不是推翻MultiModelChatService而是把这段降级链代码、熔断参数、重试白名单和实际超时设置交给会消耗 Token 的排查工具让 Codex 还原调用链重点核对三件事主模型是否该在 3 到 5 秒超时即降级而不是等熔断器打开slidingWindowSize(10)与maxAttempts(2)的叠加会不会把单次请求拖长429、503、504 之外的异常是否被误判为可重试。二、TaoToken 前置给 Codex 的 config.toml 配 Key 和 Base URL先打开 TaoToken 官网注册账号https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex 。注册完成后在控制台创建 API Key。这个 Key 只用于 Codex 走 TaoToken 通道不放进 Spring AI 的application.yml也不参与OpenAiChatModel、ClaudeChatModel、QwenChatModel的调用。Codex 的配置文件是config.toml。把模型提供方指向 TaoTokenBase URL 填https://taotoken.net/api注意不要带/v1。Key 通过环境变量注入避免把明文写进配置文件。model MODEL_ID model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY然后在终端里设置环境变量。Linux 或 macOSexport TAOTOKEN_API_KEYYOUR_API_KEYWindows PowerShell$env:TAOTOKEN_API_KEYYOUR_API_KEY这里要强调边界TaoToken 在这条排查链路里只负责给 Codex 提供 Key 和 Base URL。Spring AI 的降级链仍然是本地工程在跑熔断参数、超时时间、isRetryable白名单、MeterRegistry 计数器都在读者自己的代码里。Codex 的作用是读代码、读配置、给结论不是替代 Spring AI 的运行时容错。三、可复制配置CircuitBreakerConfig 与 isRetryable 排查上下文配置好 Codex 后不要只丢一句“帮我看看为什么慢”。排查效果取决于上下文是否完整。建议在工程根目录下把这几类文件或片段整理到一个临时目录或者直接让 Codex 读取当前工程MultiModelChatService.java重点包含MODEL_FALLBACK_CHAIN、buildFallbackChain、chatWithFallbackCircuitBreakerConfig相关配置类包含failureRateThreshold(50.0f)、waitDurationInOpenState(Duration.ofSeconds(30))、slidingWindowSize(10)RetryConfig片段包含maxAttempts(2)、waitDuration(Duration.ofMillis(500))、retryOnException(this::isRetryable)isRetryable方法完整实现application.yml或application.properties中所有与 openai、claude、qwen 相关的超时配置例如 connectTimeout、readTimeout、responseTimeout如果有网关或 HTTP 客户端配置也一并提供例如 WebClient、RestTemplate、OkHttp 的超时。让 Codex 执行排查时Prompt 要限定范围避免它重写整个业务类。可以用下面这段请阅读当前工程中的以下内容 1. MultiModelChatService.java 中的降级链逻辑 2. CircuitBreakerConfig 中 failureRateThreshold、waitDurationInOpenState、slidingWindowSize 的配置 3. RetryConfig 中 maxAttempts、waitDuration、retryOnException 的配置 4. isRetryable 方法完整实现 5. application.yml 中 openai、claude、qwen 相关的 connectTimeout、readTimeout、responseTimeout。 只做三件事 第一指出主模型调用是否会在 3 到 5 秒超时后立即降级还是必须等到 CircuitBreaker 打开后才降级。 第二计算 slidingWindowSize(10) 与 maxAttempts(2) 叠加后单次请求在最坏情况下可能增加多少等待时间。 第三检查 isRetryable 白名单是否只覆盖 429、503、504 和超时异常列出当前代码中可能被误判为可重试或不可重试的异常类型。 不要重写 MultiModelChatService不要新增业务代码只输出结论、证据行号和最小参数修改建议。这段 Prompt 的关键是“只输出结论、证据行号和最小参数修改建议”。如果直接让 Codex 改代码它可能引入新的重试逻辑或改变降级顺序反而让排查失焦。四、验证请求与成功结果MeterRegistry 三个计数器是否按模型对上号先验证 Codex 到 TaoToken 的通道是否可用。可以用 curl 请求模型列表接口具体路径以接入文档为准curl -s https://taotoken.net/api/v1/models \ -H Authorization: Bearer $TAOTOKEN_API_KEY如果返回模型列表 JSON说明 Key 和 Base URL 基本可用。接着在工程目录启动 Codex让它读取上面的文件并执行排查 Prompt。一个合理的成功结果应该包含三类结论。第一主模型超时是否独立设置。如果application.yml里 openai 的 readTimeout 是 10 秒或更长而CircuitBreakerConfig的slidingWindowSize(10)需要累积统计窗口那么主模型在熔断器打开前会先经历多次超时。Codex 应该指出熔断器打开是“统计结果”不是“单次请求的快速失败机制”。要让用户少等应该给主模型单独设置 3 到 5 秒超时超时后直接进入降级链下一跳而不是等failureRateThreshold(50.0f)被满足。第二slidingWindowSize(10)与maxAttempts(2)的叠加关系。slidingWindowSize(10)是熔断器统计最近 10 次调用的窗口maxAttempts(2)是单次模型调用的重试次数。二者不在同一层前者影响熔断器何时打开后者直接影响单次请求耗时。如果单次超时是 5 秒maxAttempts(2)最坏会让一个模型消耗约 10 秒降级到 claude 后如果又重试用户感知可能继续叠加。Codex 应该给出最坏耗时估算并指出waitDurationInOpenState(30s)只保证已打开的熔断器在 30 秒内快速跳过不能解决熔断器打开前的超时叠加。第三isRetryable白名单是否完整。当前实现只认HttpStatusCodeException的 429、503、504 和TimeoutException、SocketTimeoutException。Codex 应该检查实际 SDK 抛出的异常类型例如WebClientResponseException、ResourceAccessException、RestClientException以及供应商是否在 200 响应体里返回错误码。如果这些异常没有进入重试路径llm.call.failure会增长但重试次数不增长如果被 catch(Exception) 直接降级llm.circuitbreaker.open又可能对不上。验证阶段仍然沿用原文的 MeterRegistry 三个计数器meterRegistry.counter(llm.call.success, model, modelName).increment(); meterRegistry.counter(llm.circuitbreaker.open, model, modelName).increment(); meterRegistry.counter(llm.call.failure, model, modelName).increment();在 Prometheus 或 Actuator 端点里它们通常会转成llm_call_success_total{modelopenai} llm_circuitbreaker_open_total{modelclaude} llm_call_failure_total{modelqwen}重点不是看总量而是看三个计数器是否按模型维度对上号。比如 openai 的llm.call.failure很高但llm.circuitbreaker.open很低说明失败没有进入熔断统计可能是异常类型没被 Resilience4j 记录或者重试把异常吞掉了。再比如 claude 的llm.call.success增长但用户总延迟仍然很高说明降级虽然成功但主模型超时时间太长降级发生得太晚。五、本篇常见错排查Base URL、超时、slidingWindowSize(10) 与 maxAttempts(2)第一个常见错Codex 的 Base URL 写成https://taotoken.net/api/v1。TaoToken 的 API 地址是https://taotoken.net/api不带/v1。如果 Codex 或 SDK 自己再拼/v1就会变成/v1/v1/...表现为 404 或模型不可用。遇到这种报错先检查config.toml里的base_url。第二个常见错把 TaoToken 当成 Spring AI 的模型供应商。TaoToken 在这条链路里只给 Codex 提供 Key 和 Base URL不参与MultiModelChatService的ChatModel调用。Spring AI 的 openai、claude、qwen 仍然走各自原生配置。不要为了排查延迟去改 Spring AI 的 base-url否则可能引入新的变量。第三个常见错只贴MultiModelChatService不贴CircuitBreakerConfig和application.yml超时。Codex 看不到failureRateThreshold(50.0f)、waitDurationInOpenState(30s)、slidingWindowSize(10)也看不到 readTimeout就无法判断 3 到 5 秒超时应该加在哪里。排查降级链延迟超时配置和熔断配置必须一起给。第四个常见错让 Codex 直接重写MultiModelChatService。一旦它改了降级顺序或重试逻辑原来的问题可能被掩盖。正确做法是限定它做参数核对和调用链还原输出最小修改建议由读者本地决定是否采纳。第五个常见错只改failureRateThreshold不改超时。熔断器打开前单次请求已经可能经历“超时 重试 超时”。降低失败率阈值只会让熔断器更早打开但如果单次超时本身是 10 秒第一次请求仍然要等很久。主模型设置 3 到 5 秒超时才是减少用户感知延迟的关键。第六个常见错混淆slidingWindowSize(10)和maxAttempts(2)。前者是熔断统计窗口大小后者是单次调用的重试次数。真正拉长单次请求的是“单次超时 × maxAttempts × 降级链上实际尝试的模型数”。排查时让 Codex 分别列出这三个乘数不要只盯熔断器参数。第七个常见错监控只看llm.call.failure总量不按 model tag 拆。三家供应商错误码不统一失败可能散落在不同异常类型里。按模型维度看llm.call.success、llm.circuitbreaker.open、llm.call.failure才能判断是 openai 限流、claude 超时还是 qwen 返回了非标准错误。第八个常见错429 没有区分是主模型限流还是备用模型限流。主模型 429 后降级到备用模型备用模型也可能被瞬时流量打满继续 429。isRetryable如果对 429 做固定重试可能让备用模型也进入重试等待。建议在日志里带上 model 和 attemptCodex 排查时才能还原“哪个模型在第几次尝试上耗时”。六、语义一致 CTA把结论落回工程侧按模型成本告警排查完成后建议把 Codex 给出的结论落回三个工程位置主模型独立超时配置、isRetryable白名单、按模型维度的 MeterRegistry 计数器。降级链延迟叠加通常不是单点问题而是超时、重试、熔断统计三者叠加出来的结果。改完参数后再跑一轮llm.call.success、llm.circuitbreaker.open、llm.call.failure确认三个计数器按模型对上号。如果你还要继续用 Codex 做这类配置排查可以在 TaoToken 控制台管理 Key 和查看接入方式管理 API Keyhttps://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex对照 Base URL 与 Codex 配置https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex长期在 Coding Agent 场景使用https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex验证模型是否可用https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentspring-ai-fallback-codex跑通后如果还要按模型拆 Token 消耗可以在同一个创建 Key 的账号里查看调用是否成功再把结论落回工程侧的按模型成本告警。这样降级链的可用性、延迟和成本才能放在同一张监控视图里判断。