一个超长提示词,为何从500改成400就省下四倍算力?

以下内容由亚美体育整理:

一个永远不可能成功的请求,被系统标成了"服务器临时故障"。

客户端看到这个信号,按规矩重试;

重试一次,失败一次;

再重试,再失败。

整个过程里,GPU 什么都没算出来,但请求量翻了几倍。

NVIDIA Dynamo v1.

6.

2(标签日期 2026-11-05)是 v1.

6.

1 之上的补丁版本。

代码改动很小,运维影响不小。

两处变化值得盯:一是 TensorRT-LLM 后端遇到超过引擎 max_num_tokens 的提示词时,返回码从 HTTP 500 api_error 改成 HTTP 400 invalid_request_error,同时 worker 继续运行;

二是 SGLang 的 decode 与 aggregated worker 多了一个可选的 --freeze-gc-after-init 开关(环境变量 DYN_SGL_FREEZE_GC_AFTER_INIT),目标是减少长跑 worker 的流式卡顿。

后端版本与 v1.

6.

1 保持一致:SGLang v0.

5.

21、TensorRT-LLM v1.

3.

0rc29、vLLM v0.

31.

0。

状态码不是装饰 用户和 GPU 之间的每一层,都靠状态码决定下一步动作。

4xx 的含义是:这个请求本身有问题,别原样再发。

5xx 的含义是:服务器出错了,再试一次也许能成。

在 1.

6.

2 之前,TensorRT-LLM 后端上一个超长的非流式 /v1/messages 请求会返回 500。

v1.

6.

0 的发布说明把它列为已知问题,且没有绕行方案。

一个注定失败的请求,被贴上了"瞬时故障"的标签。

任何把 5xx 当作可重试的错误策略,都会把同一个必然失败的请求反复送上去。

算一笔简单的账。

假设客户端库允许对 5xx 重试 3 次,一个超长提示词就变成 4 次打到前端的尝试。

如果每秒有 50 个超长请求——一个配置错误的 agent 循环把整个代码仓库塞进上下文,就是很现实的来源——那就是每秒 200 次纯浪费的尝试;

换成 400,这个数字是 50。

倍数由你的重试策略决定,不由 Dynamo 决定。

还有第二笔成本。

错误率看板和 SLO 燃烧告警通常把 5xx 算成服务方的失败,把 4xx 算成调用方的问题。

超长提示词引发的 api_error 尖峰,会把值班工程师叫起来处理一件根本不是故障的事。

改成 400,信号才落进正确的桶里。

升级前后怎么验 这个契约可以直接测。

构造一个故意超长的提示词,看返回什么状态码。

端点、模型名和尺寸都按你自己的部署替换。

用 httpx 向 /v1/messages 发一个内容为重复单词的请求,词数设为引擎 max_num_tokens 的两倍。

记录状态码、错误类型和耗时。

在 1.

about image

6.

2 加 TensorRT-LLM 上,预期是 400 invalid_request_error;

在 1.

6.

0/1.

6.

1 上,是 500 api_error,属于已记录的已知问题。

然后检查前端那几层。

有三个地方会在 5xx 上重试,而很多人不记得它们存在:客户端 SDK 的内置重试(不少默认对 5xx 重试若干次)、API 网关或服务网格 sidecar 的重试策略、以及你自己那个遇到非 2xx 就重新入队的队列消费者。

按请求 id 记录一天的尝试次数。

如果超长提示词表现为反复尝试,光升级还不够。

在网关加一道便宜的预检查,把超出 token 预算的提示词挡在 GPU worker 之前,并把这个预算做成共享配置值,而不是复制进三个仓库的数字。

还有一个细节来自 v1.

6.

0 的已知问题清单:worker 拒绝请求时,前端返回的是通用错误,不带 worker 的消息。

1.

6.

2 的说明把 v1.

6.

0 的已知问题一并继承,只除掉了超长提示词这一条。

所以在 1.

6.

2 上,你应该期待状态码类别正确,但响应体不一定有用。

别写解析错误文本的客户端逻辑。

GC 冻结开关到底做什么 第二处改动针对 SGLang decode 与 aggregated worker 里的 Python 垃圾回收。

发布说明把目标描述为减少长跑 worker 的流式卡顿,并明确它默认关闭,建议在大范围启用前先拿一个对照 worker 比较内存占用。

它依托的是标准 CPython 机制。

循环回收器会周期性遍历被跟踪的容器对象,寻找引用环。

在一个启动时加载了大量 Python 状态的 worker 里(配置对象、分词器结构、调度表),每次完整回收都有很多东西要扫,而一次长扫描就是一次停顿,停的可能正是往流里喂 token 的那个线程。

Python 提供 gc.

freeze(),把当前被跟踪的对象全部移进永久代,后续回收直接跳过。

代价也写在这个机制里。

被冻结的对象永远不会被回收,所以它们

亚美体育将持续关注后续动态。

分享这篇文章

复制页面链接,稍后继续阅读或分享给朋友。