最后更新:2026-11-02 · 编辑撰写 · 费率来自渠道商列表
Jev State 设计:把输入 token(和账单)压掉 60% 以上
用 Jev 时,State 就是账单。输入是唯一计费的部分($0.042/1M token,输出免费),你发出的每个 token 都要付费——而且乘上百万次。这篇指南展示一个典型的臃肿 State 如何在不损失决策信号的前提下瘦身约 65%,以及过度瘦身的一个真实陷阱。
1. 为什么 State 就是全部账单
一次 Jev 请求有两部分:State(要判断的文本)和 questions(类型化问题:choice / score / noul)。问题随请求捎带,几乎免费——加第二个、第三个问题对账单影响极小。State 不同:它计费,而且通常比问题长 10–50 倍。
| State 长度 | 单次决策成本 | 每月 100 万次决策 |
|---|---|---|
| 850 token(臃肿) | $0.0000357 | $35.70 |
| 290 token(精瘦) | $0.0000122 | $12.18 |
按 $0.042/1M 计算,把 State 从 ~850 压到 ~290 token,每百万次决策省约 $23.5——66% 的降幅,且不需要任何基础设施改动。(社区实测还能更瘦:那个总成本 $0.08 完成 1018 篇论文分类的案例,平均远低于这些数字。)
2. 臃肿的 State(瘦身前)
把原始工单原样灌进 State,通常长这样——HTML 标记、签名、工单元数据全都在:
From: [email protected]
To: [email protected]
Subject: [Ticket #48213] Re: Re: Re: Cannot connect Stripe
X-Mailer: Microsoft Outlook 16.0
---
<html><body><p>Hi, I've been trying to connect my Stripe account
for 3 days and it keeps failing. I am losing sales because checkout
is broken. Please help ASAP.</p>
<p>--<br>Maria K<br>Head of Ops, Goldline Ltd<br>
This email and any attachments are confidential...</p>
</body></html>
约 180–220 词,含标记约 850–1,100 token。真正的决策信号——客户那句话——只有 30 词左右。
3. 精瘦的 State(瘦身后)
Customer (Head of Ops): cannot connect Stripe account for 3 days,
checkout broken, losing sales. Third follow-up.
约 30 词、40–60 token。同样的路由决策、同样的紧急度判断、同样的情绪读取。签名、邮件头、保密声明和 HTML 携带的决策信息是零——它们是纯成本。
4. 五个瘦身技巧
a. 去掉传输层,保留事实
HTML 先转文本再进 State;签名、法律声明、回复链全部丢弃。如果入口在你手里,在 webhook 就提取正文,而不是在调模型的时候。
b. 用增量替代历史
别把六条消息的完整线程发过去。发最新一条,外加一行上下文:"Prior turns: billing dispute; agent offered refund; customer declined." 决策需要的是增量,聊天记录只是 token。
c. 先归一化再发送
对大多数判断类问题,「3 days ago」比带时区的完整 ISO 时间戳好;短 id 比长 UUID 好。在请求之前、在代码里确定性地完成归一化。
d. 按问题组定制 State
如果垃圾检测和路由是两个工作流,它们很少需要同一个 State。在知道要问什么问题的处理器里构建 State——垃圾检测甚至可以砍得更狠。
e. 设预算,别靠猜
数 token(粗略:英文 1 token ≈ 4 字符,中文 1 字 ≈ 1–1.5 token),State 超预算就告警。一次「小改」之后 State 从 300 悄悄涨到 900 token,就是一次 3 倍的成本回归——在只看决策次数的仪表盘上没人会注意到。
5. 精度陷阱
瘦身不是免费的。你删掉的上下文有时是承重墙:「third follow-up」会改变紧急度;产品线会改变路由。失败模式很隐蔽——模型返回一个有效且高置信的答案,只是质量更差:Jev 不会编造文本,但完全可能高置信地犯错。
解法是回放集,不是直觉:取 100–500 个已知结果的历史案例(与生产检查清单里推荐的校准方法相同),分别用臃肿和精瘦的 State 跑一遍,对比准确率。精瘦版在噪声范围内持平,就上线;没持平,说明被砍掉的字段里有承重的——把那一个加回来。
6. 写代码之前先用试玩页
迭代 State 设计不需要写代码:打开在线试玩,粘贴臃肿版 State 跑一次,再换精瘦版对比答案和置信度。试玩页展示完整的概率分布——这正是瘦身时最该盯的东西:token 下降的过程中,置信度应该保持稳定。
7. 默认精瘦,token 要靠申请
把精瘦 State 当默认,每个新增字段都要理由——和大多数集成的演化方向正好相反。官方建议也是这个意思:「保持 State 精瘦——去掉 HTML 和元数据。token 更少,精度更好。」这是少见的成本、延迟、精度三赢的优化。