推理系统的评价方式,正在从吞吐率走向 latency-cost frontier。
Agentic workload 的长会话、短输出和高 prefix reuse,让单一 tok/s 指标难以解释真实交互体验。值得跟踪的是“用户交互速度 × 单位成本”的组合边界。
查看证据链 →把分散信息压缩为可判断的信号:变化发生在哪一层、证据有多强、影响谁,以及是否值得现在行动。
Agentic workload 的长会话、短输出和高 prefix reuse,让单一 tok/s 指标难以解释真实交互体验。值得跟踪的是“用户交互速度 × 单位成本”的组合边界。
查看证据链 →为什么重要:长任务不应该因为一次工具失败或进程重启而全部重来。
建议动作:把权限模型和知识刷新 SLA 进入架构评审。
需要观察:跨机器人本体迁移时,数据价值是否能保留。