测速方法论

我们如何测量任务效果、速度和成本,以及哪些结果可以比较。

标准实测与社区数据

标准报告使用香港 hkg1 节点在服务端计时,固定题目版本、模型接入点和参数。每模型 3 类任务 × 5 个案例 × 2 个至少相隔 6 小时的时段,共 30 次尝试。失败、超时和截断都保留,社区自报数据不进入官方证据。

每类完整成功样本不足 10 条,不判速度胜负;累计达到 100 条完整样本后才显示 P95。首期展示中位数与范围,统一字符吞吐按 Unicode 字符计算,厂商计费 token 单独展示。超过 7 天未复测标记陈旧。

输入与输出费用使用对应接入点、版本和核实日期的价格;用量或价格缺失显示未知。JSON 解析或页面渲染成功不等于任务效果通过。只有题目 ID、版本和未修改的 Prompt 才触发标准答案校验,不设置固定权重的综合推荐。

查看标准报告和原始证据

为什么并发同测

所有启用的模型用同一个 Prompt、在同一时刻并发发起,而不是一个接一个跑。 这样每个模型面对的网络环境、时段、提示词完全一致,减少了先后顺序的影响,但无法消除供应商负载和网络差异。

首 Token 时延 TTFT

从本站代理准备完成、开始请求上游,到收到第一个 token(思考或正文均算)的耗时,使用代理端时间戳。它包含代理到上游的网络、 调度、计算和缓冲,不包含此前的客户端与本站准备时间。 “实际等待”单独从客户端开始请求计至收到首个 token。 旧流缺少代理时间戳时使用客户端计时;历史记录不补造诊断数据。 这些指标不能单独证明厂商内部排队。

思考 / 输出速度(tokens per second)

对会思考的模型,思考阶段与正文阶段分别独立计时:各取该阶段首末增量的活跃窗口,思考时长不含「思考结束→正文开始」的空隙,输出时长不含最后一个 token 之后等待 usage 收尾的时间。

token 口径优先采用厂商官方 usage 返回的总数;厂商未返回时用统一字符估算,并在结束后按官方总量整体校准,使峰值与曲线读数与官方口径一致。

峰值速度

以 2 秒滑动窗口计算瞬时 tokens/s 的最大值,并按官方 token 总量校准后取峰值。反映模型在解码阶段的吞吐上限。

数据来源与隐私

排行榜数据来自用户在竞速场跑完后自愿匿名共享,仅上报速度指标,不含任何 Prompt 内容与 API Key。同一模型的不同接入点(厂商域名)分开统计,互不混淆。数据每 5 分钟更新。

局限与公平性

速度受网络、时段、厂商负载影响,单次结果有波动,排行榜以中位数降低偶发抖动的影响,但仍仅供参考、不构成绝对结论。项目开源、可自行复现,我们不接受任何以排名位置为对价的合作。

查看速度排行榜 →去竞速场实测 ▶