为推理用例选择正确的模型：生产环境中的推理系列

在GenAI部署中，模型选择——而非基础设施、提示词优化或批处理策略——是影响质量和成本的最大杠杆。Claude Sonnet 4.6的定价为$3.00/M输入；Claude Haiku 4.5的定价为$1.00/M：在简单分类任务上就有3倍的差距。而在DigitalOcean Serverless Inference上，与一个有能力的开源权重模型相比，在相同的token形态下（在《使用Inference Router实现多模型API成本治理》中测量，2026年6月），这一差距扩大到36倍。

这是两个独立的比较，而非一个逐步升级的数据：3倍差距是Anthropic自身产品线内部的差距；36倍是在DO Serverless上与开源权重模型之间单独测量的另一个比较。如果你在其他地方单独引用任一数字，请将它们分开。

如果更小的模型在你特定任务上能产生同等的质量，那么每天使用更大的模型就不是多付百分之几，而是多付数倍。

价格说明：Token费率反映的是2026年6月各厂商文档和DigitalOcean Inference定价中的列表价格。在制定预算前，请确认实时价格。模型产品线变化也很快；在引用本比较之前，请确认是否有更新的旗舰版本已经取代了本文提到的模型。

正确的顺序是：“先为你的任务找到准确率下限，然后找到能够越过该下限的最小模型。”

将候选模型倒入你的准确率下限筛网；保留能越过下限的最小模型。

1. 定义准确率下限：在关键指标上可接受的最低性能。不是“尽可能好”，而是低于该阈值产品就会出问题。
2. 用自己的数据评估：使用来自你生产分布的代表性样本，而不是基准测试的样本。
3. 从小模型开始，逐级向上：通过你评测的模型都是候选；成本最低的候选胜出。
4. 模型更新时重新评估：6个月前需要Sonnet的任务，现在可能用Haiku就能完成。

翻译任务暴露了一个根本性的评估缺陷：易于计算的指标，往往并不能衡量真正重要的东西。

BLEU与人工判断的相关性很差

BLEU（双语评估替补）统计模型输出与参考译文之间的n-gram重叠。它快速且确定性高，但对于任何需要细微理解的任务而言，它预测质量的能力都很差。

COMET（翻译评估跨语言优化指标）是一种基于人工判断训练的神经指标。它与母语者评估质量的方式相关性显著更好，甚至可能颠覆BLEU的排名。在BLEU上得分更高的模型，有时在COMET上得分反而更低。

对于任何严肃的翻译评估，COMET都应该是主要指标。BLEU只能作为快速检查。

NMT在批量场景胜出；LLM在细微表达上胜出

对于大规模翻译来说，速度差异是决定性的。Google的NMT引擎能在毫秒级返回结果，比LLM快20倍。DeepL在高吞吐量下表现相当。

批量翻译：NMT是冲压机；LLM是认真的抄写员，较慢但更擅长细微表达。

在长上下文、习语、低资源语言和品牌敏感文案方面，LLM 表现更胜一筹。Lokalise 的盲测研究通过母语者两两对比的方式，对五种引擎在英译德/波/俄方向上的表现进行了比较，发现 Claude 3.5 的“良好”评级最高（78%）。Rapidata 的数据集（DeepL 对比 DeepSeek-R1/Llama/Mixtral，超过 51,000 名母语者，可在 Hugging Face 上公开获取）则发现，没有任何一类模型能在所有语言对和内容类型中占据主导地位。

对于低资源和特定领域的语言对，经过微调的 3.3B 专家模型仍然优于通用的 7-8B 通才模型。AI 本地化的主要障碍在于信任，而非技术；后期编辑工作流之所以存在，是因为生产团队在没有任何人工检查点的情况下，无论基准分数如何，都不准备直接发布 LLM 的输出。

我们的评测内容：五种模型、三种语言、一个评估框架

为了给上述框架提供数据支持，我们在 DigitalOcean Model Evaluations（公开预览版）上进行了一次翻译评估。设置如下：包含 50 条翻译提示词，涵盖英译德、英译繁中、英译波，内容涉及日常、正式、习语和技术文本。每条提示词都附带人工撰写的参考译文。评判模型（Claude Opus 4.6）根据真实度忠实性（GTF）打分，衡量译文与参考译文在 0-1 尺度上的语义等效性。核心指标通过阈值为 0.80。

五种模型，相同的数据集，相同的评判模型，相同的系统提示词，temperature=0:

DeepSeek V4 Flash 在质量上与 Sonnet 相当（GTF 0.781 对比 0.784），但输入价格低 27 倍，并且在德语和繁体中文上的得分略高于 Sonnet。它的输出也最为简洁：总计 1,367 个 token，没有任何前言。Sonnet 尽管有明确指示，仍在 50 条提示词中的 14 条里添加了“以下是翻译：”的前缀。

GLM-5.2 在质量上得分不错（0.768），但生成了68,876 个输出 token，是 DeepSeek V4 Flash 的 50 倍。按照 $4.40/M 的输出价格计算，这种冗长性完全抵消了其在输入价格上的优势。Qwen3-32B 也存在同样的问题（43,006 个 token）。这正是本系列第一篇文章为什么你的 LLM 账单是你预期的 3 倍中提到的“冗长性倍增器”的量化体现：模型选择不仅仅是关于每个 token 的价格，更关乎模型实际会生成多少 token。

所有五种模型在波兰语上的得分都是最低的（0.653–0.744，而德语为 0.747–0.825），这与上述关于低资源语言的论点相符。

有一条提示词展示了造成这种差距的失败模式。原文：“Let's not beat around the bush, the project is behind schedule and we need to course-correct.”参考译文：Nie owijajmy w bawełnę, projekt jest opóźniony i musimy skorygować kurs. Qwen3-32B（GTF 0.4）将这句习语翻译成了Nie kręćmy się w kółko（意为“我们不要在原地打转”，是另一个习语），并将“behind schedule”直译成za harmonogramem，而不是更自然的opóźniony。Claude Sonnet 4.6（GTF 0.8）则准确匹配了习语和措辞，仅在不影响语义的“course-correct”意译上有所偏离。价格更低的模型在处理直白和科技类文本时能够达标，但在习语上就会失误。

数据集、系统提示词和原始结果文件可在此处获取，以便复现结果。若要在您自己的提示词上运行此评估，请参阅 DigitalOcean 文档中的如何评估模型。

RAG 评估最常失败的原因在于团队只评估生成步骤。该流水线存在三个故障点：

1. 嵌入质量：检索系统是否能调出正确的文本块？
2. 检索精度：返回的前 k 个结果是否真正相关？
3. 生成忠实度：模型是严格遵循检索到的上下文，还是会幻觉？

忠实度（接地性）是主导性的质量信号。一个模型如果在检索上下文之外自信地生成看似合理但错误的答案，无论其基准分数多高，都是危险的。

针对 RAG 的实用模型选择标准：

• 分别评估检索和生成环节
• 在具有已知真实标签的留出样本上衡量幻觉率
• 稳定上下文（系统提示词 + RAG 模板）的提示词缓存是主要的成本杠杆：一个缓存良好的 RAG 流水线，70-80% 的输入 token 可从缓存中获取，价格仅为基础输入价格的 10%。从一开始就为可缓存性设计提示词结构；事后改造的代价高昂。

对于大多数 RAG 场景，中端模型（Claude Sonnet、GPT-4o mini）与前沿模型的质量差距已经很小，因为忠实度（faithfulness）是一种通过良好提示词即可控制的行为，并不需要最大化的模型智能。只有在提示词调优后忠实度仍然无法通过评估时，才需要升级到前沿模型。

权威基准是 SWE-bench，特别是用于初筛的 SWE-bench Verified（500 个经过人工验证的 Python 任务），以及用于更强信号且越来越普及的SWE-bench Pro。

SWE-bench Verified 存在数据污染问题

OpenAI 在 2026 年 2 月宣布弃用该基准，此前审计发现，基准任务中的解决方案可从 issue 文本中泄露，而且在大多数被抽查的案例中，模型会从训练数据中回忆起文件路径和发布说明的细节。顶级模型在 Verified 上得分 70% 以上。而在 Scale AI 推出的抗污染替代基准 SWE-bench Pro 上，顶级模型的得分约为 23%。

相同的任务领域，不同的基准：抗污染基准讲述了一个截然不同的故事。

你的代码库是唯一诚实的基准

在 SWE-bench 上表现良好的模型，其优势体现在使用常见模式的开源 Python 代码库上。你的私有代码库有不同的约定、抽象和测试结构。实际表现总是更低；问题在于低多少，而且不同模型之间差异很大。

实用的代码生成模型选择方法：

• 使用 SWE-bench Verified 和 Pro 作为筛选过滤器，淘汰表现不佳的模型
• 运行私有评估测试集：从你的代码库中选取具有已知正确解决方案的代表性任务
• 纳入LiveCodeBench：在模型训练截止日期之后发布的问题在结构上难以被污染
• 专门针对你的主要编程语言和框架进行测量

对于复杂的多文件更改，使用前沿模型。对于范围限定的编辑、测试生成和样板代码，中端模型通常只需一小部分成本就能达到标准。

对于面向客户的聊天场景，模型质量的争论远不如首 token 时间（TTFT）重要——即从发出请求到收到响应第一个字符之间的延迟。

用户认为 500 毫秒的 TTFT 是即时的，而 2 秒的 TTFT 则是缓慢的。在速度达到可接受水平之前，用户几乎不会注意到响应的内容。

我们在DigitalOcean Serverless Inference（inference.do-ai.run，2026 年 7 月，每个模型运行 3 次，报告为中位数）上，使用一个工单分类提示词对四种模型测量了 TTFB（首字节时间，作为 TTFT 的代理指标）：

每个模型仅运行三次，对于一个对网络抖动和时段负载如此敏感的指标来说，样本量偏薄。请将这些倍数视为方向性参考而非最终结论。Llama 3.3 70B 以 $0.65/百万 token 的价格实现了低于 400 毫秒的 TTFB，比 Sonnet 快 3.6 倍、便宜 4.6 倍。对于用户盯着光标等待的客户支持聊天机器人来说，这同时意味着更好的用户体验和更低的成本。Sonnet 的 1.4 秒 TTFB 正在接近用户能感知到延迟的阈值。

启示：

• 更小、更快的模型即使输出质量略有下降，也能带来更好的用户体验；体验主要由 TTFT 决定
• 对重复的 FAQ 类查询进行语义缓存和提示词缓存是主要的成本优化手段：相同的问题会出现数百次；缓存稳定上下文可大幅降低单次查询成本
• 流式输出很重要：即使总完成时间相同，300 毫秒收到第一个 token 也比 1.5 秒后收到完整响应感觉更快

对于分类类的支持任务（意图路由、升级检测、情感标注），远小于且便宜于前沿模型的模型即可达到准确率下限。

在基于公开基准选择模型之前，有四点需要注意：

MMLU 已经饱和。最先进的模型准确率集中在 2-4% 的差距内，几乎无法用于区分当前的前沿模型。

同一模型在不同测试框架下得分不同。两个团队使用不同的提示词格式和答案提取逻辑运行同一模型，报告的分数可能相差 10-15%。评估方法论本身就是结果的一部分。

SWE-bench 数据污染。Verified（70%+）与 Pro（23%）之间的巨大差距说明了污染会如何大幅虚高分数。

公开的 SWE-bench 排行榜。请将排名视为方向性参考；同一模型在不同评估框架下的得分会有所不同。

您的数据是唯一权威的信号。每个基准测试都是基于他人的数据分布构建的。在公开基准测试中排名第二的模型，可能会在您的特定任务上胜过排名第一的模型。唯一能确定的方法，就是用您自己的数据进行评估。

因此，以下是一个可重复的模型选择工作流，您可以用它为您的推理场景选择合适的模型：

1. 定义您的准确率底线：实际的最低阈值，而不是理想化的目标
2. 选择您的评估指标：翻译用 COMET，RAG 用忠实度，代码用您自己的测试框架的通过率，客服支持用 TTFT + 任务准确率
3. 从小到大进行评估：从最便宜且可行的模型开始，逐步升级直到超过您的底线
4. 设定重新评估节奏：模型梯队演进非常迅速

输出是一个决策矩阵：X 模型用于 A 类任务，Y 模型用于 B 类任务，并包含在置信度较低时升级到 Z 模型的逻辑。

DigitalOcean 的 Inference Router 可以将这一流程自动化：根据任务复杂度在模型层级之间路由请求，无需自定义路由逻辑。决策矩阵变成了配置，而不是代码。在多模型 API 成本治理的 2026 年 6 月实测运行中，在混合的分类/问答/推理流量分配下，仅通过路由，就实现了相比仅使用 Sonnet 成本降低 39.6%和相比仅使用 Opus 成本降低 63.7%，且未修改任何提示词或模型。更深入的架构细节将在本系列的下一篇文章中介绍。

您可以参阅下面本生产环境推理系列的其他文章：

1. 为什么您的 LLM 账单是预期的 3 倍
2. 提示词缓存实战：从 7% 到 74% 的命中率
3. 多提供商 LLM 路由不是问题，而是您的架构问题
4. 生产级 AI 应用的实际成本

• 如何评估模型（DigitalOcean 模型评估，翻译评估方法论）
• 使用 Inference Router 进行多模型 API 成本治理（DigitalOcean，2026 年 6 月实测运行）
• 模型评估：证明您的路由策略确实有效（DigitalOcean）
• 最适合翻译的 LLM 是什么？（Lokalise）
• Rapidata 翻译基准测试：DeepL vs DeepSeek-R1/Llama/Mixtral（HuggingFace）
• NLLB-200 3.3B 模型（Meta / HuggingFace）
• SWE-bench Pro 排行榜（Scale AI）
• 为什么 SWE-bench Verified 不再衡量前沿编码能力（OpenAI，2026 年 2 月）
• LiveCodeBench（抗污染代码基准测试）
• Anthropic API 定价
• DigitalOcean 推理定价
• 如何使用 Inference Router（DigitalOcean 文档）