使用 DigitalOcean 批量推理对 250,000 条记录分类，成本仅 7.04 美元

从7 GB CSV到分级结果。一切均为流式处理；不会将原始文件加载到内存。来源：我们的管道，在2026-08-03至2026-08-13期间在DigitalOcean统一批量推理API上进行测量。

步骤0：提交前先估算。 对1%的样本进行分词并外推。我们的精简提示平均每条记录约468个输入/约82个输出token，因此250k条记录约为1.37亿个token。在构建任何内容之前，请根据列表价格检查这一点是否符合您的预算，并根据当前限制文档中规定的每模型每账户100亿token的入队token限制进行核对。

步骤1：构建JSONL。 每条记录一行。在OpenAI上通过response_format: json_schema实现严格的JSON输出；在Anthropic上等价的是强制工具调用：

{"custom_id": "haiku-9915470",
 "params": {"model": "claude-haiku-4-5-20251001", "max_tokens": 300,
            "system": [{"type": "text", "text": "..."}],
            "messages": [{"role": "user", "content": [{"type": "text", "text": "Complaint:\n..."}]}],
            "tools": [{"name": "record_ticket", "input_schema": {"...": "..."}}],
            "tool_choice": {"type": "tool", "name": "record_ticket"}}}

结构化输出为 99.99% 的 250k OpenAI 响应（20 行错误）和 100.00% 的 25k Anthropic 响应生成了可机器解析的 JSON。

步骤 2：超越限制进行分块，包括错误消息必须告诉你的那个限制。 文档化的限制是每文件 50,000 请求和 200 MB。我们的首次提交将 250k 切分为六个文件，每个最多 45k 请求。其中五个在验证时立即失败：

batch contains 45000 requests; tier limit is 40000 for provider openai

这是低于文档上限的账户层级限制（截至 2026-08-03 测试）。文档确实警告说，根据您的安全层级会有额外限制；他们只是没有公布这些数字，所以您第一次知道自己的限制是从这个错误中得知的。好消息是：错误会告知您的实际数字，且验证失败不会产生费用。我们在 40k 处重新分块，总共七个文件，用于 250k。

步骤 3：提交，具备幂等性。提交包含三次调用：创建文件意图（返回一个 file_id 和一个有效约 15 分钟的预签名上传 URL），PUT 原始字节，然后创建引用 file_id 的批处理，此外还需提供您选择的 request_id。该 request_id 是您的崩溃保险，我们在 2026-08-03 测量了其合同的两半。使用相同的 request_id 和 file_id 重新播放 create 调用会返回现有作业且不会产生重复，因此您的提交循环可以在崩溃后安全地重新运行。但如果使用相同的 request_id 并重新上传相同内容的全新副本进行重播，则会被拒绝：返回 409 错误，“request_id 已与不同的输入文件关联”。因此，请保留首次上传得到的 file_id，在重试时复用；不要重新上传。

对于 OpenAI 作业，您还需要在每行传递与 url 匹配的 endpoint（/v1/chat/completions 或 /v1/responses）；而对于 Anthropic 作业，则必须省略它。

步骤 4：轮询并下载。作业会报告状态：validating → queued → in_progress → completed（或 failed / expired / cancelled），并附带每个作业的请求计数。结果最多保留 30 天。结果调用返回一个指向单个 output.jsonl 的预签名 URL；文档还定义了一个独立的错误文件（error_file_url，仅在生成错误文件时存在）。在我们生成的每一次失败中，包括所有 20 个请求均失败的探测，错误都会内联出现在每行输出中，且不会出现错误文件 URL（截至 2026-08-04 的测试）。请同时解析这两种形式：检查每行的 error 字段以及结果负载中的 error_file_url。

来自一次真实故障的韧性提示：在下载约 47 MB 的输出文件过程中，我们遇到了 HTTP/2 流重置（远程对等方重置了 Stream 1，2026-08-04）。请重试整个 GET 请求；每次调用结果端点时，预签名 URL 都会刷新。

步骤 5：合并并评估。使用 custom_id 将输出与输入连接，解析 JSON，然后与标签进行比较。完整的流水线见下方的复现工具包。

步骤 6：重新提交失败（您实际上会在生产中运行的循环） 收集错误行，构建余量 JSONL，在新的 request_id 下重新提交。我们构建了这条代码路径，随后我们的 250k 运行零失败请求，因此我们拥有该机制，但没有值得一提的失败故事。这就是“韧性”的诚实版本：机制之所以重要，正是因为你无法预测何时会需要它。

准确率：在 250,000 条记录上与数据集自身标签一致性达 83.6%

总体产品标签一致率为 83.62%（JSON 有效 99.99%）。按类别：

尾部具有启示性：模型遗漏的类别正是那些 CFPB 定义重叠的类别（比如，催收 payday 贷款问题究竟算是 payday 贷款投诉还是催收投诉？）。在 250k 规模下，你能看到分类法的接缝，而不仅仅是模型的问题。

我们的运行没有发票（免费账户），因此此部分是可审计的算术：使用 API 自身使用字段测得的 token 数量，乘以 DigitalOcean 公布的每 token 费率；批处理最高可享受无服务器价格的 50% 折扣。

半价是定义；比例而非我们的账单才是故事。这些是计算得到的数字，而非发票（测试账户免于计费）。缓存 token 按完整输入费率定价。价格采集于 2026 年 8 月；在做出决定前请再次核对。

* 保守地按照完整输入费率对缓存 token 进行定价。DigitalOcean 的定价页面发布了一个 无服务器 缓存读取费率（GPT-5 Nano 为 $0.005/1M，相当于输入费率的十分之一，数据截至 2026-08-11），这将使该费用进一步降低。但未发布批处理缓存费率，且批处理缓存命中是否按折扣率计费在我们的账户上无法验证；我们只能报告 API 返回了缓存命中计数。

每千条记录的费用为 $0.028（Nano）对比 $1.00（Haiku），按批处理列表价计算。处理 25 万条记录的分类任务花费七美元是头条新闻；而在无服务器价格下，相同工作负载的费用计算为十四美元，这体现了定价模型在发挥作用，而非我们的发现。

三个模型均在完全相同的记录上进行评分，均经过显著性检验：

增加一点资金帮助不大；增加提示反而让情况变差。准确率 = 与 CFPB 自身标签的一致程度。Mini 与 Nano 在 2,500 条记录的试点中配对；Haiku 与 Nano 在 25,000 条记录中配对；胖提示 vs 精简提示在 5,000 条记录中配对，使用相同模型。

请再读两次第三行：我们把完整的产品/问题分类法塞进提示里（2,400 个 token 而非 460），期望准确率上升。结果却显著下降，且在任何缓存折扣之前每条记录的成本翻倍。此外，该分类法的实际目的——问题级标签——在与 CFPB 的 110+ 个重叠问题类别比较时，仅达到了 20.2% 的一致度。更多的提示并不带来更高的准确率；它只是更多的 token，直至有相反的证据。

为了作对比，我们还在相同的提示和记录上运行了一个 2,000 条记录的无服务器对照组（2026-08-03）：单请求延迟 p50 2.31 秒 / p95 3.40 秒，答案逐条流式返回，而批量则是把 250k 条记录放入队列，90 分钟后收集结果。批量牺牲交互性以换取吞吐量；如果下游没有任何任务需要在秒级内得到答案，那么您其实根本用不到这种交互性。

在以下情况下使用批量：

• 下游没有任何任务在等待单个答案：回填、数据集丰富化、夜间分类、评估、内容审核扫查。
• 数据量足够大，折扣才有意义。我们对 250k 条记录的运行得到的费用是 7.04 美元；同样的 token 在无服务器费率下的费用是 14.07 美元。
• 您的管道可以容忍最长 24 小时。在我们的测试中，典型情况要快得多（40,000 请求的作业耗时 1.4 到 2.2 小时），但 24 小时的窗口是唯一的承诺。

在以下情况下保持使用无服务器：

• 用户或系统正在等待每个答案。我们测得的无服务器延迟为 p50 每请求 2.31 秒；批处理作业只有在完成后才会返回结果。
• 工作负载较小或仅偶尔运行。当记录数低于几千时，绝对节省的费用只有几分钱，而 JSONL 包装则成为额外开销。
• 您需要按请求流式传输、工具循环或立即重试。

两者不会争夺容量：DigitalOcean 文档说明批处理作业在隔离的低优先级容量上运行；它们不会占用您的实时配额，也不会使生产环境的 p99 延迟增加超过 5%（这是一项有文档保证的声明，我们未进行测试）。使用同一个密钥同时运行两者只是一种配置选择，而不是架构变更。

您也可以参考我们的教程 无服务器 vs 专用 vs 批处理推理 以获得更详细的对比。

1. 单一 API 上的三种模型命名约定 (测试时间为 2026-08-11)。无服务器需要使用 DigitalOcean 目录 ID（openai-gpt-5-nano、anthropic-claude-haiku-4.5）。OpenAI 批处理需要使用原生名称（gpt-5-nano）；目录 ID 无法通过验证。Anthropic 批处理需要使用 Anthropic 的带日期快照 ID（claude-haiku-4-5-20251001）；目录 ID 和未日期别名均会被拒绝，提示 “在 DigitalOcean 上不可用”。DigitalOcean 官方的操作示例使用了未日期别名（claude-3-5-sonnet-latest），但我们的测试将其拒绝；因此当文档与验证错误相冲突时，应相信错误。错误的 ID 会导致即时且免费的验证失败，并且会指出模型名称。虽然令人烦恼，但至少错误信息很明确。

2. 您的层级限制不等于文档中的限制。 在我们的账户中，每文件限制为 40k 请求，而文档记载为 50k（2026-08-03）。Anthropic 方面的文档限制（根据发布公告为每文件 100k 请求）我们未进行测试；我们运行过的最大 Anthropic 作业为 25k 请求。

3. 推理模型不再接受经典的 body 参数。 我们的首次探测向 GPT-5 Nano 发送了 temperature + max_tokens；所有 20 条请求逐行失败（2026-08-03）。请使用 max_completion_tokens 和 reasoning_effort，并预留输出余量：即使可见答案仅为一个 JSON 对象，推理 token 仍会计为输出并计费。

4. 两种失败模式均无提示。 重复的 custom_id 和混合模型文件均能通过前置验证，正常进入队列，随后在没有任何错误信息的情况下失败（2026-08-11）。单模型每任务的规则已有文档说明；未文档化的是，违反该规则会在排队后静默失败，而不是在验证阶段直接报错。我们在验证中尝试的其他情况（格式错误的 JSON、缺少 custom_id、错误的端点 URL、错误的提供方 schema、空文件）均会快速失败并给出清晰可引用的错误信息。建议在本地使用 lint 检查唯一性和每文件单模型；API 本身不会提示这一点。

5. 取消是尽力而为的，适用于两个方向 (2026-08-11)。尚未转交给提供方的任务无法取消（返回 409：“批量作业尚未提交给提供方”）。文档将此 409 描述为暂时性错误（等待作业离开验证状态后重试），但我们在一个已在队列中停留八天的任务上遇到了它，此时等待毫无帮助（参见后续教训）。此外，正在运行的任务可能会抢在你的取消之前完成：我们的 500 请求探测在取消指令到达时已完成 99%（处于 “cancelling” 状态及全部）。它完成了运行，交付了结果，在正常账户下会被计为已完成并计费。我们从未捕获到大型任务在半途被取消的情况，因而将“取消 40k 任务的一半”视为未经测试的操作。请不要将成本控制依赖于取消操作。

6. 队列行为随提供方和周而异。 我们在 2026-08-03 提交的一个 Anthropic 任务在 “queued” 状态中停留了八天，从未被转交给提供方，不可取消，其自身的过期时间戳早已过去却未被强制执行。当我们在 2026-08-11 重新测试时，相同的文件内容经过严格验证并在几秒内被转交，随后 25,000 个请求在 17 分钟内完成。行为在我们两次测试日期之间发生了变化；我们不知道 DigitalOcean 那边发生了什么变化，也不清楚原因。这两方面都是教训：请根据 24 小时 SLA 进行规划，而非仅依赖典型情况，并为自己的平台备注添加日期戳。

7. 缓存有三个细则。 (a) 每个模型的最小可缓存前缀不同：GPT-5 Nano 为 1,024 个 token，Claude Haiku 4.5 为 4,096 个 token，是大多数团队假设值的四倍。我们的 460-token 生产提示在 250k 次请求中未缓存任何 token，因此主运行完全未获得缓存帮助。 (b) 在符合缓存条件的 OpenAI 运行中（前缀 2,400 token，5,000 次请求），55.6% 的输入 token 被标记为缓存命中，而仅 20 次请求的小规模探测达到 81%。这种差异与在许多并行工作器上扇出批量请求、各自预热自身缓存一致（机制未确认；我们看不到调度器）。请基于规模化数字而非玩具探测来估算节省。 © 在最小阈值以下，不会有任何内容被缓存，也不会收到任何警告。我们最初的 Anthropic 探测使用了 1.3k 到 3.6k token 的前缀，记录到零缓存活动，我们曾短暂误解为 DigitalOcean 不提供缓存。在超过最小阈值的重新测试中（前缀 5,975 token，日期 2026-08-13），两种模式下均干净地进行了缓存：无服务器在第一次调用时写入缓存，并在第二次调用时读回全部 5,975 token；而一个包含 10 个请求的批处理作业从缓存中提供了其输入 token 的 70%。在得出缓存失效的结论之前，请先查看您所使用模型的文档化阈值。

8. 输出模式属于提供方，而非 DigitalOcean。 将 OpenAI 批处理行解析为 OpenAI 批处理输出（response.body.choices[...]），将 Anthropic 行解析为 Message Batches 输出（result.message.content[...]，包含工具使用块）。即使您的作业代码不是按提供方区分的，合并代码也需要按提供方实现。额外提示：Anthropic 的使用块会报告 service_tier: "batch"，这是一个很好的 sanity check，可确认您获得了所期望的折扣层级。

DigitalOcean 列所示的数据为我们在注明处的实际测量值；竞争对手的数据来源于各厂商截至 2026 年 8 月的公开文档和定价。如果您根据此表选择平台，请先查看各厂商的最新文档，因为价格和限制可能会变动。

DigitalOcean 的区别在于运营而非财务。所有人都提供约 50% 的折扣。只有 DigitalOcean 让 OpenAI 和 Anthropic 的作业共享同一个端点、密钥、作业 API 和账单。

根据测量的数值，一切都呈线性增长，因此外推非常短（全部按列表费率计算）：

在费用出现之前就会出现两个限制。首先，排队 token 限制（每模型每账户 100 亿 token）在我们的 token 配置下大约在 1800 万条记录时变得具有约束力；超过这一点，您将在排队中排空并重新填充。其次，文件数量：当文件数达到 25+ 时，您需要使用演练中的清单 + 幂等提交循环，因为某些操作可能需要重试。我们的七个并发作业（五个 40k 和两个 25k）全部在 2.2 小时内完成；250 个文件是否表现相同尚未测试；我们预计瓶颈将是 token 配额而非并发度，但这只是一种预期，而非实际测量。

先决条件：OpenAI 和 Anthropic 的商业模型需要 Tier 3+ DigitalOcean 账户。如果批处理路由返回 403，请在调试其他内容之前先检查您在 资源限制页面 中的层级。

最小循环，无需框架：

import json, time, requests

BASE = "https://inference.do-ai.run/v1"
H = {"Authorization": f"Bearer {KEY}"}              # your DO model access key

# 1. file intent -> presigned URL (valid ~15 min)
intent = requests.post(f"{BASE}/batches/files",
                       headers=H, json={"file_name": "job.jsonl"}).json()

# 2. upload raw bytes
with open("job.jsonl", "rb") as file:
    upload = requests.put(intent["upload_url"], data=file)
upload.raise_for_status()

# 3. create the batch (request_id = safe retries; keep file_id if you must retry)
batch = requests.post(f"{BASE}/batches", headers=H, json={
    "file_id": intent["file_id"],
    "provider": "openai",                           # or "anthropic"
    "endpoint": "/v1/chat/completions",             # REQUIRED for openai, OMIT for anthropic
    "completion_window": "24h",
    "request_id": "my-job-001",
}).json()

# 4. poll
while True:
    b = requests.get(f"{BASE}/batches/{batch['batch_id']}", headers=H).json()
    if b["status"] in ("completed", "failed", "expired", "cancelled"):
        break
    time.sleep(60)

# 5. download (retry the GET whole if the stream resets; the URL refreshes each call)
res = requests.get(f"{BASE}/batches/{batch['batch_id']}/results", headers=H).json()
out = requests.get(res["output_file_url"]).text
for line in out.splitlines():
    r = json.loads(line)    # per-line "error" field on failures (also check
                            # res.get("error_file_url"): documented, not seen in our runs)

1. 在 DigitalOcean 上批处理比无服务器便宜多少？

DigitalOcean 将批处理定价为比无服务器列表价低至 50%。在我们的 250,000 条记录运行中，该定价计算得出批处理为 $7.04，无服务器为 $14.07，对应相同的测量 token。

2. 批处理作业需要多长时间？

在 2026 年 8 月的测试中：40,000 请求的作业耗时 1.4 至 2.2 小时；25,000 条 Anthropic 请求耗时 17 分钟；500 请求的作业耗时约 3 分钟。SLA 为 24 小时，因此请据此进行架构设计。

3. 我需要重写我的代码吗？

同一提供商：不需要。您的请求正文保持不变；您只需将其包装在该提供商的批处理 JSONL 行格式中，并调整模型 ID 约定。不同提供商：您也需要采用其行格式和结构化输出机制。作业/提交/轮询/结果 API 对两个提供商是相同的。

4. 失败的请求会怎样？

在我们的运行中，错误会按请求内联返回到输出文件；文档还定义了一个单独的错误文件（error_file_url），在生成时使用，因此需要同时处理两者。失败的请求不会导致作业失败，且 DigitalOcean 仅对已完成的请求计费。将错误行收集到一个余量文件中，并在新的 request_id 下重新提交。（我们的 250k 运行中没有失败，以此演示。）

5. Prompt 缓存在批处理中是否有效？

在 2026 年 8 月的测试中：是的，对于两家提供商，只要共享前缀达到模型文档规定的最小值（GPT-5 Nano 为 1,024 个 token，Claude Haiku 4.5 为 4,096 个 token）。OpenAI 批处理报告在我们符合缓存条件的运行中，55.6% 的输入 token 作为缓存命中；Anthropic 的 cache_control 在我们超过 Haiku 4.5 的 4,096‑token 最小值后，在批处理和无服务器环境中干净地完成了缓存。低于此最小值时，它会静默地不缓存任何内容。我们无法在账户上验证缓存 token 的计费费率。

6. 我可以使用哪些模型？

在 2026 年 8 月的测试中，仅限 OpenAI 和 Anthropic 的商业文本模型：不包括开源模型或 DigitalOcean 托管的模型，不包括多模态模型，每个任务只能使用一个模型。请注意账户前提条件：Tier 1 和 Tier 2 账户无法访问 Anthropic 或 OpenAI 的商业模型（开放权重的 gpt-oss 模型是文档中规定的例外），因此使用这些提供商进行批处理实际上需要 Tier 3+。请留意三种命名约定（课程 #1）。

批量推理是一种几乎零成本采用的罕见优化：如果您的工作负载不需要秒级响应，您已经发送的相同请求体将变成一个 JSONL 文件、三次调用提交和一个轮询循环，费用仅为列表价的一半。我们的 250,000 条记录运行未出现任何失败请求，速度快于预算，计算成本为 7.04 美元。

阅读标题以外内容的原因在于我们遇到的细则：三种模型命名约定、低于文档所述的层级限制、两种静默失败模式、尽力而为的取消、一个在队列中等待时间远超预期的任务，以及仅在超过我们生产提示未达到的阈值时才有帮助的缓存。这些都不会导致 disqualification；它们正是演示与您会反复运行的管道之间的区别。