OpenAI 首次向用户广泛开放其 Decisions API 模型，进入快速、低成本智能市场。这一市场最近让 TypeSafe——由该前沿实验室前研究员创立的一家初创公司——成为一家估值 76 亿美元的公司。
TypeSafe 的 Jev 模型开创了一类充当“超级分类器”的深度学习模型：给定一组选项，它们能快速做出选择，并给出决策置信度评分。软件开发者很快发现，这些决策模型或“系统一”模型可以在多种工作流中替代大语言模型（LLM），运行更快且成本大幅降低。
OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事看到 Jev 后说：“哇，我们大概有一百万个用例。”Handa 团队迅速推出自家版本：他们没有构建专门校准的决策模型，而是采用 ChatGPT Luna 并重新配置，以加快推理速度并降低成本。
“Decisions API 的最大突破在于速度，把耗时从一到三秒缩短到 100、120、180 毫秒，”Handa 说。“未来，我们可能会通过专门训练让模型在这些方面表现得更好。但现在，完成任务的只是普普通通的 Luna。”
Decisions API 于 9 月 29 日在该公司开发者日上发布，并于周四向所有客户开放。OpenAI 为公开版本新增了语音和视觉模态，并通过按地域部署推理资源，努力确保全球各地区实现更低延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户的初步试验中，工程师使用该 API 替代 OpenAI 的 LLM，以获得更高吞吐量。Speak 是一家构建 AI 语言辅导工具的公司，其 CTO Andrew Hsu 表示，Decisions API 让公司把操作之间的时间从 1.4 秒缩短到 0.13 秒。OpenAI 还利用该产品提升其 Dots 语音助手的响应速度。
不过，除了“对你有用”之外，究竟什么才算一个好的决策模型仍不明确——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe CEO Diogo Almeida 不信任基准测试，并敦促人们在自己的工作中试用这些模型；但即便是 TypeSafe，也在上周发布最新 Jev 模型时公布了自己的排名。最新 Jev 模型包含支持图像和 smart-if 语句等新功能。
像 AIM System One Index 和 Artificial Analysis Decision Index 这样的公开基准测试往往更青睐 Liquid 上周发布的新决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上仍具竞争力，分别位列第七和第三；而 OpenAI 的 Decision Model 则分别排在第八和第十四位。不过，就目前而言，TypeSafe 的产品是 OpenRouter 上被查询最多的。
然而，最有趣的 Jev 基准测试是 JevMan——一个让决策模型玩《吃豆人》的基准测试；最新 Jev 模型在该排行榜上位居榜首。构建该基准的 Opper AI 首席增长官 Felix Wunderlich 表示，这款经典游戏“是一个有趣的测试，因为它持续不断地产生快速、高风险的决策。在每个路口，模型都必须在几百毫秒内决定往哪走。”
OpenAI 这款可以说能力更强的模型可能在多模态方面具有优势——就图像分类而言，“Luna 非常强大，并且一直表现出更好的校准，”Handa 告诉 TechCrunch，并补充说 OpenAI 的客户希望 Decisions API 在将图像用作输出方面也更加灵活。
Handa 还认为，速度的进一步提升将催生新的用例：“我们能不能把它做到 60 毫秒左右？那样你就能想象，对视频的每一帧都发起一次 API 调用。”
随着这些产品变得更快、更便宜，我们可以期待它们不负 Jev 之名——其名字取自一位经济学家，他解释了更高效地使用一种资源如何使其更加无处不在。或者，正如 Handa 所见，将会出现一套不断扩大的“疯狂用例”，它们此前一直隐藏在显而易见之处，直到决策模型将它们揭示出来。
