此次推出了一系列新工具，主要包括四大创新：提示词缓存（ ）、视觉微调（ Fine- ）、实时API（ API ）、模型蒸馏（ Model ），可以减少模型成本并提高模型视觉理解。它在改进语音AI功能和小模型性能方面给开发者带来了好消息。
有评论称，今年的重点是提升开发者的能力，展示开发者圈的故事，这表明AI领域竞争日趋激烈，策略发生了变化。上述新工具凸显了该公司的战略重点是加强其开发者生态系统，而不是直接在最终用户应用程序中竞争。
有媒体提到，在活动前的新闻发布会上，首席产品官Kevin Weil谈到了近期首席技术官Mira和首席研究官Bob的离职，表示他们的离职不会影响公司的发展，“我们不会放慢脚步” ”。 。
提示词缓存 ( ) 可以降低输入令牌成本高达 50%
提示词缓存被认为是此版本中最重要的更新。此功能旨在降低开发人员成本并减少延迟。
引入的提示词缓存系统会自动为模型最近处理的输入标记提供 50% 的折扣，这可能会为经常重用上下文的应用程序带来显着的节省。如此显着的成本降低为企业和初创公司提供了探索新应用程序的重大机会，而这些应用程序以前由于成本过高而无法实现。
平台产品负责人表示，GPT-3在两年前取得了巨大成功，目前已将相关成本降低了近1000倍。他无法举出任何其他例子来证明成本在两年内降低了同样的数额。
如下图所示，提示词缓存可以显着降低AI模型的应用成本。与各种GDP模型的非缓存代币相比，缓存输入代币的成本最多可降低50%。
视觉微调（Fine-）：视觉AI的新前沿
宣布，最新的大语言模型（LLM）GPT-4o引入了视觉微调。此功能允许开发人员使用图像和文本自定义模型的视觉理解。
这是被称为视觉人工智能新领域的重大更新。它可能会对自动驾驶汽车、医学成像和视觉搜索能力等领域产生深远的影响。
报道称，东南亚版的“美团+滴滴”Grab已使用该技术来改进其地图服务。仅使用 100 个示例，Grab 将车道计数准确性提高了 20%，将限速标志位置提高了 13%。
这个真实世界的应用程序展示了使用小批量视觉训练数据进行视觉微调的可能性，以显着增强各个行业的人工智能服务。
实时 API (API) 弥合了对话式 AI 差距
实时API已经发布，目前处于公测阶段。实时 API 从本质上简化了构建语音助手和其他对话式 AI 工具的过程，无需将多个模型拼接在一起以进行转录、推理和文本到语音转换。
这款新产品使开发人员能够创建低延迟的多模式体验，尤其是在语音到语音应用程序中。这意味着开发人员可以开始向应用程序添加语音控制。
为了说明 API 的潜力，我们展示了去年会议上展示的旅行计划应用程序的更新版本。
借助实时API，用户可以直接与新版App对话，自然对话来规划行程。该系统甚至允许用户在句子中间打断，模仿人类对话。
旅行计划只是一个例子，实时 API 为各个行业的语音应用程序开辟了广泛的可能性。无论是专注于客户服务、教育还是针对残疾人的辅助工具，开发人员现在都可以利用新资源来创建更直观、响应更灵敏的人工智能驱动体验。
一些应用程序，包括营养和健身指导应用程序和语言学习平台Speak，已经率先将实时API集成到他们的产品中。
评论称，实时 API 并不便宜，每分钟音频输入收费 0.06 美元，每分钟音频输出收费 0.24 美元，但对于希望创建基于语音的应用程序的开发人员来说，它仍然代表着重要的价值主张。 。
模型蒸馏（Model）让小模型拥有前沿的模型功能
模型蒸馏被认为是这次最具变革性的新工具。这种集成的工作流程允许开发人员通过使用 GPT o1- 和 GPT-4o 等尖端模型的输出来微调相对较小且具有成本效益的大学模型，从而提高 GPT-4o mini 等更高效模型的性能。
这种方法使较小的公司可以利用与尖端模型类似的功能，而不会产生使用此类模型的计算成本。它有助于弥合人工智能行业长期以来在尖端、资源密集型系统与更易于访问但功能较弱的系统之间的差距。
例如，一家公司希望为农村诊所开发人工智能驱动的诊断工具。使用模型蒸馏，该公司可以训练一个紧凑的模型，该模型可以捕获较大模型的大部分诊断能力，同时只需要在标准笔记本电脑或平板电脑上运行。
因此，模型蒸馏可以使资源有限的环境享受复杂的人工智能功能，从而有可能提高服务欠缺地区的医疗水平。
