NVIDIA GPU 如何帮助加速 OpenAI 的 GPT-6 Astra Ultrafast

GPT-6 Astra Ultrafast 在 NVIDIA Blackwell GPU 上运行，现可通过 OpenAI API 使用，并已向符合资格的 ChatGPT Work 和 Codex 用户开放。

通过利用 NVIDIA Blackwell 架构功能的 OpenAI 模型进行推理优化，Ultrafast 的令牌生成速度比 Astra 标准模式快 8 倍。 对于开发人员来说，更快的生成速度可以缩短编码代理的编辑-测试-调试周期，减少工具调用之间生成响应所花费的时间，并使交互式应用程序感觉响应更快。

当在整个工作流程中重复时，更快的响应最为重要：代理编写代码、使用工具、检查结果并决定下一步做什么。 Ultrafast 将 Astra 的功能带入这些时间敏感的循环中。 NVIDIA AI 基础设施可帮助 OpenAI 在开发人员需要时提供更有用的模型输出。

OpenAI 推理主管 Philippe Tillet 表示：“NVIDIA 在工具和文档方面的大量投资使我们能够使我们的模型非常擅长对 Blackwell 和 Rubin GPU 进行编程。” “Astra 可以将这些知识转化为高性能内核，使 NVIDIA 硬件在延迟、吞吐量和成本的整个领域都具有吸引力。借助 Astra Ultrafast，这意味着代理编写代码、使用工具和完成复杂任务时的模型响应速度会更快。”

持续提升性能

部署模型后，性能提升不会停止。 OpenAI 正在使用自己的模型来帮助完善在 NVIDIA GPU 上运行的推理软件，并利用该平台的可编程性来测试和实施改进。 随着时间的推移，正在进行的工作可以使模型响应更快，并使部署的基础设施更加高效。

OpenAI 计算首席技术官 Uday Ruddarraju 表示：“我们与 NVIDIA 的合作正在帮助我们让 AI 变得更快、更有用。” “我们使用内部模型来优化 NVIDIA GPU 上的推理，NVIDIA 的可编程性帮助我们提供了 Astra Ultrafast 背后的加速。”

随着模型的发展，可编程 NVIDIA 平台允许开发人员和研究人员在训练、推理和强化学习方面重用基础设施。这种灵活性有助于团队根据需求变化重新调整计算资源的用途，提高利用率并避免每个工作负载的过度配置。

开发人员现在可以通过 API 使用 GPT-6 Astra Ultrafast。有关访问、定价和实施详细信息，请参阅超快指南。

来源：Blogs