OpenAI 自研「辣椒芯片」首测超英伟达，会让 ChatGPT 更便宜吗？

芯片制造绝非易事，首款产品便具备竞争力更是难上加难。然而，OpenAI 此次交出的答卷，至少在大模型推理领域，已经足够令人惊叹。

今日，OpenAI 正式揭晓其首款定制推理芯片 Jalapeño（墨西哥辣椒）的首批实际性能测试数据。

在基于自家开源模型 GPT-OSS 120B 的公开基准测试 InferenceX 中，Jalapeño 每千瓦的峰值吞吐量和 Token 延迟均优于现有的硬件系统。

需要指出的是，对于大多数芯片而言，吞吐量与延迟往往是一道只能二选一的难题。而除了针对 OpenAI 自身大模型的明显优化外，该芯片在 670B 的 DeepSeek R1 和 1T 的 Kimi K2.5 上表现同样出色，其对手是英伟达 GB200/GB300 等市面上最强的商用 AI 系统。

奥特曼在 X 平台上毫不客气地评价道：“我们造了一颗芯片，快得离谱。”

知名科技 Newsletter SemiAnalysi 的创始人 Dylan Patel 更是给出了极高评价：“第一代芯片通常毫无竞争力，但 OpenAI 正在击败英伟达 Blackwell，甚至 Rubin。”

巧合的是，OpenAI 并非近期唯一一家谈论芯片的公司。

小米刚刚一口气公布了三颗自研芯片，苹果昨日发布了首颗 2nm M6，接下来一个月，高通、联发科、苹果和华为的新一代旗舰芯片还将继续扎堆登场。

从数据中心到手机，AI 芯片正成为所有科技巨头共同争夺的领地。

一份近乎“不讲理”的成绩单

先看 Jalapeño 的数据。OpenAI 此次采用 InferenceX 测试，统一设置为 8K 输入、1K 输出，使用标准单 token 预测，未开启推测解码。对照系统包括英伟达 GB200 和 GB300。

OpenAI 将 DeepSeek R1 与 Kimi K2.5 标为 MXFP4，在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三个模型上的结果显示：

峰值吞吐量方面，每瓦的 AI 工作量是对比系统的 1.5 到 1.9 倍； 端到端延迟降低了 1.7 到 3.6 倍； 对于高交互性工作负载，其性能更是提升了 2.1 到 4.1 倍。

在最极端的对比项中，差距被拉得相当大。在 GB200 此前最佳的单用户速度（约 535 tok/s）下，Jalapeño 的每千瓦吞吐是其 53.7 倍。

运行 DeepSeek R1 时，Jalapeño 单用户可达 700 tok/s，而对标系统只有 169 tok/s。且 Jalapeño 标称功耗仅 700W，实测持续功耗不超过 550W。

对于规模化推理服务而言，芯片最终比拼的除了运行速度，还有消耗相同的电力、占用相同的数据中心容量时，能服务多少用户。

换成云计算生意里的语言，就是一句很直接的话：“每瓦吞吐，最终都会转化为成本和收入。”

运行 DeepSeek R1 时，Jalapeño 单用户生成速度最高约 700 tok/s，而 GB300 为 169 tok/s。

更值得注意的是，OpenAI 这颗辣椒芯片的达成方式：没有多 token 预测（MTP）、没有投机解码、没有 prefill-decode 分离，就这样战胜了经过软硬件优化的英伟达对手芯片。

SemiAnalysis 的长篇技术博客也验证了测试过程，并确认 Jalapeño 跑出的 GSM8k 精度与英伟达芯片持平。

当然，X 平台上的讨论也不乏冷水。daily.dev 的开发者社区指出，那个被疯传的“104.3 倍”只是特定等速解码场景下的单一数据点，而且测试模型和对比基线都是 OpenAI 自己挑选的。

SemiAnalysis 也承认，Jalapeño 尚未通过多轮长上下文的 AgentX 测试；其真正的对手应该是同样采用 HBM4 的 Vera Rubin，而非 Blackwell。

即便如此，最终的共识依然是：第一代自研芯片便站上帕累托前沿，这在行业内没有先例。Meta 和微软多年折腾却始终难产的 AI ASIC 项目，便是最好的反证。

非 OpenAI 模型独家专用，是通用推理引擎

外界曾一度认为 OpenAI 造芯是为自家模型开小灶，而 SemiAnalysis 则提到，Jalapeño 是通用推理芯片。测试表现最好的三个模型中，DeepSeek R1 和 Kimi K2.5 根本不在 OpenAI 最初的投产计划内。

团队还提到，他们用 Codex 在两个月内便将它们优化到高性能，并且在这颗芯片上成功运行了游戏《Doom》，移植全程只用了 Codex 提示词。

硬件方面，Jalapeño 采用台积电 N3P 工艺，最新的 B0 步进单计算 die 提供 13.4 PFLOPS 的 MXFP4 算力。同工艺、同尺寸的英伟达 Rubin 计算 die 为 17.5 PFLOPS（NVFP4），但 Jalapeño 的 TDP 仅为 700W，而 Rubin 为 900～1150W。

再看设计逻辑。要理解 Jalapeño，首先需要知道大模型推理实际上包含两种截然不同的任务：处理 prompt 的 prefill 阶段消耗算力，逐字生成回答的 decode 阶段消耗显存带宽，而数据在核心间、芯片间搬运的通信开销则在两边拖后腿。

多数系统擅长其中一种，却会在等待数据时将优势浪费掉。

Jalapeño 的核心思路，是尽可能让数据留在原地，减少搬运。

芯片的核心和 HBM 都被切割成一一对应的切片，每个核心切片对自己那片 HBM 拥有低延迟的本地视图；KV cache 和模型权重被显式地安置在原地，生成过程中不再移动。

切片之间需要同步时，可以走一条专用的高带宽集合通信网络，通用通信则交给另一张简化的 NoC。对比 GPU 中层层穿越的复杂内存体系，这套“极简内存层级”省去了大量的延迟和功耗。

这套方法论可以总结为两步：硬件负责将理论上限拉到最高，AI 负责找到逼近上限的写法。

结果是，它在各种批量、各种形状下都更接近硬件的屋顶线（roofline），尤其是 GPU 最不擅长的小批量、低延迟场景，而这些又恰好是 agentic 工作负载最在意的地方。

系统层面同样贯彻这一思路。OpenAI 并未采用目前热门的优化路线：PD 分离（prefill 和 decode 分池部署），理由是真实流量中输入输出的比例全天都在漂移，固定分池必然导致一边闲置一边排队，KV cache 跨池搬运还会增加功耗和延迟。

在统一池子中，128 颗芯片组成一个机架（CPU 托盘叫 Katsu、ASIC 托盘叫 Vindaloo、交换托盘叫 Chana，都是一串咖喱菜名），16 个机架再用铜缆加光交换织成 2048 颗芯片的单一 scale-up 域。

整个请求从进入系统到输出结果，数据都无需经过 PD 分离的转移。

真正的秘密武器是：用 AI 造芯片

如果 Jalapeño 的故事仅止于此，它仍然只是一颗性能强劲的 ASIC 推理芯片。

真正让这件事有些反常识的，是 OpenAI 连“如何造芯片”这件事本身，也开始交给 AI 加速。

Jalapeño 项目于 2024 年年中启动，2025 年 11 月流片，前后约 16 个月；流片后 9 个月、点亮仅 3 个月便交出了上述成绩。

OpenAI 提到，AI 深度参与了设计：探索实现方案、缩短验证循环、优化算术电路，SIMD 单元面积缩小 8%、矩阵引擎缩小 10% 都有 AI 的功劳。部分 AI 生成的内核实现比人类专家手写版本快 1.5～1.8 倍。

过去几十年，芯片研发一直拥有极高的专业门槛。一套新架构从设计、验证、流片，到建立编译器、内核库和完整的软件生态，通常都需要大量经验丰富的工程师和漫长的迭代周期。

CUDA 最坚固的护城河，也恰恰来自这里。就像英伟达真正难以复制的部分，除了 GPU 本身，还有围绕 GPU 积累了十几年的工具链、Kernel、开发者和工程经验。

但 Jalapeño 这次 AI 造芯片的经验，展示了另一种可能。硬件工程师可以让模型辅助设计和验证；一颗芯片点亮之后，Codex 又能帮助工程师写 Kernel、适配新模型，甚至将一个完全没有准备过的模型在几个月内优化到高性能。

于是会出现一个很有意思的循环：用英伟达 GPU 训练出来的 AI，正在帮助工程师设计下一颗不依赖英伟达的芯片。

SemiAnalysis 对此给出了一个非常激进的判断：CUDA 的护城河，可能正在松动。

当然，仅凭一颗推理芯片 Jalapeño 还远远不足以宣判 CUDA 的结局。但它至少证明了一件以前难以想象的事情：AI 已经开始进入生产下一代 AI 基础设施的研发循环。

模型帮助造芯片，更好的芯片又用于运行下一代模型。

当大家都开始造芯

也正是在这个背景下，再看近期密集发生的芯片新闻，会发现它们指向的是同一个方向。

两天之内，四家公司，芯片从手机、Mac 延伸至数据中心。小米的“自研芯片+OS+大模型”组合，苹果也全系芯片都在为 Apple Intelligence 做好准备，并致力于打造能运行前沿模型的最佳本地设备。

高通、联发科两个手机芯片大厂，骁龙 8 Gen 6 与天玑 9600 也双双杀入 2nm；华为的终端与云端路线上，麒麟 9030 和昇腾系列都将迎来更新。

还有 Anthropic，虽然尚未发布芯片，但已确认组建内部定制芯片团队。

8 月被彭博曝出挖来谷歌 TPU 业务前负责人 Amir Salek，这位老将带队交付了 Google 前七代 TPU；6 月又从 OpenAI 芯片团队挖走二号工程师 Clive Chan，此前在特斯拉参与 Dojo 超级计算机。

OpenAI 博客中那句“AI 的进步在整个系统一起变好时复利最快”，放在这些动作上，全部成立。

Jalapeño 的故事，与其说是“OpenAI 造了一颗好芯片”，不如说是在验证一条新路径：当一个团队同时拥有模型、软件栈和最懂负载的场景时，白纸设计反而成了优势——无需背负向后兼容，还可以让 AI 同时担任设计师和程序员。

而这个 8 月和即将到来的 9 月将证明，这条路径也并非 OpenAI 独享：所有人都在将“芯片—系统—模型”的垂直整合推向前所未有的深度。

当然，OpenAI 这颗芯片目前仍处于量产验证和软件成熟阶段，测试也未覆盖真实的长下文、多轮 Agent 工作流等，但整个方向已无悬念。

OpenAI 表示，Gen 2 已在深入开发中，Gen 3 正在成形，今年年底 Jalapeño 将开始进入自有算力基础设施部署，下一个目标是 100MW 规模。

芯片的定义权，正从少数几家芯片公司手中，流向每一家认真对待 AI 的公司。如果你对这类前沿技术感兴趣，不妨通过糖果派对APP了解最新动态。

本文来自微信公众号“APPSO”，作者：发现明日产品的，36氪经授权发布。