OpenAI自研晶片Jalapeño實測輾壓NVIDIA!推理效能快4倍,但輝達訂單為何不停?

根據半導體研究機構《SemiAnalysis》在Hot Chips大會上公布的InferenceX基準測試數據,OpenAI首款客製化AI晶片「Jalapeño」在特定模型推論任務中,峰值吞吐量竟比NVIDIA GB200 NVL72系統高出1.5倍到1.9倍,端到端延遲更低上1.7倍到3.6倍。這不是實驗室裡的樣品數據,而是已經準備在今年稍晚有限度部署的真實硬體。

Hot Chips這場在半導體圈堪稱「超級盃」的年度盛會,今年最熱門的話題不是英特爾或AMD,而是OpenAI這家軟體起家的公司。他們端出的不是PPT上的路線圖,而是實實在在的測試數據。OpenAI硬體產品負責人Richard Ho在會場上直接秀出Jalapeño與NVIDIA GB200、GB300機櫃系統的對比數字——在超低延遲情境下,Jalapeño系統的表現甚至快了2.1倍到4.1倍。

「這是一款通用型、極具彈性的AI加速器。」Richard Ho在會後受訪時如此定調。他的底氣從哪裡來?從硬體規格來看,Jalapeño的單一封裝具備15.4TBps的記憶體頻寬,搭載HBM4記憶體,每個機櫃配置128顆晶片,完整Pod規模達到2,048顆晶片。OpenAI以自家gpt-oss-120b、DeepSeek-R1、Kimi K2.5三款模型進行測試,證明了這套架構不僅適用於內部模型,同樣也能順跑其他開源模型。

Richard Ho特別強調,Jalapeño有一部分是在AI輔助下開發而成,這讓整個開發流程比以往更加迅速。「我們運用AI,得以在晶片塞入更多的運算能力。」他甚至透露,第二代晶片已進入深度開發階段,第三代也在進行中。這種開發速度,在傳統半導體產業幾乎是不可想像的事。

數據會說話:Jalapeño如何用更低功耗輾壓對手

《SemiAnalysis》的InferenceX測試涵蓋了多個維度。OpenAI採用各晶片公布的額定功耗來標準化測試結果,Jalapeño額定功耗700W,但在實際測試工作負載中持續功耗保持在550W甚至更低。對比NVIDIA的GB200 NVL72機櫃系統,Jalapeño在三個模型上展現了顯著的效能優勢。

這組數據的關鍵意義在於:Jalapeño不是用「堆功耗」換效能,而是在更低功耗下實現了更高的推論吞吐量。對資料中心營運商來說,這意味著更低的用電成本和散熱負擔,直接影響TCO(總體擁有成本)。

不過話說回來,這些測試數據有一個前提必須釐清——OpenAI比較的是「機櫃系統」層級的效能,而非單一晶片的對決。GB200 NVL72是NVIDIA整櫃解決方案,內含72顆GPU。Jalapeño則是128顆晶片組成的機櫃配置。兩者在系統架構、記憶體配置、互連技術上都走不同的路線,直接對比難免有「蘋果比橘子」的爭議。

有趣的是,即使手握這張壓倒性的效能成績單,OpenAI的下一步卻不是砍掉NVIDIA訂單。Richard Ho在會場上明確表示:「這是我們整體運算資源策略的一部分,策略上涵蓋NVIDIA、Cerebras等非常非常出色的合作夥伴。我們有著相當龐大的運算需求,而我們不可能一次就全部滿足。」

【編輯觀點】 OpenAI這步棋下得非常聰明。自研晶片從來不是為了「取代NVIDIA」,而是為了在談判桌上多一張牌。當你每年向同一家供應商採購數百億美元的晶片,任何一種替代方案的存在,都能讓你的議價能力大幅提升。況且,Jalapeño從設計到量產的整個流程,本身就是一個巨大的「活廣告」——向華爾街證明OpenAI不只是個燒錢的軟體公司,而是一個有能力掌握硬體命脈的AI巨獸。對一般投資人或科技觀察者來說,與其關注「誰打敗了誰」,不如把目光放在一個更大的趨勢上:AI基礎設施的「去標準化」時代正在來臨,未來的資料中心將不再只有一種處理器架構。

一場不得不做的賭注:從軟體王者到硬體玩家

OpenAI與博通(Broadcom)共同設計Jalapeño的決策,背後有兩個層面的戰略意義。第一,是供應鏈安全。台積電先進封裝產能吃緊、NVIDIA交貨週期拉長,這些都是OpenAI親身經歷過的痛。第二,是工作負載的最佳化。通用型GPU必須應付各種運算場景,但OpenAI的推論任務相對集中——如果能在特定模型上榨出2倍的效能,等同於用一半的硬體成本跑完同樣的工作。

Jalapeño的開發流程本身就是一個AI應用的絕佳示範。Richard Ho透露,AI參與了晶片設計的關鍵環節,讓團隊能在有限的時間內塞入更多的運算能力。這意味著OpenAI正在建立一個「AI設計AI晶片」的飛輪效應——更好的晶片跑出更好的模型,更好的模型回頭設計更好的晶片。這個循環一旦轉起來,競爭對手將很難追趕。

不過,從晶片設計到量產部署之間,還隔著一座巨大的死亡之谷。半導體業界有句老話:「Design is easy, production is hard.」Jalapeño今年稍晚以有限數量部署,明年才要廣泛部署——這個時間表暗示了他們還在產能爬坡的早期階段。博通雖然是經驗豐富的ASIC王者,但AI加速器這個賽道上,NVIDIA累積了超過十年的生態系和軟體優化經驗。CUDA的護城河,不是單靠硬體規格就能跨越的。

絕不賣晶片的背後盤算

當媒體追問是否會對外銷售Jalapeño時,Richard Ho的回應幾乎是「秒拒」:「OpenAI內部有著相當龐大的運算需求,要滿足這些需求需要大量的運算資源,我們光是要有足夠的量都相當吃力。」

這個答案很直白,但背後有更深層的商業邏輯。如果OpenAI開始賣晶片,等於直接跟NVIDIA、AMD、Cerebras這些「既有的合作夥伴」站在對立面。一個同時是客戶又是競爭對手的角色,沒有人會喜歡。保持自研晶片「僅供自用」的定位,讓OpenAI既能享受垂直整合的效能紅利,又不用得罪整個供應鏈生態系。

另一個沒說出口的原因是:Jalapeño的設計目標是服務OpenAI自己的模型架構,這意味著它的指令集、記憶體層級、互連拓樸都圍繞著Transformer和MoE(混合專家)模型打造。這種高度客製化的晶片,賣給其他公司恐怕只會換來「不好用」的評價。專用晶片的宿命就是這樣——在自家場景是神器,換個場景可能變成雞肋。

數據背後的啟示

從Hot Chips公布的這組數據來看,有三個趨勢值得所有關注AI基礎建設的人放在心上。

第一,推論階段的硬體戰爭才剛剛開始。訓練大型模型需要的是絕對的算力密度,但推論階段講究的是吞吐量、延遲、功耗的綜合平衡。Jalapeño的測試數據證明,專為推論設計的客製化晶片,確實有機會在特定場景下超越通用型GPU。這將吸引更多雲端服務商投入自研晶片的行列。

第二,NVIDIA的霸主地位不會瞬間瓦解,但壓力正在累積。GB200和GB300是NVIDIA整櫃解決方案的旗艦產品,Jalapeño在紙面上勝出,代表客戶開始有了「比較的基準點」。過去NVIDIA的客戶只能接受「你給什麼我用什麼」,現在至少能說一句「OpenAI能做到,你為什麼不行?」

第三,AI晶片設計的門檻正在快速下降。借助AI輔助設計工具,加上Chiplet架構和先進封裝技術的成熟,像OpenAI這樣沒有半導體背景的公司,竟然能在短短幾年內推出效能具競爭力的晶片。這代表未來的AI軍備競賽,比的將是誰的資料和演算法更強,而不是誰的製程更先進。

說到底,Jalapeño的存在本身就是一個宣言:AI產業的權力結構正在被改寫。過去是晶片設計好,軟體在上面跑;未來會是模型架構決定晶片設計,硬體為軟體量身打造。這條路雖然漫長,但OpenAI已經跨出了第一步——而且數據顯示,這一步踩得比多數人預期的更穩、更重。

至於Jalapeño第二代、第三代正在開發中的消息,才是最讓競爭對手睡不著覺的。第一代就能打成平手甚至超前,等到設計流程完全被AI最佳化之後,那個差距只會越拉越開。這場硬體競賽的好戲,現在才剛要進入高潮。

你認為自研晶片真的能幫助OpenAI擺脫對NVIDIA的依賴,還是這只是一場昂貴的「技術展示」? 無論你站在哪一邊,有一件事是確定的——接下來的三年,AI基礎設施的價格和效能曲線,將出現前所未有的劇烈變動。作為開發者或企業決策者,現在就開始評估多元化的算力選項,或許是比等待NVIDIA降價更務實的策略。

本文改寫整理自公開新聞來源,原始報導由科技新報發布。

常見問題 FAQ

OpenAI Jalapeño晶片何時正式推出?

Jalapeño預計2026年稍晚以有限數量部署在OpenAI資料中心,2027年進一步廣泛部署。目前已進入第二代深度開發階段,第三代也在進行中。

Jalapeño真的比NVIDIA GB200快嗎?

根據SemiAnalysis的InferenceX基準測試,在gpt-oss-120b、DeepSeek-R1、Kimi K2.5三款模型上,Jalapeño系統的峰值吞吐量比GB200 NVL72高出1.5倍至1.9倍,端到端延遲低1.7倍至3.6倍。但這是機櫃系統層級的比較,並非單一晶片對決。

OpenAI會對外銷售Jalapeño晶片嗎?

目前不會。OpenAI硬體產品負責人Richard Ho明確表示,內部運算需求極大,光是自用就供不應求。此外,保持「僅供自用」的定位也能避免與NVIDIA等合作夥伴產生直接競爭。

Jalapeño的功耗是多少?

Jalapeño的額定功耗為700W,但在實際測試工作負載中,持續功耗保持在550W或更低。相較之下,NVIDIA GB200的單GPU功耗約為1,200W。

OpenAI為何要自研晶片?

主要出於兩大戰略考量:一是供應鏈安全,減少對NVIDIA的依賴和交貨風險;二是工作負載最佳化,針對自家模型架構設計專用晶片,在特定場景下榨出更高的效能和成本效益。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。