關鍵數字:每秒 3,431 組 Token。這是 Gorq 3 LPX 在 100K 上下文長度下跑 Gemma 4 31B 模型的輸出速度,而目前公開 API 服務的效能參考指標是 870 組。不是提升三成,不是翻倍,是直接拉出四倍的差距。Hot Chips 2026 大會上,NVIDIA 正式宣佈這座機櫃進入全面生產狀態,資料中心營運商總算等到了一張真正的效率罰單。
📊 數據總覽
NVIDIA 在 2026 年 8 月 23 至 25 日於美國史丹佛大學舉辦的 Hot Chips 2026 大會上,公開了 Gorq 3 LPX 機櫃的完整規格與量產時程。這座全水冷機櫃搭載 256 顆 Groq 3 LPU,晶片內部 SRAM 總容量達 128 GB,傳輸頻寬高達 640 TB/s。對照前代 GB300 NVL72,Vera Rubin 世代的 NVL72 系統在相同電力條件下,特定工作負載的 Token 吞吐量最高提升 30 倍——但 Gorq 3 LPX 的出現,等於在推論場景又拉出了另一個維度的競爭。
這組數據背後真正的訊號是:AI 資料中心的推論效率,已經從「能不能跑」進入「跑多快、賺多少」的階段。每秒 3,431 個 Token 不是實驗室裡跑出來的樣品數字,而是量產機櫃的實際輸出——這代表採購合約簽下去,機櫃上線的第一天就能兌現這份效能。
不只是推論加速器,更是 Rubin 的協同戰友
Gorq 3 LPX 不是來取代 Vera Rubin 的,它是來幫 Rubin 擦亮解凍環節的那塊布。NVIDIA 的設計邏輯很明確:Rubin GPU 與 Groq LPU 協同進行 AI 模型的各層運算,LPU 專門負責降低生成 Token 的延遲,讓 GPU 把算力集中在更適合它的矩陣運算上。這種分工在推論場景特別有效——上下文長度愈長、輸出 Token 愈多,LPU 的縮短延遲優勢就愈明顯。
從機櫃內部的托盤設計也能看出這種模組化思維。Groq 3 LPX 運算托盤上配置 8 組 Groq 3 LPU,散熱模組拆下後就能看到 LPU 本體,旁邊還有 Vera CPU 托盤、Rubin GPU 托盤,以及 NVL72 系統適用的交換器托盤——全部採用水冷。換句話說,資料中心營運商可以像堆積木一樣,根據工作負載比例混合配置 LPU 與 GPU,不需要為了推論需求買一整座用不到的 GPU 叢集。
編輯觀點:Gorq 3 LPX 的量產,其實戳破了業界一個長期的迷思——「AI 加速器就是 GPU,越多 GPU 越好」。NVIDIA 自己帶頭打破這個框架,把 LPU 定位成推論專用加速器,等於承認 GPU 在推論場景的邊際效益正在遞減。對資料中心營運商來說,這代表採購決策從「買哪一代 GPU」變成「推論跟訓練的算力配比該怎麼拆」。未來兩年,誰能把 LPU 跟 GPU 的比例算得最精,誰的資料中心毛利率就會最高——硬體競爭已經從晶片規格戰,變成系統架構的組合戰了。
Scale-Out 的天花板被拆了:512,000 組 GPU 連在一起
NVIDIA 把單一機櫃內用 NVLink 互連 GPU 歸類為 Scale-Up(縱向擴展),透過網路通訊連接多組機櫃則是 Scale-Out(橫向擴展)。過去 Spectrum-X 的 2 層交換器拓撲最多只能連接 2,048 組 GPU,而新的 Multi-Rail 多層網路架構直接把上限推到 512,000 組 GPU——放大 250 倍的連接規模,意義不只是數字變大,而是訓練超大參數模型的硬體限制被正式移除。
但規模大還不夠,網路要夠聰明才有用。Spectrum-X 提供進階最佳化路由功能,平時自動調度頻寬資源來改善整體工作效率,單一節點失效時仍能維持整體網路 90% 的頻寬。這個 90% 的數字比想像中重要——在萬卡級別的叢集裡,節點故障不是「萬一」,是「每天都會發生」。過去一個節點掛掉可能導致 10% 甚至 20% 的頻寬損失,而 Spectrum-X 把損失壓在 10% 以內,代表訓練任務不會因為單點故障就大幅延遲。
話說回來,NVIDIA 還拋出了一個更長期的概念:Scale-Across——透過廣域網路把多個不同地點的資料中心合成單一運算節點。這聽起來很科幻,但對跨國企業來說,這等於能把新加坡、東京、加州的閒置算力全部串在一起,不需要每一座資料中心都獨立備援。當然,這還停留在概念階段,但 Spectrum-X 的 512,000 組 GPU 連接能力,已經為 Scale-Across 鋪好了第一段高速公路。
Scale-In 的省錢哲學:BlueField-4 一卡抵多卡
業界這幾年興起的 Scale-In 概念,核心精神很直白:把多個分散元件的功能塞進單一晶片,省空間、省電、省維護成本。NVIDIA 的 BlueField-4 網路平台與 DOCA API 就是這個概念的具體實現——它把虛擬私有雲網路、儲存裝置網路連接、資安防護、管理、監控等一堆功能,全部整合進一張智慧型網路卡。
對機房管理者來說,這代表機櫃裡少了好幾種不同功能的網卡和交換器,佈線複雜度下降,故障點也變少。對財務部門來說,採購項目從「一堆不同品牌的網路設備」縮減成「BlueField-4 網卡加上 Spectrum-X 交換器」——維修備品庫存壓力直接減半。Scale-In 不會讓算力變強,但它會讓營運成本變低,而這在毛利率競爭激烈的資料中心產業,有時候比效能提升更受歡迎。
資料中心的最後一哩路:從算力到收益
NVIDIA 在 Hot Chips 2026 的這波發表,表面上是兩項產品更新——Gorq 3 LPX 量產和 Spectrum-X 多層網路。但把兩條線串在一起看,真正的訊息是:NVIDIA 正在把 AI 資料中心的效能瓶頸,從「算力不足」轉移到「架構設計」。LPU 解決推論延遲,Spectrum-X 解決擴展限制,BlueField-4 解決網路成本——這三塊拼圖湊齊之後,資料中心營運商要煩惱的就不再是「買不買得到 GPU」,而是「怎麼把這套組合的效率榨到極限」。
有趣的是,Hot Chips 2026 的實體入場券在撰稿時已經售罄,線上虛擬參加還需要收費 5 美元起——連學術研討會都開始賣票賣到缺貨,這大概就是 AI 熱度的最直接寫照。不過對真正在營運資料中心的人來說,與其搶門票,不如開始算算自己機房的冷卻系統能不能承接全水冷機櫃的導入時程。
數據告訴我們什麼?
每秒 3,431 個 Token vs. 870 個 Token,這是 4 倍的差距。2,048 組 GPU vs. 512,000 組 GPU,這是 250 倍的擴展彈性。30 倍的 Token 吞吐量提升(Vera Rubin NVL72 vs. 前代),則說明了世代交替的速度遠比多數企業的採購週期還快。
這組數據推導出的結論很現實:2026 年下半年開始,AI 資料中心的競爭門檻不再是「有沒有 GPU」,而是「能不能靈活組合 LPU、GPU、網路架構來壓低每 Token 成本」。如果說過去兩年是 GPU 軍備競賽,接下來兩年就是系統架構的優化戰爭——誰先把 Gorq 3 LPX 跟 Vera Rubin 的協同運算調到最佳化,誰的服務毛利率就會多出 10 到 15 個百分點。這不是預測,這是用 NVIDIA 自己給的數字推出來的必然結果。
你的下一步:如果你是資料中心決策者,現在該做的不是等下一場 GTC 的發表,而是拿起 Gorq 3 LPX 的規格書,對照目前機櫃的電力、散熱、網路佈局,算出導入這套系統的實際成本與 ROI。四倍效能不等於四倍營收——中間還隔著冷卻管線怎麼拉、網路拓撲怎麼改、軟體堆疊怎麼調。這些問題現在不算,等到機櫃送達機房門口才想,就真的太晚了。
本文改寫整理自公開新聞來源,原始報導由T客邦發布。
常見問題 FAQ
Gorq 3 LPX 機櫃什麼時候可以開始出貨?
NVIDIA 已於 2026 年 8 月在 Hot Chips 2026 大會上宣佈 Gorq 3 LPX 進入全面生產狀態,代表已可接受訂單並開始量產出貨。
Gorq 3 LPX 只能用在推論嗎?能不能做模型訓練?
Gorq 3 LPX 的核心設計目標是降低生成 Token 的延遲、提升推論輸出速度,主要定位為推論加速器。訓練場景仍以 Vera Rubin 的 GPU 為主力,但兩者可協同運作,讓 LPU 分攤推論階段的解碼工作。
多層網路架構對一般企業有意義嗎?
Spectrum-X Multi-Rail 架構主要針對大規模 AI 資料中心,單一系統最高可連接 512,000 組 GPU。一般企業若沒有萬卡級別的叢集需求,短期內影響不大,但長期來看,Scale-Out 能力的提升會降低整體雲端算力成本,間接受益。
Gorq 3 LPX 的 4 倍效能是怎麼算出來的?
根據 NVIDIA 提供的數據,在執行上下文長度 100K 組 Token 的 Gemma 4 31B 模型推理運算時,Gorq 3 LPX 的 Token 輸出速度達每秒 3,431 組,對比目前公開 API 服務效能參考指標的 870 組,換算後約為 4 倍。
現有資料中心可以直接裝 Gorq 3 LPX 嗎?
Gorq 3 LPX 採用全水冷設計,現有氣冷資料中心需先進行散熱基礎設施改造。建議先評估機房的電力容量、水冷管路配置與樓板載重,再決定導入時程。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。