一個數字震驚了整個Hot Chips會場：20倍。不是效能，不是核心數，而是頻寬密度——那條餵養AI飢餓運算單元的關鍵高速公路。當d-Matrix的執行長在台上講出這個比較值時，台下一陣騷動。畢竟，拿來踩的對象不是什麼二線廠商，是輝達（NVIDIA）還沒正式亮相的次世代Rubin架構。
這家成立才幾年的加州新創，憑什麼敢這樣叫陣？說真的，Raptor不是來跟輝達打全面戰爭的。它瞄準的是一個更刁鑽、更專注的環節：AI推論（inference）。也就是當你對著ChatGPT打字、或是叫Kimi幫你摘要文件時，背後那個在幾秒鐘內生成回答的苦力活。跟訓練GPT-4那種動輒數萬顆GPU、燒掉幾千萬美元的怪獸級任務不同，推論是AI真正落地、真正被大量使用時，每天每秒都在發生的場景。
表象
乍看之下，Raptor的規格不算驚天動地。單卡記憶體32GB，跟輝達H100的80GB HBM相比，簡直是小巫見大巫。但d-Matrix從頭到尾沒打算比容量，他們要比的是「頻寬密度」——每個平方毫米能夠擠出多少資料吞吐量。
關鍵技術就藏在封裝裡。Raptor採用的3D DRAM，把邏輯運算晶片直接堆疊在最多四層的記憶體上面，透過面對面接合（face-to-face bonding）的方式，讓電子訊號傳輸的路徑縮短到幾乎是「隔著一道牆」的距離。白話文來說，這就像把廚房跟餐桌合併，菜一炒好直接上桌，不用經過走廊、樓梯、再繞過客廳——傳統HBM的I/O路徑，大概就是那種繞來繞去的悲劇格局。
「我們不是在做更大的水箱，我們是把水管加粗、把水龍頭直接裝在杯子旁邊。」d-Matrix的技術長在會後的小型媒體聚會上，用手邊的咖啡杯比劃著解釋。他說，每傳輸1GB的資料，功耗能降低約13.5倍，這對資料中心營運商來說，省下的電費絕對有感。
不過，把記憶體堆疊起來不是什麼新鮮事。AMD的3D V-Cache早就用在Ryzen處理器上了，台積電的SoIC封裝技術也量產了好一陣子。d-Matrix真正的差異點，是他們把這個架構拿去解決AI推論最痛的那個瓶頸——記憶體牆（Memory Wall）。AI模型愈來愈大，上下文視窗愈來愈長，GPU的運算能力再強，如果資料餵不進去，一切都是空談。
真相
先別急著把輝達的股票賣掉。
20倍這個數字，有個小小的但書：「頻寬密度」的比較基準，以及Rubin架構尚未正式發表的規格。d-Matrix自己也說，Raptor定位在SRAM與HBM之間的那個「甜蜜點」——比SRAM容量大、成本低，比HBM功耗低、頻寬密度高。這是一個非常巧妙的市場切入，但絕對稱不上全面碾壓。
實際效能數字攤開來看：在GLM-5.2模型上，每位使用者每秒可處理約2,121個tokens；在Kimi K3上則是785個tokens。這是什麼概念？一般人類閱讀速度大概每秒10到20個tokens，所以從使用者的角度，你感覺不到延遲。但如果機房裡同時有上千個使用者在問問題，Raptor的線性擴展能力就變得關鍵了——d-Matrix宣稱可以橫向擴展到72張卡，提供每秒拍位元（petabytes）等級的總記憶體頻寬。
話說回來，實際部署的狀況永遠比實驗室數據複雜。叢集擴展的軟體堆疊、模型分區的效率、熱管理⋯⋯這些都是在機房裡會碰到的真實難題。d-Matrix在這方面幾乎沒有公開的客戶案例或第三方驗證報告，這是目前市場對他們最大的疑慮。
各方角力
就在d-Matrix忙著在Hot Chips上放閃的同時，輝達也沒閒著。
他們端出的策略叫做NVLink Fusion——把自家的高速互連技術NVLink，授權給第三方客製化XPU使用。這一步棋下得相當深沉。輝達的盤算是：就算你AI工廠裡面不全部用我們的GPU，至少裡面的互連骨幹要由我來定義。未來AI基礎設施走向異質運算（heterogeneous compute）幾乎是共識，也就是機房裡同時混搭GPU、ASIC、FPGA、甚至d-Matrix這種推論專用晶片。誰掌握互連標準，誰就掌握了生態系的制高點。
「輝達的目標不是賣你晶片，是賣你一座AI工廠的『水電瓦斯管線』。」一位不願具名的半導體產業分析師在LinkedIn上貼文指出，「這比單純賣GPU更高招，因為管線鋪好了，你裡面接誰的設備都得經過他。」
這同時也對AMD的Infinity Fabric和Intel的Ultra Path Interconnect形成壓力。兩家老牌大廠在互連生態圈上本來就落後輝達一截，現在輝達更進一步把技術授權往外推，等於是拉幫結派、擴大勢力範圍。
d-Matrix的Raptor也需要互連——它需要跟其他加速器溝通、需要串接成叢集。目前他們採用的是乙太網路等標準介面，這在開放性上有優勢，但在效能最佳化上，可能無法像輝達那種封閉式垂直整合來得極致。這是一個典型的生態系問題：你技術領先，但別人不見得願意為了你重新調整整個軟體堆疊。
從產業面來看，Raptor的出現給市場的啟示其實很明確：AI晶片競爭已經從「誰的運算最快」轉移到「誰的資料移動最有效率」。頻寬密度的軍備競賽才剛開始，未來兩年我們會看到更多新創在記憶體封裝與互連技術上做文章。但對台灣半導體業來說，無論是d-Matrix的3D DRAM或輝達的Rubin，最終都要回到台積電的先進封裝產線。這不是誰贏誰輸的問題，而是整個供應鏈重新洗牌的過程。我比較擔心的是，台灣業者在高階封裝產能的投資節奏，是否跟得上這些新創公司愈來愈大膽的設計需求？一句話：機會很大，但時間壓力也很大。
順著這個邏輯往下想，台灣的角色其實比想像中更重要。d-Matrix沒有自己的晶圓廠，輝達也是無晶圓廠設計公司，兩者的先進製程與先進封裝最終都要靠台積電。Raptor的3D DRAM堆疊技術，某種程度上考驗的是封裝廠的疊層精度與散熱解決方案。換句話說，這場AI推論晶片大戰，台積電才是背後那個真正的莊家。
深層影響
Raptor帶來的真正衝擊，可能不是在規格表上打敗輝達——它目前還做不到。它真正的意義在於：AI推論這個市場已經大到足以養出專門的晶片公司。
過去兩年，幾乎所有人的目光都集中在訓練晶片。因為訓練是入場券，誰能訓練出最大的模型，誰就能占據話語權。但隨著GPT-4等級的模型開始普及、企業大規模導入生成式AI應用，推論的運算需求正在以驚人的速度爬升。有產業報告預估，到2027年，AI推論的總運算需求將超過訓練。這個拐點一旦來臨，市場結構會出現質變。
d-Matrix就是踩在這個拐點之前進場。他們的產品不是用來取代輝達的訓練叢集，而是用來搭配——在推論端提供更便宜、更節能、密度更高的解決方案。如果輝達是蓋發電廠的，d-Matrix想做的是更高效的配電系統。這兩個不衝突，甚至可能是互補的。
但對一般企業或資料中心營運商來說，選擇變得複雜了。你不再只有NVIDIA一個選項，同時要考慮AMD的Instinct系列、Intel的Gaudi、新創如d-Matrix或Groq的解決方案，以及各種雲端服務商自研的晶片。好處是價格競爭會更激烈，壞處是異質整合的難度會大幅提升，軟體工程師會很痛苦——這大概是唯一確定的。
「我們不是在挑戰NVIDIA，我們是在服務NVIDIA暫時沒照顧好的那塊市場。」d-Matrix的業務副總裁在接受《EE Times》採訪時強調，「大型語言模型的推論成本現在還是太高，我們的目標是把每個token的成本壓到現有方案的十分之一。」這個說法很聰明，既不得罪龍頭，又清楚表達了自己的存在價值。
未解之問
回到最現實的問題：Raptor什麼時候真的能買到？d-Matrix給出的時間表是2026年量產。這意味著，現在所有宣稱的效能數據，都還是基於工程樣品或模擬結果。從樣品到量產之間的障礙，半導體業界的人都心知肚明——良率、散熱、驅動程式、軟體生態，每一步都是坑。
更深的問題是：當輝達的Rubin真的上市之後，兩者的實測對決會是什麼局面？輝達有完整的CUDA生態系、數千家軟體合作夥伴、以及全球雲端服務商的部署經驗。d-Matrix有領先的頻寬密度、更低的推論功耗、以及⋯⋯一個美好的願景。技術差距可能很快被追平，但生態系差距不是一兩年能縮短的。
還有一個藏在細節裡的變數：輝達的NVLink Fusion如果成功串聯第三方XPU，會不會有一天，d-Matrix也跑來找輝達授權互連技術？到時候，那個「20倍」的比較值，就變得非常尷尬了。
這場戰役才剛開始。真正的勝負，或許不在於誰的晶片跑分比較高，而在於誰能讓終端使用者——也就是你和我——用更便宜的價格、更快的速度、更少的電費，享受到AI帶來的便利。技術規格是給工程師看的，電費帳單才是給所有人看的。
如果你正在評估AI基礎設施的採購策略，我的建議是：別急著被「20倍」這種行銷數字帶著走。先釐清你的使用場景是訓練還是推論？你的模型大小落在哪個區間？你的機房散熱跟電力配置是否支援新架構？Raptor確實值得關注，但在它量產上市之前，保持審慎樂觀的態度就好。而且更重要的是，密切追蹤台積電先進封裝產能的分配狀況——這才是真正影響所有AI晶片供貨時程的關鍵瓶頸。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
d-Matrix的Raptor晶片跟輝達的GPU有什麼不同？
Raptor是專門為AI推論設計的晶片，著重於降低資料傳輸功耗並提高頻寬密度。輝達GPU則同時涵蓋訓練與推論，生態系更完整、軟體支援更成熟，但推論階段的每token成本較高。
Raptor的頻寬密度真的比輝達Rubin高20倍嗎？
這是d-Matrix在Hot Chips大會上宣稱的數據，比較基準為「頻寬密度」而非整體效能，且Rubin架構尚未正式發表。實際效能仍須等兩者量產後進行第三方實測驗證。
Raptor什麼時候可以買到？主要客戶是誰？
d-Matrix計畫於2026年量產Raptor，主要目標客戶為大型資料中心營運商與雲端服務供應商，但截至報導發布時尚未公布具體客戶名單或預購方案。
台灣半導體產業會從這場AI晶片競爭中受惠嗎？
會。無論是d-Matrix或輝達的先進晶片，都需要仰賴台積電的先進製程與封裝技術量產。台灣在全球AI晶片供應鏈中扮演關鍵製造角色，相關商機與產能壓力將同步浮現。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
