Google：AI伺服器記憶體成本占比逾75%，將採軟硬體雙軌策略應對

在SEMICON Taiwan 2026記憶體高峰論壇上，Google Cloud供應鏈基礎架構資深總監Nikhil Cherian表示，隨著多模態與混合專家架構普及，AI運算已轉向記憶體受限，高效能記憶體佔AI伺服器硬體物料清單成本逾75%。為突破容量、頻寬與功耗瓶頸，Google採取軟硬體雙軌策略：硬體方面，推出針對低延遲推論的TPU 8i及專攻超大規模訓練的TPU 8t，透過晶片內SRAM擴容與HBM共享池化技術消除傳輸瓶頸；軟體方面，開發TurboQuant無損量化演算法，將鍵值快取壓縮至3位元，在精確度不變下大幅降低記憶體佔用並提升運算速度。