Google 推出兼顧隱私與大容量記憶體的 AI 晶片，挑戰 Nvidia

目錄

• 你可能會想知道
• Google 的全新 AI 晶片系統
• 重點資訊表
• 後續展望...

你可能會想知道

• Google 的 TPU 8tx 如何在 AI 模型運作時保護敏感資訊？
• TPU 8i Max 擴充記憶體容量，為什麼可能對自主 AI 代理程式很重要？

Google 的全新 AI 晶片系統

Google 為其第八代 Tensor Processing Unit 產品線推出兩款專用系統，為需要訓練及執行人工智慧模型的組織提供新選擇。TPU 8tx 專為支援機密運算而設計，TPU 8i Max 則鎖定需要更大記憶體容量與頻寬的工作負載。這兩套系統延續 Google 提供圖形處理器（GPU）替代方案的努力，其中包括 Nvidia 製造的產品；大型 AI 與自主代理程式日益形塑市場發展。

這些新配置讓 Google 第八代產品線共有四種訓練及執行 AI 模型的選項。Google 表示，其 TPU 客戶近 100 家，包含 AI 實驗室與大學。該公司最初為自家服務開發 Tensor Processing Unit，近年則逐漸開放外部組織使用，包括希望在自有場所執行系統的客戶。這種商業拓展為企業提供另一種可能的 AI 運算資源來源，不過實際硬體選擇仍取決於工作負載需求、軟體支援、成本、供應情況與效能。

Google 的系統是專為 AI 打造的加速器，而非通用型 GPU。隨著 AI 系統日益擴大，該公司以兩項愈來愈受重視的需求來介紹新硬體：在處理資料時保護資料，以及提供足夠的高速記憶體來處理大型上下文。Google 首席技術專家暨 AI 與基礎架構資深副總裁 Amin Vahdat 在公告中寫道，隨著運算從人類規模轉向代理程式規模，企業正在尋找能夠跨越 AI 模型龐大上下文視窗進行推理的加速器。

TPU 8tx 著重於在模型實際處理資料時保護敏感資訊。資料通常會在儲存及系統間傳輸時加密。然而，運算通常需要先將資料解密並載入記憶體，因此敏感資訊在此時可能需要額外保護。Google 表示，TPU 8tx 採用硬體層級的機密運算，在運作期間隔離客戶資料與專有模型參數，而非只在資訊靜置或於不同位置間傳輸時提供保護。

該系統結合 TPU 8t 晶片、第五代 AMD EPYC 處理器，以及 Google 的低延遲 Boardfly 網路。Google 宣稱，相較於 TPU 8t，此配置可將延遲最多降低一半，新增的保護幾乎不會帶來效能損失。這些數據是 Google 提出的比較與主張；公告並未提供與 Nvidia 最新產品的比較。若要確認系統在不同營運環境中的表現，仍需針對特定客戶工作負載進行獨立測試。

機密運算可能適用於處理受法規規範、專有或其他敏感資料的組織。例如，企業可以在同一套系統上微調並執行模型，而不必在不同叢集間傳輸敏感資訊。讓運算更靠近資料，可能簡化部分工作流程，並減少在不同環境間移動資訊的需求。不過，硬體隔離無法消除 AI 相關的所有風險。機密運算無法防止設計不良的 AI 代理程式不當處理其獲准存取的資訊。存取控制、審慎的系統設計、監控與完善的資料政策，仍是任何部署的重要環節。

第二套系統 TPU 8i Max，旨在解決 Google 所稱的「記憶體牆」問題，也就是如何讓愈來愈吃重的 AI 工作負載隨時取得足夠資料。自主代理程式執行任務時，可能需要分析資料、程式碼庫、文件或數小時的影片。這些工作需要快速存取的資訊量可能超過傳統 AI 工作負載，因此，除了原始運算能力，記憶體容量與資料傳輸也成為重要因素。

Google 將兩顆 TPU 8i 晶片整合在同一個封裝中。該公司表示，相較於 TPU 8i，此設計的運算能力、晶片內 SRAM 與高頻寬記憶體吞吐量皆加倍，同時在相同的機架空間中配置兩倍的矽晶片。Vahdat 將 TPU 8i Max 描述為針對記憶體牆打造的系統，與著重隱私的 TPU 8tx 區隔開來。因此，這種架構的目標不只是加快計算速度，也在支援那些受限於處理器能以多快速度取得多少資訊的工作負載。

Google 也宣布將 TPU Sync 開放原始碼。這款軟體旨在於晶片、伺服器與儲存裝置之間移動 AI 工作記憶體。該公司表示，TPU Sync 可將特定資料傳輸延遲與回應啟動時間縮短 90% 以上。若 AI 任務在回應前需要反覆擷取或傳輸資訊，這類改善可能格外重要。此數據適用於 Google 所述的特定延遲情況，不應視為適用於所有工作負載或部署的保證。

硬體只是 Google 競爭策略的一環。該公司也在推廣能讓開發者更容易使用其加速器的軟體。開放原始碼專案 TorchTPU 讓開發者無須重寫應用程式，即可在 TPU 上執行 PyTorch 與 Hugging Face 模型。減少調整既有模型與工具所需的工作，或有助組織評估 TPU 系統，不過每項應用仍需評估相容性與效能。

這項公告發布之際，Nvidia 面臨的壓力日益增加，AI 晶片市場的未來也持續受到討論。Nvidia 股價週四暴跌 9.3%，並在週一交易中再跌 5%；此前執行長 Jensen Huang 承認與一名被美國情報機構懷疑為中國從事間諜活動的女性有婚外情。Nvidia 董事會已展開獨立調查，而該公司表示，沒有證據顯示企業機密遭到洩漏。這起事件加深了外界對該公司的關注，但與 AI 硬體競爭所涉及的技術及商業問題並不相同。

市場也關注競爭者能否削弱 Nvidia 在 AI 運算領域的地位。據報導，OpenAI 正計畫採購 Google 的 TPU，以降低對 Nvidia 的依賴，但這項消息尚未獲得證實。若主要開發者採用更多供應商，便可能在硬體選擇與採購協商方面取得更大彈性。然而，據報導的計畫並不代表採購已獲確認，Google 的公告也未證明任何特定客戶已承諾採用新配置。

目前仍有重要細節未公開。Google 未提供 TPU 8tx 或 TPU 8i Max 的價格或供應日期。該公司公布的效能數據是將新系統與較早期的 Google 硬體相比，而非與 Nvidia 最新產品比較。因此，這項公告說明了新系統預期具備的優勢，但不足以完整評估它們相較於競爭晶片的價值。買家還需要了解商用取得方式、實際工作負載、軟體支援及獨立測試結果，才能做出確切判斷。

整體而言，Google 此次推出產品所展現的策略，是以專用硬體及配套軟體為核心，而非單看晶片速度。TPU 8tx 定位於需要更強資料保護的處理工作，TPU 8i Max 則為記憶體密集型 AI 任務而設計。TPU Sync 與 TorchTPU 分別透過處理資料移動及開發者使用需求，為這些系統提供配套。這些措施能否帶動更廣泛的採用，取決於產品在實際部署中的表現，以及客戶能否輕易將其整合至現有基礎架構。

重點資訊表

後續展望...

Google 的全新 TPU 系統針對可能影響大型 AI 部署的特定挑戰提出解決方案：在運算期間保護資料，並讓系統快速存取大量記憶體。這些系統能否與競爭者抗衡，取決於實際效能、價格、供應情況、軟體相容性，以及客戶是否願意採用另一個硬體平台。

對企業而言，下一步值得採取的做法，是根據自身的安全需求與工作負載評估這些系統，而不是只依賴醒目的規格數字。對整體市場來說，Google 持續擴展晶片與軟體的組合，為市場增添了另一種可能的選擇。這或許會加劇競爭壓力，但單憑這項公告，還無法判斷 Nvidia 的地位會多快受到影響，也無法得知新配置將獲得多廣泛的採用。