CPO 機櫃：資料傳輸速度提升 4 倍、能源消耗降低 5 倍/AI 算力中心最核心的痛點：「傳輸即耗能」AI 超級電腦中，資料在晶片與晶片、板卡與板卡之間移動所消耗的能量，已經快要追上算力晶片本身的運算了。/CPO（Co-Packaged Optics，共同封裝光學） 搭配 冷板散熱（Cold Plate）

-

 

這段描述精準抓到了當前 AI 算力中心最核心的痛點：「傳輸即耗能」。在現今的 AI 超級電腦中，資料在晶片與晶片、板卡與板卡之間移動所消耗的能量，已經快要追上算力晶片本身的運算了。

你提到的 CPO（Co-Packaged Optics，共同封裝光學） 搭配 冷板散熱（Cold Plate），正是目前科技巨頭們為了解決「電傳輸瓶頸」與「散熱地獄」所祭出的終極武器。

以下為你具體拆解這套技術「實際長什麼樣子」，以及它是如何運作的：

1. 傳統架構 vs. CPO 架構：它長怎樣？

要理解 CPO 的長相，我們可以對比傳統的光通訊模組：

  • 傳統做法（可插拔光模組）： 光模組（QSFP 等）通常插在伺服器機殼的邊緣（面板上）。當 GPU 運算完資料後，訊號要先走長長的 PCB 板銅線電路，跨越十幾公分甚至更遠的距離，一路上克服高頻損耗與電阻，才到達面板的光模組轉成光訊號送出去。

  • CPO 做法（共同封裝）： CPO 直接打破了這個界線。它把負責「光電轉換」的晶片（Optical Engine，光學引擎），直接搬到 GPU/ASIC 運算晶片的同一個基板（Substrate）上，甚至封裝在同一個保護殼（Lid）下。

視覺上的 CPO 晶片： 你會看到中間有一顆巨大的 Nvidia 或 AMD 的主晶片（GPU），而它的四周緊密圍繞著數顆體積較小、負責光通訊的矽光子晶片。晶片與晶片之間不再有長長的銅線，而是透過極短的微米級微凸塊（Micro-bumps）相連。

2. 資料速度提升 4 倍、能耗降 5 倍的祕密

這也就是緯穎展示的數據背後的物理原理：

  • 「電短光長」： 因為光學引擎被拉到 GPU 旁邊，電訊號移動的距離從十幾公分縮短到幾毫米。這意味著「電阻發熱」的物理損耗幾乎被消滅了。

  • 極致的頻寬： 光訊號一離開光學引擎，就直接透過光纖導線（Fiber Pigtails）拉出晶片。光在光纖裡傳輸幾乎沒有高頻損耗，因此可以把波長分複用（WDM）等技術開到極致，實現每秒數十個 TB 的超高傳輸頻寬。

3. 冷板液冷系統（Cold Plate）長怎樣？

CPO 雖然省電，但因為把高發熱的 GPU 和對溫度極其敏感的光學引擎、雷射光源擠在同一個小空間裡，熱密度高到嚇人。這時就需要液冷冷板（Cold Plate）登場：

  • 實際長相： 它是一塊精密的高性能銅製板，內部用微細加工技術銑出了無數條密密麻麻的「微水道（Micro-channels）」。

  • 運作方式： 這塊冷板會直接「貼」在 GPU 和 CPO 光學引擎的晶片表面。工作時，低溫的冷卻液（通常是純水或特殊配方液體）被泵浦推入冷板。當液體流經晶片上方那無數條微水道時，會直接將晶片散發的熱量吸走，變熱的液體再流向機櫃外的冷卻塔散熱，如此循環。

4. 外接雷射光源（ELS）的巧妙設計

你提到的「外接雷射光源（External Laser Source）」，是 CPO 機櫃外觀上另一個很有趣的特點。

因為雷射二極體（光源）在高溫下壽命會急劇暴跌、波長也會失準，而 GPU 周圍是個大火爐。所以工程師做了一個聰明的設計：把雷射光源獨立出來，做成模組插在機櫃的其他盲槽（Blind-mate slot）上。

  • 實際外觀： 在緯穎的機櫃前方，你會看到像抽屜一樣的可插拔雷射模組。它在低溫安全的地方發光，透過光纖將光「借」給晶片上的 CPO 光學引擎，光學引擎再用這個光來載運 GPU 的資料。這樣一來，就算雷射壞了，工程師也可以像換硬碟一樣，直接從機櫃前方熱插拔更換，完全不需要拆開高貴的 GPU 晶片核心。

總結

未來的 AI 機櫃實際長相，將不再是充滿轟鳴風扇的傳統伺服器，而是一個由無數毛細光纖編織而成、內部流動著冷卻液的高科技「光電液一體化」藝術品。算力不再只取決於電晶體的大小，更取決於光子與液冷如何完美地協同作戰。

你這段描述抓住了 AI 訓練耗電背後一個常被忽略的核心：資料移動本身的能耗，而不只是算力。很多人以為 AI 耗電只是 GPU 或 TPU 在「努力計算」，但事實上，大量資料在晶片、記憶體、光學模組之間高速流動，也會消耗相當可觀的電力。

幾個關鍵點可以更清楚理解：

  1. 資料搬運比計算還累人
    • 現代 AI 訓練需要每秒 TB 級資料移動。
    • 銅線傳輸有電阻與高頻損耗，資料越多、頻率越高，耗能就越嚴重。
    • 即便晶片距離只有十幾公分，資料來回無數次，消耗也被放大。
  2. CPO（Chip Package on Package / Co-Packaged Optics）的重要性
    • 將光學模組靠近晶片（晶片旁封裝），讓資料更早轉成光訊號。
    • 光訊號相比電訊號：
      • 損耗低
      • 延遲短
      • 能耗少
    • 簡單說，就是「把資料搬得更輕鬆、更快、更省電」。
  3. 實際效果
    • 緯穎展示的 CPO 機櫃：資料傳輸速度提升 4 倍、能源消耗降低 5 倍。
    • 冷板（Cold Plate）直接帶走 GPU、光學引擎和雷射光源附近的熱量，降低散熱瓶頸。
  4. AI 瓶頸不只是算力
    • 即使算力再強，如果資料流動不夠快，整個系統仍然會卡住。
    • 所以 AI 資料中心的設計，已經從「純算力」轉向「算力 + 資料流 + 散熱」的綜合考量。

如果你想，我可以幫你畫一張簡單示意圖，把CPO、資料流、冷板散熱的工作原理整合成一張圖，視覺化這個概念，會比文字更直觀。

留言

張貼留言