人工智慧已從第一階段的「訓練為主」進入第二階段的「推論為主」從訓練轉向推論： 雲端服務供應商（CSP）已完成初步訓練，現在需要透過「推論」來實現商業變現（賺錢）。運算需求暴增-代理型 AI 的發展將使運算需求比 ChatGPT 時期成長 1 萬倍/光進銅退（CPO 技術）當產業焦點從通用型 GPU 轉向專用的 AI 加速器（如 LPU）時，代表產業正進入成熟期。輝達透過軟硬體高度整合的「AI 工廠」方案，旨在協助客戶在推論時代大幅提升業績與效率
這段影片由「曲博科技教室」提供，深入解析了 NVIDIA GTC 2026 大會的重點。影片強調人工智慧已從第一階段的「訓練為主」進入第二階段的「推論為主」，並詳細介紹了輝達（NVIDIA）如何透過硬體與軟體革命來應對這一轉變。
以下是該影片的重點整理與內容摘要：
1. AI 發展的兩大轉折點 [00:00]
從訓練轉向推論： 雲端服務供應商（CSP）已完成初步訓練，現在需要透過「推論」來實現商業變現（賺錢）。
運算需求暴增： 預測到 2025 年，代理型 AI 的發展將使運算需求比 ChatGPT 時期成長 1 萬倍 [08:07]。
2. 核心硬體與架構革新
五層蛋糕架構： 黃仁勳提出 AI 的五層架構，分別是能源、晶片、基礎設施（前三層合稱 AI 工廠）、模型以及應用 [01:41]。
首度整合 LPU（語言處理器）： 輝達首度將 Groq 的 LPU 整合進其 AI 工廠，推出 LPX 伺服器，專門加速「推論」運算 [00:33]。
全新晶片 Rubin 系列： 預計 2026 年推出的 Rubin GPU 將與 Vera CPU、NVLink 6 等組成強大的運算叢集，效能遠超目前的 Blackwell [12:36]。
光進銅退（CPO 技術）： 介紹了 Spectrum-X **共同封裝光學（CPO）**交換機，解決海量數據傳輸的瓶頸 [14:12]。
3. 推論之王：提升獲利能力 [10:20]
降低成本： 透過 GB300 等新架構，輝達宣稱能將推論成本降低 35 倍 [10:20]。
區分用戶等級： 針對「高級用戶」與「超級用戶」，單靠 GPU 運算能力可能不足，必須導入 LPU 加速器 才能維持高效能與高營收回報 [18:33]。
4. 軟體與生態系佈局
資料處理： 推出 CUDF（處理結構化資料）與 CUVS（處理非結構化資料，如向量搜尋），大幅降低企業處理數據的成本與時間 [03:44]。
AI 代理作業系統： 介紹了 OpenCloud 與 NVIDIA Nemo Cloud。黃仁勳將 OpenCloud 比喻為個人 AI 代理的作業系統，地位如同 PC 時代的 Windows [27:37]。
開源聯盟： 輝達領導開放模型生態系，其 Nemotron-3 8B 在開源模型評比中名列前茅 [29:41]。
5. 其他亮點與未來展望
太空規格驗證： Vera Rubin 模組已通過太空輻射測試（NVIDIA Space 1），應對未來將資料中心部署於外太空的可能 [26:02]。
機器人與自駕： 輝達持續提供機器人解決方案，現場並與迪士尼的卡通機器人進行互動 [30:37]。
總結：
曲博指出，當產業焦點從通用型 GPU 轉向專用的 AI 加速器（如 LPU）時，代表產業正進入成熟期。輝達透過軟硬體高度整合的「AI 工廠」方案，旨在協助客戶在推論時代大幅提升業績與效率
留言
張貼留言