英偉達：CPU 已落伍，用 GPU 訓練大語言模型成本可降低 96%

(資料圖)

品玩 5 月 29 日訊，據英偉達在 2023 年臺北電腦展會上的演講，該公司宣稱其 GPU 可以大幅降低訓練大型語言模型（LLM）的成本和耗能。

黃仁勛在演講中，向 CPU 行業發起了挑戰，他認為生成式人工智能和加速計算是未來計算的方向。他宣布傳統的摩爾定律已經過時，未來的性能提升將主要來自生成式人工智能和基于加速計算的方法。

相比之下，如果保持成本不變，購買一個價值 1000 萬美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時）下訓練 44 個 LLM。如果轉而保持電力消耗不變，那么可以通過 GPU 集群實現 150 倍的加速，以 11 千兆瓦時的電力消耗訓練 150 個 LLM，但這需要花費 3400 萬美元，此外這個集群的占地面積比 CPU 集群小得多。最后，如果只想訓練一個 LLM，那么只需要一個價值 40 萬美元、消耗 0.13 千兆瓦時電力的 GPU 服務器就可以了。

英偉達所要表達的意思是，相比 CPU 服務器，客戶可以以 4% 的成本和 1.2% 的電力消耗來訓練一個 LLM，這是一個巨大的成本節省。