國產(chǎn)人工智能算力平臺大突破!華為NPU,訓練準萬億參數(shù)大模型
發(fā)布日期:
2025-05-08 14:52:49
本文鏈接
http://bbswl.cn//industry/2726.html
本文關鍵詞
華為昇騰NPU集群突破萬億參數(shù)大模型訓練壁壘,6000+芯片實現(xiàn)718B參數(shù)MoE模型穩(wěn)定訓練,算力利用率提升58.7%!純國產(chǎn)硬件絲滑攻克負載均衡、通信墻等四大技術難關,硬核黑科技讓英偉達GPU黯然失色。
華為昇騰已經(jīng)跑通訓練準萬億參數(shù)的大模型! 以前要訓練接近一萬億參數(shù)的模型,大家都得靠英偉達GPU才行。但華為直接在自家的昇騰(Ascend)NPU平臺上,實現(xiàn)了對7,180億參數(shù)MoE(稀疏專家模型)穩(wěn)定的長時間訓練。 最新公布的技術報告里披露,華為盤古團隊(含諾亞方舟實驗室和華為云)在超過6,000塊昇騰NPU組成的集群上,靠多項系統(tǒng)級優(yōu)化,一口氣解決了跑大模型的負載均衡、通信開銷和效率低下等“攔路虎”。 這些創(chuàng)新的優(yōu)化一上來,訓練速度立馬嗖嗖往上漲,直接把頂尖大模型的研發(fā)給頂住了!從此,大廠也不用非得買英偉達GPU做訓練了 —— “國產(chǎn)”兩字,在大模型硬件上砝碼越壓越重。這一成果不僅刷新國產(chǎn)算力紀錄,更標志著我國在AI基礎設施領域已具備國際頂尖水平。
IDC觀察 IDC觀察是國內(nèi)專注AIDC與智算領域的垂直媒體與資源服務平臺,依托公眾號、品牌小程序及用戶共享生態(tài),構建“內(nèi)容+工具+社區(qū)”的全媒體矩陣,提供行業(yè)前沿資訊、全國機房及算力資源實時查詢共享服務,精準連接數(shù)據(jù)中心運營商、算力需求方及行業(yè)從業(yè)者。
優(yōu)選機房