"千億參數(shù)"大模型再卷風(fēng)云，成功實現(xiàn)CPU通用服務(wù)器上運行

北京2024年7月26日 /美通社/ -- 生成式AI快速發(fā)展，AI算力作為人工智能發(fā)展的重要支撐，正以驚人的速度滲透至每一個計算設(shè)備。一切計算皆AI，為了支撐千行百業(yè)最廣泛的場景，通用服務(wù)器也在"智變"。

不久前，浪潮信息的研發(fā)工程師基于2U4路旗艦通用服務(wù)器NF8260G7，采用領(lǐng)先的張量并行、NF4模型量化等技術(shù)，實現(xiàn)服務(wù)器僅依靠4顆CPU即可運行千億參數(shù) "源2.0" 大模型，成為通用AI算力的新標桿。

NF8260G7在2U空間搭載4顆32核英特爾至強處理器，主頻2.4GHz，支持8個內(nèi)存通道，3路UPI總線互聯(lián)，采用32根32G的DDR5內(nèi)存，內(nèi)存容量1024GB，實測內(nèi)存讀帶寬995GB/s，運行效率82.94%?？蚣芎退惴ǚ矫?，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。浪潮信息算法工程師還基于Yuan2.0千億參數(shù)大模型的研發(fā)積累，為NF8260G7部署張量并行環(huán)境，提升4倍計算效率，并通過NF4等量化技術(shù)，將1026億參數(shù)的Yuan2.0大模型容量縮小至1/4，首次實現(xiàn)單機通用服務(wù)器，即可運行千億參數(shù)大模型，為千億參數(shù)AI大模型在通用服務(wù)器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇。

【出題】
算力智變：通用服務(wù)器挑戰(zhàn)「千億參數(shù)」大模型

科技的進步，最終目的是"落入凡間"。AIGC正以超乎想象的速度滲透進千行百業(yè)，對企業(yè)的算力基礎(chǔ)設(shè)施也提出了更高的要求。為了滿足最廣泛的通用業(yè)務(wù)與新興AI業(yè)務(wù)融合的需求，目前金融、醫(yī)療等許多行業(yè)用戶正在基于通用算力構(gòu)建AI業(yè)務(wù)，實現(xiàn)了通用算力的"AI進化"。從效果來看，目前通用服務(wù)器單機已能夠承載幾十到幾百億參數(shù)規(guī)模的AI模型應(yīng)用。

但算力需求仍在爆發(fā)式增長，隨著大模型技術(shù)的不斷發(fā)展，模型參數(shù)量不斷攀升，千億級參數(shù)是智能涌現(xiàn)的門檻，通用算力能否運行千億參數(shù)AI大模型，是衡量其能否支撐千行百業(yè)智能涌現(xiàn)的關(guān)鍵。

千億參數(shù)大模型要在單臺服務(wù)器中高效運行，對計算、內(nèi)存、通信等硬件資源需求量非常大，如果使用以GPU為主的異構(gòu)加速計算方式，千億參數(shù)大約需要200~300GB的顯存空間才放得下，這已經(jīng)遠超過當(dāng)前業(yè)界主流的AI加速芯片的顯存大小。放得下只是基礎(chǔ)，千億參數(shù)大模型在運行過程中，對數(shù)據(jù)計算、計算單元之間及計算單元與內(nèi)存之間通信的帶寬要求也非常高。千億參數(shù)大模型按照BF16的精度計算，運行時延要小于100ms，內(nèi)存與計算單元之間的通信帶寬至少要在2TB/s以上。

不同參數(shù)規(guī)模服務(wù)器硬件資源需求對比

除了硬件資源的挑戰(zhàn)，為了讓通用服務(wù)器運行千億大模型，軟硬協(xié)同優(yōu)化也是一大難題。比如AI大模型一般基于擅長大規(guī)模并行計算的AI加速卡設(shè)計，通用服務(wù)器的處理器雖然擁有高通用性和高性能的計算核心，但沒有并行工作的環(huán)境。AI大模型需要頻繁地在內(nèi)存和CPU之間搬運算法權(quán)重，但通用服務(wù)器默認模型權(quán)重只能傳輸給一個CPU的內(nèi)存，由該CPU串聯(lián)其他CPU進行權(quán)重數(shù)據(jù)的傳輸。這就導(dǎo)致CPU與內(nèi)存之間的帶寬利用率不高，通信開銷大。

通用服務(wù)器要運行千億參數(shù)大模型面臨重重挑戰(zhàn)。要填補這一空白，浪潮信息研發(fā)工程師亟需提升通用服務(wù)器AI計算性能，優(yōu)化CPU之間、CPU與內(nèi)存之間的通信效率，建立通用服務(wù)器的大規(guī)模并行計算的算法環(huán)境等軟硬協(xié)同技術(shù)，系統(tǒng)釋放通用服務(wù)器的AI能力。

【解題】
軟硬協(xié)同創(chuàng)新，釋放通用服務(wù)器的智算力

首先，硬件資源方面，為支撐大規(guī)模并行計算，浪潮信息研發(fā)工程師采用2U4路旗艦通用服務(wù)器NF8260G7，對服務(wù)器處理器、內(nèi)存、互連以及框架和算法的適配性等方面進行了全面優(yōu)化。

本次運行千億參數(shù)大模型的通用服務(wù)器NF8260G7采用如下配置：

NF8260G7在2U空間搭載4顆英特爾至強處理器6448H，具有AMX（高級矩陣擴展）AI加速功能，核心數(shù)達到了32核心，基準主頻2.4GHz，L3 Cache 60MB，支持8個內(nèi)存通道，3路UPI總線互聯(lián)，功耗250W。內(nèi)存方面，NF8260G7配置32根32G DDR5 4800MHZ的內(nèi)存，內(nèi)存帶寬實測值分別為995GB/s（讀帶寬）、423GB/s（寫帶寬）、437GB/s（讀寫帶寬），為滿足千億大模型低延時和多處理器的并發(fā)推理計算打下基礎(chǔ)。

在高速信號互連方面，浪潮信息研發(fā)工程師優(yōu)化了CPU之間，CPU和內(nèi)存之間的走線路徑和阻抗連續(xù)性，依據(jù)三維仿真結(jié)果調(diào)整過孔排列方式，將信號串?dāng)_降低到-60dB以下，較上一代降低50%，通過DOE矩陣式有源仿真找到通道所有corner的組合最優(yōu)解，充分發(fā)揮算力性能?？蚣芎退惴ǚ矫?，浪潮信息通用服務(wù)器也支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。

僅依靠硬件創(chuàng)新還遠遠不夠。算法層面，浪潮信息算法工程師基于Yuan2.0的算法研發(fā)積累，將1026億參數(shù)的Yuan2.0大模型卷積算子進行張量切分，把大模型中的注意力層和前饋層的矩陣計算的權(quán)重分別拆分到多個處理器的內(nèi)存中，為通用服務(wù)器進行高效的張量并行計算提供了可能。這種權(quán)重的拆分改變了傳統(tǒng)CPU串聯(lián)傳輸?shù)哪Ｊ剑?顆CPU可以與內(nèi)存實時傳輸獲取算法權(quán)重，協(xié)同并行工作，計算效率提升4倍。

同時，千億參數(shù)大模型在張量并行計算過程中，參數(shù)權(quán)重需要200-300GB的內(nèi)存空間進行存儲和計算，在100ms的時間內(nèi)，完成CPU與內(nèi)存數(shù)據(jù)的通信，內(nèi)存帶寬需求至少在2T/s。而4路通用服務(wù)器的內(nèi)存帶寬極限值為1200GB/s，還差一半左右。面對巨大的內(nèi)存帶寬瓶頸，浪潮信息算法工程師需要在不影響模型精度的情況下對模型進行量化"瘦身"。浪潮信息研發(fā)工程師們嘗試了不同精度int8、int4、NF4等先進量化技術(shù)，最終選擇了更高數(shù)據(jù)精度的NF4量化方案，將模型尺寸瘦身到原來的1/4，在滿足精度需求的條件下，大幅度降低大規(guī)模并行計算的訪存數(shù)據(jù)量，從而達到實時推理的解碼需求。

【交卷】
填補行業(yè)空白，樹立AI算力新標桿

通過系統(tǒng)優(yōu)化，浪潮信息NF8260G7在業(yè)界首次實現(xiàn)僅基于通用處理器，支持千億參數(shù)大模型的運行，讓通用算力可支持的AI大模型參數(shù)規(guī)模突破千億，填補了行業(yè)空白，成為企業(yè)擁有AI的新起點。

人工智能的發(fā)展，是算力、算法和數(shù)據(jù)三要素系統(tǒng)突破的結(jié)果。浪潮信息研發(fā)工程師基于通用服務(wù)器NF8260G7的軟硬件協(xié)同創(chuàng)新，為千億參數(shù)AI大模型在通用服務(wù)器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇，讓AI大模型應(yīng)用可以與云、大數(shù)據(jù)、數(shù)據(jù)庫等應(yīng)用能夠?qū)崿F(xiàn)更緊密的融合，從而充分釋放人工智能在千行百業(yè)中的創(chuàng)新活力，讓人工智能真正"落入凡間"，推動社會和經(jīng)濟的發(fā)展。