omniture

浪潮存儲 為中汽創(chuàng)智自動駕駛訓(xùn)練提速

2021-11-11 17:45 4650

北京2021年11月11日 /美通社/ -- 中汽創(chuàng)智科技有限公司由中國一汽、東風(fēng)公司、長安汽車、南京江寧經(jīng)開科技等企業(yè)共同出資160億元設(shè)立,落戶南京江寧經(jīng)濟(jì)技術(shù)開發(fā)區(qū)。

中汽創(chuàng)智選擇浪潮分布式存儲AS13000G5系列的M和H節(jié)點(diǎn),構(gòu)建了自動駕駛訓(xùn)練模型,進(jìn)一步提升GPU集群自動駕駛模型訓(xùn)練過程中的數(shù)據(jù)讀寫速度,大大加快研發(fā)速度。

中汽創(chuàng)智科技有限公司的成立,是落實(shí)制造強(qiáng)國、科技強(qiáng)國、汽車強(qiáng)國等國家戰(zhàn)略的重要舉措。央企新能源汽車整車領(lǐng)域的產(chǎn)業(yè)投資、技術(shù)研發(fā)將集中在中汽創(chuàng)智,有利于推動產(chǎn)業(yè)資源整合和開放合作,加快在制約當(dāng)前產(chǎn)業(yè)發(fā)展的“卡脖子”技術(shù)和下一代關(guān)鍵核心技術(shù)領(lǐng)域的集中攻關(guān)和突破。中汽創(chuàng)智聚焦智能底盤、氫燃料動力、智能網(wǎng)聯(lián)三大業(yè)務(wù)領(lǐng)域,致力于成為汽車行業(yè)技術(shù)創(chuàng)新的引領(lǐng)者、產(chǎn)業(yè)孵化的踐行者、數(shù)據(jù)服務(wù)的驅(qū)動者。

部署自動駕駛訓(xùn)練平臺,推進(jìn)自動駕駛技術(shù)發(fā)展

中汽創(chuàng)智計劃建設(shè)一套自動駕駛模型訓(xùn)練平臺。借助平臺的運(yùn)算能力和存儲能力,為自動駕駛、人工智能等領(lǐng)域相關(guān)技術(shù)的研發(fā),提供IT資源支撐。

模型訓(xùn)練需要頻繁在存儲設(shè)備中讀寫數(shù)據(jù),對存儲系統(tǒng)性能要求較高,原始模型開發(fā)的過程中需要調(diào)用TB級的圖片數(shù)據(jù)集,且模型在開發(fā)的過程中也會產(chǎn)生很多中間數(shù)據(jù)需要存儲。

除了數(shù)據(jù)讀寫和大量圖片的處理,中汽創(chuàng)智自動駕駛訓(xùn)練模型的搭建還給數(shù)據(jù)傳輸帶來挑戰(zhàn),傳統(tǒng)存儲在面對數(shù)據(jù)短時間內(nèi)增長迅速,傳統(tǒng)硬盤效率低,無法發(fā)揮數(shù)據(jù)的及時性和準(zhǔn)確性。

浪潮AS13000-H,如何HOLD住海量數(shù)據(jù)?

浪潮為中汽創(chuàng)智提供了高性能AS13000G5-H型號和13000G5-M存儲組合方案。提供了不低于50GB/s的聚合帶寬和PB級存儲空間,滿足了自動駕駛訓(xùn)練模型對大量圖片處理和數(shù)據(jù)頻繁讀寫的需求。助力中汽創(chuàng)智自動駕駛訓(xùn)練模型平臺的建設(shè)。

浪潮AS13000-H分布式文件存儲系統(tǒng)采用元數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)分離的網(wǎng)絡(luò)架構(gòu),元數(shù)據(jù)與數(shù)據(jù)的讀寫互不影響。同時,AS13000-H的軟件系統(tǒng)面向小文件進(jìn)行了專門的調(diào)優(yōu)和設(shè)計,使得AS13000-H更加適合圖片數(shù)據(jù)集訓(xùn)練這種小文件頻繁讀寫的場景。從而進(jìn)一步提升GPU集群自動駕駛模型訓(xùn)練過程中的數(shù)據(jù)讀寫速度,推薦配置2個元數(shù)據(jù)節(jié)點(diǎn)和2個數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)節(jié)點(diǎn)之間,數(shù)據(jù)節(jié)點(diǎn)之間開啟鏡像模式,實(shí)現(xiàn)元數(shù)據(jù)和數(shù)據(jù)的兩副本存儲,通過雙副本機(jī)制,保障中汽創(chuàng)智自動駕駛模型訓(xùn)練過程中數(shù)據(jù)的安全。每臺元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)均配有2套網(wǎng)絡(luò)。一套為10Gb萬兆以太網(wǎng)絡(luò),接入業(yè)務(wù)交換機(jī),實(shí)現(xiàn)研發(fā)人員和管理人員對于存儲設(shè)備的前端接入和訪問。另外一套為100Gb EDR Infiniband網(wǎng)絡(luò),接入集群內(nèi)部用于數(shù)據(jù)交換的IB交換機(jī),實(shí)現(xiàn)模型訓(xùn)練過程中計算節(jié)點(diǎn)與存儲節(jié)點(diǎn)之間的數(shù)據(jù)讀寫,最大化保障數(shù)據(jù)傳輸效率。

考慮到用于模型訓(xùn)練的圖片數(shù)據(jù)集及部分中間結(jié)果需要在開發(fā)機(jī)之間共享,因此,存儲設(shè)備應(yīng)具備共享網(wǎng)盤功能,以便不同開發(fā)機(jī)之間對同一份訓(xùn)練數(shù)據(jù)集進(jìn)行讀寫,并對中間結(jié)果進(jìn)行共享。浪潮存儲采用3臺4U36盤位存儲服務(wù)器構(gòu)成分布式存儲系統(tǒng)的硬件平臺;軟件層面,使用經(jīng)過浪潮商業(yè)化開發(fā)的Ceph文件系統(tǒng)。通過軟件定義存儲技術(shù),將3臺存儲服務(wù)器定義為一臺分布式存儲系統(tǒng)。該系統(tǒng)可以同時支持文件、對象、塊三種存儲類型,本項目中使用文件存儲格式進(jìn)行開發(fā)及存儲環(huán)境搭建,幫助用戶實(shí)現(xiàn)對存儲資源的最大化利用,有效降低存儲開銷,實(shí)現(xiàn)高效數(shù)據(jù)存取和維護(hù),確保數(shù)據(jù)安全可靠。

目前,中汽創(chuàng)智自動駕駛訓(xùn)練模型平臺已經(jīng)全面投入使用,在智能座艙、仿真與測試、自動駕駛等多個業(yè)務(wù)中開展大數(shù)據(jù)分析和高性能訓(xùn)練,與中汽創(chuàng)智的云平臺進(jìn)行對接,形成統(tǒng)一的數(shù)據(jù)中心級別的大平臺。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection