北京2024年9月24日 /美通社/ -- 在數(shù)字化浪潮的洶涌澎湃中,閃存技術(shù)與人工智能(AI)的融合發(fā)展正逐步成為推動(dòng)社會(huì)進(jìn)步與行業(yè)變革的關(guān)鍵力量。浪潮信息在以"芯存儲(chǔ) AI未來(lái)"為主題的2024全球閃存峰會(huì)上,聚焦閃存技術(shù)與人工智能(AI)的融合發(fā)展。在主題演講與多個(gè)論壇中分享了在數(shù)據(jù)存儲(chǔ)技術(shù)和AI領(lǐng)域的最新進(jìn)展和洞察。
AI與數(shù)據(jù)存儲(chǔ)的融合創(chuàng)新
數(shù)據(jù)在AI時(shí)代的重要性不言而喻,數(shù)據(jù)與AI深度融合以推動(dòng)未來(lái)AI的發(fā)展。據(jù)IDC分析,智能制造、智慧醫(yī)療、AIGC等新興應(yīng)用的爆發(fā)式增長(zhǎng)及數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的政策紅利,為分布式存儲(chǔ)市場(chǎng)帶來(lái)前所未有的發(fā)展機(jī)遇。
云存儲(chǔ)產(chǎn)品部總經(jīng)理劉希猛在主題演講中指出,2024年標(biāo)志著人工智能應(yīng)用的全面爆發(fā),尤其是大語(yǔ)言模型、視頻與圖像處理以及虛擬直播等領(lǐng)域的廣泛應(yīng)用,使得數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施面臨前所未有的挑戰(zhàn)。
隨著數(shù)據(jù)的爆炸性增長(zhǎng),從數(shù)據(jù)采集、處理、訓(xùn)練、推理到歸檔的各個(gè)階段都需要存儲(chǔ)系統(tǒng)的有力支持。特別是大規(guī)模模型訓(xùn)練過(guò)程中產(chǎn)生的檢查點(diǎn)(Checkpoint)數(shù)據(jù),對(duì)存儲(chǔ)系統(tǒng)的帶寬和容量提出了極高的要求。
對(duì)此,浪潮信息打造基于NVMe SSD搭載新一代數(shù)據(jù)加速引擎DataTurbo的分布式全閃存儲(chǔ)AS13000G7-N系列,通過(guò)盤控協(xié)同、GPU直訪存儲(chǔ)、全局一致性緩存等技術(shù),能提供TB級(jí)帶寬、千萬(wàn)級(jí)IOPS、EB級(jí)容量,在AIGC數(shù)據(jù)歸集、訓(xùn)練、數(shù)據(jù)歸檔與管理等階段提供文件、對(duì)象、大數(shù)據(jù)多協(xié)議融合互通能力、多元異構(gòu)集群納管能力,實(shí)現(xiàn)一份數(shù)據(jù)免遷移,數(shù)據(jù)準(zhǔn)備時(shí)間節(jié)省40%。
同時(shí),打造了基于AS13000G7的AIGC存儲(chǔ)解決方案,通過(guò)與上層EPAI/AIStation進(jìn)行深度定制,調(diào)度平臺(tái)加持下,使數(shù)據(jù)橫向流動(dòng)更為高效,提升存儲(chǔ)效率;縱向加速數(shù)據(jù)訪問(wèn),加快訓(xùn)練速度,從容應(yīng)對(duì)大模型應(yīng)用對(duì)存儲(chǔ)性能、容量以及數(shù)據(jù)管理等方面的苛刻要求。
解鎖AIGC數(shù)據(jù)價(jià)值
在AIGC存儲(chǔ)技術(shù)論壇上,浪潮信息存儲(chǔ)產(chǎn)品部方案總監(jiān)楊智峰博士帶來(lái)了題為"釋放AIGC數(shù)據(jù)潛能 浪潮信息分布式存儲(chǔ)技術(shù)創(chuàng)新與實(shí)踐"的演講。
AIGC環(huán)境下對(duì)存儲(chǔ)提出很多需求,特別是數(shù)據(jù)全生命周期管理能力和極致性能,包括Checkpoint帶寬和訓(xùn)練過(guò)程中的極致I/O性能。
楊智峰強(qiáng)調(diào),Scaling Law作為衡量模型效能的核心要素,其重要性在AI領(lǐng)域依然不可撼動(dòng),并引領(lǐng)著AI模型從單一模態(tài)向多元模態(tài)的深刻轉(zhuǎn)型。這一轉(zhuǎn)型趨勢(shì)為數(shù)據(jù)存儲(chǔ)領(lǐng)域開辟了前所未有的新機(jī)遇,具體體現(xiàn)在存儲(chǔ)介質(zhì)的全面閃存化、網(wǎng)絡(luò)架構(gòu)的歸一化整合、內(nèi)存資源的全局化調(diào)度,以及算力資源的多樣化配置等方面。
浪潮信息在存儲(chǔ)協(xié)議層面實(shí)施了一系列創(chuàng)新舉措,顯著提升了系統(tǒng)的兼容性與靈活性。這些創(chuàng)新包括但不限于文件、對(duì)象及大數(shù)據(jù)存儲(chǔ)協(xié)議之間的無(wú)縫融合與高效互通,以及通過(guò)富元數(shù)據(jù)集中管理策略,進(jìn)一步優(yōu)化了數(shù)據(jù)存儲(chǔ)的檢索效率與管理便捷性。針對(duì)模型訓(xùn)練過(guò)程中對(duì)數(shù)據(jù)存取速度、并發(fā)處理能力的嚴(yán)苛要求,研發(fā)了多項(xiàng)前沿存儲(chǔ)技術(shù),如實(shí)現(xiàn)秒級(jí)檢查點(diǎn)數(shù)據(jù)快速寫入的能力,以及支持高達(dá)千萬(wàn)級(jí)IOPS的高性能存儲(chǔ)系統(tǒng),為AI模型的快速迭代與高效訓(xùn)練提供了堅(jiān)實(shí)的支撐。
高端全閃存儲(chǔ):安全與高效的引領(lǐng)者
隨著信息化躍居業(yè)務(wù)前沿,對(duì)存儲(chǔ)系統(tǒng)提出嚴(yán)苛要求:確保核心業(yè)務(wù)實(shí)時(shí)穩(wěn)定,數(shù)據(jù)永不丟失,并追求綠色高效。全閃存憑其卓越性能與節(jié)能特性,成為市場(chǎng)新寵,不僅提升效率、節(jié)省空間,更將能耗較機(jī)械硬盤銳減70%。在數(shù)字經(jīng)濟(jì)浪潮中,企業(yè)紛紛擁抱全閃存儲(chǔ),以綠色數(shù)據(jù)中心響應(yīng)"碳達(dá)峰、碳中和"號(hào)召,平衡發(fā)展與環(huán)保,共創(chuàng)可持續(xù)未來(lái)。
在高端存儲(chǔ)與分布式全閃存論壇中,浪潮信息存儲(chǔ)產(chǎn)品部營(yíng)銷總監(jiān)王旭東詳細(xì)闡述了高端存儲(chǔ)在核心業(yè)務(wù)場(chǎng)景下的重要性,特別是在實(shí)時(shí)交易、生產(chǎn)制造等關(guān)鍵性場(chǎng)景中。
為了滿足客戶對(duì)存儲(chǔ)系統(tǒng)的高要求,浪潮信息推出了具備安全可靠、綠色高效的高端全閃存儲(chǔ)HF18000系列。該系列產(chǎn)品采用Full-Mesh全互聯(lián)架構(gòu),提高了系統(tǒng)的穩(wěn)定性和可靠性,同時(shí)通過(guò)A-A架構(gòu)模式降低了CPU利用率和IO延遲,提升了業(yè)務(wù)性能。
通過(guò)優(yōu)化CPU訪問(wèn)帶寬、核心分配算法等方式,顯著提高了存儲(chǔ)系統(tǒng)的性能。在系統(tǒng)層面,使用了最新的iTurbo 2.0全閃引擎,使得CPU資源分配更加合理。此外,還構(gòu)建了一套完善的NOF網(wǎng)絡(luò),減少了丟包和延遲,支持更多的連接,從而進(jìn)一步提升了存儲(chǔ)性能。
目前,浪潮信息已在六大行、TOP3保險(xiǎn)證券公司、石油石化、C9高校、TOP10醫(yī)院等行業(yè)大客戶中廣泛部署存儲(chǔ)平臺(tái),支撐企業(yè)的核心數(shù)據(jù)庫(kù)、生成式AI、云平臺(tái)、大數(shù)據(jù)等場(chǎng)景應(yīng)用。未來(lái),浪潮信息將會(huì)把握市場(chǎng)變化和用戶需求,持續(xù)加大技術(shù)創(chuàng)新與投入,助力千行百業(yè)構(gòu)建安全、可靠、經(jīng)濟(jì)、高效的數(shù)據(jù)存儲(chǔ)底座,加速數(shù)字化轉(zhuǎn)型和創(chuàng)新。