omniture

浪潮:暢聊“智能存儲(chǔ)管理”這波技術(shù)“后浪”

2021-03-12 18:54 5350
浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲(chǔ)管理技術(shù)Smart Storage Management應(yīng)運(yùn)而生。通過多項(xiàng)新技術(shù)及特性來解決存儲(chǔ)場景中的各類挑戰(zhàn),助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲(chǔ)解決方案。

北京2021年3月12日 /美通社/ -- HDFS(Hadoop Distributed File System)作為通用的分布式文件系統(tǒng),可以提供高可擴(kuò)展、低成本、高可靠的海量數(shù)據(jù)存儲(chǔ),并廣泛應(yīng)用于大數(shù)據(jù)存儲(chǔ)和分析方向。

近年來伴隨5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展,數(shù)據(jù)量規(guī)模不斷增大,同時(shí)隨著大數(shù)據(jù)應(yīng)用的多樣化發(fā)展,對(duì)數(shù)據(jù)的利用也更加成熟與深入,更大數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場景對(duì)HDFS的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)讀寫吞吐提出了越來越高的要求。

為應(yīng)對(duì)這些挑戰(zhàn),浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲(chǔ)管理技術(shù)Smart Storage Management(簡稱SSM)應(yīng)運(yùn)而生。通過多項(xiàng)新技術(shù)及特性來解決存儲(chǔ)場景中的各類挑戰(zhàn),助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲(chǔ)解決方案。

現(xiàn)今存儲(chǔ)技術(shù)面臨哪些疑難挑戰(zhàn)?

說到疑難挑戰(zhàn),首先當(dāng)推基于異構(gòu)存儲(chǔ)介質(zhì)的數(shù)據(jù)存儲(chǔ)管理。從硬件平臺(tái)來看, HDFS的設(shè)計(jì)初衷是基于通用的廉價(jià)硬件提供可靠、高吞吐的數(shù)據(jù)存儲(chǔ)和訪問。但隨著硬件的迅速發(fā)展,傳統(tǒng)的磁盤性能和存儲(chǔ)容量都已達(dá)到瓶頸,新硬件如固態(tài)硬盤、非易失性內(nèi)存和SMR磁盤等受到廣泛關(guān)注。

目前,HDFS已有的功能和研究雖然可以兼容多類型的異構(gòu)介質(zhì),實(shí)現(xiàn)對(duì)異構(gòu)存儲(chǔ)介質(zhì)的訪問和使用,但沒有很好的機(jī)制讓其智能感知不同設(shè)備的I/O特性,并根據(jù)數(shù)據(jù)的訪問特征動(dòng)態(tài)改變存儲(chǔ)方式,在異構(gòu)的環(huán)境下最大程度發(fā)揮各類硬件的性能優(yōu)勢(shì)。

其次則是面向大規(guī)模存儲(chǔ)的容量壓力。為了系統(tǒng)的可靠性,傳統(tǒng)HDFS通過副本策略來保障數(shù)據(jù)的安全,通常默認(rèn)為三副本,但存儲(chǔ)利用率僅為1/3。如果使用糾刪碼(Erasure Code,EC)來替換副本策略確實(shí)可以提供與副本相同的容錯(cuò)能力,并使用較少的存儲(chǔ)空間,但在典型的糾刪碼中如果要求存儲(chǔ)額外開銷不超過50%的話,相應(yīng)的糾刪碼卻會(huì)占用更多的計(jì)算資源,所以當(dāng)系統(tǒng)面臨存儲(chǔ)壓力時(shí),用戶常常希望將不常使用的數(shù)據(jù)使用糾刪碼存儲(chǔ),降低存儲(chǔ)壓力。

但目前的HDFS技術(shù)僅支持基于目錄的副本到糾刪碼轉(zhuǎn)換,轉(zhuǎn)換后業(yè)務(wù)訪問文件的路徑將發(fā)生改變,并無便捷的機(jī)制自動(dòng)化進(jìn)行。

面向應(yīng)用負(fù)載的自適應(yīng)存儲(chǔ)挑戰(zhàn)也不容忽視。從上層應(yīng)用來看,一方面在大數(shù)據(jù)Hadoop生態(tài)系統(tǒng)不斷發(fā)展的過程中,HDFS因其自身的穩(wěn)定可靠、簡單易用、擴(kuò)展性高等優(yōu)點(diǎn)使越來越多上層應(yīng)用和系統(tǒng)將其作為統(tǒng)一的底層存儲(chǔ),其上存儲(chǔ)的數(shù)據(jù)類型和支持的分析負(fù)載也越來越多元化。

另一方面,在企業(yè)中不同部門和用戶經(jīng)常基于同一份全量數(shù)據(jù)進(jìn)行查詢分析,帶來同一份數(shù)據(jù)服務(wù)多樣的查詢負(fù)載。在這種應(yīng)用場景下,基于人工制定策略的存儲(chǔ)優(yōu)化就難以生效,勢(shì)必需要提供基于應(yīng)用負(fù)載的自適應(yīng)優(yōu)化技術(shù)來應(yīng)對(duì)。

智能存儲(chǔ)管理(SSM)技術(shù) 聚焦兩核心、三場景、四技術(shù)、五特性

面對(duì)異構(gòu)環(huán)境下如何最大程度發(fā)揮各類硬件性能優(yōu)勢(shì)的難題以及來自存儲(chǔ)的數(shù)據(jù)類型和支持的分析負(fù)載越來越多元化與應(yīng)用負(fù)載的自適應(yīng)優(yōu)化等方面的挑戰(zhàn),智能存儲(chǔ)管理(SSM)提供了智能化的解決方案。

何為智能存儲(chǔ)管理Smart Storage Management(SSM?

概念上,智能存儲(chǔ)管理(SSM)被定義為面向 HDFS的智能管理架構(gòu),主要提供針對(duì)新型存儲(chǔ)設(shè)備、高速網(wǎng)絡(luò)、新計(jì)算的存儲(chǔ)優(yōu)化與數(shù)據(jù)優(yōu)化解決方案,實(shí)現(xiàn)端到端的數(shù)據(jù)管理服務(wù),聚焦點(diǎn)可以概括為“兩核心、三場景、四技術(shù)、五特性”。

『兩大核心』SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實(shí)現(xiàn)自動(dòng)化面向存儲(chǔ)的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面,典型的應(yīng)用場景中通常80%的計(jì)算工作負(fù)載用于處理20%的數(shù)據(jù),在動(dòng)態(tài)變化環(huán)境中針對(duì)局部數(shù)據(jù)進(jìn)行優(yōu)化尤其困難。

面對(duì)該問題,SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息,利用多項(xiàng)指標(biāo)分析數(shù)據(jù)訪問模式,從文件級(jí)別定義數(shù)據(jù)熱度,針對(duì)熱度信息統(tǒng)籌規(guī)劃相應(yīng)地優(yōu)化數(shù)據(jù)管理方式。

在智能決策方面,SSM建立了基于規(guī)則的智能決策體系,圍繞現(xiàn)有的大數(shù)據(jù)存儲(chǔ)模式智能地構(gòu)建了實(shí)用的解決方案。未來,SSM目標(biāo)將利用歷史數(shù)據(jù)和指標(biāo)學(xué)習(xí),從而使系統(tǒng)具有預(yù)測(cè)數(shù)據(jù)訪問模式與持久學(xué)習(xí)能力,實(shí)現(xiàn)穩(wěn)定可持續(xù)的智能化管理。

「三種場景」目前SSM在三種典型場景下表現(xiàn)突出,例如多存儲(chǔ)模式。SSM適用于數(shù)據(jù)存儲(chǔ)模式豐富的應(yīng)用場景,可以提供更加靈活的存儲(chǔ)模式選擇;在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災(zāi)備、數(shù)據(jù)壓縮等新功能,適用于對(duì)數(shù)據(jù)優(yōu)化有需求的應(yīng)用場景;智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動(dòng)化管理。


『四項(xiàng)技術(shù)』SSM主要通過四項(xiàng)技術(shù)實(shí)現(xiàn)智能的存儲(chǔ)管理,主要包括通過分布式集群自治技術(shù)解決管理服務(wù)的高可用問題來實(shí)現(xiàn)存儲(chǔ)管理集群去中心化;利用分布式事件驅(qū)動(dòng)技術(shù)實(shí)現(xiàn)面向高并發(fā)場景的輕量級(jí)計(jì)算服務(wù)與監(jiān)督機(jī)制,提升管理操作執(zhí)行效率與容錯(cuò)性。

基于規(guī)則的智能存儲(chǔ)管理技術(shù)解決存儲(chǔ)數(shù)據(jù)量巨大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題,實(shí)現(xiàn)數(shù)據(jù)生命周期的智能化管理;憑借數(shù)據(jù)熱度感知技術(shù)解決存儲(chǔ)資源利用不均、資源浪費(fèi)問題,實(shí)現(xiàn)數(shù)據(jù)冷熱分層等。


五種特性』面向用戶場景,SSM最終體現(xiàn)為五類典型的特性增強(qiáng),主要包括如下:

  • 異構(gòu)存儲(chǔ)增強(qiáng):結(jié)合智能規(guī)則管理與數(shù)據(jù)熱度感知,充分發(fā)揮異構(gòu)存儲(chǔ)訪問效率;
  • 糾刪碼增強(qiáng):針對(duì)文件級(jí)的副本與糾刪碼、糾刪碼間快速轉(zhuǎn)換,效率提升30%;訪問路徑不變。
  • 小文件合并增強(qiáng):自動(dòng)感知小文件,減緩NameNode壓力,讀性能提升一倍;
  • 自動(dòng)化數(shù)據(jù)災(zāi)備:全自動(dòng)跨域數(shù)據(jù)增量備份;
  • 透明化自動(dòng)壓縮:自選壓縮模式,無感知壓縮。

總體來看,智能存儲(chǔ)管理(SSM),以數(shù)據(jù)熱度識(shí)別及智能化的決策體系為核心,配置面向應(yīng)用場景的技術(shù)優(yōu)化整體方案(異構(gòu)存儲(chǔ)增強(qiáng)、糾刪碼增強(qiáng)、小文件合并、自動(dòng)化災(zāi)備、透明化壓縮),自動(dòng)化智能化的解決HDFS存儲(chǔ)面向異構(gòu)介質(zhì)、存儲(chǔ)空間及應(yīng)用負(fù)載等方向的挑戰(zhàn),大大提升HDFS分布式存儲(chǔ)的易用性及適用場景。 

基于智能存儲(chǔ)管理(SSM)技術(shù)  浪潮云海Insight帶來更優(yōu)體驗(yàn)

作為面向海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘的一站式企業(yè)級(jí)大數(shù)據(jù)解決方案,浪潮云海Insight大數(shù)據(jù)平臺(tái)采用新型技術(shù)架構(gòu)可承擔(dān)企業(yè)大規(guī)模數(shù)據(jù)的采集集成、多樣存儲(chǔ)、規(guī)模計(jì)算以及智能分析挖掘等工作,支撐企業(yè)數(shù)據(jù)中心業(yè)務(wù)模型快速落地,助力企業(yè)信息化智能轉(zhuǎn)型。

具體來說云海Insight團(tuán)隊(duì)從客戶需求出發(fā),結(jié)合業(yè)務(wù)場景對(duì)智能存儲(chǔ)管理技術(shù)(SSM)進(jìn)行全面的方案驗(yàn)證及增強(qiáng),最終在大數(shù)據(jù)平臺(tái)中將智能存儲(chǔ)管理技術(shù)產(chǎn)品化,包括智能存儲(chǔ)的一鍵安裝、可視化運(yùn)維、基于票據(jù)的認(rèn)證架構(gòu)等,解決了用戶針對(duì)大數(shù)據(jù)平臺(tái)的備份災(zāi)備、數(shù)據(jù)生命周期管理、小文件合并等技術(shù)的訴求,提供了更優(yōu)秀的用戶體驗(yàn)。


舉個(gè)例子,某客戶的業(yè)務(wù)場景中,云海Insight團(tuán)隊(duì)將其近兩個(gè)月的訪問頻次高的數(shù)據(jù)定義為熱數(shù)據(jù),使用三副本存儲(chǔ);后四個(gè)月的訪問頻次低的數(shù)據(jù)定義為冷數(shù)據(jù),使用糾刪碼存儲(chǔ)。通過SSM定義數(shù)據(jù)熱度判定策略以及完成自動(dòng)化的文件及從副本到糾刪碼的轉(zhuǎn)換,最終總存儲(chǔ)空間節(jié)省三分之一,且業(yè)務(wù)無需任何改變,大大提升了系統(tǒng)的可用性。


經(jīng)過多方實(shí)踐驗(yàn)證,面向HDFS的智能存儲(chǔ)管理技術(shù)能夠免去外界觸發(fā)完成數(shù)據(jù)管理并進(jìn)一步細(xì)化管理粒度,實(shí)現(xiàn)一次規(guī)則定制即可完成數(shù)據(jù)生命周期管理的解決方案,達(dá)成效果:

  • 冷熱數(shù)據(jù)在異構(gòu)介質(zhì)間的快速遷移可提升數(shù)據(jù)訪問效率2倍以上;
  • 數(shù)據(jù)存儲(chǔ)在副本與糾刪間的自動(dòng)快速轉(zhuǎn)換節(jié)省存儲(chǔ)空間超過50%;
  • 憑借透明化的數(shù)據(jù)壓縮、小文件合并以及平臺(tái)級(jí)自動(dòng)數(shù)據(jù)備份及遷移等方式可達(dá)成業(yè)務(wù)無感知,全面提升大數(shù)據(jù)平臺(tái)的智能數(shù)據(jù)管理能力。


隨著大數(shù)據(jù)與人工智能的蓬勃發(fā)展,人工智能賦予存儲(chǔ)管理無限可能,利用智能算法提高大數(shù)據(jù)的調(diào)度和智能管理能力已成為技術(shù)發(fā)展的必然趨勢(shì)。未來,智能存儲(chǔ)管理技術(shù)(SSM)將基于深度學(xué)習(xí)優(yōu)化計(jì)算框架,浪潮云海Insight也將進(jìn)一步從整體上提升存儲(chǔ)管理的智能化水平,為用戶提供更優(yōu)秀的解決方案。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection