omniture

浪潮發(fā)布新版AIStation推理服務(wù)平臺(tái),可高效調(diào)度多元AI芯片

2021-09-23 09:09 6000

北京2021年9月22日 /美通社/ -- 9月17日,在蘇州舉行的第四屆全球人工智能產(chǎn)品應(yīng)用博覽會(huì)(AIExpo2021)上,浪潮發(fā)布新版AIStation人工智能推理服務(wù)平臺(tái),為快速發(fā)展的人工智能應(yīng)用提供強(qiáng)大的服務(wù)管理支撐,并可統(tǒng)一高效調(diào)度多款國(guó)際國(guó)內(nèi)領(lǐng)先的AI芯片的算力,幫助企業(yè)和智算中心充分發(fā)揮多元算力作用,加速AI應(yīng)用場(chǎng)景落地。此次發(fā)布是為了應(yīng)對(duì)日趨豐富的人工智能應(yīng)用對(duì)多元化AI芯片算力的需求,以及智能計(jì)算中心日益復(fù)雜的異構(gòu)計(jì)算資源管理調(diào)度挑戰(zhàn)。


浪潮AIStation是業(yè)界領(lǐng)先的人工智能開發(fā)服務(wù)平臺(tái),可支持超過數(shù)千節(jié)點(diǎn)AI服務(wù)器的超大規(guī)模人工智能集群調(diào)度管理?;谌萜骰夹g(shù)簡(jiǎn)化算力調(diào)度過程,幫助用戶擺脫在大規(guī)模AI計(jì)算集群中進(jìn)行算力選擇、算力適配等繁雜工作,提高調(diào)度效率。實(shí)現(xiàn)資源敏捷調(diào)配,使得資源利用率得以大幅提升;強(qiáng)大的平臺(tái)調(diào)度機(jī)制可以應(yīng)對(duì)需求突發(fā)場(chǎng)景在幾分鐘內(nèi)自動(dòng)完成服務(wù)擴(kuò)容;支持多源模型統(tǒng)一部署,模型部署時(shí)間從數(shù)天縮短到幾分鐘,從而實(shí)現(xiàn)業(yè)務(wù)快速上線。AIStation可支持百萬級(jí)高并發(fā)的大規(guī)模AI推理服務(wù)場(chǎng)景,服務(wù)響應(yīng)平均延遲低于1ms。

當(dāng)前,日趨豐富的人工智能應(yīng)用對(duì)多元化AI芯片算力的需求激增,驅(qū)動(dòng)人工智能計(jì)算系統(tǒng)向多元算力計(jì)算架構(gòu)轉(zhuǎn)化。使用多種AI芯片的混合計(jì)算架構(gòu)需求越來越多,這種需求在產(chǎn)業(yè)AI化、智算中心等大規(guī)模AI計(jì)算系統(tǒng)建設(shè)時(shí)更加迫切。然而,各種類型AI芯片的連接接入標(biāo)準(zhǔn)不同,用戶在使用多元AI芯片系統(tǒng)時(shí)會(huì)遇到系統(tǒng)適配、芯片驅(qū)動(dòng)、互聯(lián)互通、功耗管理、安全傳輸、易用性等各類問題,給用戶在部署多元AI芯片算力系統(tǒng)時(shí)提出巨大挑戰(zhàn)。

針對(duì)當(dāng)前多元化算力的應(yīng)用困局,浪潮此次發(fā)布的新版AIStation推理服務(wù)平臺(tái)實(shí)現(xiàn)了對(duì)英偉達(dá)、寒武紀(jì)、昆侖芯、高通等6家國(guó)際國(guó)內(nèi)廠商的12款A(yù)I和GPU芯片的多元算力支持。AI芯片可通過適配浪潮提供的AI芯片算力接入規(guī)范即可快速接入AIStation平臺(tái),幫助用戶降低對(duì)多元AI芯片的使用和管理難度。AIStation平臺(tái)實(shí)現(xiàn)多元算力的統(tǒng)一管理及調(diào)度,為生產(chǎn)環(huán)境算力運(yùn)行提供一致的監(jiān)管功能,對(duì)GPU、MLU、XPU等AI芯片的性能狀況、AI業(yè)務(wù)流量及響應(yīng)延時(shí)進(jìn)行實(shí)時(shí)監(jiān)控,并根據(jù)監(jiān)控?cái)?shù)據(jù)進(jìn)行分析、決策、執(zhí)行操作,實(shí)現(xiàn)服務(wù)算力的自動(dòng)調(diào)節(jié)、自適應(yīng)推理業(yè)務(wù)突發(fā)資源擴(kuò)展需求。

AIStation是業(yè)界首個(gè)支持多元AI芯片算力的人工智能服務(wù)平臺(tái),打通了多元AI芯片從接入、管理、調(diào)度、適配到應(yīng)用的路徑,通過構(gòu)建AI芯片算力接入規(guī)范實(shí)現(xiàn)多元算力的標(biāo)準(zhǔn)化管理,為產(chǎn)業(yè)AI化和智算中心建設(shè)提供高效便捷的AI算力調(diào)度,讓AI應(yīng)用和AI服務(wù)更便捷,助力用戶充分使用多元算力實(shí)現(xiàn)AI技術(shù)創(chuàng)新和落地。目前,浪潮AIStation推理服務(wù)平臺(tái)已在諸多客戶獲得成功應(yīng)用,在新基建、互聯(lián)網(wǎng)、金融、保險(xiǎn)、交通、手機(jī)通信、智能汽車、智慧城市等多個(gè)AI場(chǎng)景發(fā)揮著重要作用。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection