北京2022年4月21日 /美通社/ -- 近日，浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍受邀出席新智元"元宇宙 新人類"論壇，在《元宇宙服務(wù)器MetaEngine》主題報(bào)告中，分享了浪潮信息對(duì)元宇宙的認(rèn)知，元宇宙面臨的技術(shù)挑戰(zhàn)，以及如何打造元宇宙新型基礎(chǔ)設(shè)施的見(jiàn)解。
以下基于演講實(shí)錄整理。
元宇宙是數(shù)實(shí)融合的數(shù)字載體
數(shù)實(shí)融合當(dāng)前已經(jīng)成為一種潮流的趨勢(shì)，當(dāng)數(shù)字技術(shù)日益融入經(jīng)濟(jì)社會(huì)發(fā)展各領(lǐng)域、全過(guò)程，持續(xù)推動(dòng)著物理世界數(shù)字化、數(shù)字世界智慧化，逐漸形成了一場(chǎng)涵蓋個(gè)人生活方式、社會(huì)生產(chǎn)方式和國(guó)家治理方式的全面變革。
數(shù)實(shí)相融就是數(shù)字化世界同物理世界的融合，用數(shù)字世界來(lái)引導(dǎo)現(xiàn)實(shí)世界的運(yùn)行，用數(shù)字世界的智慧化實(shí)現(xiàn)現(xiàn)實(shí)世界的智慧化。
元宇宙本質(zhì)上是更高度的數(shù)實(shí)融合，它是數(shù)實(shí)融合的數(shù)字載體，這里我們以數(shù)字孿生和虛擬人為例來(lái)談?wù)劇?/p>
數(shù)字孿生是元宇宙的數(shù)字空間基礎(chǔ)，它可以將物理對(duì)象以數(shù)字化的方式在虛擬空間進(jìn)行動(dòng)態(tài)呈現(xiàn)，它的應(yīng)用體現(xiàn)在多個(gè)方面，比如孿生工廠，可以動(dòng)態(tài)的呈現(xiàn)從生產(chǎn)制作的全過(guò)程動(dòng)態(tài)管理，實(shí)現(xiàn)運(yùn)轉(zhuǎn)效率的大幅提升；孿生城市可以在數(shù)字世界推演天氣環(huán)境、人口土地、產(chǎn)業(yè)交通等要素的交互運(yùn)行，繪制城市畫(huà)像，幫助城市規(guī)劃、城市治理的效率提升；孿生基建可以讓我們?cè)谛藿ǜ咚俟?、樓體建筑時(shí)，在數(shù)字世界對(duì)工程進(jìn)行仿真模擬，評(píng)估結(jié)構(gòu)和承力，在工程交付后的維護(hù)階段評(píng)估工程是否可以承擔(dān)特殊情況的壓力，以及監(jiān)測(cè)可能出現(xiàn)的事故隱患。
數(shù)字虛擬人是元宇宙的重要實(shí)體（Entity）和生態(tài)，就像是元宇宙世界中的公民，是人類身份在虛擬世界的載體。利用數(shù)字虛擬人，人們也可以提升很多工作效率，比如虛擬主播可以7*24小時(shí)的進(jìn)行新聞播報(bào)，可以讓人們?nèi)旌虻牧私馓煜麓笫?，虛擬醫(yī)生可以通過(guò)打通就診數(shù)據(jù)、跟蹤上萬(wàn)種細(xì)微指標(biāo)特征差異，打破時(shí)間和空間，實(shí)現(xiàn)醫(yī)生就診病人從1對(duì)1轉(zhuǎn)變?yōu)?對(duì)多管理，虛擬模特在疫情下緩解了模特緊缺的市場(chǎng)情況，解決模特的供不應(yīng)求。
元宇宙：認(rèn)知世界 再現(xiàn)世界
元宇宙，可以說(shuō)是一個(gè)認(rèn)知世界、再現(xiàn)世界的過(guò)程，這個(gè)過(guò)程涉及到在線協(xié)同建模、高精度仿真、實(shí)時(shí)渲染、智能交互等多個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)下都有對(duì)應(yīng)的關(guān)鍵技術(shù)、軟件棧和算法工具。
首先，構(gòu)建元宇宙需要進(jìn)行3D建模，最近比較前沿的還有AIGC（利用GAN/多模態(tài)模型生成內(nèi)容創(chuàng)作），這部分的工作需要多人在線協(xié)同構(gòu)建。
由多人在線協(xié)同生成3D模型生成后，需要在元宇宙中仿真運(yùn)行，通過(guò)結(jié)構(gòu)仿真、感知仿真和控制仿真可以對(duì)模型進(jìn)行驗(yàn)證，如果說(shuō)建模是對(duì)物理實(shí)體理解的模型化，那么仿真就是驗(yàn)證和確認(rèn)這種理解的正確性和有效性的工具。
通過(guò)光線追蹤、光柵化、數(shù)據(jù)流傳輸可以讓虛擬人、數(shù)字世界更加逼真，為用戶帶來(lái)超現(xiàn)實(shí)的感官體驗(yàn)，呈現(xiàn)出一個(gè)更加豐富多彩的數(shù)字世界，擁有逼近現(xiàn)實(shí)世界一樣的沉浸感。
利用CV/NLP/ASR/TTS等AI技術(shù)，讓數(shù)字世界的虛擬人可以能聽(tīng)、會(huì)說(shuō)、能交互，從而打破數(shù)字世界和物理世界的邊界，實(shí)現(xiàn)線上線下的交融。
元宇宙通過(guò)以上多個(gè)環(huán)節(jié)、多個(gè)工具才能達(dá)到超越感官、智能交互的水平，像現(xiàn)實(shí)世界一樣豐富多彩。
元宇宙需要強(qiáng)大的算力基礎(chǔ)設(shè)施
元宇宙的出現(xiàn)和發(fā)展帶來(lái)的不僅有精彩，還有挑戰(zhàn)，元宇宙構(gòu)建的各個(gè)環(huán)節(jié)都需要用到不同類型的算力支撐，也就是元宇宙的算力基礎(chǔ)設(shè)施。
大規(guī)模、高復(fù)雜的數(shù)字孿生空間、數(shù)字人和其他實(shí)體角色的建模需要眾多設(shè)計(jì)師協(xié)同創(chuàng)作完成，現(xiàn)實(shí)世界和數(shù)字世界的交互則需要實(shí)時(shí)、高清的3D渲染算力和低延遲的網(wǎng)絡(luò)數(shù)據(jù)傳輸，增加了云端協(xié)同的處理需求。
元宇宙的應(yīng)用會(huì)涉及到動(dòng)力、熱力、流體等多類物理仿真，這需要用到高精度的數(shù)值計(jì)算，來(lái)支撐物理仿真和科學(xué)可視化。
讓數(shù)字世界無(wú)限接近現(xiàn)實(shí)世界，需要高逼真、沉浸感的3D場(chǎng)景構(gòu)建和渲染。舉個(gè)iMax 3D電影的例子，比如《戰(zhàn)斗天使阿麗塔》這部電影，其中阿麗塔高度擬真的視覺(jué)特效令人震撼，這樣以假亂真的渲染效果來(lái)源于巨大的算力消耗：主角13萬(wàn)根發(fā)絲每根都需要進(jìn)行單獨(dú)渲染，僅1幀畫(huà)面渲染就要耗費(fèi)100個(gè)小時(shí)，而元宇宙的渲染不僅只涉及一個(gè)虛擬人，還包括建筑、城市等其他元素，這需要巨量的圖形圖像計(jì)算支撐。
同時(shí)，元宇宙還會(huì)涉及到人機(jī)交互等AI應(yīng)用場(chǎng)景，由AI驅(qū)動(dòng)的數(shù)字人往往需要結(jié)合語(yǔ)音識(shí)別、NLP、DLRM等AI算法從而實(shí)現(xiàn)交互能力，這些模型的背后需要強(qiáng)大的AI算力來(lái)支撐其訓(xùn)練和推理需求。
可以看到，要構(gòu)建高度擬真的數(shù)字世界并實(shí)現(xiàn)數(shù)億用戶實(shí)時(shí)交互的"元宇宙"，當(dāng)前面臨著場(chǎng)景規(guī)模大、場(chǎng)景復(fù)雜度高，以及多設(shè)計(jì)師和多部門(mén)協(xié)作、極高逼真數(shù)字元素制作，實(shí)時(shí)渲染、仿真和交互等諸多挑戰(zhàn)，并對(duì)支撐元宇宙構(gòu)建和運(yùn)轉(zhuǎn)的核心源動(dòng)力 -- 算力提出更高的要求。這種要求不僅僅是高性能、低延遲、易擴(kuò)展的硬件平臺(tái)，還有端到端、生態(tài)豐富、高易用的軟件棧。
浪潮元宇宙服務(wù)器MetaEngine
浪潮元宇宙服務(wù)器MetaEngine正是為滿足這些苛刻要求而設(shè)計(jì)的軟硬一體化基礎(chǔ)設(shè)施。
作為元宇宙生態(tài)的底層算力支撐平臺(tái)，MetaEngine將承載元宇宙構(gòu)建和運(yùn)行所需的技術(shù)和工具，提供對(duì)AI、渲染、仿真、建模等負(fù)載的算力支持，滿足元宇宙創(chuàng)建所需的"協(xié)同創(chuàng)建、實(shí)時(shí)渲染、高精仿真、智能交互"4大作業(yè)環(huán)節(jié)的不同類型算力需求，并通過(guò)高速、無(wú)阻塞的網(wǎng)絡(luò)信道，按需擴(kuò)展至大規(guī)模算力集群。浪潮元宇宙服務(wù)器結(jié)合業(yè)界最強(qiáng)軟硬件生態(tài)，協(xié)同優(yōu)化加速數(shù)字孿生世界構(gòu)建，為用戶打造高效的元宇宙協(xié)同開(kāi)發(fā)體驗(yàn)。單臺(tái)元宇宙服務(wù)器即可支持256位元宇宙架構(gòu)師協(xié)同創(chuàng)作，每秒AIGC 2000個(gè)數(shù)字場(chǎng)景，1000位VR/AR用戶共享10K超高清3D數(shù)字世界順暢體驗(yàn)。
元宇宙服務(wù)器產(chǎn)品方案架構(gòu)
在硬件上，MetaEngine采用浪潮領(lǐng)先的異構(gòu)加速服務(wù)器的旗艦系統(tǒng)，支持最先進(jìn)的CPU和GPU，具有強(qiáng)大的RDMA通信和數(shù)據(jù)存儲(chǔ)能力，支持強(qiáng)大的渲染和AI計(jì)算能力。
在軟件上，可以支持對(duì)應(yīng)每個(gè)作業(yè)環(huán)節(jié)的各類專業(yè)軟件工具，用戶可以根據(jù)使用習(xí)慣靈活選擇，同時(shí)系統(tǒng)集成了NVIDIA Omniverse Enterprise，為用戶準(zhǔn)備了豐富的開(kāi)發(fā)套件，包括專門(mén)用于結(jié)構(gòu)、感知、控制仿真的Simulation SDKs，用于渲染、實(shí)時(shí)光追、AI降噪的SDKs，用戶可以通過(guò)Kit功能將這些不同的SDK進(jìn)行模塊化的組合，快速完成定制化App或者微服務(wù)的開(kāi)發(fā)，當(dāng)然這里已經(jīng)為用戶準(zhǔn)備好了一些廣泛適用的App比如用于建模和渲染的Create，用于可視化的View，更為重要的是，用戶通過(guò)App開(kāi)發(fā)的內(nèi)容可以通過(guò)數(shù)據(jù)庫(kù)和協(xié)作引擎NUCLEUS，建模工具互聯(lián)插件CONNECT與第三方專業(yè)軟件工具無(wú)縫連接，目前CONNECT已經(jīng)提供了20多種Plugins，支持與3DS MAX、UE、MAYA等軟件互聯(lián)。
MetaEngine的目標(biāo)是構(gòu)建一個(gè)端到端、生態(tài)豐富和高易用的協(xié)作平臺(tái)，為用戶打造一站式元宇宙開(kāi)發(fā)體驗(yàn)。
MetaEngine全面支持Omniverse
當(dāng)前，MetaEngine已經(jīng)全面支持英偉達(dá)的Omniverse Enterprise，將高性能 GPU 的圖形計(jì)算、AI計(jì)算與高速存儲(chǔ)訪問(wèn)、低延遲網(wǎng)絡(luò)和精確計(jì)時(shí)相結(jié)合，是一個(gè)數(shù)據(jù)中心級(jí)的軟硬一體解決方案，專用于為大規(guī)模數(shù)字孿生提供算力和應(yīng)用支持，以實(shí)時(shí)創(chuàng)建和運(yùn)行非常復(fù)雜的模型和逼真的仿真環(huán)境。
目前的MetaEngine元宇宙服務(wù)器集成A40的專業(yè)GPU，CX6 Dx高速網(wǎng)卡，并與企業(yè)級(jí)管理和編排軟件相結(jié)合，為用戶準(zhǔn)備了豐富的建模、渲染、仿真套件。同時(shí)，可以將32臺(tái)MetaEngine組合成為1個(gè)集群式的可擴(kuò)展單元，多個(gè)可擴(kuò)展單元可以繼續(xù)橫向擴(kuò)展組成更大規(guī)模集群，可提供非凡的計(jì)算性能和超高的網(wǎng)絡(luò)帶寬，滿足工廠、城市乃至更大規(guī)模復(fù)雜仿真和實(shí)時(shí)數(shù)字孿生的需求。
在這里，我也將為大家分享如何用浪潮MetaEnigne創(chuàng)建數(shù)字孿生和虛擬人。
MetaEngine創(chuàng)建數(shù)字孿生
首先，以新品設(shè)計(jì)、流水線調(diào)度生產(chǎn)、上市為例，談一談MetaEngine如何創(chuàng)建運(yùn)行數(shù)字孿生，來(lái)優(yōu)化工作流，提高生產(chǎn)效率。當(dāng)生產(chǎn)及需求達(dá)到一定規(guī)模時(shí)，生產(chǎn)、配送、分揀的過(guò)程就成為了一個(gè)系統(tǒng)工程性問(wèn)題，如飲料、汽車等各行業(yè)的大規(guī)模制造公司。使用數(shù)字孿生讓虛擬世界的高精仿真代替現(xiàn)實(shí)世界的運(yùn)行，在產(chǎn)品設(shè)計(jì)生產(chǎn)、調(diào)配之前，模擬其過(guò)程取得物理裝置最優(yōu)的參數(shù)配置，提高效率贏得市場(chǎng)。
如何建造一個(gè)流水線上的數(shù)字孿生？MetaEngine提供元宇宙構(gòu)建所需的多元算力和Omniverse組件，為構(gòu)建和運(yùn)行該數(shù)字孿生提供基礎(chǔ)能力。
首先是在線建模，按照1：1數(shù)字模型創(chuàng)建工廠的建筑、流水線等生產(chǎn)交付全過(guò)程。Connect組件提供20多個(gè)第三方建模軟件的連接插件，允許用戶使用第三方建模工具接入?yún)f(xié)同建模，Omniverse使用統(tǒng)一數(shù)據(jù)格式USD與第三方建模軟件（SketchUp/Revit）進(jìn)行數(shù)據(jù)交互，Nucleus數(shù)據(jù)庫(kù)提供多人數(shù)據(jù)管理功能，允許多用戶同時(shí)修改可視化、渲染3D-USD文件。
高精仿真階段使用Simulation組件仿真新產(chǎn)品的材質(zhì)及物理屬性，根據(jù)高逼真的虛擬物品，使用Replicator完成仿真環(huán)境的部署、搭建。Omniverse豐富的材質(zhì)庫(kù)可以為設(shè)計(jì)模擬物品，提供更好的逼真度，配合使用物理仿真、動(dòng)畫(huà)制作的軟件（Ansys/Houdini）可以完成整個(gè)流水線和物品的高精仿真；Replicator組件則根據(jù)仿真結(jié)果生成AI模型訓(xùn)練需要的合成數(shù)據(jù)環(huán)境。
實(shí)時(shí)渲染階段，使用Renderer組件對(duì)仿真環(huán)境中的材質(zhì)、光照條件實(shí)時(shí)渲染畫(huà)面，生成用于訓(xùn)練AI模型的合成數(shù)據(jù)。根據(jù)合成數(shù)據(jù)在MetaEngine中訓(xùn)練我們的AI視覺(jué)模型，提供物理實(shí)體及流水線流程的監(jiān)控及理解。
智能交互階段，將在MetaEngine中訓(xùn)練完成的AI模型部署于物理環(huán)境與虛擬環(huán)境，虛擬環(huán)境中的AI推理指導(dǎo)物理實(shí)體行為，物理環(huán)境中實(shí)際反應(yīng)再返回虛擬環(huán)境指導(dǎo)模型融合訓(xùn)練。虛擬世界中如檢測(cè)到畫(huà)面中的擁堵或者空閑，可以反饋到物理流水線改變作業(yè)狀態(tài)，反之物理流水線上真實(shí)的結(jié)果可以生成真實(shí)數(shù)據(jù)繼續(xù)更新AI模型。
MetaEngine創(chuàng)建虛擬數(shù)字人
我們?cè)僖愿弑普娴慕换バ吞摂M數(shù)字人的制作及使用為例，依然按照"協(xié)作建模---高精仿真---實(shí)時(shí)渲染---智能交互"的作業(yè)流程來(lái)看如何用MetaEngine創(chuàng)建虛擬人。
首先可以使用UE Metahuman/CHARACTER CREATOR配合Omniverse Nucleus/Connect進(jìn)行3D人物形象及人臉建模。然后通過(guò)高精仿真，讓虛擬數(shù)字人更加自然、真切的與我們交流，比如對(duì)毛發(fā)的模擬，12萬(wàn)根毛發(fā)如何在風(fēng)中飛舞，這得需要強(qiáng)大的算力支撐，還需要借助AI模型生成逼真的手勢(shì)和面部表情。
再就是實(shí)時(shí)渲染，MetaEngine中的Omniverse RTX Renderer可以提供實(shí)時(shí)渲染能力，讓人物動(dòng)畫(huà)及其場(chǎng)景實(shí)時(shí)立體地展示在我們面前，通過(guò)屏幕或XR設(shè)備進(jìn)行溝通交流。
最后是智能交互使用，這塊需要有大量的AI模型提供支撐，把整個(gè)智能交互的流程放大來(lái)看。用戶首先通過(guò)語(yǔ)音和視頻分別通過(guò)ASR 和 Vision AI模型進(jìn)行推理，得到文本及視頻動(dòng)作理解；將文本、動(dòng)作理解融合送入的NLP語(yǔ)言模型如源1.0生成語(yǔ)言文本，再將語(yǔ)言文本轉(zhuǎn)化為語(yǔ)音或動(dòng)作語(yǔ)言表述，通過(guò)TTS模型將文本轉(zhuǎn)化為語(yǔ)音，語(yǔ)音驅(qū)動(dòng)Avatar制作的虛擬數(shù)字人，產(chǎn)生面部行為（audio2face應(yīng)用）動(dòng)作手勢(shì)（audio2gesture），并通過(guò)RTX Renderer實(shí)時(shí)渲染能力生成動(dòng)畫(huà)視頻作為輸出與用戶交互。
當(dāng)然，元宇宙不僅只有數(shù)字孿生和虛擬人。元宇宙要實(shí)時(shí)地映射現(xiàn)實(shí)世界，在元宇宙中再現(xiàn)工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)、社會(huì)、經(jīng)濟(jì)、文化、城市、鄉(xiāng)村、地球等現(xiàn)實(shí)世界，用戶"身臨其境"地在其中社交、娛樂(lè)、會(huì)議、協(xié)作、旅游、購(gòu)物、教育，所有人都可以在其中互動(dòng)，要達(dá)到這樣的目標(biāo)，還有很長(zhǎng)的路要去走，需要不斷探索和發(fā)現(xiàn)更有效率的實(shí)現(xiàn)元宇宙的創(chuàng)新技術(shù)和方案。
如同發(fā)展汽車產(chǎn)業(yè)需要高速公路一樣，汽車是應(yīng)用，公路是基礎(chǔ)設(shè)施，元宇宙也需要基礎(chǔ)設(shè)施。MetaEngine元宇宙服務(wù)器即是浪潮為加速元宇宙產(chǎn)業(yè)提出的算力基礎(chǔ)設(shè)施。
