omniture

浪潮:打卡了解Venus 詳解這款OpenStack日志管理項(xiàng)目

2021-05-24 17:06 5377

北京2021年5月24日 /美通社/ -- Venus是什么?初見(jiàn)還要追溯到去年11月召開(kāi)的浪潮云海創(chuàng)新論壇2020。會(huì)上不僅分享了浪潮云海對(duì)于前沿科技的創(chuàng)新洞見(jiàn)以及扎實(shí)可靠的落地實(shí)踐,更重要的是TA,一個(gè)開(kāi)源并貢獻(xiàn)社區(qū)的OpenStack日志管理項(xiàng)目,被稱為Venus。

伴隨OpenStack技術(shù)發(fā)展愈發(fā)成熟,全球75個(gè)公有云、數(shù)以千計(jì)的私有云都在使用,累計(jì)部署了超過(guò)1000萬(wàn)個(gè)計(jì)算核心,確然成為行業(yè)大中型私有云建設(shè)的首選。

為應(yīng)對(duì)行業(yè)中大型云建設(shè)的剛需,主要表現(xiàn)為節(jié)點(diǎn)規(guī)模部署環(huán)境逐漸走向大規(guī)模,涉及到的功能模塊層出不窮,尤其是各種日志類型更是紛繁復(fù)雜?!昂A俊⒎倍?、分散……無(wú)論是格式還是位置都讓運(yùn)維人員在服務(wù)器上很難通過(guò)日志排查發(fā)現(xiàn)問(wèn)題?!崩顺痹坪Q邪l(fā)團(tuán)隊(duì)表示。

更重要的一點(diǎn),當(dāng)系統(tǒng)發(fā)生故障或者出現(xiàn)性能瓶頸時(shí),經(jīng)常需要各種類型日志通過(guò)串聯(lián)才能定位故障原因或者找出導(dǎo)致系統(tǒng)性能瓶頸的線索才行,但OpenStack平臺(tái)的調(diào)用多為分布式調(diào)用,日志的串聯(lián)簡(jiǎn)直難出天際。綜合考量,浪潮云海實(shí)力推出統(tǒng)一日志管理項(xiàng)目Venus,主要還是取決于大規(guī)模部署條件下,針對(duì)OpenStack平臺(tái)在日志存儲(chǔ)、檢索、分析等方面的核心需求。

貢獻(xiàn)社區(qū)的Venus具體能做啥?

總體來(lái)說(shuō),Venus可以做到一站式滿足日志的采集、清洗、索引、分析、告警、可視化、生成報(bào)告等需求,幫助運(yùn)維人員快速檢索問(wèn)題,掌握平臺(tái)的運(yùn)行健康度,并在未來(lái)計(jì)劃引用機(jī)器學(xué)習(xí)算法,快速定位IT故障及根因,提高運(yùn)維效率以及平臺(tái)管理的水平。 簡(jiǎn)單來(lái)說(shuō)在檢索工作上,主要提供了簡(jiǎn)單易用的檢索方式,可以做到檢索一切日志數(shù)據(jù),定位日志上下文;分析上主要實(shí)現(xiàn)日志關(guān)聯(lián)、字段數(shù)值統(tǒng)計(jì),提供多場(chǎng)景、多維度的可視化分析報(bào)表;告警層面則將搜索轉(zhuǎn)化為主動(dòng)告警,實(shí)現(xiàn)海量日志中錯(cuò)誤的“大海撈針”;定位主要是通過(guò)建立知識(shí)圖譜和調(diào)用的鏈?zhǔn)疥P(guān)系,結(jié)合算法實(shí)現(xiàn)故障的快速定位。

以日志預(yù)處理為例。對(duì)于日志數(shù)據(jù),OpenStack社區(qū)從開(kāi)始開(kāi)發(fā)就制定了嚴(yán)格的日志規(guī)范,大部分模塊都遵守此規(guī)范,即社區(qū)規(guī)定的日志格式為<時(shí)間戳><日志等級(jí)><代碼模塊><Request ID><日志內(nèi)容><源代碼位置> 。對(duì)于此種日志很容易進(jìn)行預(yù)處理,拆分成多種維度進(jìn)行索引,如下圖所示。


通常OpenStack日志索引的維度主要包括時(shí)間維度、主機(jī)維度、用戶維度(用戶id)、租戶維度(租戶id)、級(jí)別維度(info、warning、error等)、組件維度(nova_api、nova_compute等)、python_module(neutron.wsgi、nova.osapi_comput.wsgi.server等)、日志文件名(nova、neutron等)、API status(200、404等)、API type(GET、POST等)、API time等,但也有部分原生模塊的日志記錄并不規(guī)范,浪潮的OpenStack對(duì)其全部進(jìn)行了規(guī)范化處理。
如此看來(lái)開(kāi)源到OpenStack社區(qū)的Venus項(xiàng)目現(xiàn)已具備基本的日志分析處理功能,總結(jié)一下,主要功能為:

  • 全文/多維度檢索:針對(duì)全文或已索引維度進(jìn)行關(guān)鍵詞檢索(可模糊匹配)
  • 多維度統(tǒng)計(jì)/展示: 對(duì)已索引的一個(gè)或多個(gè)維度的日志條數(shù)進(jìn)行統(tǒng)計(jì)并展示
  • 典型錯(cuò)誤分析: 集成典型的錯(cuò)誤分析,例如mariadb連接錯(cuò)誤等
  • 錯(cuò)誤日志告警:當(dāng)周期內(nèi)錯(cuò)誤日志條數(shù)超過(guò)閾值,進(jìn)行告警并通知
  • 調(diào)用鏈分析:對(duì)系統(tǒng)中的調(diào)用,根據(jù)global_requestid進(jìn)行流程分析
  • API執(zhí)行狀態(tài)/耗時(shí):對(duì)記錄API調(diào)用狀態(tài)的模塊,可以統(tǒng)計(jì)API執(zhí)行的狀態(tài)和時(shí)間消耗

從實(shí)踐層面看,浪潮云海每年都會(huì)對(duì)自研OpenStack產(chǎn)品進(jìn)行為期1個(gè)月到2個(gè)月的大規(guī)模測(cè)試,這是一個(gè)測(cè)試、調(diào)優(yōu)、測(cè)試環(huán)節(jié)不斷循環(huán)的過(guò)程,而支撐這個(gè)過(guò)程快速完成的除了監(jiān)控系統(tǒng),還有日益成熟的日志系統(tǒng),以2020年1000節(jié)點(diǎn)大規(guī)模測(cè)試為例:

測(cè)試過(guò)程中,報(bào)錯(cuò)LOG可視化快速展現(xiàn),從而了解各組件的報(bào)錯(cuò)信息,具體如下:


測(cè)試過(guò)程中出現(xiàn)過(guò)RABBITMQ掛掉的情況,可通過(guò)RABBITMQ的連接錯(cuò)誤告警,可以做進(jìn)一步的數(shù)據(jù)分析,詳情如下:


表現(xiàn)出挑的Venus,整體的技術(shù)架構(gòu)又如何?

浪潮云海技術(shù)研發(fā)團(tuán)隊(duì)稱,日志管理模塊Venus以efk為基礎(chǔ),總體架構(gòu)如圖:


  • 采集端:開(kāi)發(fā)了基于fluentd的采集任務(wù),針對(duì)OpenStack、操作系統(tǒng)、平臺(tái)服務(wù)等日志開(kāi)發(fā)了讀取、過(guò)濾、格式化、發(fā)送等插件,并且用戶可以按需配置
  • 日志存儲(chǔ):采集并格式化后日志索引至elasticsearch集群中,ES提供副本機(jī)制,即使在某些服務(wù)器宕機(jī)后仍能正常工作,提高數(shù)據(jù)可用性
  • Ivenus_api:api、restapi服務(wù),提供更簡(jiǎn)潔、全面認(rèn)證的接口。將上層調(diào)用轉(zhuǎn)化為底層Elasticsearch的查詢,并對(duì)查詢的多維度索引數(shù)據(jù)進(jìn)行簡(jiǎn)單處理,同時(shí)將結(jié)果返回
  • Ivenus_manager:內(nèi)部定時(shí)任務(wù)模塊,開(kāi)發(fā)了可配置的定時(shí)任務(wù),主要包括:
    • 錯(cuò)誤分析任務(wù):各模塊錯(cuò)誤、mariadb連接錯(cuò)誤、rabbitmq連接錯(cuò)誤等縫隙任務(wù)
    • 通知告警任務(wù):針對(duì)不同時(shí)間、不同模塊的錯(cuò)誤日志條數(shù)設(shè)置閾值并提供告警服務(wù)和通知服務(wù)
    • 調(diào)用鏈任務(wù):根據(jù)global_requestid串聯(lián)開(kāi)發(fā)操作的調(diào)用鏈分析功能,可以展示調(diào)用的執(zhí)行順序、時(shí)間、錯(cuò)誤信息等并提供導(dǎo)出操作
    • 配置管理任務(wù):根據(jù)告警閾值設(shè)置、定時(shí)任務(wù)管理、日志保存時(shí)間設(shè)置等配置管理任務(wù)

未來(lái)的Venus,我們期望是這樣的!

Venus項(xiàng)目旨在打造一個(gè)開(kāi)放的OpenStack日志管理平臺(tái),集合廣大用戶在日志領(lǐng)域的需求和實(shí)踐,提供各場(chǎng)景日志分析并集成算法和知識(shí)圖譜實(shí)現(xiàn)故障的快速定位,構(gòu)建完備的日志運(yùn)維場(chǎng)景,未來(lái)Venus計(jì)劃如下:

  • 采集:除了fluentd,集成其他采集插件,例如logstash、flume等
  • 分析:探索更多運(yùn)維場(chǎng)景,對(duì)各場(chǎng)景關(guān)鍵數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和告警
  • 展現(xiàn):將venus的配置功能、分析功能、告警功能以插件形式集成到horizon
  • 定位:聚類日志、構(gòu)建知識(shí)圖譜;集成算法類庫(kù),對(duì)故障進(jìn)行根因定位

一直以來(lái),浪潮云海都通過(guò)對(duì)開(kāi)源開(kāi)放技術(shù)的攻堅(jiān),突破開(kāi)源版本在性能、大規(guī)模管理能力方面的瓶頸,秉承“源于開(kāi)源、饋于開(kāi)源”的理念助力業(yè)界共同構(gòu)建開(kāi)放統(tǒng)一的智能基礎(chǔ)設(shè)施,未來(lái)定會(huì)在此領(lǐng)域更多發(fā)力創(chuàng)造更多驚喜、取得更多成績(jī)。

消息來(lái)源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection