omniture

七牛云存儲:三年磨一劍及背后核心技術(shù)解析

2014-11-20 13:24 8742
七牛云存儲CTO韓拓表示當(dāng)下IssS和PaaS的邊界已經(jīng)模糊化,客戶變得更加理性,他們更加關(guān)注云存儲產(chǎn)品帶給他們的實(shí)際價值。在這樣的市場態(tài)勢下,七牛以數(shù)據(jù)為自己的核心價值,并圍繞數(shù)據(jù)這個主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺等業(yè)務(wù)。

上海2014年11月20日電 /美通社/ -- 談及七牛的定位,七牛云存儲CTO韓拓表示當(dāng)下IssS和PaaS的邊界已經(jīng)模糊化,客戶變得更加理性,他們更加關(guān)注云存儲產(chǎn)品帶給他們的實(shí)際價值。在這樣的市場態(tài)勢下,七牛以數(shù)據(jù)為自己的核心價值,并圍繞數(shù)據(jù)這個主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺等業(yè)務(wù)。

從2011年成立以來,七牛目前累計(jì)擁有15萬企業(yè)和開發(fā)者客戶,而談到七牛的優(yōu)勢,他表示對業(yè)務(wù)的專注、雄厚的技術(shù)實(shí)力、獨(dú)特的產(chǎn)品風(fēng)格以及良好的服務(wù)意識是七牛成功的關(guān)鍵。七牛目前的100多名員工中,技術(shù)崗位占一半以上,核心技術(shù)團(tuán)隊(duì)來自金山、盛大云、百度等公司,其多數(shù)據(jù)中心的廣域網(wǎng)分布式架構(gòu),雙數(shù)據(jù)中心間的互備,低成本、高可用性的冗余算法等核心技術(shù)都是七牛在云存儲領(lǐng)域不斷打磨、優(yōu)化而來,他坦言,七牛自成立三年以來,可以說只做了一件事那就是存儲。本文來自對韓拓的采訪整理。

七牛云存儲CTO韓拓
七牛云存儲CTO韓拓

七牛的團(tuán)隊(duì)、定位、用戶規(guī)模

CSDN:首先介紹下自己和七牛,目前的技術(shù)團(tuán)隊(duì)情況?

韓拓:我2007年畢業(yè)后的第一份工作在金山軟件,進(jìn)入當(dāng)時剛剛成立的金山實(shí)驗(yàn)室,主要參與分布式存儲系統(tǒng)的研究和實(shí)踐。2008年金山開始金山快盤項(xiàng)目,我?guī)ьI(lǐng)存儲團(tuán)隊(duì)主導(dǎo)了快盤第一版存儲系統(tǒng)的設(shè)計(jì)、研發(fā)與上線。之后我到上海,加入一個網(wǎng)絡(luò)游戲的創(chuàng)業(yè)團(tuán)隊(duì),全面參與游戲服務(wù)端架構(gòu)、開發(fā)和3D渲染方面的工作。2011年七牛云存儲成立,我有幸在創(chuàng)業(yè)之初加入,參與七牛云存儲的產(chǎn)品設(shè)計(jì)、研發(fā)和運(yùn)維,并在七牛工作至今。

七牛目前有100多名員工,技術(shù)崗位占一半以上,按產(chǎn)品和職能分為10余個部門,核心技術(shù)團(tuán)隊(duì)來自金山云、盛大云、百度等公司。從創(chuàng)業(yè)至今七牛已經(jīng)走過3年,這3年里我們打造了國內(nèi)領(lǐng)先的云存儲產(chǎn)品,得到了15萬的企業(yè)和開發(fā)者的信任,并成為他們的云存儲提供商,日上傳文件數(shù)億個,獨(dú)立的活躍IP數(shù)已經(jīng)覆蓋了中國一半的網(wǎng)民。

CSDN:你覺得目前國內(nèi)外云存儲市場態(tài)勢是什么樣的?七牛在其中的定位是什么?

韓拓:自Amazon推出AWS產(chǎn)品以來,云存儲的市場一直在快速發(fā)展,隨著云存儲產(chǎn)品易用性和品質(zhì)的不斷提升、成本的不斷下降,已有越來越多的企業(yè)選擇使用云存儲構(gòu)建自己的業(yè)務(wù),或使用云存儲替代原有的傳統(tǒng)存儲方案,尤其在最近1年,隨著傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)化,我們觀察到云存儲的市場容量在非常迅速的擴(kuò)大,我們相信隨著這波變革的浪潮,云存儲的市場會到達(dá)爆發(fā)的臨界點(diǎn)。

從產(chǎn)品來說,云存儲的產(chǎn)品形態(tài)發(fā)展到今天,與2007年左右這個概念剛剛興起時已有很大不同,一方面市場上出現(xiàn)了很多基于云存儲的PaaS產(chǎn)品,讓開發(fā)者可以更便利的使用云存儲,另一方面IaaS廠商也在不斷上浮,推出了很多更有針對性、更垂直化的產(chǎn)品,從今天的市場態(tài)勢看,IssS和PaaS的邊界已經(jīng)模糊化,客戶也變得更加理性,他們更加關(guān)注云存儲產(chǎn)品帶給他們的實(shí)際價值,這些都是云存儲真正落地,成為全球范圍被廣泛認(rèn)可的IT基礎(chǔ)設(shè)施的信號。

在這樣的市場態(tài)勢下,七牛以數(shù)據(jù)為自己的核心價值,并圍繞數(shù)據(jù)這個主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺等業(yè)務(wù),接管數(shù)據(jù)產(chǎn)生、上傳、存儲、處理分析、下載等全部流程,力求為企業(yè)提供全生命周期的數(shù)據(jù)管理服務(wù)。

七牛的產(chǎn)品應(yīng)用場景非常廣泛,可以說所有涉及到非結(jié)構(gòu)化數(shù)據(jù)存儲的場景都可以使用七牛,如圖片、視頻類的APP、靜態(tài)網(wǎng)站或網(wǎng)站的靜態(tài)數(shù)據(jù)、UGC類的業(yè)務(wù)、在線教育、視頻監(jiān)控、直播、SNS、音樂類業(yè)務(wù)、備份和冷數(shù)據(jù)存儲、網(wǎng)盤等等。

CSDN:七牛目前的用戶規(guī)模如何,有哪些重量級的客戶?

韓拓:如剛才所說,七牛目前有15萬企業(yè)和開發(fā)者客戶,新增客戶大概幾百到上千不等,其實(shí)不乏一些重量級和明星企業(yè),如美圖、camer360、窮游、???、豌豆莢、陌陌等。站在客戶的角度,我們能為他們提供:

首先成本方面,一個是降低開發(fā)成本,企業(yè)不必再自己研發(fā)一套存儲系統(tǒng)了;一個是降低運(yùn)維成本,托管式的云存儲完成免運(yùn)維;一個是硬件的沉沒成本,按需付費(fèi),一次性的投入小,非常適合中小企業(yè)和大企業(yè)中剛剛起步的業(yè)務(wù)。

其次收益方面,使用更專業(yè)的服務(wù),可以增強(qiáng)數(shù)據(jù)可靠性和可用性,提升上傳下載速度,可以方便的使用七牛周邊的數(shù)據(jù)處理、自定義計(jì)算、數(shù)據(jù)統(tǒng)計(jì)、報表等服務(wù),這些都為開發(fā)者提供了極大的便利。

核心優(yōu)勢

CSDN:云存儲一直是國內(nèi)外云巨頭的必爭之地,你覺得七牛在云存儲領(lǐng)域的優(yōu)勢體現(xiàn)在哪些方面?

韓拓:我們的優(yōu)勢可以從幾個方面來談:

第一是專注。國內(nèi)外涉足云存儲產(chǎn)品的巨頭很多,但是像七牛這樣專注在這個領(lǐng)域的公司非常少。存儲是一個很大的話題,想做好、做深不容易,需要投入大量的時間和精力,需要有足夠的耐心,不斷去打磨、優(yōu)化,需要耐得住寂寞,不被外界的誘惑所打擾,做很多看似枯燥實(shí)則非常有價值的前研性的學(xué)術(shù)研究和探索。七牛在這方面做得非常好,我們成立三年來,可以說只做了一件事就是存儲,所以在存儲這個領(lǐng)域,我們才能做到有百分之一百的自信,絕不輸給任何行業(yè)巨頭。

還有一點(diǎn)是技術(shù)實(shí)力。我們的核心團(tuán)隊(duì)是國內(nèi)較早研究分布式存儲的一批人,在這個領(lǐng)域已經(jīng)摸爬滾打很多年,也為不同的業(yè)務(wù)做過了很多次的存儲系統(tǒng),所以我們對存儲系統(tǒng)的設(shè)計(jì)和研發(fā)都積累了非常多的經(jīng)驗(yàn)。得益于這些經(jīng)驗(yàn),在七牛創(chuàng)建之初,我們可以用三個月的時間就上線第一版的產(chǎn)品,在之后的三年里,我們做到平均每周產(chǎn)品更新兩、三次,通過這三年的技術(shù)積累,不斷迭代、打磨,自然形成了在市場上極具優(yōu)勢的產(chǎn)品。

第三點(diǎn)優(yōu)勢我認(rèn)為是七牛獨(dú)特的做產(chǎn)品的風(fēng)格。云存儲是一個比較抽象的產(chǎn)品,它的界面就是各種API,從這個角度來看,云存儲的產(chǎn)品不好把握,在這個問題上,七牛有一套自己獨(dú)特的方法論:用戶需求驅(qū)動產(chǎn)品迭代。剛才提到,在七牛創(chuàng)建之初,我們用三個月的時間上線了第一版產(chǎn)品,這一版的產(chǎn)品很簡單,只提供最普通的上傳、下載功能,在這一版本產(chǎn)品基礎(chǔ)上,我們引入種子客戶,客戶在使用過程中通常會提出自己獨(dú)特的需求,,我們會用較快的速度響應(yīng)這些需求,將需求抽象化,并在產(chǎn)品中實(shí)現(xiàn),這個時間非常快,通常是兩、三天就可以上線,在這個過程中,產(chǎn)品會自然而然的得到完善。隨著產(chǎn)品的完善,會引來更多的客戶,更多的客戶會帶來更多的需求,幫助我們更加完善自己的產(chǎn)品,這是一個非常好的良性循環(huán)。對產(chǎn)品的審美,我們從不妄自菲薄,也不會主觀自大,而是一切跟隨需求而動,這個方法論沿用至今,幫助七牛的產(chǎn)品在市場上一直處于領(lǐng)先地位。

第四點(diǎn)我想談?wù)劮?wù)意識。云存儲的核心世界觀我認(rèn)為是托管二字,“托管”中的“管”字其實(shí)就是指服務(wù),所以服務(wù)意識是運(yùn)營一個云存儲業(yè)務(wù)核心的要素之一。七牛一直很重視對客戶的服務(wù),從創(chuàng)業(yè)之初起,我們就建立了7*24小時的技術(shù)支持、運(yùn)維、開發(fā)聯(lián)動的客戶支持體系,做到第一時間響應(yīng)并處理客戶的問題,對于重要問題,CEO和其它高管甚至?xí)H自提供一對一的客戶服務(wù),對于需要幫助的中小企業(yè)和初創(chuàng)企業(yè),我們的架構(gòu)師還會深入了解對方的架構(gòu),并提供對應(yīng)的架構(gòu)建議和接入方案。良好的服務(wù)意識彌補(bǔ)了一些產(chǎn)品上的死角,使七牛真正成為企為貼心的數(shù)據(jù)管家,我認(rèn)為這也是我們能夠領(lǐng)先于其它云存儲廠商很關(guān)鍵的一點(diǎn)原因。

技術(shù)架構(gòu)

CSDN:注意到你們在云存儲領(lǐng)域擁有國內(nèi)先進(jìn)的全分布式架構(gòu)以及存儲技術(shù),能否分享一下你們在這方面使用到的一些技術(shù),架構(gòu)和實(shí)踐經(jīng)驗(yàn)?

韓拓:在技術(shù)上我們引以為豪的點(diǎn)有很多,我選幾個大家容易理解的舉例。

第一個是多數(shù)據(jù)中心的廣域網(wǎng)分布式架構(gòu)。七牛使用多數(shù)據(jù)中心技術(shù)有兩個目的:一個是多數(shù)據(jù)中心的存儲,一個是多數(shù)據(jù)中心的上傳、下載加速。七牛在全國有數(shù)個核心的存儲機(jī)房,這些機(jī)房的規(guī)模都比較大,用于存儲客戶的數(shù)據(jù),客戶可以根據(jù)自己的業(yè)務(wù)特點(diǎn),主動選擇一個或多個存儲機(jī)房使用,或者不關(guān)心多存儲機(jī)房的架構(gòu),完全交給七牛的系統(tǒng)來調(diào)度數(shù)據(jù),這個技術(shù)給客戶提供了較大的靈活性,比如網(wǎng)盤類的業(yè)務(wù),本地化特征非常明顯,終端用戶通常在只同一個城市上傳和下載,這時我們就可以支持不同區(qū)域的端終使用不同區(qū)域的存儲機(jī)房,如北京的客戶端使用北京的存儲機(jī)房存儲,上海的客戶端使用上海的存儲機(jī)房存儲,這樣數(shù)據(jù)存放的位置與使用的位置最近,獲得較好的上傳、下載速度。還有一類業(yè)務(wù)無顯示的地域特征,比如微博類的分享應(yīng)用,數(shù)據(jù)上傳和下載的位置通常不在一起,數(shù)據(jù)由客戶自己調(diào)度就顯得很麻煩,這時就可以使用七牛的系統(tǒng)來調(diào)度數(shù)據(jù),而不關(guān)心數(shù)據(jù)具體存于哪個機(jī)房。我們會將數(shù)據(jù)先存放到離上傳最近的機(jī)房,然后根據(jù)讀取情況異步將數(shù)據(jù)智能調(diào)度到其它機(jī)房,包括與CDN合作建設(shè)的數(shù)百個加速節(jié)點(diǎn),以獲得較好的訪問題速度。

另一個有意思的是雙數(shù)據(jù)中心間的互備。將數(shù)據(jù)存放于一個數(shù)據(jù)中心內(nèi)的風(fēng)險很大,如果數(shù)據(jù)中心斷電、斷網(wǎng),會造成數(shù)據(jù)的不可用,如果一個數(shù)據(jù)中心發(fā)生災(zāi)難性事故,還可能會造成數(shù)據(jù)丟失,所以七牛使用了雙數(shù)據(jù)中心的互備技術(shù)。我們將兩個數(shù)據(jù)中心用裸光纖互聯(lián),當(dāng)用戶上傳文件到某個數(shù)據(jù)中心時,系統(tǒng)異步將文件數(shù)據(jù)和相關(guān)原數(shù)據(jù)同步到與之互備的另一數(shù)據(jù)中心,這樣當(dāng)一個數(shù)據(jù)中心故障時,我們會根據(jù)故障的級別啟用不同的應(yīng)急預(yù)案,將請求切換到與之互備的數(shù)據(jù)中心。

還有一個很重要的是低成本、高可用性的冗余算法。在技術(shù)上存儲系統(tǒng)的核心訴求是成本和可靠性,而這兩者又是一對矛盾,想降低丟失數(shù)據(jù)的風(fēng)險,勢必要增加每份數(shù)據(jù)拷貝的份數(shù),而增加每份數(shù)據(jù)拷貝的份數(shù),又勢必增加成本,七牛使用EC冗余算法來平衡這對矛盾。這個算法將一份數(shù)據(jù)拆分成M份,并將這M份數(shù)據(jù)代入一個多元線性方程組,算出N份校驗(yàn)數(shù)據(jù),然后將這M+N份數(shù)據(jù)存儲,在存儲下來的M+N份數(shù)據(jù)中,有任何一份或多份數(shù)據(jù)損壞,我們都可以通過這個多元線性方程組將損壞的數(shù)據(jù)算回,由這個原理我們很容易得到一個結(jié)論,使用EC冗余算法的系統(tǒng)最多支持N份數(shù)據(jù)損毀而不丟失數(shù)據(jù),七牛使用了一些自己獨(dú)有的技術(shù),將M和N都做到比較大的數(shù)值,M又遠(yuǎn)遠(yuǎn)大于N,使得系統(tǒng)的備份數(shù)非常低 — (M+N)/M (M遠(yuǎn)大于N),而可靠性又非常高 — 可同時損壞N份數(shù)據(jù)(N也是較大的數(shù)值)。

安全保證

CSDN:尤其是企業(yè)級客戶對安全的重視可以說是零容忍,你們?nèi)绾伪WC?

韓拓:企業(yè)對安全的訴求通常是兩方面,一是數(shù)據(jù)不丟失,二是數(shù)據(jù)不泄漏。在數(shù)據(jù)不丟失方面,我前面講過七牛使用EC冗余算法,獲得了極高的數(shù)據(jù)可靠性,并在此基礎(chǔ)上又引入雙數(shù)據(jù)中心互備來避免單機(jī)房災(zāi)難性事故,通過這些努力,七牛做到保護(hù)企業(yè)的數(shù)據(jù)零丟失。

在數(shù)據(jù)不泄漏方面,一方面七牛通過防火墻、堡壘機(jī)、安全審計(jì)、告警機(jī)制,內(nèi)外網(wǎng)DMZ隔離、文件數(shù)據(jù)打散存儲、元數(shù)據(jù)與文件數(shù)據(jù)分離存儲等技術(shù)和手段保證安全,另一方面七牛加強(qiáng)內(nèi)部人員和流程管理,任何內(nèi)部人員的操作都通過嚴(yán)格的授權(quán)和審計(jì),確保內(nèi)部工作人員無法接觸到生產(chǎn)系統(tǒng)的數(shù)據(jù)。

Photo - http://photos.prnasia.com/prnh/20141120/0861408724

消息來源:七牛云存儲
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection