#新時(shí)代黃金賽道 低空經(jīng)濟(jì)發(fā)展正當(dāng)時(shí)
#我國(guó)部署建設(shè)10個(gè)國(guó)家數(shù)據(jù)要素綜合試驗(yàn)區(qū)
#2025年中國(guó)教育裝備展示會(huì)
扁平化管理:細(xì)數(shù)對(duì)象儲(chǔ)存發(fā)展?fàn)顩r
2013年02月22日 14:44:26來(lái)源:中國(guó)安防展覽網(wǎng)整理點(diǎn)擊量:1960
導(dǎo)讀對(duì)象存儲(chǔ)以對(duì)象ID為基礎(chǔ),扁平化的管理所有對(duì)象和桶,根據(jù)對(duì)象ID便可直接訪問(wèn)數(shù)據(jù),解決了NAS復(fù)雜的目錄樹(shù)結(jié)構(gòu)在海量數(shù)據(jù)情況下的數(shù)據(jù)查找耗時(shí)長(zhǎng)的問(wèn)題,這使得對(duì)象存儲(chǔ)具備極強(qiáng)的擴(kuò)展性,能夠輕松實(shí)現(xiàn)單一名字空間內(nèi)支持百億級(jí)文件的存儲(chǔ)。本文從對(duì)象儲(chǔ)存的需求、應(yīng)用、未來(lái)發(fā)展趨勢(shì)等方面探討對(duì)象儲(chǔ)存應(yīng)用狀況。
中國(guó)安防展覽網(wǎng)訊 對(duì)象存儲(chǔ)以對(duì)象ID為基礎(chǔ),扁平化的管理所有對(duì)象和桶,根據(jù)對(duì)象ID便可直接訪問(wèn)數(shù)據(jù),解決了NAS復(fù)雜的目錄樹(shù)結(jié)構(gòu)在海量數(shù)據(jù)情況下的數(shù)據(jù)查找耗時(shí)長(zhǎng)的問(wèn)題,這使得對(duì)象存儲(chǔ)具備極強(qiáng)的擴(kuò)展性,能夠輕松實(shí)現(xiàn)單一名字空間內(nèi)支持百億級(jí)文件的存儲(chǔ)。本文從對(duì)象儲(chǔ)存的需求、應(yīng)用、未來(lái)發(fā)展趨勢(shì)等方面探討對(duì)象儲(chǔ)存應(yīng)用狀況。
對(duì)象存儲(chǔ)需求分析
隨著互聯(lián)網(wǎng)、Web2.0的快速發(fā)展,Web應(yīng)用創(chuàng)建出數(shù)百億的小文件;人們上傳海量的照片、視頻、音樂(lè),F(xiàn)acebook每天都新增數(shù)十億條內(nèi)容,人們每天發(fā)送數(shù)千億封電子郵件。據(jù)IDC統(tǒng)計(jì)未來(lái)在10年間數(shù)據(jù)將增長(zhǎng)44倍,到2020年數(shù)據(jù)將增加到35ZB,其中80%是非結(jié)構(gòu)化數(shù)據(jù),且大部分是非活躍數(shù)據(jù)。
面對(duì)如此龐大的數(shù)據(jù)量,僅具備PB級(jí)擴(kuò)展能力的塊存儲(chǔ)(SAN)和文件存儲(chǔ)(NAS)顯得有些無(wú)能為力:通常塊存儲(chǔ)(SAN)的一個(gè)LUN容量?jī)H數(shù)TB。單個(gè)文件系統(tǒng)優(yōu)性能情況下支持的文件數(shù)量通常只在別。人們需要一種全新的架構(gòu)的存儲(chǔ)系統(tǒng),這種存儲(chǔ)系統(tǒng)需要具備極高的可擴(kuò)展性,能夠滿足人們對(duì)存儲(chǔ)容量TB到EB規(guī)模的擴(kuò)展的需求。
對(duì)象存儲(chǔ)應(yīng)用場(chǎng)景
對(duì)象存儲(chǔ)系統(tǒng)的出現(xiàn)主要是為了滿足數(shù)據(jù)歸檔和云服務(wù)兩大需求,我們對(duì)這兩種場(chǎng)景可進(jìn)行進(jìn)一步的細(xì)化:
1、存儲(chǔ)資源池(空間租賃)
使用對(duì)象存儲(chǔ)構(gòu)建類(lèi)似AmazonS3的存儲(chǔ)空間租賃服務(wù),向個(gè)人、企業(yè)或應(yīng)用提供按需擴(kuò)展的彈性存儲(chǔ)服務(wù)。用戶向資源池運(yùn)營(yíng)商按需購(gòu)買(mǎi)存儲(chǔ)資源后,通過(guò)基于web協(xié)議訪問(wèn)和使用存儲(chǔ)資源,而無(wú)需采購(gòu)和運(yùn)維存儲(chǔ)設(shè)備。多租戶模型將不同的用戶的數(shù)據(jù)隔離開(kāi)來(lái),確保用戶的數(shù)據(jù)安全。
2、網(wǎng)盤(pán)應(yīng)用
在海量存儲(chǔ)資源池基礎(chǔ)上,使用圖形用戶界面(GUI)實(shí)現(xiàn)對(duì)象存儲(chǔ)資源的封裝,向用戶提供類(lèi)似DropBox的網(wǎng)盤(pán)業(yè)務(wù)。用戶可通過(guò)PC客戶端、手機(jī)客戶端、Web頁(yè)面完成數(shù)據(jù)的上傳、下載、管理與分享。在網(wǎng)盤(pán)幫助下個(gè)人和家庭用戶能夠?qū)崿F(xiàn)數(shù)據(jù)安全、持久的保存和不同終端之間的數(shù)據(jù)同步;企業(yè)客戶通過(guò)網(wǎng)盤(pán)應(yīng)用可實(shí)現(xiàn)更的信息分享、協(xié)同辦公和非結(jié)構(gòu)化數(shù)據(jù)管理,同時(shí)企業(yè)網(wǎng)盤(pán)還可用于實(shí)現(xiàn)低成本的Windows遠(yuǎn)程備份,確保企業(yè)數(shù)據(jù)安全。
3、集中備份
在大型企業(yè)或科研機(jī)構(gòu)中,對(duì)象存儲(chǔ)通過(guò)與ComvaultSimpana、SymantecNBU等主流備份軟件結(jié)合,可向用戶提供更具成本效益、更低TCO的集中備份方案。相對(duì)原有的磁帶庫(kù)或虛擬磁帶庫(kù)等備份方案:重復(fù)數(shù)據(jù)刪除特性能夠幫助用戶減少低設(shè)備采購(gòu),智能管理特性使得備份系統(tǒng)無(wú)需即時(shí)維護(hù),從而降低CAPEX和OPEX;分布式并行讀寫(xiě)帶來(lái)的巨大吞吐量和在線/近線的存儲(chǔ)模式有效降低RTO和RPO。
4、歸檔和分級(jí)存儲(chǔ)
對(duì)象存儲(chǔ)通過(guò)與歸檔軟件、分級(jí)存儲(chǔ)軟件結(jié)合,將在線系統(tǒng)中的數(shù)據(jù)無(wú)縫歸檔/分級(jí)存儲(chǔ)到對(duì)象存儲(chǔ),釋放在線系統(tǒng)存儲(chǔ)資源。對(duì)象存儲(chǔ)提供幾乎可無(wú)限擴(kuò)展的容量,智能管理能力,幫助用戶降低海量數(shù)據(jù)歸檔的TCO;對(duì)象歸檔采用主動(dòng)歸檔模式使得歸檔數(shù)據(jù)能夠被按需訪問(wèn),而無(wú)需長(zhǎng)時(shí)間的等待和延遲。
對(duì)象存儲(chǔ)在數(shù)據(jù)中心的未來(lái)發(fā)展
對(duì)象存儲(chǔ)系統(tǒng)包含兩種數(shù)據(jù)描述:容器(Bucket)、對(duì)象(Object)。容器和對(duì)象都有一個(gè)全局的ID。對(duì)象存儲(chǔ)采用扁平化結(jié)構(gòu)管理所有數(shù)據(jù),用戶/應(yīng)用通過(guò)接入碼(AccessKey)認(rèn)證后,只需要根據(jù)ID就可以訪問(wèn)容器/對(duì)象及相關(guān)的數(shù)據(jù)(Data)、元數(shù)據(jù)(metadata)和對(duì)象屬性(Attribute)。
對(duì)象存儲(chǔ)對(duì)外提供更抽象的對(duì)象接口,而不是SCSI或文件接口。與SAN存儲(chǔ)以邏輯扇區(qū)為單位的較細(xì)粒度的固定IO(512B~4KB)不同,對(duì)象存儲(chǔ)IO粒度更有彈性,支持幾個(gè)字節(jié)(B)到數(shù)萬(wàn)億字節(jié)(TB)范圍內(nèi)的任意對(duì)象大小,使得業(yè)務(wù)可根據(jù)需要靈活的分割數(shù)據(jù)。
扁平化的數(shù)據(jù)結(jié)構(gòu)允許對(duì)象存儲(chǔ)容量從TB級(jí)擴(kuò)展到EB級(jí),管理數(shù)十個(gè)到百億個(gè)存儲(chǔ)對(duì)象,支持從數(shù)字節(jié)(Byte)到數(shù)萬(wàn)億字節(jié)(TB)范圍內(nèi)的任意大小對(duì)象,解決了文件系統(tǒng)復(fù)雜的iNode的機(jī)制帶來(lái)的擴(kuò)展性瓶頸,并使得對(duì)象存儲(chǔ)無(wú)需像SAN存儲(chǔ)那樣管理數(shù)量龐大的邏輯單元號(hào)(LUN)。對(duì)象存儲(chǔ)系統(tǒng)通常在一個(gè)橫向擴(kuò)展(或網(wǎng)格硬件)架構(gòu)上構(gòu)建一個(gè)全局的命名空間,這使得對(duì)象存儲(chǔ)非常適用在云計(jì)算環(huán)境中使用。某些對(duì)象存儲(chǔ)系統(tǒng)還可支持升級(jí)、擴(kuò)容過(guò)程中業(yè)務(wù)零中斷。
由于云環(huán)境中的數(shù)據(jù)往往是動(dòng)態(tài)、快速增長(zhǎng)的,所以基于策略的自動(dòng)化將變得非常重要。對(duì)象存儲(chǔ)支持從應(yīng)用角度基于業(yè)務(wù)需求設(shè)置對(duì)象/容器的屬性(元數(shù)據(jù))策略,如數(shù)據(jù)保護(hù)級(jí)別,保留期限,合規(guī)狀況,遠(yuǎn)程復(fù)制的份數(shù)等。這使得對(duì)象存儲(chǔ)具備云的自服務(wù)特征同時(shí),有效的降低運(yùn)維管理的成本,使得客戶在存儲(chǔ)容量從TB增長(zhǎng)到ZB時(shí),運(yùn)維管理成本不會(huì)隨之飆升
對(duì)象存儲(chǔ)系統(tǒng)一般通過(guò)連續(xù)后臺(tái)數(shù)據(jù)掃描、數(shù)據(jù)完整性校驗(yàn)、自動(dòng)化對(duì)象修復(fù)等技術(shù),新型的技術(shù)應(yīng)用大大提高數(shù)據(jù)的完整性和安全性。某些對(duì)象存儲(chǔ)產(chǎn)品還引入了一些先進(jìn)的算法(如:擦除碼ErasureCode)和技術(shù)將數(shù)據(jù)切分為多個(gè)分片,然后將這些分片存儲(chǔ)到不同的設(shè)備/站點(diǎn),在確保數(shù)據(jù)的完整性的同時(shí)獲取高的存儲(chǔ)利用率。
對(duì)象存儲(chǔ)系統(tǒng)的出現(xiàn)主要是為了滿足數(shù)據(jù)歸檔和云服務(wù)兩大需求,我們對(duì)這兩種場(chǎng)景可進(jìn)行進(jìn)一步的細(xì)化:
使用對(duì)象存儲(chǔ)構(gòu)建類(lèi)似AmazonS3的存儲(chǔ)空間租賃服務(wù),向個(gè)人、企業(yè)或應(yīng)用提供按需擴(kuò)展的彈性存儲(chǔ)服務(wù)。用戶向資源池運(yùn)營(yíng)商按需購(gòu)買(mǎi)存儲(chǔ)資源后,通過(guò)基于web協(xié)議訪問(wèn)和使用存儲(chǔ)資源,而無(wú)需采購(gòu)和運(yùn)維存儲(chǔ)設(shè)備。多租戶模型將不同的用戶的數(shù)據(jù)隔離開(kāi)來(lái),確保用戶的數(shù)據(jù)安全。
在海量存儲(chǔ)資源池基礎(chǔ)上,使用圖形用戶界面(GUI)實(shí)現(xiàn)對(duì)象存儲(chǔ)資源的封裝,向用戶提供類(lèi)似DropBox的網(wǎng)盤(pán)業(yè)務(wù)。用戶可通過(guò)PC客戶端、手機(jī)客戶端、Web頁(yè)面完成數(shù)據(jù)的上傳、下載、管理與分享。在網(wǎng)盤(pán)幫助下個(gè)人和家庭用戶能夠?qū)崿F(xiàn)數(shù)據(jù)安全、持久的保存和不同終端之間的數(shù)據(jù)同步;企業(yè)客戶通過(guò)網(wǎng)盤(pán)應(yīng)用可實(shí)現(xiàn)更的信息分享、協(xié)同辦公和非結(jié)構(gòu)化數(shù)據(jù)管理,同時(shí)企業(yè)網(wǎng)盤(pán)還可用于實(shí)現(xiàn)低成本的Windows遠(yuǎn)程備份,確保企業(yè)數(shù)據(jù)安全。
在大型企業(yè)或科研機(jī)構(gòu)中,對(duì)象存儲(chǔ)通過(guò)與ComvaultSimpana、SymantecNBU等主流備份軟件結(jié)合,可向用戶提供更具成本效益、更低TCO的集中備份方案。相對(duì)原有的磁帶庫(kù)或虛擬磁帶庫(kù)等備份方案:重復(fù)數(shù)據(jù)刪除特性能夠幫助用戶減少低設(shè)備采購(gòu),智能管理特性使得備份系統(tǒng)無(wú)需即時(shí)維護(hù),從而降低CAPEX和OPEX;分布式并行讀寫(xiě)帶來(lái)的巨大吞吐量和在線/近線的存儲(chǔ)模式有效降低RTO和RPO。
對(duì)象存儲(chǔ)通過(guò)與歸檔軟件、分級(jí)存儲(chǔ)軟件結(jié)合,將在線系統(tǒng)中的數(shù)據(jù)無(wú)縫歸檔/分級(jí)存儲(chǔ)到對(duì)象存儲(chǔ),釋放在線系統(tǒng)存儲(chǔ)資源。對(duì)象存儲(chǔ)提供幾乎可無(wú)限擴(kuò)展的容量,智能管理能力,幫助用戶降低海量數(shù)據(jù)歸檔的TCO;對(duì)象歸檔采用主動(dòng)歸檔模式使得歸檔數(shù)據(jù)能夠被按需訪問(wèn),而無(wú)需長(zhǎng)時(shí)間的等待和延遲。
關(guān)鍵詞
對(duì)象儲(chǔ)存安防應(yīng)用安防儲(chǔ)存
版權(quán)與免責(zé)聲明:
凡本網(wǎng)注明“來(lái)源:智慧城市網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智慧城市網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來(lái)源:智慧城市網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它來(lái)源(非智慧城市網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。