【中國安防展覽網 企業(yè)關注】 現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據就是這個高科技時代的產物。有人把數(shù)據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據是贏得競爭的關鍵。
為何叫“大數(shù)據”？ 數(shù)據體量大（VOLUMES） 代指大型數(shù)據集，一般在10TB規(guī)模左右。但在實際應用中，很多企業(yè)用戶把多個數(shù)據集放在一起，已經形成了PB級的數(shù)據量。未來智能家居領域也有許多這種企業(yè)，目前國內智能家居領域的數(shù)據量級總和已經達到100TB以上，非結構化數(shù)據規(guī)模正在以更快的速度增長。
數(shù)據類別大（variety） 數(shù)據來自多種數(shù)據源，數(shù)據種類和格式日漸豐富，已沖破了以前所限定的結構化數(shù)據范疇，囊括了半結構化和非結構化數(shù)據。也就是說，大數(shù)據重要的變化是處理對象由結構化數(shù)據拓展到了半結構化和非結構化數(shù)據，每年非結構化數(shù)據存儲總量較結構化數(shù)據增長率高出10到50倍。
非結構化數(shù)據可以看成所有無法簡單轉化到結構化關系型數(shù)據庫中的所有數(shù)據，非結構化數(shù)據如企業(yè)的郵件和其它形式的電子通訊記錄；網站上的資料，包括點擊量和社交媒體相關的內容；還有設備產生的數(shù)據，如RFID、GPS\傳感器產生的數(shù)據、日志文件等。
數(shù)據處理速度快（Velocity）
在數(shù)據量非常龐大的情況下，也能夠做到數(shù)據的實時處理。
數(shù)據真實性高（Veracity） 隨著社交數(shù)據、企業(yè)內容、交易與應用數(shù)據等新數(shù)據源的興起，傳統(tǒng)數(shù)據源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。
小貼士： TB是一個計算機存儲容量的單位，它等于2的40次方，或者接近一萬億個字節(jié)，即一千千兆字節(jié)。PB是數(shù)據存儲容量的單位，它等于2的50次方個字節(jié)，或者在數(shù)值上大約等于1000個TB。數(shù)據單位從小到大為：B.KB.MB.GB.TB.PB。1PB=1024TB，依次類推。
小知識
TB、PB依然很難理解，我們舉些例子。美國國會圖書館在2011年4月之前總共收集了235TB的數(shù)據。假設手機播放MP3的編碼速度為平均每分鐘1MB，而1首歌曲的平均時長為4分鐘，那么1PB歌曲可以連續(xù)播放2000年。如果智能手機相機拍攝相片的平均大小為3MB，打印照片的平均大小為8.5英寸，那么總共1PB的照片的并排排列長度就達到48000英里，大約可以環(huán)繞地球2周。
人類功能記憶的容量預計在1.25個TB。這意味著，800個人類記憶才相當于1個PB。1PB足夠存儲整個美國人口的DNA，而且還能再克隆2倍。如果以每秒1個位的速度數(shù)一下1PB所包含的位數(shù)，那么一個人需要2.85億年才能數(shù)完，如果每秒數(shù)1個字節(jié)，那么一個人需要數(shù)357萬年。谷歌為用戶提供了超過20PB（215億MB）的地圖影像——包括衛(wèi)星圖片、航拍照片和360度街景圖片。即使在2008年，谷歌每天處理的數(shù)據已經達到20PB，一年就是7300PB。社交媒體網站早就開始生成PB級數(shù)據，F(xiàn)acebook在2012年前已經存儲了100PB數(shù)據。宇宙每天將生成1376PB數(shù)據，相當于每天傳輸?shù)幕ヂ?lián)網流量的兩倍。
總結： 數(shù)據本身是資產，所有大數(shù)據的屬性，包括數(shù)量、速度、多樣性等反映了數(shù)據庫不斷增長的復雜性。
大數(shù)據存儲和分析 大數(shù)據分為大數(shù)據存儲和大數(shù)據分析，屬于兩種截然不同的計算機技術領域，大數(shù)據存儲用于大數(shù)據分析。大數(shù)據存儲重點在于研發(fā)可以擴展至PB甚至EB級別的數(shù)據存儲平臺；大數(shù)據分析關注在短時間內處理大量不同類型的數(shù)據集。目前無論是大數(shù)據存儲還是大數(shù)據分析，都已經成為幫助企業(yè)主業(yè)務的關鍵應用。在智能家居領域，例如家庭數(shù)字網絡攝像頭的云端存儲，音視頻設備背后的云端流媒體，家庭電量實施云端監(jiān)測等等，都在大規(guī)模使用云存儲和分析技術。
智能家居云存儲方式 高度智能化的智能家居涉及數(shù)據量非常龐大，傳統(tǒng)存儲技術無法滿足，所有云存儲技術的逐漸發(fā)展與應用也為智能家居的發(fā)展迎來了廣泛的關注。
下面舉例其中一種云存儲方式： 新一代的面向智能家居大數(shù)據云存儲系統(tǒng)主要由邏輯控制模塊、用戶訪問模塊、存儲模塊、文件讀/寫模塊和面向智能家居的大數(shù)據云存儲模塊。
邏輯控制模塊：是整個面向智能家居大數(shù)據云存儲系統(tǒng)的核心，是邏輯處理的樞紐，各業(yè)務請求均在該模塊中被處理。用戶訪問模塊：是智能家居中的用戶和云儲存系統(tǒng)交互的紐帶，利用該模塊可以透明地為用戶提供底層實現(xiàn)的各項功能。存儲模塊：為新一代智能家居云存儲系統(tǒng)提供了透明的存取功能。文件讀/寫模塊主要負責將上層邏輯處理和底層存儲進行隔離。邏輯結構：請求處理后傳輸至存儲模塊，再由存儲模塊發(fā)送到面向智能家居的大數(shù)據云存儲模塊，在該模塊中實現(xiàn)大數(shù)據云存儲。
每個數(shù)據的處理流程： 每一個數(shù)據都有一個ETL，就是抽取、轉化，然后去加載，包括做數(shù)據的清洗。如果數(shù)據大批量進來，有些數(shù)據可能是有問題的。比如說，好多地址會寫得比較模糊，如果要搜索北京這個詞的時候，數(shù)據倉庫里可能只有一個京字，這些都要統(tǒng)一整理成一個，比如說北京，這樣后面分析就會簡單，比如山東，有人會輸入“魯”字來進行搜索，而不是山東，這就需要在大數(shù)據分析前期做好數(shù)據清理工作，做規(guī)范化，這樣后面的數(shù)據分析起來就方便很多。
大數(shù)據的分布式計算： 通常用于數(shù)據分析平臺的分布式計算平臺內的存儲不是我們以往面對的網絡附加存儲(NAS)和存儲區(qū)域網絡(SAN)，而通常是內置的直連存儲(NAS)以及組成集群的分布式計算節(jié)點，無論是數(shù)據部署安全、保護和保存流程都非常復雜。但大數(shù)據分析中包含各種快速成長中的技術，簡單用分布式技術對其定義也并不準確。
大數(shù)據在智能家居領域的貢獻 我們每個人都是數(shù)據的貢獻者，平均每人大概攜帶200GB的數(shù)據，而智能家居作為圍繞人與設備的新興領域，大數(shù)據對于相輔相成的貢獻也是不言而喻的。我們談論的一定是有價值性的采集，如果我們都不知道哪些數(shù)據要采集或者放棄，終搭建數(shù)據分析系統(tǒng)的時候，可能會不知道怎么搭建，也不知道用什么技術，甚至收集到許多無用的信息純屬浪費時間。我們可以把企業(yè)的運營、產品、用戶使用情況、設備信息都存儲，但是提取分析要有清晰條理的規(guī)劃，終的數(shù)據價值才有意義。
智能家居系統(tǒng)的所產生數(shù)據的包含面非常廣，既有硬件傳感器的數(shù)據、也有硬件本身的數(shù)據運行狀態(tài)、也有用戶和硬件交互的數(shù)據，還有用戶通過APP等客戶端產生的數(shù)據、更有用戶自身的使用習慣和生活場景的數(shù)據等等，這就導致整體的智能家居所產生數(shù)據的積累速度和量都很大。智能家居企業(yè)初期圍繞業(yè)務驅動，下面一些數(shù)據是必須要收集的，建議采用分布式大規(guī)模的云存儲架構，以滿足未來企業(yè)高速發(fā)展和創(chuàng)新需求的必然趨勢。
智能家居大數(shù)據的采集內容： 智能家居大數(shù)據的采集內容，包括APP的使用情況、故障自診斷信息、服務運營信息、用戶畫像、設備使用狀態(tài)、用戶使用行為、APP交互行為、用戶信息數(shù)據、設備功能信息、用戶信息、設備功能信息、設備日志、APP日志、子設備參數(shù)與運行狀態(tài)等等其他數(shù)據。
智能家居為何需要大數(shù)據？
智能家居是多領域融合的切入點，是社會家庭管理的支撐點，是民生服務的新亮點。物聯(lián)網生產大數(shù)據，大數(shù)據支持智能家居，從智能家居到數(shù)據再到智能化，構成了從感知到認知的全過程。大數(shù)據是智能硬件競爭的制高點，可以幫助硬件廠商挖掘用戶的設備使用行為，讓廠商可以了解自己的用戶、優(yōu)化產品策略和市場策略。還可以對用戶進行學習，建立用戶畫像，針對不同的用戶提供個性化智能體驗，給不同的用戶提供個性化優(yōu)惠，加大二次銷售。也可以做設備活動狀態(tài)的分析、故障率的分析，這樣來指導產品、硬件后面怎么做迭代層、怎么做升級，包括知道用戶喜歡用什么功能、用戶在什么時間段喜歡用這個功能，知道后面營銷策略針對哪些地域作為重點。利用大數(shù)據可以挖掘出非常多的價值，這需要在IoT領域不斷地去探索。
云計算與大數(shù)據 想獲得海量數(shù)據，設備必須接云，智能家居領域將面對的將是千億乃至萬億的設備。如果在云安全部署還未成熟的情況下，就將這些設備盲目入云，將會導致不可想象的災難。所以數(shù)據前提是云安全，所以云計算的方式方法至關重要。
云計算和大數(shù)據是一個硬幣的兩面，云計算是大數(shù)據的IT基礎，而大數(shù)據是云計算的一個殺手級應用。云計算是大數(shù)據成長的驅動力，而另一方面，越來越多的數(shù)據需要云計算去處理，所以云計算與大數(shù)據是相輔相成的，在智能家居產業(yè)中體現(xiàn)得更加。
未來通過云計算對大數(shù)據進行存儲分析和準確提取的同時，需要深度學習和深度挖掘數(shù)據，模擬學習用戶行為，實現(xiàn)更加“聰明”的智能體驗。
編輯點評 很多企業(yè)，尤其的是大的國企在做智能家居時，會上很大的決心和項目，對于海量數(shù)據收集他們也是很感興趣。追隨潮流搭建大數(shù)據平臺后，實現(xiàn)的結果是PB級存儲能力和秒級處理能力，也許并不接入公有云去收集到大量數(shù)據，終只是先存起來，等需要的時候再用，其實這種思路是沒有必要的。隨著大數(shù)據技術的不斷改進，其靈活性、透明性和魯棒性會不斷提升，有效的存儲、管理和維護形式也在不斷的發(fā)生著變化，可行性和實用性才是大數(shù)據的本質。如果不能利用數(shù)據產生價值，將非常可惜，也將是一個災難，數(shù)據產生越多，存儲空間、浪費的資源也就越多。但總體來看，數(shù)據運營不論以間接生產力還是直接生產力的方式體現(xiàn)，終的都會成為下一個時代的新浪潮。
移動版
智慧城市網APP
智慧城市網小程序
微信公眾號
