隨著大數(shù)據(jù)平臺和工業(yè)互聯(lián)網(wǎng)的興起，平臺需要在大數(shù)據(jù)架構下為數(shù)據(jù)資源中心與外部數(shù)據(jù)系統(tǒng)提供服務，數(shù)據(jù)中心需要接入更多類型的數(shù)據(jù)。但在實際應用領域，系統(tǒng)中產(chǎn)生的數(shù)據(jù)各自存儲、各自定義，無法做到共享交換協(xié)同，“數(shù)據(jù)孤島”現(xiàn)象逐漸顯現(xiàn)，主要原因有以下三點：
1.各部門分工明確，且各部門都會有業(yè)務數(shù)據(jù)產(chǎn)生，需要對這些數(shù)據(jù)進行存儲和使用，不同部門對數(shù)據(jù)的定義和使用差異較大，所以數(shù)據(jù)不能互通。
2.各系統(tǒng)之間無法做到多維數(shù)據(jù)的碰撞，無法提高數(shù)據(jù)價值。
3.沒有統(tǒng)一標準，無法做到信息系統(tǒng)建設的統(tǒng)一性。
所以數(shù)據(jù)治理、讓數(shù)據(jù)流動起來、提高數(shù)據(jù)價值密度是未來大數(shù)據(jù)技術的重要發(fā)展趨勢。
一、數(shù)據(jù)治理的定義
數(shù)據(jù)治理(Data Govemance)是組織中設計數(shù)據(jù)使用的一整套管理行為。由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行，關于如何制定和實時針對整個企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應用和技術管理的一系列政策和流程。安防領域的數(shù)據(jù)治理就是具備數(shù)據(jù)采集、整合、處理、治理能力，同時統(tǒng)一標準和口徑，給實時性要求較高的業(yè)務應用提供數(shù)據(jù)支撐，并能實現(xiàn)安全防護、運維保障等一系列能力的數(shù)據(jù)平臺，也就是所謂的數(shù)據(jù)中臺。中臺早是由阿里在2015年提出的“大中臺、小前臺”戰(zhàn)略中延伸出來的概念，從字面意思上理解，中臺是基于前臺和后臺之間。
二、數(shù)據(jù)中臺可以解決的問題
由于各用戶之間的需求全然不同，為了積極響應用戶需求的變化，發(fā)展新業(yè)務、提供新服務，這就給前端業(yè)務軟件提出了新的挑戰(zhàn)，必須做到快速響應。業(yè)務要想做到類型多樣又靈活，必定需要后臺數(shù)據(jù)平臺統(tǒng)一標準架構的支撐。前端業(yè)務變化無常，后臺為了支撐前臺越來越多的業(yè)務，后臺不斷建設，系統(tǒng)不斷龐大，所以后臺系統(tǒng)需要穩(wěn)定，不能隨意改動，兩者之間必然存在矛盾沖突。
隨著企業(yè)規(guī)模的擴大，組織架構和層級擴張，各產(chǎn)品線、事業(yè)部之間形成部門墻、業(yè)務墻、數(shù)據(jù)墻，使得可以快速提供的業(yè)務無法快速拿出方案，耗費大量成本，原本可以共用的接口和服務被不同部門重復實現(xiàn)。安防行業(yè)大數(shù)據(jù)平臺底層架構大同小異，差異也就是開源組件的多寡。而真正使企業(yè)具有核心競爭力的是產(chǎn)品和服務形態(tài)，也就是為用戶解決了哪些問題，提升了多少工作效率，以及實現(xiàn)數(shù)據(jù)平臺內(nèi)部組件之間和周邊系統(tǒng)及業(yè)務流程上的聯(lián)通。
數(shù)據(jù)中臺出現(xiàn)之前，大數(shù)據(jù)平臺提供服務的方式可能是這樣的：比如為了實現(xiàn)數(shù)據(jù)接入和查詢的基本功能，由于數(shù)據(jù)接入和查詢方不熟悉HBase提供的API，大數(shù)據(jù)開發(fā)就會在HBase提供的API之上封裝一層SDK接口提供給數(shù)據(jù)接入和查詢方。為了提升接口調(diào)用的安全性可能還會做一些權限管理之類的工作，由此來屏蔽一些高風險的操作。但數(shù)據(jù)接入和查詢方需要先了解大數(shù)據(jù)內(nèi)部HBase的表結構、字段定義等底層信息才能很好地運用這個SDK。再比如要實現(xiàn)一個研判任務，大數(shù)據(jù)平臺需要提供任務的增刪查接口和研判結果的查詢接口，需要跟前端開發(fā)確定好接口的入?yún)⒑统鰠ⅰ４斯δ艿膶崿F(xiàn)需要耗費很多人力成本。而數(shù)據(jù)中臺極大程度減少了用戶對底層系統(tǒng)了解的必要性，降低了業(yè)務開發(fā)的門檻。數(shù)據(jù)中臺提供了一整套完整的解決方案，把業(yè)務流程實現(xiàn)拋給業(yè)務軟件去考慮和實現(xiàn)。
三、數(shù)據(jù)中臺的架構
數(shù)據(jù)中臺主要包括設施層、服務層、數(shù)據(jù)層以及應用層。設施層是為感知前端、計算、存儲、網(wǎng)絡資源提供基礎環(huán)境支持；服務層的視頻聯(lián)網(wǎng)共享服務和數(shù)據(jù)層的視頻接入、處理等是平臺的核心功能，服務層的視頻圖像分析服務實現(xiàn)了視頻圖像解析系統(tǒng)中信息分析能力的服務化，是視頻圖像智能化建設應用的關鍵服務；數(shù)據(jù)層的數(shù)據(jù)接入、數(shù)據(jù)治理和數(shù)據(jù)服務是按照公共安全大數(shù)據(jù)處理的技術要求對視頻圖像信息數(shù)據(jù)庫功能進行擴展，為視頻圖像智能化建設應用提供視頻圖像數(shù)據(jù)服務能力；應用層對多平臺應用功能進行了歸納梳理，在充分保護數(shù)據(jù)安全和個人隱私的前提下，更好地滿足各部門視頻圖像智能化應用的需要。
數(shù)據(jù)服務平臺主要包括數(shù)據(jù)服務層、數(shù)據(jù)開發(fā)套件、數(shù)據(jù)處理層以及數(shù)據(jù)源層四大板塊。而數(shù)據(jù)應用軟件也就是前端客戶端的業(yè)務呈現(xiàn)。數(shù)據(jù)平臺給業(yè)務軟件開發(fā)者提供了離線、實時的開發(fā)工具以及任務管理、代碼發(fā)布、運維、告警等一系列的集成工具，方便使用，提升其工作效率。
1.數(shù)據(jù)服務層主要是跟前端業(yè)務軟件進行交互，提供多種通用業(yè)務接口，包括JDBC、REST以及訂閱/推送，業(yè)務軟件可以通過多條復雜的SQL語句實現(xiàn)用戶需求，并且接口的調(diào)用要做到負載均衡，保證后臺的穩(wěn)定性。
2.跟數(shù)據(jù)服務層并行的是數(shù)據(jù)開發(fā)套件，包括作業(yè)編輯、版本控制、業(yè)務驗證、數(shù)據(jù)資產(chǎn)、任務管理以及用戶管理。作業(yè)編輯就是業(yè)務開發(fā)軟件可以通過窗口實現(xiàn)業(yè)務需求的工作流(作業(yè))；通過版本控制可以保留多個調(diào)試版本的工作流(作業(yè))；業(yè)務驗證提供了即時業(yè)務運行驗證的功能，提供運行結果的查看功能；數(shù)據(jù)資產(chǎn)是指有價值的數(shù)據(jù)，包括數(shù)據(jù)地圖、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等管理和展示，更加直觀地展現(xiàn)數(shù)據(jù)資產(chǎn)；任務管理即工作流(作業(yè))的調(diào)度管理(Workflow Scheduler)，負責底層物理資源的分配管理和作業(yè)的啟動時間點，確保工作流(作業(yè))可以按照既定的依賴關系準確及時地執(zhí)行；用戶管理是保證數(shù)據(jù)的安全性，防止誤操作，是貫穿整個數(shù)據(jù)平臺較為核心的部分，主要實現(xiàn)用戶、表、權限的分層管理和全鏈路數(shù)據(jù)的權限控制。
3.數(shù)據(jù)處理層是為了提供上層的數(shù)據(jù)開發(fā)套件而依托的開源組件框架和作業(yè)調(diào)度框架，如oozie、azkaban、chronos、zeus等。離線計算就是實現(xiàn)一些實時性要求不高的研判業(yè)務，比如spark、Hive等，而像Flink、Flume、SparkStreaming等可以提供流式計算，實時性要求更高，諸如車輛、人員的布控業(yè)務等。SQL分析引擎實現(xiàn)了上層SQL交互式查詢引擎與底層開源框架之間SQL語法的解析與執(zhí)行。
4.數(shù)據(jù)源層，即數(shù)據(jù)存儲層。為了適應上層不同的業(yè)務需求，底層數(shù)據(jù)存儲的開源組件也是豐富多樣的，主要包括MPP數(shù)據(jù)庫、搜索引擎、NoSQL數(shù)據(jù)庫(如HBase)、關系型數(shù)據(jù)庫(RDBMS)、分布式文件存儲以及消息隊列等等，和數(shù)據(jù)層存在緊密的關系。
數(shù)據(jù)層包括數(shù)據(jù)接入、數(shù)據(jù)治理和數(shù)據(jù)服務。通過對視頻圖像數(shù)據(jù)進行智能處理，從中獲取有價值的信息，從而實現(xiàn)視頻圖像數(shù)據(jù)的生命周期管理，對外提供視頻圖像的數(shù)據(jù)管理與服務能力。
數(shù)據(jù)接入根據(jù)接入數(shù)據(jù)種類的不同可以分為視頻流接入、圖像數(shù)據(jù)接入以及物聯(lián)數(shù)據(jù)接入。視頻流接入是指視頻流的接入，包括實時視頻流接入和歷史視頻錄像接入；圖像數(shù)據(jù)接入是指人員、車輛、物品以及事件等圖像相關數(shù)據(jù)的接入，包括圖片、特征值及結構化信息；物聯(lián)數(shù)據(jù)接入是指除視頻流和圖像數(shù)據(jù)外的其他傳感器接入的數(shù)據(jù)，如MAC、RFID、IMSI、IMEI等數(shù)據(jù)的接入。
四、如何進行數(shù)據(jù)治理
數(shù)據(jù)治理是指針對接入的各類視頻圖像數(shù)據(jù)，根據(jù)業(yè)務需要進行加工處理，從而提升數(shù)據(jù)的使用價值，滿足用戶的不同需求。數(shù)據(jù)治理還有助于提升業(yè)務的穩(wěn)定性，進而間接提升數(shù)據(jù)正確性的服務建設。
數(shù)據(jù)治理主要包括收集信息、數(shù)據(jù)清洗、數(shù)據(jù)關聯(lián)、數(shù)據(jù)回填等功能。收集信息是指對元數(shù)據(jù)信息的收集及展示。對數(shù)據(jù)開發(fā)平臺來說，元數(shù)據(jù)主要包括：1.數(shù)據(jù)的表結構Schema信息。收集表結構信息是從平臺管理和業(yè)務需求的角度考慮如何整理和歸納數(shù)據(jù)，方便系統(tǒng)集成，實現(xiàn)終的業(yè)務價值；2.處于安全和運維角度，還需收集數(shù)據(jù)的統(tǒng)計信息，包括存儲空間、讀寫記錄、權限歸屬等；3.數(shù)據(jù)血緣關系信息，直白地說就是數(shù)據(jù)從哪里來到哪里去。收集數(shù)據(jù)血緣關系信息是為了幫助業(yè)務軟件層更好地排查數(shù)據(jù)鏈路中哪個環(huán)節(jié)出現(xiàn)了問題。數(shù)據(jù)清洗是指對視頻圖像數(shù)據(jù)進行數(shù)據(jù)過濾、去重、格式轉換、校驗等操作，生成滿足標準及質(zhì)量要求的視頻圖像數(shù)據(jù)。數(shù)據(jù)關聯(lián)是指根據(jù)視頻圖像數(shù)據(jù)的關聯(lián)規(guī)則或算法，將視頻圖像數(shù)據(jù)和其它數(shù)據(jù)進行關聯(lián)。數(shù)據(jù)回填是使標準化數(shù)據(jù)表中空缺字段值通過數(shù)據(jù)關聯(lián)得到正確的值，通過填充對應空缺字段值來提升數(shù)據(jù)完整度。
數(shù)據(jù)服務是指基于接入和治理后的數(shù)據(jù)，為視頻圖像應用提供的數(shù)據(jù)服務能力，主要包括查詢檢索、比對訂閱、模型分析、數(shù)據(jù)推送、數(shù)據(jù)鑒權、數(shù)據(jù)操作以及數(shù)據(jù)管理等。
基于以上數(shù)據(jù)層和服務層的處理，移動端、Web端、客戶端等才能應對多樣的用戶需求，提供豐富的業(yè)務應用，比如以圖搜圖、多維碰撞等業(yè)務，從而提升各項公共安全工作的能力和水平。
100%; color: rgb(51, 51, 51); font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 17px; letter-spacing: 0.544px; text-align: justify; box-sizing: border-box !important; overflow-wrap: break-word !important;">100%; box-sizing: border-box !important; word-wrap: break-word !important; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;">文100%; color: rgb(51, 51, 51); letter-spacing: 0.544px; text-align: justify; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; box-sizing: border-box !important; overflow-wrap: break-word !important;"> / 陳培琴 浙江宇視科技有限公司
