【中國(guó)安防展覽網(wǎng) 媒體導(dǎo)讀】大數(shù)據(jù)促進(jìn)國(guó)家安全和軍事戰(zhàn)略決策方式的變革。通過數(shù)據(jù)挖掘技術(shù)和大規(guī)模并行算法,可以準(zhǔn)確預(yù)測(cè)對(duì)手的思維規(guī)律和作戰(zhàn)行動(dòng),實(shí)時(shí)感知國(guó)家安全和戰(zhàn)場(chǎng)態(tài)勢(shì)的發(fā)展變化,測(cè)算評(píng)估己方戰(zhàn)略能力,迅速為指揮員提供優(yōu)化行動(dòng)方案。在美軍發(fā)布的《2013-2017年國(guó)防部科學(xué)技術(shù)投資優(yōu)先項(xiàng)目》中,“從數(shù)據(jù)到?jīng)Q策”項(xiàng)目位列,表明了他們對(duì)在指揮決策上應(yīng)用大數(shù)據(jù)技術(shù)的重視程度。毫無疑問,大數(shù)據(jù)非常重要,但同時(shí)大數(shù)據(jù)分析也非常具有挑戰(zhàn)性。
大數(shù)據(jù)森林里找黃金 但多數(shù)公司缺少地圖和隊(duì)伍
在大數(shù)據(jù)森林里能找到黃金,但是大多數(shù)公司沒有地圖和隊(duì)伍。TDWI的一個(gè)新研究報(bào)告,題為《科學(xué)數(shù)據(jù)和大數(shù)據(jù),企業(yè)的成功路徑》概述了大數(shù)據(jù)和數(shù)據(jù)科學(xué)的狀況。簡(jiǎn)而言之,它變得更大、更困難了。從1到5評(píng)分,5表示對(duì)當(dāng)前的數(shù)據(jù)管理策略“完全滿意”,只有3%的受訪者給出了“5”分。約43%的人給了中間分,近40%的人給出了1分或2分。
不滿的一部分因?yàn)榭赡軆H僅是被收集的數(shù)據(jù)量。20%的受訪者正試圖處理10-100TB的數(shù)據(jù),而17%的人要處理100TB數(shù)據(jù)甚至超過一個(gè)PB的數(shù)據(jù)。現(xiàn)在大部分的數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù),但企業(yè)明白需要整合更多不可預(yù)測(cè)的新輸入數(shù)據(jù)到可用數(shù)據(jù)中。Hadoop是大數(shù)據(jù)平臺(tái)的一種選擇,大約30%的受訪者現(xiàn)在企業(yè)內(nèi)使用Hadoop,但是對(duì)于那些管理超過10TB數(shù)據(jù)的公司,有50%的人在使用。
管理的數(shù)據(jù)類型中,有些比其它增長(zhǎng)更迅速。電子郵件中的文本內(nèi)容、客服中心的記錄,據(jù)說增長(zhǎng)極其迅速,還有外部社交媒體的文本數(shù)據(jù)。
雖然大部分的受訪者使用數(shù)據(jù)科學(xué)做出傳統(tǒng)的報(bào)表和分析查詢,有穩(wěn)定的53%的人也使用它做出視覺分析。隨著收集電子郵件中的文本/內(nèi)容數(shù)據(jù)、客服中心、和社交媒體的迅速增長(zhǎng),預(yù)測(cè)分析在迅速上升,可能會(huì)創(chuàng)建必要的基礎(chǔ)去更好地了解客戶對(duì)新產(chǎn)品的反應(yīng)或?qū)蛻舴?wù)的響應(yīng)。
公民數(shù)據(jù)科學(xué)家
數(shù)據(jù)科學(xué)家已經(jīng)存在很長(zhǎng)時(shí)間了,但是這個(gè)角色近變得更加復(fù)雜,因?yàn)槠髽I(yè)正試圖將大數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為真正的價(jià)值。在過去,數(shù)據(jù)科學(xué)家曾經(jīng)是預(yù)測(cè)建模專業(yè)人士,一部分是計(jì)算機(jī)科學(xué)家,一部分是統(tǒng)計(jì)學(xué)家,一部分是數(shù)學(xué)家,一部分是業(yè)務(wù)分析師。
這個(gè)角色變化的原因很多,其中之一是“公民數(shù)據(jù)科學(xué)家”時(shí)代的到來,這一說法來自TDWI分析副總裁和研究主任。這些人是“統(tǒng)計(jì)探險(xiǎn)者”的新一代,他們一般都是自學(xué)成才,希望用自助服務(wù)工具和數(shù)據(jù)訪問做出他們需要的決定。做為業(yè)務(wù)用戶,他們往往沒有正式的統(tǒng)計(jì)培訓(xùn),但得益于容易使用的分析平臺(tái)。
大的問題:發(fā)現(xiàn)大數(shù)據(jù)價(jià)值
大多數(shù)公司使用數(shù)據(jù)科學(xué)產(chǎn)生更的業(yè)務(wù)洞察力,然后更好地了解客戶,預(yù)測(cè)行為,改善業(yè)務(wù)實(shí)踐/流程。即使想要的結(jié)果多樣,并沒有一個(gè)單一的,可預(yù)測(cè)的路徑成功使用大數(shù)據(jù)和數(shù)據(jù)的科學(xué)。根據(jù)這份報(bào)告,企業(yè)需要努力解決一些大的問題才能看到積極的回報(bào)。
根據(jù)TDWI稱,可怕的是培訓(xùn)缺口。簡(jiǎn)單地說,數(shù)據(jù)科學(xué)技能是很難獲得的,現(xiàn)在的需求遠(yuǎn)遠(yuǎn)大于供給。企業(yè)希望得到競(jìng)爭(zhēng)優(yōu)勢(shì),就可能會(huì)需要將注意力集中在接受內(nèi)部培訓(xùn)和自學(xué),以及派遣員工去企業(yè)外接受認(rèn)證講師的培訓(xùn)。(特別是物聯(lián)網(wǎng),我們報(bào)告的另一個(gè)挑戰(zhàn)是設(shè)備和數(shù)據(jù)集成)。
幫助員工了解更多關(guān)于數(shù)據(jù)科學(xué)的實(shí)踐是很重要的,但同樣重要的是教育整個(gè)組織,尤其是管理者,知道數(shù)據(jù)科學(xué)是什么。沒有自上而下的對(duì)實(shí)踐價(jià)值的理解和興趣,企業(yè)將受困于收集必要的資源,投入那些訓(xùn)練時(shí)間,新的基礎(chǔ)設(shè)施,或投資新的分析工具。
為此,許多受訪者報(bào)告了成功打造概念的小證據(jù)。這些證明使用業(yè)務(wù)正面臨的實(shí)際問題展示數(shù)據(jù)科學(xué)的價(jià)值。如果他們能快速回報(bào)利益,就更好了。
佳實(shí)踐
報(bào)告后提供了12個(gè)提煉數(shù)據(jù)科學(xué)和大數(shù)據(jù)的佳實(shí)踐。首先是讓數(shù)據(jù)有序,對(duì)那些深入實(shí)踐的人來說并不奇怪。建議分階段實(shí)現(xiàn)新系統(tǒng)的方法,確保關(guān)鍵人員經(jīng)過必要的培訓(xùn)才開始一個(gè)新的進(jìn)程。TDWI建議企業(yè)使用多個(gè)分析方法,預(yù)測(cè)分析和文本挖掘或圖形分析,利用云計(jì)算和新開源技術(shù)。
另一個(gè)被提到的趨勢(shì)是,使用數(shù)據(jù)平臺(tái)和大數(shù)據(jù)即服務(wù)減輕分析大數(shù)據(jù)的繁重工作。這個(gè)話題將在數(shù)據(jù)平臺(tái)2017會(huì)議上討論。
鑒于分析大數(shù)據(jù)固有的挑戰(zhàn),以及其他的擔(dān)心,如害怕他們的工作將被機(jī)器學(xué)習(xí)算法所淘汰,2017年對(duì)數(shù)據(jù)科學(xué)來說不會(huì)是平凡的一年。但是,對(duì)于做法正確的公司,通過教育,合作和敏捷性,他們能迅速拿出概念的證據(jù)支持真正的ROI。