【中國安防展覽網(wǎng) 企業(yè)關注】大數(shù)據(jù)殺熟？隱私換便捷？一度被熱捧的大數(shù)據(jù)挖掘，近日站在了輿論的風口浪尖：一些商家利用大數(shù)據(jù)挖掘技術(shù)“殺熟”被網(wǎng)友親測證實；百度董事長兼CEO李彥宏一句“中國人對隱私問題沒有那么敏感”，更是讓它的處境雪上加霜。大數(shù)據(jù)挖掘技術(shù)就像一位有了負面新聞的明星，霎時間光彩暗淡，似乎變成了偷人隱私的小賊。
《大數(shù)據(jù)時代》一書之后的幾年，大數(shù)據(jù)雖不再那么當紅，但并未隱退，它的持續(xù)發(fā)展已成為人工智能得以實現(xiàn)的基礎之一。
那么，大數(shù)據(jù)挖掘究竟是怎樣的技術(shù)？從誕生發(fā)展至今，那些埋頭苦干的技術(shù)人員又讓它長了哪些本領？面對大數(shù)據(jù)難以管理的問題，有沒有技術(shù)手段加以控制？
用戶畫像：機器給人類貼標簽
“通過打標簽的方式建立用戶畫像，是數(shù)據(jù)挖掘常用的一種技術(shù)。”北京大學計算機科學技術(shù)研究所多媒體信息處理研究室主任彭宇新教授解釋，建立用戶畫像就是利用社交網(wǎng)絡的信息，根據(jù)用戶社會屬性、生活習慣和消費行為等信息，抽象出一個標簽化的用戶模型，目標是使機器實現(xiàn)類似于人的“見信如面”的能力。社交網(wǎng)絡數(shù)據(jù)是實現(xiàn)這一目標的基礎，機器對人的“初相見”多是源自于對社交網(wǎng)絡數(shù)據(jù)的挖掘。
標簽，通常是通過對用戶信息進行分析得到的高度精煉的特征標識，使得機器方便做信息提取、聚合分析等處理。標簽本身無需再做過多文本分析等處理工作，這為利用機器提取標準化信息提供了便利。
“有了標簽，計算機就能夠自動處理與人相關的信息，能夠通過算法、模型逐步‘理解’ 人。”彭宇新介紹，多個標簽共同完成畫像，整個過程可分三步走：一是采集數(shù)據(jù)，即基于文本的信息抓取，口語稱為“爬數(shù)據(jù)”;二是用戶行為建模，通過機器學習技術(shù)，形成算法模型，判斷用戶可能的一些行為;三是可視化展現(xiàn)，把機器運算出來的結(jié)果，通過能讓人類理解的方式展現(xiàn)出來。這三步是多輪調(diào)整的，在實際應用中，根據(jù)結(jié)果的反饋，以及業(yè)務需求，可能進行二次建模等調(diào)整。
整個過程的影響參數(shù)是相對多元的，不同的行為類型，對于標簽信息的權(quán)重影響也不同。以應用廣的商品營銷為例，比如網(wǎng)售紅酒，如果“購買”權(quán)重計為5，僅“瀏覽”計為1，加上瀏覽間隔、駐留時長、生活習慣等，通過復雜的算法終呈現(xiàn)出一個標簽的權(quán)重，再形成畫像。
基于用戶畫像技術(shù)，大數(shù)據(jù)挖掘進行分類和關聯(lián)規(guī)則計算等分析：例如喜歡紅酒的用戶有多少，喜歡紅酒的人群中，男、女比例是多少，喜歡紅酒的人通常喜歡什么運動品牌等等。
跨媒體智能識別：為計算機裝上慧眼
“以前文本信息占主流，現(xiàn)在圖像、視頻等多媒體數(shù)據(jù)鋪天蓋地而來。”彭宇新說，后者目前占據(jù)大數(shù)據(jù)的80%以上。
數(shù)據(jù)類型發(fā)生的巨大變化，使得智能識別的任務更加艱巨。“管不住”和“用不好”的問題日益凸顯。“機器只能讀懂自己的語言。”彭宇新說，人類世界的所有語言都要轉(zhuǎn)化為機器理解的語言才能被識別，以前只處理文本相對簡單，而現(xiàn)在要加上復雜的圖像、視頻等數(shù)據(jù)。
“例如，世界上有數(shù)千種鳥類，很多種的差異非常細微，即使是有專業(yè)知識的人類也很難準確辨認，計算機自動識別的難度就更大了。”彭宇新說，圖像、視頻內(nèi)容理解的難點在于如何進行語義自動識別，這也是他們團隊多年攻關的課題之一，為此團隊發(fā)明了基于注意力模型和深度增量學習的識別方法。
注意力模型，顧名思義是讓計算機自動定位圖像的顯著性區(qū)域，以此提高檢測精度;深度增量學習，是指計算機能夠利用已經(jīng)學到的知識加速對新知識的學習，同時通過動態(tài)擴容以支持新概念的檢測。
新模型新算法的發(fā)力，幫助機器快速識別圖像、視頻的語義信息。彭宇新團隊近年來六次參加評測TRECVID的視頻樣例搜索比賽均獲名，并在與卡內(nèi)基梅隆大學、牛津大學、IBM Watson研究中心等參賽隊伍的較量中勝出。其中一個題目就是在464個小時的視頻中快速準確地找出所有的倫敦地鐵標志，彭宇新團隊僅用了不到1秒就成功勝出，獲得名。
單媒體信息的分析與識別之上，如何進一步讓機器像人類一樣能看、能理解呢？
為達到跨媒體信息融合與一體化分析識別的目的，項目團隊首先把數(shù)據(jù)按照不同媒體類型自動分發(fā)到對應的分析與識別模塊。例如，對視頻鏡頭進行分割、對關鍵幀進行提取，然后分發(fā)到鏡頭檢索、片斷檢索、視頻字幕識別等模塊中，對單媒體分析結(jié)果進行跨媒體語義關聯(lián)分析，實現(xiàn)跨媒體信息的語義協(xié)同。“一種常用的方法是構(gòu)建第三方空間進行跨媒體關聯(lián)。”彭宇新說，“計算機根據(jù)我們教它的模型分別為圖像、視頻、文本、音頻抽取表征，再共同投射到一個第三方空間中，這樣不同媒體的信息就可以對話了。”
技術(shù)的“抽絲剝繭”，讓圖像、視頻中的信息可以如文本一般透明。“我們是瞄著應用去的，準確率、處理速度都經(jīng)過多年的優(yōu)化，已經(jīng)可以進行實際應用了。”彭宇新介紹，這項技術(shù)不僅幫助新聞媒體等行業(yè)進行數(shù)據(jù)管理和檢索，還在助力互聯(lián)網(wǎng)管理部門對大數(shù)據(jù)進行分析與監(jiān)測。（原標題：隱私換便捷？大數(shù)據(jù)挖掘究竟是怎樣的技術(shù)？）
智慧城市網(wǎng)APP
智慧城市網(wǎng)小程序
微信公眾號
移動版
