avav588con,最近2019中文免费字幕在线观看,欧美一道本一区二区三区,九九热在线观看,经典好看免费AV

　　美圖數(shù)據(jù)部門北京技術(shù)總監(jiān)趙麗麗，享了深度學(xué)習(xí)在短視頻視覺內(nèi)容分析中的核心應(yīng)用方向，以及前沿深度學(xué)習(xí)算法在產(chǎn)品化應(yīng)用于短視頻分析時(shí)的技術(shù)難點(diǎn)和解決方案。
 

　　很高興可以和大家分享深度學(xué)習(xí)在短視頻視覺內(nèi)容分析中的應(yīng)用，分享包括四個(gè)方面，首先回顧深度學(xué)習(xí)的發(fā)展歷程和講述深度學(xué)習(xí)在短視頻領(lǐng)域進(jìn)行自動(dòng)化視頻內(nèi)容分析的意義和必要性，再結(jié)合美拍短視頻業(yè)務(wù)分享我們將深度學(xué)習(xí)應(yīng)用到視頻內(nèi)容理解中遇到的問題和解決思路，后從產(chǎn)品、數(shù)據(jù)以及技術(shù)層面展望后續(xù)的一些優(yōu)化方向。
 

　　深度學(xué)習(xí)發(fā)展歷程
 

　　神經(jīng)網(wǎng)絡(luò)的發(fā)展早可以追訴到上世紀(jì)40年代，Walter Pitts 和Warren McCulloch提出使用閾值邏輯單元來仿真神經(jīng)元的輸出。1956年人工智能世界大會(huì)上提出了人工智能的概念，1958年Rosenblatt提出感知器的概念并發(fā)布了相應(yīng)的算法模型。由于感知器是一個(gè)單層的神經(jīng)網(wǎng)絡(luò)，它無法學(xué)習(xí)諸如異或操作的非線性功能，由此神經(jīng)網(wǎng)絡(luò)的發(fā)展也進(jìn)入了冰凍期。1986年Hinton提出基于反向傳播算法學(xué)習(xí)特征表示，使得多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為可能，而直到現(xiàn)在這一算法仍是深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的核心過程。由于當(dāng)時(shí)硬件計(jì)算能力以及數(shù)據(jù)量有限，多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需的計(jì)算消耗和它帶來的效果提升并不能滿足人們的需求。直到2006年Hinton再次提出深度置信網(wǎng)絡(luò)(DBN)和非監(jiān)督學(xué)習(xí)的概念，從學(xué)術(shù)上證明神經(jīng)網(wǎng)絡(luò)層數(shù)是無限的，自此出現(xiàn)了深度學(xué)習(xí)的概念。
 

　　深度學(xué)習(xí)模型架構(gòu)發(fā)展
 

　　2010年斯坦福大學(xué)李飛飛團(tuán)隊(duì)公布了標(biāo)注數(shù)據(jù)集ImageNet，與此同時(shí)發(fā)起了大規(guī)模數(shù)據(jù)識(shí)別競(jìng)賽，在競(jìng)賽前期參賽算法采用的都是傳統(tǒng)手工設(shè)計(jì)的特征機(jī)器學(xué)習(xí)算法，結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)分類算法，分類誤差在26%左右。2012年，Alex提出使用深度神經(jīng)網(wǎng)絡(luò)(AlexNet)進(jìn)行分類，將誤差降低到了16%。
 

　　除了理論積累和創(chuàng)新，GPU技術(shù)的發(fā)展帶來的硬件計(jì)算能力提升以及大規(guī)訓(xùn)練數(shù)據(jù)集的可用性，都對(duì)深度學(xué)習(xí)的發(fā)展起到積極的可推動(dòng)作用，像GoogleNet、VGG、ResNet等越來越多的網(wǎng)絡(luò)結(jié)構(gòu)被提出，這些網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)思路是往網(wǎng)絡(luò)深度發(fā)展。而深度學(xué)習(xí)網(wǎng)絡(luò)模型在滿足持續(xù)提升學(xué)習(xí)效率的同時(shí)，實(shí)際業(yè)務(wù)應(yīng)用的需求也越來越高，因此更多學(xué)者提出更寬的網(wǎng)絡(luò)——通過拆分通道的卷積操作來幅度減少卷積網(wǎng)絡(luò)模型參數(shù)的數(shù)量以及卷積操作次數(shù)。
 

　　深度學(xué)習(xí)框架
 

　　除了以上兩點(diǎn)，深度學(xué)習(xí)網(wǎng)絡(luò)模型迭代更新速度如此之快，很大程度也得益于大量的開源深度學(xué)習(xí)框架，比較有代表性的如Caffe、MXNet、TensorFlow、Torch\Pytorch等，這些開源框架極大方便了新的深度神經(jīng)網(wǎng)絡(luò)的提出和驗(yàn)證的過程。
 

　　短視頻自動(dòng)化內(nèi)容分析
 

　　計(jì)算機(jī)視覺基本問題&應(yīng)用領(lǐng)域
 

　　*，計(jì)算機(jī)視覺的操作對(duì)象主要包括兩類：圖像和視頻。從底層而言需要解決三個(gè)基本問題：是分類問題，即從圖片或視頻識(shí)別內(nèi)容的種類；第二是檢測(cè)問題，即不但要識(shí)別出圖像的物體，還要識(shí)別出物體的位置；后是分割問題，分割主要是語義分割，它到像素級(jí)別，因此也是基本問題中難的。
 

　　以計(jì)算機(jī)視覺三個(gè)基本問題為基礎(chǔ)，它又產(chǎn)生一些更深層次的技術(shù)，包括視頻中的目標(biāo)追蹤、圖像和視頻的主題描述、語義理解、視頻中的事件檢測(cè)等等，而在這些技術(shù)之上還有一些垂直的應(yīng)用領(lǐng)域——信息壓縮、用戶畫像、搜索、推薦系統(tǒng)、人機(jī)交互等等，更上層的應(yīng)用則有互聯(lián)網(wǎng)多媒體、智能家居、駕駛、安防、智慧金融、醫(yī)療機(jī)器人等。
 

　　短視頻領(lǐng)域概況&場(chǎng)景分析
 

來源：財(cái)經(jīng)商業(yè)數(shù)據(jù)中心(CBNData)《2017短視頻行業(yè)大數(shù)據(jù)洞察》
 

　　近兩年短視頻領(lǐng)域特別火爆，從早的美拍，到快手、抖音、火山小視頻、秒拍等等，越來越多的短視頻應(yīng)用走進(jìn)了大家的日常生活。在財(cái)經(jīng)商業(yè)數(shù)據(jù)中心發(fā)布的短視頻行業(yè)大數(shù)據(jù)洞察中，截止今年6月我國國內(nèi)網(wǎng)絡(luò)視頻用戶規(guī)模已經(jīng)達(dá)到5.65億，視頻觀看時(shí)長也在不斷增加。而圍繞短視頻的業(yè)務(wù)場(chǎng)景的應(yīng)用也在增長：首先是推薦，如APP首頁的Feed流推薦以及播放頁面相關(guān)視頻的推薦；第二是視頻內(nèi)容的搜索；此外還有基于短視頻用戶的行為數(shù)據(jù)(如上傳視頻內(nèi)容)進(jìn)行、多維度畫像；后是熱點(diǎn)事件預(yù)測(cè)，主要是通過分析短時(shí)間內(nèi)大批量出現(xiàn)的視頻內(nèi)容，進(jìn)行熱點(diǎn)事件的預(yù)測(cè)。
 

　　
 

　　內(nèi)容分析
 

　　1. 視頻內(nèi)容分析三大基本問題
 

　　短視頻業(yè)務(wù)相關(guān)的各業(yè)務(wù)場(chǎng)景，都涉及對(duì)視頻內(nèi)容的理解，而視頻內(nèi)容的理解需要解決三個(gè)問題：個(gè)問題“有什么”，也就是視頻內(nèi)容中包含的主題是什么；第二個(gè)問題“在哪里”，即視頻發(fā)生的場(chǎng)景；第三個(gè)問題“做什么”，也就是視頻中主體的行為，或者正在發(fā)生怎樣的事情。
 

　　2. 短視頻內(nèi)容特征
 

　　我們要對(duì)視頻內(nèi)容進(jìn)行理解，首先需要定義一個(gè)標(biāo)準(zhǔn)化的標(biāo)簽體系，它應(yīng)該涵蓋視頻內(nèi)容中的主題、物體、場(chǎng)景、事件或行為。對(duì)于短視頻而言，它的幾個(gè)特征一定程度上限制了這個(gè)標(biāo)簽體系的建立：首先，短視頻數(shù)據(jù)量大，每天都會(huì)有成千上百萬的視頻被上傳；第二，短視頻內(nèi)容未知，現(xiàn)實(shí)生活中場(chǎng)景是很復(fù)雜的，尤其對(duì)于UGC內(nèi)容，我們無法知道用戶上傳的視頻中主體和場(chǎng)景可能有哪些，它的行為是無法預(yù)測(cè)的；第三是時(shí)效性，在不同的時(shí)間段內(nèi)視頻的主題、場(chǎng)景以及行為是不同的，它可能會(huì)隨著時(shí)間進(jìn)行轉(zhuǎn)移。所以在這樣的數(shù)據(jù)集上人工進(jìn)行建立標(biāo)簽體系非常困難。
 

　　上圖是我們分別通過算法和人工對(duì)視頻分類進(jìn)行標(biāo)簽化的測(cè)試結(jié)果，包括效率和質(zhì)量的對(duì)比。我們可以看到，算法處理效率比人工高近兩百倍，在這種處理速度下，算法準(zhǔn)確率相比人工的平均準(zhǔn)確率75%也有很大提升。
 

　　美拍短視頻內(nèi)容理解：探索與實(shí)踐
 

　　美圖智能視覺分析平臺(tái)(DeepNet)為海量圖像和視頻數(shù)據(jù)提供智能視覺分析服務(wù)。從平臺(tái)架構(gòu)來看，主要從四大方面進(jìn)行算法支撐——圖像識(shí)別、場(chǎng)景理解、質(zhì)量評(píng)估、轉(zhuǎn)碼分析。在這些技術(shù)之上，每個(gè)業(yè)務(wù)場(chǎng)景算法都形成在線推理、訓(xùn)練、標(biāo)注的交互閉環(huán)：智能視覺分析服務(wù)為在線業(yè)務(wù)提供推理服務(wù)；自動(dòng)化訓(xùn)練服務(wù)對(duì)模型訓(xùn)練進(jìn)行實(shí)時(shí)更新，從而解決模型時(shí)效性問題；標(biāo)注平臺(tái)則負(fù)責(zé)收集標(biāo)注數(shù)據(jù)，這部分?jǐn)?shù)據(jù)包含兩類——人工標(biāo)注團(tuán)隊(duì)針對(duì)具體業(yè)務(wù)場(chǎng)景標(biāo)注的數(shù)據(jù)以及審核業(yè)務(wù)數(shù)據(jù)時(shí)產(chǎn)生的一些并行標(biāo)簽。上層是業(yè)務(wù)層，包括推薦、審核、畫像、廣告搜索。
 

　　上圖是DeepNet系統(tǒng)框架，主要包括三個(gè)部分：視覺分析服務(wù)、模型訓(xùn)練和標(biāo)注。視覺分析服務(wù)會(huì)產(chǎn)生兩部分的結(jié)果輸出：一部分是對(duì)視頻內(nèi)容理解的語義標(biāo)簽，一部分是對(duì)視頻的特征表示，它可能是一個(gè)浮點(diǎn)的高維向量，也可能是一個(gè)二進(jìn)制的哈希碼，其中語義標(biāo)簽會(huì)被人工抽樣審核，審核結(jié)果被再次修正之后會(huì)加入到標(biāo)注數(shù)據(jù)中，后續(xù)模型更新時(shí)會(huì)用到這部分?jǐn)?shù)據(jù)。
 

　　短視頻內(nèi)容分析挑戰(zhàn)
 

　　接下來我們介紹深度學(xué)習(xí)實(shí)際應(yīng)用到短視頻內(nèi)容分析時(shí)需要解決的一些問題：首先要解決視頻中“有什么”——識(shí)別視頻中的物體、挖掘主題、并將視頻特征信息提取保存；其次是“在哪里”——檢測(cè)視頻發(fā)生的場(chǎng)景以及文字識(shí)別；第三點(diǎn)是“做什么”——檢測(cè)視頻中主體的行為、正在發(fā)生的事件以及視頻描述。這三部分是理解視頻內(nèi)容的基礎(chǔ)，我們?cè)诖嘶A(chǔ)上對(duì)美拍視頻內(nèi)容做了第四個(gè)分析——“好不好”：首先我們要保證視頻內(nèi)容是合法合規(guī)的，因此要做內(nèi)容審核；同時(shí)還要做畫質(zhì)評(píng)估來保證畫面質(zhì)量，提升用戶的觀看體驗(yàn)；此外為了評(píng)價(jià)視頻是否受歡迎，我們會(huì)用深度學(xué)習(xí)做播放預(yù)測(cè)。
 

　　而在實(shí)際應(yīng)用過程中我們遇到了很多問題，大概總結(jié)為三類：如何有效定義數(shù)據(jù)標(biāo)簽，如何獲取訓(xùn)練數(shù)據(jù)，以及如何合理利用計(jì)算資源。
 

　　1. 如何有效定義數(shù)據(jù)標(biāo)簽
 

　　我們從三個(gè)方面來解決有效定義數(shù)據(jù)標(biāo)簽，基礎(chǔ)的是對(duì)海量數(shù)據(jù)進(jìn)行抽樣分析，也就是在海量數(shù)據(jù)中按一定比例抽樣，對(duì)抽取到的數(shù)據(jù)應(yīng)用算法預(yù)先訓(xùn)練的模型去做預(yù)先的處理——識(shí)別、分類、檢測(cè)，在處理結(jié)果之上再用人工分析，終將分析的結(jié)果作為整個(gè)數(shù)據(jù)集的代表。第二部分是文本分析，用戶在上傳視頻時(shí)會(huì)添加一些視頻的描述、標(biāo)簽以及標(biāo)題等，我們可以結(jié)合文本分析方法將這些標(biāo)簽提取出來賦給相應(yīng)的視頻。第三部分是無監(jiān)督學(xué)習(xí)——這也是我們正在做的，它應(yīng)用了視頻主題挖掘，也就是對(duì)所有一個(gè)階段的視頻根據(jù)無監(jiān)督學(xué)習(xí)聚成幾類，然后對(duì)這個(gè)類別的類中心的數(shù)據(jù)進(jìn)行分析，提取它的標(biāo)簽、主題、場(chǎng)景、事件。
 

　　大規(guī)模視頻主題挖掘借鑒的是微軟和清華在2015年提出的一個(gè)基于Scalable Visual Instance Mining with Instance Graph的方法，它的核心是對(duì)輸入的大規(guī)模圖像集提取一個(gè)特征表示，在這個(gè)特征表示的基礎(chǔ)上再構(gòu)建一個(gè)相似關(guān)系圖進(jìn)行聚類，相比于傳統(tǒng)方法對(duì)于新的數(shù)據(jù)需要重新進(jìn)行聚類，它將這個(gè)過程拆分成兩部分：一個(gè)是圖的構(gòu)建，一個(gè)是基于圖的聚類。而基于圖的聚類在這個(gè)過程的時(shí)間其實(shí)非常少，那么當(dāng)有新的數(shù)據(jù)時(shí)，只需要把新的數(shù)據(jù)加入這個(gè)圖中做更新，再聚類的時(shí)間開銷很小。
 

　　大規(guī)模視頻數(shù)據(jù)主題挖掘這一過程的核心點(diǎn)是特征表示，傳統(tǒng)的特征表示方法大概可以分為三個(gè)過程：提取視覺特征，基于視覺特征建立視覺詞袋，以及進(jìn)行量化和哈希，生成一個(gè)哈希碼或index值。近幾年伴隨深度學(xué)習(xí)的發(fā)展，有些學(xué)者提出基于深度神經(jīng)網(wǎng)絡(luò)的哈希的特征提取算法，這類算法的思想是讓中間的神經(jīng)網(wǎng)絡(luò)做所有的事情，輸入一個(gè)圖片經(jīng)過網(wǎng)絡(luò)推理就可以得到哈希碼。我們則是基于微軟和清華在2015年提出的方法上針對(duì)深度哈希做改進(jìn)。
 

　　接下來跟大家分享下現(xiàn)在深度哈希特征提取的研究成果，由于研究成果非常多，這里只舉兩個(gè)例子：監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)的思路是使用數(shù)據(jù)的一些標(biāo)簽數(shù)據(jù)去進(jìn)行訓(xùn)練從而學(xué)習(xí)到哈希碼，eBay在今年關(guān)于視覺檢索中用到的哈希方法就是監(jiān)督學(xué)習(xí)。而非監(jiān)督學(xué)習(xí)是利用圖像本身的一些相關(guān)信息進(jìn)行學(xué)習(xí)，不利用任何的標(biāo)簽數(shù)據(jù)，比如我講一個(gè)圖像旋轉(zhuǎn)一定角度，它并不會(huì)關(guān)心這個(gè)圖像包含什么標(biāo)簽，只會(huì)計(jì)算旋轉(zhuǎn)前后圖形之間的loss是小的，從而保證學(xué)到的特征能夠更好的表示當(dāng)前圖像。
 

　　我們提出了一個(gè)視頻的深度哈希方法，這部分算法技術(shù)的相關(guān)論文” Deep Hashing with Category Mask for Fast Video Retrieval”放到了arxiv上[https://arxiv.org/abs/1712.08315]，歡迎大家下載論文了解具體技術(shù)細(xì)節(jié)。
 

　　2. 如何獲取訓(xùn)練數(shù)據(jù)
 

　　針對(duì)如何獲取訓(xùn)練數(shù)據(jù)，我們結(jié)合算法和人工，首先針對(duì)開源數(shù)據(jù)集訓(xùn)練一個(gè)模型，并對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行初期算法的識(shí)別、分類、檢測(cè)，檢測(cè)、分類的結(jié)果將再次進(jìn)行人工審核，終審核結(jié)果再返回更新模型。
 

　　3. 如何合理利用計(jì)算資源
 

　　主要從三個(gè)方面合理規(guī)劃和利用計(jì)算資源：是從算法的角度優(yōu)化，一方面是優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，這個(gè)同時(shí)也會(huì)降低訓(xùn)練時(shí)間；另一方面是優(yōu)化推理邏輯，也就是不改變網(wǎng)絡(luò)結(jié)構(gòu)，在推理時(shí)進(jìn)行層間的壓縮。第二是分時(shí)處理，從業(yè)務(wù)角度來看，對(duì)推理和訓(xùn)練支持的力度是不同的，推理服務(wù)請(qǐng)求量可能很高，而且不同時(shí)段的請(qǐng)求量也是不一樣的，比如白天一般大于晚上，這樣我們?cè)诜峙渫评砗陀?xùn)練服務(wù)時(shí)就需要合理錯(cuò)開高峰期。第三是轉(zhuǎn)碼預(yù)測(cè)，用戶上傳云端的視頻在手機(jī)端播放時(shí)會(huì)占用一定的帶寬，因此我們會(huì)對(duì)一些視頻提前轉(zhuǎn)碼，但因?yàn)檗D(zhuǎn)碼本身很消耗計(jì)算資源，為防止無效轉(zhuǎn)碼，使用算法預(yù)測(cè)視頻被轉(zhuǎn)碼的概率。
 

　　上圖是轉(zhuǎn)碼預(yù)測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu)，主要分為兩部分：首先，對(duì)視頻封面通過CNN網(wǎng)絡(luò)提取圖像特征；然后，將視頻的原數(shù)據(jù)信息-如視頻作者的好友數(shù)、粉絲數(shù)、歷史視頻的播放數(shù)等映射成向量，和提取的CNN特征結(jié)合輸入到淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
 

　　上圖是分別使用規(guī)則判斷和使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行轉(zhuǎn)碼預(yù)測(cè)效率的對(duì)比數(shù)據(jù)，橫坐標(biāo)是轉(zhuǎn)碼計(jì)算需要的資源，縱坐標(biāo)是播放覆蓋率。我們可以看到，傳統(tǒng)簡(jiǎn)單標(biāo)記規(guī)則在占用80%轉(zhuǎn)碼計(jì)算資源的情況下，播放覆蓋量大概在75%；而使用神經(jīng)網(wǎng)絡(luò)算法，在同等播放覆蓋率的前提下可以節(jié)省84%的轉(zhuǎn)碼計(jì)算資源，在使用同等的轉(zhuǎn)碼計(jì)算資源的情況下則可以增加27%的播放量。
 

　　思考與展望
 

　　對(duì)于深度學(xué)習(xí)在短視頻內(nèi)容分析中的應(yīng)用我們認(rèn)為還有很多地方需要優(yōu)化。從產(chǎn)品層面來說需要優(yōu)化功能定義，讓深度學(xué)習(xí)可以更好的應(yīng)用于產(chǎn)品從而提升用戶體驗(yàn)；數(shù)據(jù)層面則是優(yōu)化標(biāo)注流程、提升標(biāo)注的質(zhì)量，加快模型的迭代更新速度；后在應(yīng)用現(xiàn)有技術(shù)滿足業(yè)務(wù)的同時(shí)，我們也希望能夠在算法和模型上做一定的積累和創(chuàng)新。