【中國(guó)安防展覽網(wǎng) 企業(yè)關(guān)注】 AlphaGo Zero自學(xué)成才，機(jī)器人Atlas苦練后空翻……2017年，人工智能所取得的新進(jìn)展真是讓人應(yīng)接不暇。而所有的這些進(jìn)展，都離不開(kāi)深度學(xué)習(xí)一年來(lái)在底層研究和技術(shù)開(kāi)發(fā)上的新突破。圣誕節(jié)前后，Statsbot的數(shù)據(jù)科學(xué)家Ed Tyantov專(zhuān)門(mén)評(píng)估了深度學(xué)習(xí)這一年在文本、語(yǔ)音和視覺(jué)等方向的各項(xiàng)研究成果，并進(jìn)一步試圖總結(jié)出一些可能影響未來(lái)的全新趨勢(shì)。
文本
Google神經(jīng)網(wǎng)絡(luò)翻譯機(jī)器
大約一年前，Google公司宣布推出Google在線(xiàn)翻譯的新模式，并詳細(xì)地介紹了其中的技術(shù)核心結(jié)構(gòu)—遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
這項(xiàng)技術(shù)大的突破是，使機(jī)器翻譯與人類(lèi)的差距縮小了55-85%。必須指出，如果沒(méi)有Google的龐大數(shù)據(jù)庫(kù)作為支撐，這個(gè)遞歸神經(jīng)網(wǎng)絡(luò)的翻譯模型很難使機(jī)器達(dá)到如此好的翻譯效果。
談判，會(huì)成功交易嗎？
你可能聽(tīng)說(shuō)過(guò)一則愚蠢的新聞，F(xiàn)acebook公司關(guān)閉了聊天機(jī)器人，然后這個(gè)機(jī)器人失去控制，自己編寫(xiě)語(yǔ)言。
這個(gè)聊天機(jī)器人是Facebook公司創(chuàng)造的并用于談判交易工作的。它的目的是與另一個(gè)代理進(jìn)行談判并達(dá)成交易：如何將物品(如書(shū)，帽子等)一分為二。每個(gè)代理在談判中都有自己的目標(biāo)，而互相之間事先并不知曉對(duì)方的想法。
為了訓(xùn)練機(jī)器人的需要，他們收集了一個(gè)有關(guān)人類(lèi)談判的數(shù)據(jù)庫(kù)并且采用有監(jiān)督的方式來(lái)訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)模型。隨后，這些聊天機(jī)器人用一種強(qiáng)化學(xué)習(xí)的方式進(jìn)行自我訓(xùn)練，并在保證語(yǔ)言與人類(lèi)盡可能相似的前提下，學(xué)著與自己進(jìn)行對(duì)話(huà)。
慢慢地，這些機(jī)器人已經(jīng)學(xué)會(huì)了一個(gè)真正的談判策略，那就是通過(guò)在談判過(guò)程中表現(xiàn)出對(duì)目標(biāo)虛假的興趣來(lái)誤導(dǎo)對(duì)方，并在實(shí)際目標(biāo)的選擇中受益。
創(chuàng)造這樣一個(gè)互動(dòng)機(jī)器人是一種全新的且非常成功的嘗試。未來(lái)關(guān)于它的更多細(xì)節(jié)以及代碼都將開(kāi)源。
當(dāng)然，新聞中稱(chēng)該機(jī)器人發(fā)明了一種新語(yǔ)言的消息是有點(diǎn)故弄玄虛。訓(xùn)練時(shí)(與同一代理商進(jìn)行談判時(shí))，放棄與人類(lèi)保持相似性的限制，并通過(guò)算法來(lái)修改交互時(shí)所使用的語(yǔ)言，這并不是什么特別的事情。
在過(guò)去的一年里，循環(huán)神經(jīng)網(wǎng)絡(luò)模型已經(jīng)得到非常廣泛的運(yùn)用，同時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)也變得更加復(fù)雜。但是在一些領(lǐng)域，簡(jiǎn)單的前饋網(wǎng)絡(luò)DSSM就可以得到類(lèi)似的結(jié)果。例如，Google郵件的“智能回復(fù)”功能較之前應(yīng)用LSTM架構(gòu)，有著相同的性能表現(xiàn)。此外，Yandex還基于這樣的網(wǎng)絡(luò)推出了一個(gè)新的搜索引擎。
語(yǔ)音
WaveNet：原始音頻的生成模型
DeepMind的員工近在文章中報(bào)道了生成音頻的研究成果。簡(jiǎn)而言之，研究人員基于先前的圖像生成方法(像素級(jí)RNN模型和像素級(jí)CNN模型)，提出了自回歸的全卷積WaveNet模型。
該網(wǎng)絡(luò)實(shí)現(xiàn)了端到端的訓(xùn)練：從輸入文本到輸出音頻。相比于人類(lèi)水平，該研究降低了50%的差異性，取得了很好的結(jié)果。但是，該網(wǎng)絡(luò)的主要缺點(diǎn)就是生產(chǎn)效率低。由于自回歸過(guò)程的原因，聲音是按照順序生成的，大約需要1-2分鐘來(lái)創(chuàng)建1秒的音頻。
聽(tīng)到這個(gè)結(jié)果讓人感覺(jué)有點(diǎn)失望。如果能夠消除網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入文本的依賴(lài)性而僅僅留下對(duì)先前生成的音符的依賴(lài)性，那么網(wǎng)絡(luò)將產(chǎn)生類(lèi)似于人類(lèi)語(yǔ)言的音符，但是這樣做并沒(méi)有意義。
這是一個(gè)應(yīng)用該模型生成聲音的例子。這種相同的模式不僅適用于演講，也適用于音樂(lè)創(chuàng)作。
想象一下由生成模型生成的音頻，使用關(guān)于同樣不依賴(lài)于輸入數(shù)據(jù)的鋼琴數(shù)據(jù)庫(kù)進(jìn)行音樂(lè)教學(xué)工作。
如果你對(duì)這方面感興趣的話(huà)，請(qǐng)閱讀DeepMind關(guān)于此研究的完整介紹。
唇語(yǔ)解讀
唇語(yǔ)解讀是深度學(xué)習(xí)超越人類(lèi)的另一大表現(xiàn)。Google DeepMind與牛津大學(xué)合作，他們發(fā)表論文講述如何用電視數(shù)據(jù)集訓(xùn)練的模型的性能表現(xiàn)是如何超過(guò)BBC頻道里的專(zhuān)業(yè)唇語(yǔ)讀者。
該數(shù)據(jù)集中有10萬(wàn)個(gè)帶有音頻和視頻的句子。采用音頻數(shù)據(jù)訓(xùn)練LSTM模型，視頻數(shù)據(jù)訓(xùn)練CNN+LSTM模型。這兩種狀態(tài)下訓(xùn)練得到的模型向量都被饋送到終的LSTM模型中去，從而產(chǎn)生終的結(jié)果。
在訓(xùn)練期間使用不同類(lèi)型的輸入數(shù)據(jù)：包括音頻、視頻和音頻+視頻組合數(shù)據(jù)等。換句話(huà)說(shuō)，這是一種“全渠道”的訓(xùn)練模型。
合成奧巴馬：在音頻中同步他的嘴唇運(yùn)動(dòng)
華盛頓大學(xué)做了一項(xiàng)嚴(yán)謹(jǐn)?shù)难芯?，?lái)生成前美國(guó)總統(tǒng)奧巴馬的唇語(yǔ)動(dòng)作。之所以會(huì)選擇他作為研究對(duì)象，是因?yàn)檫@段在線(xiàn)錄音的持續(xù)時(shí)間很長(zhǎng)，數(shù)據(jù)數(shù)量巨大(17個(gè)小時(shí)的高清視頻)。
由于他們沒(méi)辦法得到更多的數(shù)據(jù)資料，因此研究者進(jìn)一步提出了幾個(gè)技巧性的東西來(lái)改善后的結(jié)果。如果你感興趣的話(huà)，可以來(lái)試試看。
你可以看到研究的結(jié)果是很驚人的。在不久的將來(lái)，你甚至將不能相信那些總統(tǒng)的演講錄像了。
計(jì)算機(jī)視覺(jué)
OCR: Google街景地圖
Google Brain Team在他們的博客和文章中報(bào)道了他們是如何在地圖中引入新的OCR(光學(xué)字符識(shí)別)引擎，通過(guò)它來(lái)識(shí)別路牌和商店標(biāo)志。
在這項(xiàng)技術(shù)的開(kāi)發(fā)過(guò)程中，他們編制了一個(gè)新的FSNS(法國(guó)街道名稱(chēng)標(biāo)志)，其中包含許多復(fù)雜的樣例。為了識(shí)別每一個(gè)標(biāo)志，網(wǎng)絡(luò)多使用四張圖片，用CNN來(lái)提取圖片特征，再輔以空間注意力機(jī)制，終將結(jié)果饋送到LSTM模型中。
相同的方法適用于在標(biāo)志牌上識(shí)別商店名稱(chēng)的任務(wù)(這可能會(huì)受到很多“噪聲”數(shù)據(jù)的干擾，而模型本身需要聚焦到正確的位置上)。這種算法已適用于800億張照片的識(shí)別。
視覺(jué)推理
視覺(jué)推理任務(wù)，要求神經(jīng)網(wǎng)絡(luò)使用照片來(lái)回答其中的問(wèn)題。例如，“在圖片中是否有與黃色金屬圓柱體相同尺寸的橡膠材質(zhì)？”這確實(shí)是個(gè)非常重要的問(wèn)題，而直到近這個(gè)問(wèn)題才得以解決，其準(zhǔn)確率只有68.5%。
Deepmind團(tuán)隊(duì)在這個(gè)領(lǐng)域再次取得了突破：在CLEVR視覺(jué)推理數(shù)據(jù)集上，他們的模型實(shí)現(xiàn)了95.5%的超人類(lèi)度。模型的網(wǎng)絡(luò)架構(gòu)十分有趣：
在文本問(wèn)題上使用預(yù)先訓(xùn)練好的LSTM模型，我們將問(wèn)題嵌入到模型中。
使用CNN模型(只有四層結(jié)構(gòu))對(duì)圖片提取特征，我們得到圖片的特征映射用來(lái)表征圖片的特征。
接下來(lái)，我們?cè)谔卣饔成鋱D上(如下所示圖片的黃、藍(lán)、紅色區(qū)域)形成坐標(biāo)切片的成對(duì)坐標(biāo)組合，并將坐標(biāo)值和文本信息嵌入到每個(gè)區(qū)域中。
通過(guò)另一個(gè)網(wǎng)絡(luò)，我們將上述整個(gè)過(guò)程驅(qū)動(dòng)三次，并將得到的后結(jié)果匯總。
終呈現(xiàn)的是通過(guò)另一個(gè)前饋網(wǎng)絡(luò)運(yùn)行的結(jié)果，并給出了Softmax的結(jié)果。
Pix2Code
Uizard公司創(chuàng)建了一個(gè)神經(jīng)網(wǎng)絡(luò)的有趣應(yīng)用：即根據(jù)界面設(shè)計(jì)者的屏幕截圖來(lái)生成一個(gè)界面布局。
這是一個(gè)非常有用的神經(jīng)網(wǎng)絡(luò)應(yīng)用程序，他可以使在開(kāi)發(fā)軟件時(shí)更加輕松。該項(xiàng)應(yīng)用的研究者聲稱(chēng)他們已經(jīng)能夠達(dá)到77%的應(yīng)用準(zhǔn)確率。
但是，這個(gè)問(wèn)題目前還處于研究完善中，并沒(méi)有真正應(yīng)用。因此，目前在開(kāi)源社區(qū)還沒(méi)有相關(guān)的代碼或者數(shù)據(jù)集。
SketchRNN：教一臺(tái)機(jī)器學(xué)會(huì)畫(huà)畫(huà)
也許你看過(guò)Quick, Draw!這是出自Google公司之手，其目標(biāo)是在20秒內(nèi)繪制出各種對(duì)象的草圖。該公司設(shè)計(jì)這個(gè)數(shù)據(jù)集的目的是，教會(huì)神經(jīng)網(wǎng)絡(luò)如何畫(huà)畫(huà)。
終公布的數(shù)據(jù)集包含7萬(wàn)張草圖。草圖并不是圖片，而是一張張繪圖的詳細(xì)向量表示(在這一點(diǎn)上用戶(hù)按下“鉛筆”，在線(xiàn)段繪制的地方再釋放，等等)。研究人員已經(jīng)使用RNN模型作為一個(gè)編碼/解碼機(jī)制來(lái)訓(xùn)練序列到序列的變分自編碼器。
終，為了適應(yīng)自編碼器的需要，該模型接收到表征原始圖像的潛在向量。
由于解碼器能夠從這個(gè)潛在向量提取一副草圖，你可以通過(guò)改變它來(lái)得到一副新的草圖。
甚至可以執(zhí)行一個(gè)矢量算法來(lái)創(chuàng)建一個(gè)catpig。
生成對(duì)抗網(wǎng)絡(luò)
生成對(duì)抗網(wǎng)絡(luò)是當(dāng)下深度學(xué)習(xí)中熱門(mén)的話(huà)題之一。大多數(shù)情況下，這個(gè)模型是用來(lái)處理圖像數(shù)據(jù)，因此我們會(huì)用圖像來(lái)解釋這個(gè)模型。
提出這個(gè)模型的思想是在兩個(gè)競(jìng)爭(zhēng)的網(wǎng)絡(luò)中，一個(gè)生成網(wǎng)絡(luò)和一個(gè)判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)是用于創(chuàng)建一張新的圖像，而判別網(wǎng)絡(luò)試圖去判定圖像是真實(shí)的還是生成的。模型原理示意圖如下所示：
在訓(xùn)練期間，生成網(wǎng)絡(luò)接收隨機(jī)向量(噪聲)作為輸入并生成圖像，接著將其饋送到判別網(wǎng)絡(luò)中作為其輸入，由判別網(wǎng)絡(luò)判定輸入的真假性。判別網(wǎng)絡(luò)也可以從數(shù)據(jù)集中給出真實(shí)的圖像。由于很難找到兩個(gè)網(wǎng)絡(luò)的平衡點(diǎn)，因此訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)一大難點(diǎn)。大多數(shù)情況下，判別網(wǎng)絡(luò)獲勝時(shí)訓(xùn)練過(guò)程也就停止了。但是，這種模型的好處就在于我們可以解決一些難以設(shè)定損失函數(shù)的問(wèn)題。例如，要提高圖片的質(zhì)量，我們可以將其提供給判別網(wǎng)絡(luò)。
生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的典型例子就是帶臥室或人的圖片。
之前，我們考慮過(guò)自編碼器(Sketch-RNN模型)，它能夠?qū)⒃嫉臄?shù)據(jù)編碼變成潛在的向量表示。而生成網(wǎng)絡(luò)能夠做同樣的事情。在這個(gè)項(xiàng)目中，如果是人臉的例子，那么通過(guò)使用該向量，生成網(wǎng)絡(luò)能夠生成清晰的人臉圖像。你也可以通過(guò)改變向量，來(lái)觀察臉部的變化情況。
同樣的算法也可以在潛在的空間起作用：例如，“一個(gè)戴眼鏡的男人”減去“男人”再加上“女人”等于“戴眼鏡的女人”。
用生成對(duì)抗網(wǎng)絡(luò)改變?nèi)四樀哪挲g
如果在訓(xùn)練過(guò)程控制潛在向量的傳入?yún)?shù)，那么在生成潛在向量時(shí)，就可以更改這些參數(shù)值，以便管理圖片中這些必要的圖像信息，這種方式稱(chēng)為條件生成對(duì)抗網(wǎng)絡(luò)模型。正如文章的作者提到的：“面對(duì)有條件的生成對(duì)抗網(wǎng)絡(luò)模型，人臉的年齡是可以被改變的。”在已知人臉年齡的情況下，在IMDB數(shù)據(jù)集上訓(xùn)練我們的模型，我們可以用這種方式改變?nèi)四樀哪挲g。
專(zhuān)業(yè)照片
Google為生成對(duì)抗網(wǎng)絡(luò)創(chuàng)建了一個(gè)有趣的應(yīng)用程序，就是照片的選擇和美化。生成對(duì)抗網(wǎng)絡(luò)模型在一個(gè)專(zhuān)業(yè)的照片數(shù)據(jù)集上訓(xùn)練：生成網(wǎng)絡(luò)試圖改善質(zhì)量較差的照片(包括專(zhuān)業(yè)鏡頭和特殊濾鏡的功能退化等)，而判別網(wǎng)絡(luò)用于區(qū)分“改善后”的照片和真正的專(zhuān)業(yè)照片。
一個(gè)訓(xùn)練有數(shù)的算法，能夠通過(guò)Google街景的全景搜索功能來(lái)搜索得到一些專(zhuān)業(yè)和半專(zhuān)業(yè)質(zhì)量的照片(根據(jù)攝影師的評(píng)級(jí)標(biāo)準(zhǔn)而定)。
從文本描述中合成圖像
生成對(duì)抗網(wǎng)絡(luò)令人印象深刻的一個(gè)例子是使用文本的描述信息來(lái)生成圖像。
這項(xiàng)研究的作者說(shuō)到，不僅將文本信息嵌入到生成網(wǎng)絡(luò)(條件生成對(duì)抗網(wǎng)絡(luò))的輸入中去，而且還要將其嵌入到判別網(wǎng)絡(luò)中去，以便驗(yàn)證文本信息與圖像的對(duì)應(yīng)性。為了確保判別網(wǎng)絡(luò)自身功能的發(fā)揮，除了訓(xùn)練過(guò)程，研究者還為實(shí)際圖片添加了一些不正確的文本信息。
Pix2Pix
在2016年受人矚目的文章當(dāng)屬Berkeley AI Research(BAIR)提出的“用帶有條件的生成對(duì)抗網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)圖像到圖像的轉(zhuǎn)換”。研究人員解決了從圖像到圖像生成的問(wèn)題，例如，需要使用衛(wèi)星圖像來(lái)創(chuàng)建地圖，或使用草圖來(lái)創(chuàng)建逼真的對(duì)象紋理，都可以使用該研究的成果。
條件生成對(duì)抗網(wǎng)絡(luò)的另一個(gè)成功應(yīng)用例子，是根據(jù)情景生成整個(gè)畫(huà)面。這在圖像分割領(lǐng)域得到廣泛的應(yīng)用，Unet被用作生成網(wǎng)絡(luò)的體系結(jié)構(gòu)，并且使用一個(gè)新的PatchGAN分類(lèi)器作為判別網(wǎng)絡(luò)，用以對(duì)抗模糊圖像的干擾(圖像被分割成N個(gè)補(bǔ)丁，并且偽造/真實(shí)的預(yù)測(cè)將分別適用于他們當(dāng)中的每一個(gè)部分)。
CycleGAN
為了應(yīng)用Pix2Pix技術(shù)，你需要一個(gè)包含了不同領(lǐng)域目標(biāo)對(duì)象的數(shù)據(jù)集。例如，用卡片來(lái)組成這樣的數(shù)據(jù)集不成問(wèn)題，但是如果你想做一些更復(fù)雜的事情，如“變形”對(duì)象或重塑對(duì)象的話(huà)，原則上是找不到這樣的目標(biāo)對(duì)象的。因此，Pix2Pix的作者決定進(jìn)一步研究他們的想法，并提出CycleGAN，在圖像的不同區(qū)域之間進(jìn)行不成對(duì)目標(biāo)的轉(zhuǎn)換，而不再需要依賴(lài)于特定的目標(biāo)對(duì)。
這個(gè)想法是教會(huì)兩對(duì)生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，從圖像的一個(gè)域轉(zhuǎn)移到另一個(gè)域。而我們需要的是一個(gè)循環(huán)一致性，即依次應(yīng)用生成網(wǎng)絡(luò)后，我們應(yīng)該得到一個(gè)類(lèi)似原始L1損失的圖像。而一個(gè)循環(huán)損失函數(shù)所需要的并不僅僅是確保生成網(wǎng)絡(luò)在開(kāi)始時(shí)將一個(gè)域的圖像傳送到與另一個(gè)域完全無(wú)關(guān)的圖像。
這種方式能讓你學(xué)習(xí)到馬—斑馬之間的映射。
但是這轉(zhuǎn)變是不穩(wěn)定的，這通常也是產(chǎn)生失敗的原因。
腫瘤學(xué)中分子的發(fā)展
機(jī)器學(xué)習(xí)正在進(jìn)入醫(yī)學(xué)領(lǐng)域。除了識(shí)別超聲波，MRI和診斷，還可以用于尋找新的藥物來(lái)對(duì)抗癌癥。簡(jiǎn)單地說(shuō)，在對(duì)抗自編碼器的幫助下，我們可以學(xué)習(xí)分子的潛在形式，然后以此來(lái)搜索新的分子形式。結(jié)果發(fā)現(xiàn)了69個(gè)分子，其中一半是被用來(lái)對(duì)抗癌癥，而剩下的都具有很大的潛在性。
對(duì)抗性攻擊
關(guān)于對(duì)抗性攻擊的話(huà)題，正在被積極地探索研究。那么什么是對(duì)抗性攻擊呢？例如，在ImageNet數(shù)據(jù)庫(kù)上訓(xùn)練標(biāo)準(zhǔn)網(wǎng)絡(luò)，當(dāng)為分類(lèi)圖片添加一些特定的噪聲時(shí)，標(biāo)準(zhǔn)網(wǎng)絡(luò)將變得不穩(wěn)定。在下面的例子我們將看到，對(duì)于一張人眼看過(guò)去幾乎沒(méi)有變化的圖片，而模型卻還產(chǎn)生異常的結(jié)果，預(yù)測(cè)出一個(gè)完全不同的類(lèi)別。
例如，使用快速梯度符號(hào)法(FGSM)，可以得到穩(wěn)定的模型：可以訪(fǎng)問(wèn)模型的參數(shù)，可以對(duì)所需的類(lèi)進(jìn)行一個(gè)或多個(gè)漸變的步驟并以此更改原始的圖片。
Kaggle中有一個(gè)與此有關(guān)的任務(wù)：就是鼓勵(lì)參與者創(chuàng)造普遍的攻擊/防御，這些攻擊/防御終都是相互對(duì)立的，以此來(lái)確定好的模型。
我們?yōu)槭裁匆芯窟@些攻擊呢？首先，如果我們想要保護(hù)我們的產(chǎn)品，我們可以向驗(yàn)證碼添加噪聲，以防止垃圾郵件的自動(dòng)識(shí)別。其次，算法越來(lái)越多地涉及到我們的生活中，如人臉識(shí)別系統(tǒng)和自動(dòng)駕駛系統(tǒng)，在這種情況下，攻擊者就可以利用算法的缺點(diǎn)展開(kāi)攻擊，威脅到我們的生活。
例如，特殊的眼鏡可以讓你欺騙人臉識(shí)別系統(tǒng)，系統(tǒng)將把自己當(dāng)成另一個(gè)人。
所以，在訓(xùn)練模型的時(shí)候我們要考慮到可能的攻擊情況。類(lèi)似以下的這種的操作符也不能被它們正確的識(shí)別。
強(qiáng)化學(xué)習(xí)
強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中有趣也是值得發(fā)展的方法之一。這種方法的本質(zhì)是通過(guò)給定的經(jīng)驗(yàn)，在特定的環(huán)境中，學(xué)習(xí)訓(xùn)練代理并給予獎(jiǎng)勵(lì)的一種學(xué)習(xí)方式，就像人類(lèi)的終生學(xué)習(xí)一樣。
強(qiáng)化學(xué)習(xí)在游戲，機(jī)器人和系統(tǒng)管理等領(lǐng)域已被廣泛地使用。當(dāng)然，大家都聽(tīng)說(shuō)過(guò)AlphaGo在圍棋比賽中完勝?lài)鍖?zhuān)業(yè)選手。目前，研究人員正使用強(qiáng)化學(xué)習(xí)方式來(lái)訓(xùn)練機(jī)器人，因?yàn)闄C(jī)器人本身的設(shè)計(jì)就是為了改進(jìn)策略而不斷發(fā)揮自身作用的。
以強(qiáng)化學(xué)習(xí)方式訓(xùn)練不受控制的輔助任務(wù)
在過(guò)去的幾年中，DeepMind的研究者使用深度強(qiáng)化網(wǎng)絡(luò)(DQN)來(lái)學(xué)習(xí)街機(jī)游戲，并已達(dá)到超人類(lèi)的游戲表現(xiàn)。目前，他們正在訓(xùn)練算法去學(xué)習(xí)玩一些更復(fù)雜的游戲，如毀滅戰(zhàn)士(Doom)。
強(qiáng)化學(xué)習(xí)的研究，大部分的注意力都集中在加速學(xué)習(xí)方面，因?yàn)榇砼c環(huán)境之間的交互經(jīng)驗(yàn)需要在目前的GPU上進(jìn)行很長(zhǎng)時(shí)間的訓(xùn)練。
在DeepMind的官方博客中，介紹了一種引入額外損失(輔助任務(wù))的方式來(lái)加速訓(xùn)練過(guò)程，如預(yù)測(cè)幀變化(像素控制)，以便代理能夠更好地理解行為的后果，這將大大加快學(xué)習(xí)的速度。
學(xué)習(xí)機(jī)器人
OpenAI的研究人員一直致力于研究代理在虛擬環(huán)境中的訓(xùn)練過(guò)程，相比于現(xiàn)實(shí)生活，這樣的實(shí)驗(yàn)顯得更加安全。其中一項(xiàng)研究表明，一次學(xué)習(xí)是可能是實(shí)現(xiàn)的。一個(gè)人在虛擬現(xiàn)實(shí)中能夠展示如何執(zhí)行某項(xiàng)任務(wù)的能力，而一個(gè)演示就足以讓算法進(jìn)行學(xué)習(xí)，并在真實(shí)條件下實(shí)現(xiàn)。如果可以的話(huà)，這對(duì)于人類(lèi)來(lái)說(shuō)簡(jiǎn)直是太容易了。
學(xué)習(xí)人的喜好
這是OpenAI和DeepMind共同的一個(gè)工作主題。底線(xiàn)是一個(gè)代理和一個(gè)任務(wù)，算法提供兩種可能的解決方案，并指出哪一種更好。通過(guò)迭代地訓(xùn)練該過(guò)程，得到來(lái)自代理的反饋信息，并以此來(lái)學(xué)習(xí)如何解決該問(wèn)題。
即使這樣，人類(lèi)必須要認(rèn)真思考要讓機(jī)器去學(xué)習(xí)的東西。例如，評(píng)估者確定要讓算法去接受某個(gè)對(duì)象，但是實(shí)際上他只是模擬了這個(gè)動(dòng)作而已。
在復(fù)雜環(huán)境中運(yùn)動(dòng)
這是DeepMind的另一項(xiàng)研究。為了教會(huì)機(jī)器人一些復(fù)雜的行為(走路，跳躍等)，甚至做一些類(lèi)似人類(lèi)做的事情，你必須要大量地考慮損失函數(shù)的選擇，這將是鼓勵(lì)所期望行為發(fā)生的關(guān)鍵所在。然而，這個(gè)算法好靠簡(jiǎn)單的獎(jiǎng)勵(lì)來(lái)學(xué)習(xí)復(fù)雜的行為。研究人員已經(jīng)成功實(shí)現(xiàn)了這一目標(biāo)：他們通過(guò)構(gòu)建一個(gè)復(fù)雜的帶障礙的環(huán)境，在移動(dòng)的過(guò)程給予簡(jiǎn)單的獎(jiǎng)勵(lì)回報(bào)，教會(huì)一個(gè)代理(身體模擬器)去執(zhí)行一些復(fù)雜的行為。
你可以看看這些令人印象深刻的視頻，不過(guò)，用超聲道觀看它將更加有趣。https://youtu.be/itACOKJHYmw
后，我將給出OpenAI近發(fā)布的學(xué)習(xí)強(qiáng)化學(xué)習(xí)算法的鏈接，相比于標(biāo)準(zhǔn)的深度強(qiáng)化網(wǎng)絡(luò)，現(xiàn)在你可以使用一些更先進(jìn)的方法來(lái)解決問(wèn)題。https://github.com/openai/baselines
其他
冷卻數(shù)據(jù)中心
2017年7月，Google公司報(bào)告中提到，利用DeepMind在機(jī)器學(xué)習(xí)領(lǐng)域的研究成果來(lái)降低數(shù)據(jù)中心的能源成本。根據(jù)數(shù)據(jù)中心上千個(gè)傳感器的數(shù)據(jù)信息，Google開(kāi)發(fā)人員訓(xùn)練了一個(gè)集成的神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)PUE(電源使用效率)和更的數(shù)據(jù)中心管理。這是機(jī)器學(xué)習(xí)實(shí)際應(yīng)用中一項(xiàng)令人深刻的成果。
一個(gè)模型完成所有任務(wù)
正如你所知道的那樣，訓(xùn)練好的模型很難從一個(gè)任務(wù)轉(zhuǎn)移到另一個(gè)任務(wù)，因?yàn)槊總€(gè)任務(wù)都必須經(jīng)過(guò)特定的模型訓(xùn)練過(guò)程。Google Brain提出的“用一個(gè)模型來(lái)學(xué)習(xí)所有的東西”，向模型的普遍適用性研究邁出了一小步。
研究人員已經(jīng)訓(xùn)練了一個(gè)模型，來(lái)執(zhí)行不同領(lǐng)域(包括文本，語(yǔ)音和圖像等)的八個(gè)任務(wù)。例如，來(lái)自不同語(yǔ)言的翻譯，文本的解析以及圖像和聲音的識(shí)別等任務(wù)。
為了實(shí)現(xiàn)這個(gè)目標(biāo)，他們構(gòu)建了一個(gè)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，用不同的模塊來(lái)處理不同的輸入數(shù)據(jù)并輸出結(jié)果。編碼器/解碼器的模型分為三種類(lèi)型：卷積、注意力和門(mén)控混合專(zhuān)家模塊。
主要的研究成果如下：
得到幾乎的模型 (作者沒(méi)有微調(diào)超參數(shù)設(shè)置)。
不同領(lǐng)域間的知識(shí)遷移，即在數(shù)據(jù)量大的任務(wù)上，性能幾乎相同，對(duì)于小問(wèn)題的性能表現(xiàn)更好 (如解析任務(wù))。
不同人物所需的模塊間不會(huì)產(chǎn)生相互的干擾，有時(shí)甚至可以互相幫助，如門(mén)控混合專(zhuān)家的模塊在ImageNet上，對(duì)任務(wù)的模型性能有改善作用。
另外，這個(gè)強(qiáng)大的模型已經(jīng)呈現(xiàn)在tensor2tensor中。
一小時(shí)內(nèi)學(xué)習(xí)ImageNet數(shù)據(jù)庫(kù)
在他們的帖子中，F(xiàn)acebook的工作人員告訴我們，他們的工程師只需要一個(gè)小時(shí)就能夠在ImageNet數(shù)據(jù)庫(kù)上訓(xùn)練完ResNet-50模型，這需要使用256個(gè)GPU集群(Tesla P100)。他們使用Gloo和Caffe2深度學(xué)習(xí)框架進(jìn)行分布式訓(xùn)練。為了是整個(gè)過(guò)程更有效率，對(duì)于學(xué)習(xí)策略的調(diào)整是很有必要的(8192個(gè)元素)：采用梯度平均，模型預(yù)訓(xùn)練以及特殊學(xué)習(xí)率等策略。
結(jié)果表明，從8個(gè)GPU擴(kuò)展到256個(gè)GPU訓(xùn)練時(shí)，可以達(dá)到90%的效率。也就是說(shuō)，現(xiàn)在Facebook的研究人員可以比沒(méi)有這個(gè)集群的研究者更快地進(jìn)行實(shí)驗(yàn)。
新聞
自動(dòng)駕駛汽車(chē)
自動(dòng)駕駛汽車(chē)領(lǐng)域的研究正在深入發(fā)展，而自駕車(chē)也正在測(cè)試中。從近的事件中，我們可以看到來(lái)自英特爾的MobiEye被收購(gòu)，Uber和Google的技術(shù)被前員工偷竊的丑聞以及使用自動(dòng)駕駛儀所導(dǎo)致的起交通死亡事件等。
我注意到：Google Waymo正推出一個(gè)測(cè)試版的自駕程序。Google是自動(dòng)駕駛領(lǐng)域的，并且他們的技術(shù)已經(jīng)非常成熟，因?yàn)镚oogle的無(wú)人駕駛車(chē)已經(jīng)行駛了300多萬(wàn)英里。
近發(fā)生的大事是自動(dòng)駕駛汽車(chē)已經(jīng)被允許在美國(guó)各州上路。
衛(wèi)生保健
現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)已經(jīng)開(kāi)始引入醫(yī)學(xué)領(lǐng)域。例如，Google與醫(yī)療中心合作并幫助醫(yī)生進(jìn)行診斷。
為此，DeepMind還成立了一個(gè)獨(dú)立的單元，用于從事醫(yī)學(xué)領(lǐng)域的深度學(xué)習(xí)技術(shù)研究。
今年，DeepMind在數(shù)據(jù)科學(xué)碗項(xiàng)目的基礎(chǔ)上舉辦了一場(chǎng)競(jìng)賽，根據(jù)詳細(xì)的圖像數(shù)據(jù)來(lái)預(yù)測(cè)肺癌，該賽事的獎(jiǎng)金高達(dá)一百萬(wàn)美元。
投資
目前，與之前BigData一樣，機(jī)器學(xué)習(xí)領(lǐng)域也得到了大量的投資。中國(guó)在人工智能領(lǐng)域的投資已有1500億美元，處于水平。百度研究公司雇傭了1300人從事人工智能的研究工作，而Facebook的FAIR研究院才有80位研究人員。此外，在KDD會(huì)議結(jié)束的尾端，阿里巴巴的員工談?wù)摰剿麄兊膮?shù)服務(wù)器KungPeng，運(yùn)行了1000億個(gè)樣本，具有萬(wàn)億級(jí)的參數(shù)量，這已經(jīng)成為日常工作里的一個(gè)基本運(yùn)作。
你可以得到自己的結(jié)論，學(xué)習(xí)機(jī)器學(xué)習(xí)永遠(yuǎn)都不會(huì)太晚。無(wú)論如何，隨著時(shí)間的推移，所有的開(kāi)發(fā)人員都將使用機(jī)器學(xué)習(xí)技術(shù)和數(shù)據(jù)庫(kù)。不久的將來(lái)，這會(huì)成為一項(xiàng)常備技能。
移動(dòng)版
智慧城市網(wǎng)APP
智慧城市網(wǎng)小程序
微信公眾號(hào)
