【
中國安防展覽網(wǎng) 企業(yè)關(guān)注】2018年，一切可能都會發(fā)生戲劇性的變化。深度學(xué)習(xí)在2017年取得的那些不可思議的突破，將在2018年全面爆發(fā)。去年大量研究工作將轉(zhuǎn)移到日常的軟件應(yīng)用中。這里對2018年的深度學(xué)習(xí)發(fā)展方向展開預(yù)測。
1、多數(shù)深度學(xué)習(xí)硬件創(chuàng)業(yè)公司都將失敗
許多深度學(xué)習(xí)硬件創(chuàng)業(yè)公司將在2018年終交付他們的芯片。這些都是半成品，因?yàn)樗麄儠浱峁┑能浖碇С诌@些新解決方案。這些公司的DNA都在于硬件。不幸的是，在深度學(xué)習(xí)領(lǐng)域，軟件同樣重要。這些創(chuàng)業(yè)公司大多不懂軟件，也不了解開發(fā)軟件的成本。這些公司可能會提供芯片，但卻沒有任何東西會在這些芯片上運(yùn)行。
采用收縮陣列解決方案是一種較易達(dá)成的目標(biāo)，目前已經(jīng)被采用，所以我們不會像在2017年那樣看到很多10倍規(guī)模的性能升級。研究人員不僅會用這些Tensor Core進(jìn)行推理，還可以加快訓(xùn)練速度。
英特爾的解決方案將繼續(xù)推遲，可能會令人失望。記錄表明，英特爾無法在2017年年中發(fā)布這款產(chǎn)品，誰也無法預(yù)測該公司何時(shí)能推出這款產(chǎn)品。如果為時(shí)已晚，那就只能變成一顆啞彈。
谷歌將繼續(xù)憑借TPU的開發(fā)給世界帶來驚喜。谷歌或許會進(jìn)入硬件業(yè)務(wù)，將其知識產(chǎn)權(quán)授權(quán)給其他半導(dǎo)體廠商。如果它繼續(xù)成為除了英偉達(dá)以外一個(gè)真正的參與者，這種做法將很有意義。
2、元學(xué)習(xí)將成為新的SGD
2017年，元學(xué)習(xí)領(lǐng)域涌現(xiàn)出很多意義重大的研究。隨著研究界對元學(xué)習(xí)的理解整體得到提升，傳統(tǒng)的隨機(jī)梯度下降法(SGD)將被邊緣化，轉(zhuǎn)向更有效的方法，將更具爆發(fā)性和探索性的搜索方法結(jié)合起來。
無監(jiān)督學(xué)習(xí)的進(jìn)步將會逐步加快，但主要將受到元學(xué)習(xí)算法的推動。
3、生成模型推動新型建模
生成模型將具備更多的科學(xué)探索意義。目前的多數(shù)研究都是生成圖像和語音。然而，我們應(yīng)該看到這種方法融合到一些工具之中，用來為復(fù)雜的系統(tǒng)建模。其中一個(gè)領(lǐng)域是用深度學(xué)習(xí)建立經(jīng)濟(jì)模型。
4、通過自我對局來自動化創(chuàng)建知識
能夠從頭自學(xué)的AlphaGo Zero和AlphaZero是一場巨大的飛躍。在我看來，這跟深度學(xué)習(xí)的出現(xiàn)擁有同等程度的影響力。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)近似器。而自學(xué)則發(fā)現(xiàn)了通用的知識創(chuàng)造。預(yù)計(jì)自學(xué)式機(jī)器學(xué)習(xí)還將取得很多進(jìn)展。
5、有直覺的機(jī)器將填補(bǔ)語義鴻溝
這是我大膽的一項(xiàng)預(yù)測。我們將填補(bǔ)有直覺的機(jī)器與理性機(jī)器之間的語義鴻溝。對偶過程理論(包括兩個(gè)認(rèn)知機(jī)器，一個(gè)沒有模型，另外一個(gè)有模型)將在我們開發(fā)新的人工智能的過程中成為更加流行的概念。人工直覺的概念不再是一個(gè)邊緣概念，而是會在2018年成為更為人普遍接受的理念。
6、可解釋性無法實(shí)現(xiàn)——我們只能偽造
可解釋性有兩個(gè)問題。較為人所知的問題在于，解釋有很多規(guī)則，人類不可能全部掌握。第二個(gè)問題不太為人所知，那就是機(jī)器會創(chuàng)造很多人類完全陌生且無法解釋的概念。我們已經(jīng)在AlphaGo Zero和AlphaZero的策略中看到這種現(xiàn)象。人類認(rèn)為這種舉動超出常規(guī)，但它們或許只是沒有能力理解這種行為背后的邏輯而已。
我認(rèn)為，這是個(gè)無法解決的問題。相反，機(jī)器將很擅長“偽造解釋”。簡單來說，可解釋的機(jī)器的目標(biāo)是理解人類感到舒適的那些解釋，或者人類在直覺層面能夠理解的解釋。然而，在多數(shù)情況下，都無法對人類完全解釋清楚。我們需要通過“偽造解釋”來提高深度學(xué)習(xí)的可解釋性。
7、深度學(xué)習(xí)研究信息將會大量減少
2017年，人們已經(jīng)很難跟上深度學(xué)習(xí)研究進(jìn)度。ICLR 2018大會上提交的論文約有4000篇。研究人員需要一天閱讀10篇論文才能跟上這次大會的進(jìn)度。
該問題在這一領(lǐng)域還在惡化，因?yàn)槔碚摽蚣茉谶@一過程中都很管用。要在理論上取得進(jìn)步，就需要找到更先進(jìn)的數(shù)學(xué)方法，讓我們能夠更好地展開分析。這并不容易，原因在于多數(shù)深度學(xué)習(xí)研究人員都沒有合適的數(shù)學(xué)背景，無法理解這些系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要研究人員擁有復(fù)雜的理論基礎(chǔ)，但這種研究人員實(shí)際上卻很少。
由于論文數(shù)量太多，加之糟糕的理論層出不窮，導(dǎo)致我們陷入了如今這個(gè)令人不悅的狀態(tài)。
通用人工智能的通用路線圖也有所缺失。理論很薄弱，因此我們能做的就是創(chuàng)造一份路線圖，上面配有很多與人類認(rèn)知有關(guān)的里程碑。我們只有一個(gè)來自認(rèn)知心理學(xué)的純理論框架。這種情況很糟糕，因?yàn)檫@些領(lǐng)域的實(shí)踐證據(jù)很匱乏。
深度學(xué)習(xí)研究論文的數(shù)量可能在2018年增長三四倍。
8、通過教學(xué)環(huán)境實(shí)現(xiàn)工業(yè)化
想要讓深度學(xué)習(xí)的發(fā)展更可預(yù)測、更易控制，就需要發(fā)展更加具體的教學(xué)環(huán)境。我之前有過詳細(xì)闡述。如果你想知道教學(xué)技術(shù)為粗糙的表現(xiàn)形式，只需要看看深度學(xué)習(xí)網(wǎng)絡(luò)是如何訓(xùn)練的即可。我們都會在這一領(lǐng)域看到更多進(jìn)步。
預(yù)計(jì)將有更多公司披露他們的內(nèi)部基礎(chǔ)架構(gòu)，從而揭示他們是如何大規(guī)模部署深度學(xué)習(xí)的。
9、對話式認(rèn)知崛起
我們評估通用人工智能的方法過于陳舊。需要通過一種新的范式來解決現(xiàn)實(shí)世界的復(fù)雜動態(tài)。我們未來一年應(yīng)該看到這一領(lǐng)域出現(xiàn)更多進(jìn)展。我將在3月1日和2日在阿姆斯特丹的Information Energy 2018大會上探討這種新的對話式認(rèn)知范式。
10、我們要求對人工智能的使用符合道德標(biāo)準(zhǔn)。
將有越來越多的人要求人工智能的使用遵守道德標(biāo)準(zhǔn)。人們目前越發(fā)意識到自動化失控后產(chǎn)生的惡劣后果。Facebook、Twitter、谷歌、亞馬遜等平臺上使用的簡單的自動化技術(shù)都會產(chǎn)生意想不到的社會影響。
在部署那些能夠預(yù)測人類行為的機(jī)器時(shí)，我們需要理解其中的倫理道德問題。面部識別就是一項(xiàng)比較危險(xiǎn)的功能。能夠生成以假亂真的媒體資料的算法會成為大問題。整個(gè)社會都應(yīng)該要求人工智能為社會的整體利益考慮，而不能加劇社會的不平等。
預(yù)計(jì)未來一年將看到更多關(guān)于人工智能倫理問題的討論。然而，應(yīng)該不會有新的監(jiān)管措施出臺。政策制定者還需要再過幾年才能真正理解人工智能對社會的影響。我不認(rèn)為他們會停止斗爭，解決社會面臨的真正問題。美國人口受到很多安全問題的影響，但我們并沒有看到新的立法來解決這些嚴(yán)重問題。所以，不要奢望這些問題一夜之間得到解決。(原標(biāo)題：2018深度學(xué)習(xí)趨勢：元學(xué)習(xí)成新SGD，多數(shù)硬件創(chuàng)企將失敗)
智慧城市網(wǎng)APP
智慧城市網(wǎng)小程序
微信公眾號
移動版
