【中國安防展覽網(wǎng) 媒體導讀】多年來，深度學習一直處于AI革命的前沿，許多人相信這是將我們帶入技術奇點奇跡(通用AI)的銀子彈。 2014年，2015年和2016年許多押注都是在推出新邊界的時候作出，例如Alpha Go等。特斯拉等公司通過其執(zhí)行官親口宣布，全自動駕駛汽車已經(jīng)非常接近了，特斯拉甚至開始向客戶推銷這個選項(在未來的軟件更新中啟用)。
在2018年中期我們看到發(fā)生了變化。從表面上看，NIPS會議仍然處于超賣狀態(tài)，企業(yè)公關仍然在所有新聞稿中都有AI，埃隆·馬斯克仍然保持著有前途的自動駕駛汽車，而谷歌 CEO不斷重申吳恩達的口號，即AI比電力更強大。但是這個敘述開始破裂。正如Piekniewski在以前文章中所預測的那樣，明顯的裂痕是自動駕駛 —— 這種技術在現(xiàn)實世界中的實際應用。
深度學習蒙塵
當ImageNet得到有效解決(注意這并不意味著解決方案已經(jīng)解決)，該領域的許多杰出研究人員(包括通常低調(diào)安靜的杰夫·辛頓)都在積極地進行新聞采訪，在社交媒體上公開一些東西(例如燕樂存，吳恩達，李飛飛等)?？偟膩碚f，我們正處在一場巨大的革命前面，從現(xiàn)在開始，事情只會加速。好幾年已經(jīng)過去了，那些人的Twitter變得不那么活躍了，下面是吳恩達的例子：
2013年：每天0.413條推文
2014年：每天0.605條推文
2015年：每天0.320條推文
2016年：每天0.802推文
2017年：每天0.668推文
2018 年：每天0.263推文(至5月24日)
顯然，情緒已經(jīng)大大降溫，贊美深度學習作為算法的推文少得多，論文正在變得不那么“革命”，并且更“進化”。自從他們的Alpha Go zero推出以來，Deepmind并沒有顯示出任何令人驚嘆的事物[即使這并不令人興奮，因為只有游戲的必要計算量和適用性 —— 參見Moravec的悖論。而OpenAI相當安靜。
實際上，有些文章開始顯示，即使谷歌實際上并不知道如何處理Deepmind，因為它們的結果顯然不如原先預期的那么實際......至于杰出的研究人員，他們一般都在加拿大或法國與政府官員見面，為了獲得未來的補助金，燕樂存甚至辭去Facebook的職位。這種從富有的大公司向政府資助的研究機構的逐漸轉變表明，這些公司對這類研究的興趣實際上正在慢慢收斂。這些都是早期跡象，沒有什么大聲說出來的，只是肢體語言。
深度學習不成規(guī)模
關于深度學習的重要口號之一是它幾乎毫不費力地擴張。我們在2012年擁有6000M參數(shù)的AlexNet，現(xiàn)在我們可能已經(jīng)有至少1000倍的數(shù)量的模型了嗎?好吧，我們可能會這樣做，但問題是這些東西有1000倍的能力嗎?甚至100倍的能力?
因此，就視覺應用而言，我們看到VGG和Resnets在計算資源應用的一個數(shù)量級上(就參數(shù)數(shù)量而言實際上較少)飽和。 Xception是谷歌啟動架構的一種變體，實際上它在ImageNet上的表現(xiàn)略微優(yōu)于其他產(chǎn)品，可以說實際上略勝過其他人，因為AlexNet基本上解決了ImageNet。
所以，在比AlexNet計算機計算量提高100倍的情況下，我們在視覺方面幾乎飽和的體系結構，或的圖像分類。神經(jīng)機器翻譯是所有大型網(wǎng)絡搜索參與者的一大努力，難怪它需要所有可能的計算。該圖上的新三點有趣地顯示了Deepimind和OpenAI應用于游戲的強化學習相關項目。特別是AlphaGo Zero和稍微更通用的AlphaZero需要大量計算，但不適用于真實世界的應用程序，因為需要大量計算來模擬和生成這些極度缺乏數(shù)據(jù)模型所需的數(shù)據(jù)。好的，現(xiàn)在我們可以在幾分鐘內(nèi)培訓AlexNet而不是幾天，但是我們可以在幾天內(nèi)培訓一個1000倍的AlexNet，并獲得質(zhì)量更好的結果?顯然不行。
所以實際上，這張旨在表明深度學習規(guī)模如何的圖表顯示了恰恰相反的結果。我們不能只放大AlexNet并分別獲得更好的結果 - 我們必須擺脫特定的體系結構，并且有效的額外計算不會在沒有數(shù)量級的情況下購買更多的數(shù)據(jù)樣本，實際上這只能在模擬游戲環(huán)境中使用。
無人車事故
迄今為止，深度學習聲譽大的打擊來自無人駕駛車輛的領域(我預計很長一段時間都是)。初認為端到端的深度學習可以以某種方式解決這個問題，這個前提概念英偉達特別推崇。我不認為地球上還會有人仍然相信這一點，盡管我可能是錯的。看看去年加利福尼亞DMV的報道，Nvidia的車不能脫離10英里的距離駕駛。
在另一篇文章中，我討論了這種發(fā)展的一般狀況，并與人類駕駛員安全進行了比較(擾流警報)，看起來不太好。自2016年以來，還出現(xiàn)了幾起特斯拉AutoPilot事件，其中一些事件是致命的?？梢哉f，特斯拉自動駕駛儀不應該與自動駕駛混淆，但至少在核心上它依賴于同一種技術。
從今天起，除了偶爾出現(xiàn)的巨大錯誤，它仍然不能停在路口，識別交通信號燈，甚至不能通過環(huán)形交叉路口。在2018年5月，也就是在承諾穿越美國東西海岸的特斯拉自動駕駛旅程的幾個月后的狀況。2018年2月，埃隆·馬斯克在一次電話會議中被問及沿海駕駛時：
“我們本來可以完成穿越美國東西海岸的自動駕駛旅程，但它需要太多的專用代碼來有效地執(zhí)行，這使其變得脆弱，只能用于特定的路線，但不是像一般的解決方案。我們可以在相同路徑重復它，但是如果它不能用于任何其他路線，這不是一個真正的解決方案...”
我對神經(jīng)網(wǎng)絡方面取得的進展感到非常興奮。這有點 ——也是那些看起來沒有進展的指數(shù)級別的東西之一 —— 看起來沒有太多進展，沒有什么變化，但是突然會哇一聲。它就像是一個蹩腳的司機，技術拙劣。但突然之間，變成一個非常棒的司機。自動駕駛汽車也是這樣。”
實質(zhì)上，馬斯克的說法應該被解釋為：“我們目前沒有這種自動駕駛技術可以安全地帶著我們穿越海岸，盡管如果我們真的想要，我們可以偽造它。我們深深地希望有些神經(jīng)網(wǎng)絡能力的指數(shù)跳躍將很快發(fā)生，并幫助我們免受恥辱和大規(guī)模的訴訟。”
但迄今為止，戳破人工智能泡泡大的針是Uber自動駕駛汽車在亞利桑那州撞死一名行人的事故。從NTSB的初步報告中，令人驚訝的是系統(tǒng)花費了很長時間來試圖確定前面看到的究竟是什么，在這種情況下，而不是做出的邏輯決策，確保不會撞到它。這有幾個原因：首先，人們經(jīng)常在事后說出他們的決定。所以一個人通常會說：“我看到一個騎車的人，所以我轉向左邊避開他”。
大量的心理物理學文獻將提出一個完全不同的解釋：人類通過神經(jīng)系統(tǒng)的快速感知循環(huán)很快將其解釋為障礙，并且迅速采取行動躲避它，幾秒鐘后，意識到發(fā)生了什么并提供了口頭說明”。我們每天做的很多決定都不是語言表達的，駕駛包括許多決定，言語表達費用昂貴，需要時間，而現(xiàn)實往往不能提供時間，這些機制已經(jīng)發(fā)展了十億年保持我們的安全。
駕駛環(huán)境(盡管現(xiàn)代化)利用了許多這樣的反應，但由于這些反應并沒有專門為駕駛而發(fā)展，所以它們可能會引發(fā)錯誤，在汽車里被蜂蟄而導致的膝跳反應可能導致許多撞車事故和死亡。但是我們對三維空間，速度，預測代理行為的能力，穿過我們路徑上物理對象行為的一般理解是原始技能，這些技能在1億年前與現(xiàn)在一樣有用，并且由于進化而變得異常敏捷。
但是由于大多數(shù)這些東西都不易表達，所以很難衡量，因此我們并沒有在這些方面優(yōu)化我們的機器學習系統(tǒng)。現(xiàn)在，這將支持英偉達的端到端方法 - 學習圖像 - >動作映射，跳過任何語言表達。在某些方面，是做到這一點的正確方式，但是......問題在于輸入空間是難以置信的高維度，而動作空間的維度非常低。因此，“標簽”(讀數(shù))的“數(shù)量”與進入的信息量相比非常小。在這種情況下，學習虛假關系很容易，正如深入學習中的敵對示例所例證的那樣。我們需要一個不同的范例，并假設對整個感知輸入和行為的預測，作為使系統(tǒng)能夠提取世界語義的步，而不是假相關性。
事實上，如果我們從深度學習的爆發(fā)中學到了什么，是(10k +維)圖像空間中有足夠多的虛假模式，它們實際上概括了許多圖像，并使像我們分類器那樣實際上理解了所正在看到的東西。正如在這個領域投入巨資的研究人員所承認的，事實并非如此。事實上，許多研究人員不應該對我的觀察結果感到憤怒，燕樂存提醒人們對AI關注的過度興奮和AI冬季，即使是當前反向傳播爆發(fā)之父——Geoffrey Hinton，在接受采訪時也承認這種情況可能已經(jīng)是個死胡同，我們需要重新開始。盡管如此，炒作仍是非常厲害，甚至沒有人聽聽到該領域創(chuàng)始人的聲音。
加里·馬庫斯和他對炒作的反對
我應該提到，更多人士正在認識到狂妄自大，并有勇氣公開稱之為自負。加里·馬庫斯是該領域活躍的人之一。雖然我并不同意加里在人工智能方面提出的所有建議，但我們當然同意它還沒有像深度學習所炒作的那樣強大。事實上，它還差得遠。我很尊重加里，他的行為應該像一個真正的科學家，而大多數(shù)所謂的“深度學習明星”就像廉價名人一樣。
結論
預測AI寒冬就像預測股市崩盤，不可能準確地分辨出什么時候發(fā)生，但幾乎可以肯定它會在某個時刻出現(xiàn)。就像在股市崩盤之前，即將崩潰的跡象一樣，但盡管以再強烈的語氣描述它，還是會很容易忽視，即使已經(jīng)非常明顯了。在我看來，已經(jīng)有這樣的跡象表明，深度學習的衰退已經(jīng)顯現(xiàn)出來了(可能在人工智能方面，由于這個詞已被企業(yè)宣傳大肆濫用)，這在很明顯的情況下是可見的，由于越來越多的炒作。那么寒冬到底有多“冷”?我不知道。接下來會發(fā)生什么?我不知道。但是我認為，即將來臨，或許更快而決不會遲到。
智慧城市網(wǎng)APP
智慧城市網(wǎng)小程序
微信公眾號
移動版
