編者按：過去 4 年，大家無疑已經(jīng)注意到大范圍的日常技術(shù)在質(zhì)量方面已經(jīng)取得了巨大突破。這背后基本上都有深度學(xué)習(xí)的影子。到底什么是深度學(xué)習(xí)？深度學(xué)習(xí)是如何發(fā)展到今天的？這一路上它都經(jīng)歷了哪些關(guān)鍵時刻？Roger Parloff 的這篇http://iphone.myzaker.com/zaker/l.php?u=http%3A%2F%2Ffortune.com%2Fai-artificial-intelligence-deep-machine-learning%2F&target=_new" target="_self">深度學(xué)習(xí)簡史可以讓我們?nèi)媪私?。鑒于篇幅較長，我們分上下兩篇刊出，這是上篇。

過去 4 年，讀者無疑已經(jīng)注意到大范圍的日常技術(shù)在質(zhì)量方面已經(jīng)取得了巨大突破。

其中最明顯就是我們智能手機上的語音識別，它的功能已經(jīng)比過去好得多了。當(dāng)我們用語音命令打電話給配偶時已經(jīng)能聯(lián)系上對方了。因為接線的不是美國鐵路局或者一頭憤怒的公牛。

實際上，我們現(xiàn)在越來越只需跟計算機講話就能實現(xiàn)互動，對方也許是 Amazon 的 Alexa，蘋果的 Siri，微軟的 Cortana 或者 Google 的眾多語音響應(yīng)功能。百度稱，過去 18 個月其客戶語音接口的使用量已經(jīng)增至原來的 3 倍。

機器翻譯等其他形式的語言處理也變得更加令人信服，Google、微軟、Facebook 和百度每月都會 get √新的技能。Google 翻譯現(xiàn)在為 32 個語言對提供語音翻譯，為 103 種語言提供文本翻譯，其中不乏宿務(wù)語、伊博語、祖魯語等略微生僻的語言。Google 的收件箱現(xiàn)在已經(jīng)為所有來信準備了 3 種回復(fù)。

然后還有圖像識別方面的進展。上述 4 家公司都有無需識別標簽即可讓你搜索或者自動組織相片集的功能。你可以要求把有狗、有雪的照片都顯示出來，甚至連擁抱這樣相當(dāng)抽象的概念也難不倒它。這些公司還都在做類似的產(chǎn)品原型，可以在數(shù)秒鐘之內(nèi)生成句子長度的照片描述。

想想吧。要想收集有狗的照片，app 必須識別很多種狗，從吉娃娃到德國牧羊犬，而且無論照片是倒置還是部分模糊，無論是在左邊還是右邊，不管是大霧還是下雪，是陽光普照還是在林蔭底下，app 都不應(yīng)該識別不出小狗。與此同時還得排除掉狼和貓等。光靠像素的話這怎么可能做到呢？

http://zkres.myzaker.com/201610/57f5c66ea07aecc97a020953_640.jpg">

人工神經(jīng)網(wǎng)絡(luò)如何識別照片中的小狗。1）訓(xùn)練階段會提供大量帶標簽的各種動物圖像給神經(jīng)網(wǎng)絡(luò)，讓后者學(xué)會進行分類；2）輸入：提供一張不帶標簽的圖片給經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；3）第一層：神經(jīng)元對不同的簡單形狀如邊緣進行響應(yīng)；4）更高層：神經(jīng)元對更復(fù)雜的結(jié)構(gòu)進行響應(yīng)；5）頂層：神經(jīng)元對我們會識別為不同動物的高度復(fù)雜、抽象的概念進行響應(yīng)。

圖像識別的進展遠不僅限于那些看起來很酷的社交 app 上。醫(yī)療初創(chuàng)企業(yè)宣布它們很快就可以用計算機來讀 X 光片、MRI（核磁共振圖像）以及 CT 掃描，而且跟放射科醫(yī)生相比，它們不僅速度更快結(jié)果還更加精確，可以更早創(chuàng)傷更少地診斷癌癥，并且加速拯救生命的藥物的尋找工作。更好的圖像識別對于機器人學(xué)、無人機以及無人車（福特、Tesla、Uber、百度、Google 等都在路測自己的無人車原型）等方面的技術(shù)改進至關(guān)重要。

但大多數(shù)沒有意識到的是，所有這些突破在本質(zhì)上其實都是同一個突破。它們都是靠一組熱門人工智能技術(shù)取得的，這種技術(shù)的名字叫做深度學(xué)習(xí)，但大多數(shù)科學(xué)家更愿意用它最初的學(xué)術(shù)名稱：深度神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)最引人矚目的點是計算機并沒有經(jīng)過任何的人工編程即可實現(xiàn)上述功能。當(dāng)然，實際上也沒有人能夠通過編程來實現(xiàn)那些功能。程序員只是給計算機提供了一種學(xué)習(xí)算法，讓它觀察上 TB 的數(shù)據(jù)——也就是訓(xùn)練計算機，讓它自行找出如何識別所需對象、單詞或者句子的辦法。

簡而言之，現(xiàn)在這些計算機可以自學(xué)了。Nvidia CEO 黃仁勛說："基本上這相當(dāng)于寫軟件的軟件。" Nvidia 是圖形處理器的市場領(lǐng)導(dǎo)，在 5 年前開始大規(guī)模押注于深度學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)并不是什么新事物。這一概念最早可以追溯到 1950 年代，而許多的關(guān)鍵算法突破試著 1980 年代和 1990 年代才取得的。變的是現(xiàn)在的計算機科學(xué)家終于有了海量的計算能力，以及龐大的數(shù)據(jù)倉庫——互聯(lián)網(wǎng)上充斥著各種圖像、視頻、音頻以及文本文件——結(jié)果表明，這些東西對于跑好神經(jīng)網(wǎng)絡(luò)必不可少。VC 機構(gòu) A16Z 的合伙人 Frank Chen 說："這就是深度學(xué)習(xí)的寒武紀大爆發(fā)。"他用大部分較為高等的動物突然出現(xiàn)的地質(zhì)時代來類比深度學(xué)習(xí)取得的進展。

這一飛速發(fā)展激發(fā)了一系列活動爆發(fā)。據(jù) CB Insughts 的數(shù)據(jù)，上季度對 AI 初創(chuàng)企業(yè)的股權(quán)融資達到了 10 億美元的歷史新高。2016 年 Q2 共進行了 121 輪相關(guān)初創(chuàng)企業(yè)融資，相比之下 2011 年同期只有 21 起。在此期間，AI 方面的投資超過了 75 億美元——其中超過 601 億美元是 2014 年以來進行的。（9 月末，AI 的 5 大巨頭—— Amazon、Faebook、Google、IBM 以及微軟成立了http://iphone.myzaker.com/zaker/l.php?u=http%3A%2F%2F36kr.com%2Fp%2F5053809.html&target=_new" target="_self">非盈利的 AI 組織，旨在推動公眾對該話題的理解，并就相關(guān)的道德和最佳實踐開展研究）

2012 年時 Google 開展的深度學(xué)習(xí)項目只有 2 個。據(jù)一位發(fā)言人表示，現(xiàn)在它正在推進的相關(guān)項目已超過 1000 個，涵括了包括搜索、Android、Gmail、翻譯、地圖、YouTube 以及無人車在內(nèi)的所有主流產(chǎn)品范疇。IBM 的 Watson 也應(yīng)用 AI，但它 2011 年擊敗兩位 Jeopardy 智力競賽人類冠軍時用的不是深度學(xué)習(xí)。不過據(jù) Watson CTO Rob High 說，現(xiàn)在 Watson 幾乎所有 30 項服務(wù)都已經(jīng)增加了深度學(xué)習(xí)能力。

5 年前幾乎還不知道深度學(xué)習(xí)是什么的 VC，現(xiàn)在個個對沒有這項技能的初創(chuàng)企業(yè)都非常謹慎。Chen 觀察到："我們已經(jīng)處在這樣一個時代，即開發(fā)復(fù)雜軟件應(yīng)用已經(jīng)成為必須。"他說大家很快就會需要軟件這樣："‘你的自然語言處理版（軟件）在哪里？’‘我怎么才能跟你的 app 對話？因為我不想通過菜單點擊?！?

一些公司已經(jīng)在把深度學(xué)習(xí)集成進自己的日常流程當(dāng)中。微軟研究院負責(zé)人 Peter Lee 說："我們的銷售團隊正在利用神經(jīng)網(wǎng)絡(luò)推薦該聯(lián)絡(luò)哪一位潛在客戶，或者作出什么樣的產(chǎn)品推薦。"

硬件界已經(jīng)感受到這種震動。讓所有這一切成為可能的計算能力發(fā)展不僅僅是得益于摩爾定律的延續(xù)，而且還有 2000 年代末 Nvidia 做出圖形處理器的幫忙——這種強大的芯片原本是為了給玩家提供豐富的 3D 視覺體驗——但大家意外發(fā)現(xiàn)，在深度學(xué)習(xí)計算方面，其效率要比傳統(tǒng) CPU 高出 20 到 50 倍。今年 8 月，Nvidia 宣布其數(shù)據(jù)中心業(yè)務(wù)的季度收入與去年同比已經(jīng)翻了一番多，達 1.51 億美元。其 CFO 告訴投資者"目前為止絕大部分增長來自于深度學(xué)習(xí)。"在時長 83 分鐘的電話會當(dāng)中，"深度學(xué)習(xí)"這個詞就出現(xiàn)了 81 次。

芯片巨頭英特爾也沒有閑著。過去 2 個月它一口氣（以超過 4 億美元）收購了 Nervana Systems 和 Movidius（價格未披露），這兩家公司的技術(shù)都是針對不同階段的深度學(xué)習(xí)計算量身定制的。

至于 Google，今年 5 月，它披露了自己已經(jīng)秘密采用自行設(shè)計的定制芯片 TPU（Tensor Processing Unit）一年多了，這種芯片正是給經(jīng)深度學(xué)習(xí)訓(xùn)練的應(yīng)用使用的。（Tensor 是類似矩陣一樣的數(shù)組，在深度計算中往往要進行相乘運算）

的確，企業(yè)可能已經(jīng)到達了另一個拐點。百度首席科學(xué)家吳恩達說："在過去，許多標普 500 強 CEO 希望自己能早點意識到互聯(lián)網(wǎng)戰(zhàn)略的重要性。我想從現(xiàn)在開始的今后 5 年也會有一些標普 500 強 CEO 后悔沒有早點思考自己的 AI 戰(zhàn)略。"

其實在吳恩達看來，互聯(lián)網(wǎng)這個比喻已經(jīng)不足以形容 AI 及深度學(xué)習(xí)的隱含意義。他說："AI 就是新的電力。僅僅 100 年前電力變革了一個又一個行業(yè)，現(xiàn)在 AI 也會做同樣的事情。"

可以把深度學(xué)習(xí)視為一個子集的子集。"人工智能"涵括的技術(shù)范圍很廣——比如傳統(tǒng)的邏輯學(xué)、基于規(guī)則的系統(tǒng)——這些能幫助計算機和機器人至少用類似思考的方式解決問題。在這個領(lǐng)域里面還有一個更小一點的類別叫做機器學(xué)習(xí)，這是一整個神秘但又重要的數(shù)學(xué)技術(shù)工具箱的總稱，它可以幫助機器改進需要經(jīng)驗的任務(wù)表現(xiàn)。最后，在機器學(xué)習(xí)這個門類當(dāng)中還有一個更小的子集叫做深度學(xué)習(xí)。

吳恩達說，我們可以把深度學(xué)習(xí)看做是"從 A 到 B 的映射。你可以輸入一段音頻剪輯然后輸出腳本。這就是語音識別。"他強調(diào)，只要你有可以訓(xùn)練軟件的數(shù)據(jù)，就有無限可能："你可以輸入電子郵件，而輸出可以是：這是否垃圾郵件嗎？"輸入貸款申請，輸出可能是目標客戶償還貸款的可能性。輸入車隊的使用模式，輸出可以是發(fā)車去到哪里的建議。

人工智能術(shù)語表

人工智能

AI 是個廣義概念，用于任何讓計算機模仿人類智能、利用邏輯、假定規(guī)則、決策樹以及機器學(xué)習(xí)（含深度學(xué)習(xí)）的技術(shù)

機器學(xué)習(xí)

含有深奧的統(tǒng)計技術(shù)的 AI 子集。這種統(tǒng)計技術(shù)可讓機器改進需要經(jīng)驗的任務(wù)。深度學(xué)習(xí)屬于機器學(xué)習(xí)。

深度學(xué)習(xí)

機器學(xué)習(xí)子集包括了讓軟件可以訓(xùn)練自己執(zhí)行任務(wù)（如云和圖像識別）的算法，手段是讓多層神經(jīng)網(wǎng)絡(luò)接受海量數(shù)據(jù)。

在這樣的愿景下，深度學(xué)習(xí)幾乎可以變革任何行業(yè)。Google Brain 項目負責(zé)人 Jeff Dean 說："將會發(fā)生的根本性改變是現(xiàn)在計算機視覺真正可以工作了。"或者用他的話說："現(xiàn)在計算機已經(jīng)睜開了它們的眼睛。"

這是否意味著是時候擁抱"奇點"了呢？（所謂奇點是指這樣的一個假設(shè)時刻，到那時超智機器將可以在無需人類干預(yù)的情況下自我改進，從而引發(fā)一個逃逸周期，導(dǎo)致進化緩慢的人類被拋開得越來越遠，產(chǎn)生恐怖的后果）

還沒有。神經(jīng)網(wǎng)絡(luò)擅長模式識別——有時候表現(xiàn)得跟我們?nèi)祟愐粯雍蒙踔粮?。但它們不懂推理?/strong>

即將發(fā)生的革命的第一個火花是在 2009 年開始閃爍的。那年夏天，微軟研究院邀請了神經(jīng)網(wǎng)絡(luò)先驅(qū)，多倫多大學(xué)的 Geoffrey Hinton 前往參觀。由于對他的研究感到印象深刻，Lee 的團隊開始試驗用神經(jīng)網(wǎng)絡(luò)進行語音識別。Lee 說："我們被結(jié)果驚到了。我們用非常早期的原型就實現(xiàn)了精確度提高 30%。"

據(jù) Lee 說，2011 年，微軟把深度學(xué)習(xí)技術(shù)引入到自己的商用語音識別產(chǎn)品上。2012 年，Google 開始跟進。

但是真正的轉(zhuǎn)折點發(fā)生了 2012 年 10 月。在意大利佛羅倫薩的一場研討會上，斯坦福 AI 實驗室負責(zé)人，著名的計算機視覺競賽 ImageNet 創(chuàng)始人李飛飛宣布，Hinton 的兩位學(xué)生已經(jīng)發(fā)明了一種軟件，這種軟件識別對象的精確率幾乎是最接近對手的 2 倍。Hinton 認為"這是一個非常驚人的結(jié)果，令此前許多對此表示質(zhì)疑的人都信服了。"（去年的競賽上一家深度學(xué)習(xí)的參賽選手已經(jīng)超越了人的識別率。）

攻破圖像識別打響第一槍，這激起了一場人才爭奪戰(zhàn)。Google 把 Hinton 和贏得那場競賽的兩名學(xué)生都請了過來。Facebook 簽下了法國的深度學(xué)習(xí)創(chuàng)新者 Yann LeCun，他在 1980 年代和 1990 年代是贏得 ImageNet 競賽的某種算法的先驅(qū)。而百度則搶下了吳恩達。吳曾是前斯坦福 AI 實驗室的負責(zé)人，2010 年曾幫助推出并領(lǐng)導(dǎo)了以深度學(xué)習(xí)為核心的 Google Brain 項目。

此后這場人才爭奪戰(zhàn)開始變本加厲。微軟研究院的 Lee 說，今天"這個領(lǐng)域正在上演一場搶奪人才的血腥戰(zhàn)爭。"他說這方面頂級人才的報價"堪比一線的 NFL 選手。"

現(xiàn)年 68 歲的 Geoffrey Hinton 是在 1972 年的時候第一次聽說神經(jīng)網(wǎng)絡(luò)的，當(dāng)時他正在愛丁堡大學(xué)做人工智能方向的畢業(yè)設(shè)計。在劍橋大學(xué)學(xué)習(xí)了實驗心理學(xué)之后，Hinton 開始狂熱地戀上了神經(jīng)網(wǎng)絡(luò)，這是一種靈感源自大腦神經(jīng)元工作方式的軟件設(shè)計。在當(dāng)時，神經(jīng)網(wǎng)絡(luò)還沒有得寵。他說："每個人都認為這種想法瘋了。"但 Hinton 仍然堅持他的努力。

神經(jīng)網(wǎng)絡(luò)有望讓計算機像小孩一樣從經(jīng)驗而不是通過人工定制編程的繁雜指令來學(xué)習(xí)。他回憶道："那時候大部分的 AI 都是邏輯啟發(fā)的。但邏輯是大家很晚才學(xué)會的東西。2、3 歲的小孩是不懂邏輯的。所以在我看來，就智能的工作方式而言，相對于邏輯，神經(jīng)網(wǎng)絡(luò)是一種要好得多的范式。"

在 1950 和 1960 年代，神經(jīng)網(wǎng)絡(luò)在計算機科學(xué)家當(dāng)中非常流行。1958 年，康奈爾大學(xué)心理研究學(xué)家 Frank Rosenblatt 在一個項目中首次搭建了神經(jīng)網(wǎng)絡(luò)原型，他把這個得到海軍資助的項目叫做 Perceptron。項目使用的穿孔卡片計算機體型巨大，占滿了整整一個房子。經(jīng)過 50 次試驗之后，它學(xué)會了區(qū)分在左右側(cè)做記號的卡片。當(dāng)時的《紐約時報》是這么報道此事的："海軍披露了一臺電子計算機的雛形，將來這臺計算機預(yù)期可以走路、說話、寫字以及復(fù)制自己，并且能意識到自己的存在。"

結(jié)果證明，軟件只有一層神經(jīng)元式節(jié)點的 Perceptron 能力有限。但是研究人員認為，如果是多層，或者叫做深度神經(jīng)網(wǎng)絡(luò)的話就可以實現(xiàn)更多的東西。

1958 至 1986，深度學(xué)習(xí)的關(guān)鍵時刻：1）1958 年，F(xiàn)rank Rosenblatt 披露了單層神經(jīng)網(wǎng)絡(luò) Perceptron 2）1969 年，AI 大牛，MIT 的 Marvin Minsky 合著了一本書，對神經(jīng)網(wǎng)絡(luò)的可行性提出質(zhì)疑，神經(jīng)網(wǎng)絡(luò)開始失寵。 3）1986 年，神經(jīng)網(wǎng)絡(luò)先驅(qū) Geoffrey Hinton 等人找到了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)糾正錯誤的辦法，重新點燃了業(yè)界對此的熱情。

http://iphone.myzaker.com/zaker/l.php?u=http%3A%2F%2F36kr.com%2Fp%2F5054042.html&target=_new" target="_self">人工智能革命：為什么深度學(xué)習(xí)會突然改變你的生活？（下）