同時(shí)讀“控制論之父”諾伯特·維納的《人有人的用處》和“現(xiàn)代計(jì)算機(jī)之父”馮·諾伊曼的《計(jì)算機(jī)與人腦》，還是很有意思的。這兩位都深度參與了二戰(zhàn)期間的盟軍軍方項(xiàng)目以及早期現(xiàn)代計(jì)算機(jī)的研制，應(yīng)該頗有淵源。前者的手稿寫于1955年，后者初版于1949年，經(jīng)過相當(dāng)大改寫的新版則出版于1954年?？梢钥吹剑?950年代中期，一種基于統(tǒng)計(jì)概率、偶然性/不完備性以及數(shù)字化信息中介的世界觀已經(jīng)完全確立起來了，只不過要讓至今生活在牛頓的確定性宇宙幻覺中的人們接受，還很難——快70年過去了，這兩本小冊子不可謂不暢銷，但對普通人的“常識”的改變依然微乎其微。

實(shí)際上，這兩個(gè)天賦異稟之人的確有很重要的交集。維納比馮·諾伊曼大9歲，晚死7年，基本上屬于同代人，但是神童出身的維納出道很早，11歲讀大學(xué)，19歲成為博士，21歲已經(jīng)在哈佛任教，而當(dāng)時(shí)的馮·諾伊曼還只是奧匈帝國一個(gè)因一戰(zhàn)爆發(fā)而不得不輟學(xué)的大學(xué)預(yù)科生。所以維納算得上是馮·諾伊曼的半個(gè)師長。

(資料圖)

馮·諾伊曼移居美國后，維納先是想把當(dāng)時(shí)在普林斯頓的他挖去麻省理工當(dāng)數(shù)學(xué)系主任，后又在1944年召集了美國研究電子計(jì)算和相關(guān)技術(shù)領(lǐng)域的頂級數(shù)學(xué)家以及人工神經(jīng)元網(wǎng)絡(luò)計(jì)算的主要理論家在普林斯頓開研討會，并向與會的馮·諾伊曼推薦了麥卡洛克-皮茨模型——這個(gè)模型可以看作是第一代神經(jīng)網(wǎng)絡(luò)模型，今天已成為機(jī)器深度學(xué)習(xí)歷史上的里程碑，而模型名稱中的“皮茨”，即年輕的天才數(shù)學(xué)家沃爾特·皮茨，當(dāng)時(shí)正是維納的博士生。馮·諾伊曼旋即在1945年發(fā)表了奠定現(xiàn)代計(jì)算機(jī)理論基礎(chǔ)和沿用至今的“馮·諾伊曼體系結(jié)構(gòu)”的劃時(shí)代報(bào)告《EDVAC報(bào)告書的第一份草案》（First Draft of a Report on the EDVAC），其中唯一引用的一篇公開發(fā)表的論文，就是麥卡洛克和皮茨合作的那篇當(dāng)初并未引起反響的《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity）。

馮·諾伊曼自己認(rèn)為，EDVAC是第一臺“將維納提交給布什的五條原則整合為一的機(jī)器”。所以其實(shí)一直有人認(rèn)為，“馮·諾伊曼體系結(jié)構(gòu)”的確切命名應(yīng)該是“維納-馮·諾伊曼體系結(jié)構(gòu)”。維納本人對此并沒有發(fā)表過意見，反而在《人有人的用處》中多次引用馮·諾伊曼《博弈論與經(jīng)濟(jì)行為》一書中的觀點(diǎn)，并極有創(chuàng)見地將囚徒困境與通信/信息問題聯(lián)系起來。其后，在控制論、計(jì)算機(jī)、神經(jīng)科學(xué)和人工智能歷史上具有重要影響的歷次“梅西會議”（1946～1953），維納和馮·諾伊曼都是重要參與者。

真正有趣的思想，通常因其超前性而被長久埋沒。萊布尼茨的二進(jìn)制、單子、微知覺等一系列天才構(gòu)想，一定要等400年后進(jìn)入計(jì)算機(jī)和網(wǎng)絡(luò)時(shí)代，才有可能真正“復(fù)活”。大語言模型的思想先驅(qū)，或許也可以追溯到萊布尼茨，畢竟是他最先嘗試依托數(shù)理邏輯，構(gòu)建一整套通用的“普遍語言”，“它通過字母和符號進(jìn)行邏輯分析與綜合，把一般邏輯推理的規(guī)則改變?yōu)檠菟阋?guī)則，以便更精確更敏捷地進(jìn)行推理”（《神正論》）。

不過我們把視線移近一點(diǎn)，其實(shí)在上世紀(jì)中葉，馮·諾伊曼和諾伯特·維納就在研制真正的現(xiàn)代計(jì)算機(jī)的基礎(chǔ)上，不約而同地提出了相似的觀點(diǎn)，不過當(dāng)時(shí)很少人意識到其重要性而已。就AI，尤其是大語言模型、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)而言，馮·諾伊曼和維納或許比圖靈，甚至比后面的麥卡錫、香農(nóng)、明斯基、辛頓這一代代“AI之父”都更接近問題的核心，因?yàn)樗麄兌际前雮€(gè)科學(xué)家＋半個(gè)哲學(xué)家，都敏銳地意識到了統(tǒng)計(jì)概率＋高維幾何的威力。

“按照詞在語言中出現(xiàn)的統(tǒng)計(jì)頻數(shù)，人們可以選出一個(gè)詞匯序列（兩個(gè)字構(gòu)成的或三個(gè)字構(gòu)成的字組），來求得和一種語言（例如英語）顯然相似之物；由此而得到的胡言亂語也會與正確英語具有顯著的令人信服的相似性。從語音學(xué)觀點(diǎn)看來，這種有意義的言語的沒有意義的類似物實(shí)際上等同于有意義的語言，雖則它在語義學(xué)上是妄語……”（《人有人的用處》P60）

讀維納在《人有人的用處》中探討機(jī)器學(xué)習(xí)時(shí)涉及語言問題的這段論述，你是否覺得今人對GPT原理的“科普”，看上去就像在抄書？

馮·諾伊曼在《計(jì)算機(jī)與人腦》中對神經(jīng)信息系統(tǒng)運(yùn)行原理的解析，同樣可以看作是在統(tǒng)計(jì)學(xué)基礎(chǔ)上初步設(shè)想了神經(jīng)網(wǎng)絡(luò)的構(gòu)造——

“……神經(jīng)系統(tǒng)中所用的信息系統(tǒng)基本上具有統(tǒng)計(jì)特性。換句話說，重要的不是明確的記號和數(shù)字的精確位置，而是它們出現(xiàn)的統(tǒng)計(jì)特征，即周期性或近周期脈沖序列等的頻率。

因此，神經(jīng)系統(tǒng)似乎采用的是與我們在普通的算術(shù)和數(shù)學(xué)中所熟悉的記號系統(tǒng)截然不同的記號系統(tǒng)。它不是精確的記號系統(tǒng)。在記號系統(tǒng)里，每個(gè)記號的位置和存在與否對于確定消息的含義都具有決定性意義。而它是這樣一種記號系統(tǒng)，在這個(gè)系統(tǒng)中，消息的意義是由消息的統(tǒng)計(jì)特性傳遞的。我們已經(jīng)看到，這個(gè)系統(tǒng)是如何采取較低的算術(shù)精度但更高的邏輯可靠性的策略的：算術(shù)運(yùn)算引起的惡化通過邏輯的改進(jìn)而得到補(bǔ)償。”

最后一句話，如果你多少了解一點(diǎn)GPT運(yùn)行的基本原理，是不是會覺得相當(dāng)程度上，它可以被看作GPT核心算法Transformer的“中心思想”?

很多重要的東西，都已蘊(yùn)含在這兩本帶有科普性質(zhì)的小書中，但其真正的價(jià)值要被大多數(shù)人——即便是科學(xué)家中的大多數(shù)人——認(rèn)識到，還是要等上六七十年。

事實(shí)上，發(fā)明“人工智能”（Artificial Intelligence）一詞的約翰·麥卡錫正是1948年在加州理工讀書時(shí)，聽馮·諾伊曼講解維納的控制論而萌生了研究智能計(jì)算的想法。用“人工智能”這個(gè)詞，更多是為了顯示獨(dú)創(chuàng)性、拉開與維納的距離，但后來麥卡錫自己也承認(rèn)，“人工智能本應(yīng)叫控制論，也就是智能自動化（Automation of Intelligence）”——正如我在前一篇文章里指認(rèn)的，麥卡錫對“人工智能”的命名很可能是一段彎路的起點(diǎn)，它的重點(diǎn)倒向了“仿生學(xué)”路徑，而維納更多基于信息、通信和機(jī)器學(xué)習(xí)原理的“自動機(jī)”，或許才是“正路”，換句話說，AI這一名頭，其實(shí)更應(yīng)屬于“自動智能”，而非“人工智能”。

“自動智能”的核心不是刻意去模仿人的意識、自我意識乃至思維、情緒與情感，等等，而是很實(shí)際地著重于一件最關(guān)鍵的事情，我們今天對這件事情已經(jīng)耳熟能詳：機(jī)器學(xué)習(xí)。但在人工智能發(fā)展的歷史上，機(jī)器（自主/自動）學(xué)習(xí)成為核心是相當(dāng)晚近的事情，而此前長期的核心，正是模仿——怎樣盡可能讓人能做的都變成機(jī)器能做的，并做得更精確、更有效率。

關(guān)于機(jī)器學(xué)習(xí)這件事情，維納寫道：

“反饋就是一種把系統(tǒng)的過去演績再插進(jìn)它里面去以控制這個(gè)系統(tǒng)的方法。如果這些結(jié)果僅僅用作鑒定和調(diào)節(jié)該系統(tǒng)的數(shù)據(jù)，那就是控制工程師所用的簡單的反饋。但是，如果說明演績情況的信息在送回之后能夠用來改變操作的一般方法和演績的模式，那我們就有一個(gè)完全可以稱之為學(xué)習(xí)的過程了。”

也就是說，在維納看來，機(jī)器學(xué)習(xí)的本質(zhì)無非是反饋循環(huán)。并且與今天強(qiáng)調(diào)人工智能還遠(yuǎn)遠(yuǎn)不具備“以假亂真”的能力——因?yàn)闄C(jī)器沒有情緒、情感、欲望等——的人相反，維納恰恰強(qiáng)調(diào)了這些所謂的主觀的、內(nèi)在的心理機(jī)制，其實(shí)也是學(xué)習(xí)的一環(huán)，是學(xué)習(xí)的某種閥門——

“那種被我們主觀地稱為情緒的現(xiàn)象，也許并不單純是神經(jīng)活動中的一種沒有用處的附帶現(xiàn)象，它很可能是控制著學(xué)習(xí)過程中的以及其他類似過程中的某一重要階段……那些在人與其他生命體的情緒和現(xiàn)代類型的自動機(jī)的應(yīng)答之間截然劃上一條不可逾越的鴻溝的心理學(xué)家，在他們做出否定的結(jié)論時(shí)，應(yīng)當(dāng)像我作出肯定的結(jié)論時(shí)那樣小心謹(jǐn)慎。”

與之多少形成呼應(yīng)的是，馮·諾伊曼強(qiáng)調(diào)了學(xué)習(xí)的另一個(gè)面向——記憶或存儲器：

“心靈一定是一個(gè)容量相當(dāng)大的記憶庫，而且很難想象，像人類神經(jīng)系統(tǒng)這么復(fù)雜的自動機(jī)如果沒有它將如何運(yùn)作。”

“神經(jīng)細(xì)胞系統(tǒng)以各種可能的周期性方式相互刺激，也構(gòu)成了記憶。這些記憶是由活性元素（神經(jīng)細(xì)胞）組成的。我們在計(jì)算機(jī)技術(shù)中經(jīng)常大量使用這種存儲器。事實(shí)上，它們是第一批被實(shí)際引入的存儲器。”

根本來說，不管人還是機(jī)器，學(xué)習(xí)和反饋當(dāng)然都必須依賴于記憶/存儲，這是一而二二而一的事情。這也是70年過去了，不管電腦怎么迭代，芯片怎么“納米”，基于存儲器的馮·諾伊曼架構(gòu)至今不可動搖的原因。

《人有人的用處》

[美]諾伯特·維納 著

商務(wù)印書館 1978年6月版

《計(jì)算機(jī)與人腦》

[美]約翰·馮·諾伊曼 著

商務(wù)印書館 2022年4月版

標(biāo)簽：