圖片來(lái)源@視覺(jué)中國(guó)

(資料圖片)

文 | 追問(wèn)NextQuestion，作者 | Anil Ananthaswamy，編譯 | 鑄雪

盡管ChatGPT和其他大型語(yǔ)言模型取得了巨大成功，但支撐這些系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（ANN）可能已經(jīng)步入歧途。

對(duì)于馬里蘭大學(xué)的計(jì)算機(jī)學(xué)家Cornelia Fermüller而言，人工神經(jīng)網(wǎng)絡(luò)“超級(jí)耗電”，“另一個(gè)問(wèn)題在于，這些系統(tǒng)缺乏透明度?！边@樣的系統(tǒng)非常復(fù)雜，以至于沒(méi)有人真正理解它們正在做什么，或者為什么它們運(yùn)行得如此之好。反過(guò)來(lái)，這也幾乎不可能使其可以實(shí)現(xiàn)類比推理，而這正是人類的做法——使用符號(hào)來(lái)表示對(duì)象、想法及其之間的關(guān)系。

這些缺點(diǎn)可能源于現(xiàn)階段人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其構(gòu)建模塊：獨(dú)立的人工神經(jīng)元。每個(gè)神經(jīng)元接收輸入、執(zhí)行計(jì)算并產(chǎn)生輸出?，F(xiàn)代人工神經(jīng)網(wǎng)絡(luò)是由這些計(jì)算單元的精心設(shè)計(jì)組成的網(wǎng)絡(luò)，經(jīng)過(guò)訓(xùn)練即可完成特定任務(wù)。

然而，人工神經(jīng)網(wǎng)絡(luò)的局限性也早已顯現(xiàn)出來(lái)。例如，讓我們來(lái)思考如何構(gòu)建一個(gè)用來(lái)區(qū)分圓形和正方形的ANN。一種思路是在其輸出層中包含兩個(gè)神經(jīng)元，一個(gè)表示圓形，一個(gè)表示正方形。如果你想讓人工神經(jīng)網(wǎng)絡(luò)也能辨別形狀的顏色——譬如藍(lán)色與紅色——你需要四個(gè)輸出神經(jīng)元：藍(lán)色圓形、藍(lán)色正方形、紅色圓形和紅色正方形。更多的特征意味著更多的神經(jīng)元。

這不可能是我們的大腦感知自然世界及其所有變化的方式，因?yàn)檫@意味著“對(duì)于上述所有組合，神經(jīng)系統(tǒng)必須有某個(gè)對(duì)應(yīng)的神經(jīng)元”。加州大學(xué)伯克利分校的神經(jīng)科學(xué)家Bruno Olshausen指出，“譬如你的大腦中會(huì)有一個(gè)對(duì)應(yīng)紫色大眾汽車的傳感器?！?/p>

因此Olshausen等給出不同的觀點(diǎn)，即大腦中的信息是由大量神經(jīng)元的活動(dòng)表征的。因此，對(duì)于紫色的大眾汽車的感知并非編碼為某個(gè)單獨(dú)神經(jīng)元的活動(dòng)，而是編碼為數(shù)千個(gè)神經(jīng)元的活動(dòng)。同一組神經(jīng)元，以不同的方式觸發(fā)，可能代表一個(gè)完全不同的概念（也許是一輛粉紅色的凱迪拉克）。

這是一種完全不同的計(jì)算方式（即所謂超維計(jì)算）的起點(diǎn)。其關(guān)鍵在于每條信息，例如汽車的概念，或者它的品牌、型號(hào)或顏色，或者所有這些信息，都被表征為一個(gè)單一的實(shí)體：一個(gè)超維向量。

向量不過(guò)是一個(gè)有序的數(shù)字?jǐn)?shù)組。例如，一個(gè)三維向量包含三個(gè)數(shù)字：三維空間中一個(gè)點(diǎn)的x、y和z坐標(biāo)。超維向量，或者說(shuō)超向量可以是由10000個(gè)數(shù)字組成的數(shù)組，這就代表了10000維空間中的一個(gè)點(diǎn)。這些數(shù)學(xué)對(duì)象及其背后的代數(shù)原理足夠靈活和強(qiáng)大，足以使現(xiàn)代計(jì)算超越當(dāng)前的一些限制，進(jìn)而孕育出一種新的實(shí)現(xiàn)人工智能的路徑。

“這幾乎是我整個(gè)職業(yè)生涯中最興奮的事?！監(jiān)lshausen如是說(shuō)。對(duì)于他和其他許多人來(lái)說(shuō)，超維計(jì)算預(yù)示著一個(gè)新世界——在這個(gè)新世界中，計(jì)算是高效和穩(wěn)健的，機(jī)器做出的決策也是完全透明的。

進(jìn)入高維空間

為了理解超向量如何使計(jì)算成為可能，讓我們回到前文紅色圓形和藍(lán)色正方形圖像的例子。首先，我們需要向量來(lái)表示變量“形狀”和“顏色”。其次我們還需要向量來(lái)表示前面變量的賦值，即“圓”“方”和“紅”“藍(lán)”。

不同屬性的向量必須是不同的。這種差異可以通過(guò)被稱為正交性的屬性來(lái)量化，正交性本義指的是“成直角”。在三維空間中，可以找到這樣的相互正交向量：一個(gè)向量在x方向，另一個(gè)在y方向，第三個(gè)在z方向。而在10000維空間中，就會(huì)有10000個(gè)這樣相互正交的向量。

但是，如果我們?cè)试S向量可以近乎正交，那么高維空間中此類的不同向量的數(shù)量就會(huì)激增。在10000維空間中，就有數(shù)百萬(wàn)個(gè)近乎正交的向量。

現(xiàn)在讓我們構(gòu)造不同的向量來(lái)表示“形狀”“顏色”“圓”“方”“紅”“藍(lán)”。因?yàn)樵诟呔S空間中有很多可能的近乎正交的向量，所以你可以只分配六個(gè)隨機(jī)向量來(lái)表示這六個(gè)項(xiàng)目；它們幾乎可以保證是近乎正交的。“構(gòu)造近乎正交向量的便捷性是使用超維表示的主要原因，”加州大學(xué)伯克利分校瑞德伍德理論神經(jīng)科學(xué)研究中心研究員Pentti Kanerva在2009年的一篇頗具影響力的論文中寫(xiě)道。

這篇論文的基礎(chǔ)是Kanerva和Tony Plate在上世紀(jì)九十年代中期的工作，當(dāng)時(shí)他們是多倫多大學(xué)的博士生，師從Geoff Hinton。兩人獨(dú)立地發(fā)展了用于操作超向量的代數(shù)，并暗示了其在高維計(jì)算中的實(shí)用性。

對(duì)于我們有關(guān)形狀和顏色超向量，Kanerva和Plate發(fā)展的系統(tǒng)向我們展示了如何使用某些數(shù)學(xué)運(yùn)算來(lái)操作它們。這些操作對(duì)應(yīng)于對(duì)概念進(jìn)行符號(hào)化操作的方式。

第一種運(yùn)算是乘法。這是一種將觀念結(jié)合的方式。例如，將向量“形狀”與向量“圓形”相乘可將兩者綁定，用以表示“形狀是圓形”這一觀念。這個(gè)新的“綁定”向量近乎與“形狀”和“圓形”正交。此外各個(gè)元素是可恢復(fù)的——如果想從綁定的向量中提取信息，這一特效就顯得至關(guān)重要。給出一個(gè)代表你的大眾汽車的綁定向量，你可以解除這種綁定并檢索到顏色對(duì)應(yīng)的向量，例如“紫色”。

第二種運(yùn)算是加法。這表示利用所謂概念的疊加來(lái)構(gòu)造一個(gè)新的向量。例如，將兩個(gè)綁定向量“形狀是圓形”和“顏色是紅色”相加，創(chuàng)建一個(gè)表示“紅色圓形”的向量。同樣地，相加后的向量可以被逆向分解為構(gòu)成它的向量。

第三種運(yùn)算是置換。這涉及將向量的各個(gè)元素重新排列。例如，對(duì)于一個(gè)三維向量，三個(gè)元素分別記為x、y和z，則置換可能會(huì)將x移動(dòng)到y(tǒng)處，將y移動(dòng)到z處，而將z移動(dòng)到x處?！爸脫Q允許你構(gòu)造結(jié)構(gòu)，”Kanerva指出，“置換運(yùn)算允許你處理序列，序列代表了一個(gè)接一個(gè)發(fā)生的事情。”考察兩個(gè)事件，由超向量A和B表示。我們可以將它們疊加到一個(gè)向量中，但這會(huì)破壞有關(guān)事件順序的信息。將加法與置換運(yùn)算相結(jié)合可以保留順序信息；我們還可以通過(guò)逆運(yùn)算對(duì)事件按順序進(jìn)行檢索。

上述三種運(yùn)算證明我們足以創(chuàng)建允許符號(hào)推理的形式化的超向量代數(shù)。但是許多研究人員在發(fā)掘超維計(jì)算潛力方面的進(jìn)展很緩慢，包括Olshausen本人。他解釋道：“但它只是還沒(méi)有被充分理解?！?/p>

利用高維的力量

2015年，Olshausen的一名學(xué)生Eric Weiss展示了超維計(jì)算獨(dú)特能力的一個(gè)方面。Weiss解釋了如何將復(fù)雜圖像表示為一個(gè)單獨(dú)的超維向量，該向量包含有關(guān)圖像中所有對(duì)象的信息，包括它們的屬性，例如顏色、位置和大小。

“我興奮地幾乎從椅子上掉下來(lái)了，”O(jiān)lshausen說(shuō)道，“突然之間，靈感來(lái)了?！?/p>

很快，更多的團(tuán)隊(duì)開(kāi)始開(kāi)發(fā)超維算法來(lái)復(fù)制深度神經(jīng)網(wǎng)絡(luò)在大約20年前就開(kāi)始處理的簡(jiǎn)單任務(wù)，例如圖像分類。

考察一個(gè)由手寫(xiě)數(shù)字的圖像組成的注釋數(shù)據(jù)集。有一種算法能使用某種預(yù)定方案分析每個(gè)圖像的特征，然后為每個(gè)圖像創(chuàng)建一個(gè)超向量。接下來(lái)，該算法為數(shù)字0所對(duì)應(yīng)的所有圖像添加超向量，以便為數(shù)字0這一概念構(gòu)造一個(gè)超向量。緊接著其對(duì)所有數(shù)字執(zhí)行相同的操作，創(chuàng)建10“類”超向量，對(duì)應(yīng)每個(gè)數(shù)字。

之后給算法一個(gè)未標(biāo)記的圖像。它為這個(gè)新的圖像創(chuàng)建一個(gè)超向量，然后將超向量與存儲(chǔ)的10類超向量進(jìn)行比對(duì)，以此確定與新圖像最相似的數(shù)字。

然而，這僅僅是開(kāi)始。超維計(jì)算的優(yōu)勢(shì)在于其能夠通過(guò)合成和分解超向量進(jìn)行推理。最新的成果演示是在今年3月份，彼時(shí)IBM蘇黎世研究院的Abbas Rahimi及其同事使用神經(jīng)網(wǎng)絡(luò)進(jìn)行超維計(jì)算來(lái)解決抽象視覺(jué)推理中的一個(gè)經(jīng)典問(wèn)題——這對(duì)傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)甚至某些人而言都是一個(gè)重大挑戰(zhàn)。這個(gè)問(wèn)題被稱為瑞文推理測(cè)驗(yàn)，測(cè)驗(yàn)給出3×3的網(wǎng)格，網(wǎng)格中給出幾何對(duì)象的圖像。但其中有一個(gè)位置是空白的，受試者必須從一組候選圖像中選擇最適合空白位置的圖像。

“我們當(dāng)時(shí)說(shuō)，‘這真的是……視覺(jué)抽象推理領(lǐng)域的殺手級(jí)實(shí)例，讓我們從這里開(kāi)始吧！’”Rahimi回憶道。

為了使用超維計(jì)算解決這個(gè)問(wèn)題，該團(tuán)隊(duì)首先構(gòu)造了一個(gè)超向量字典來(lái)表示每張圖像中的對(duì)象，字典中的每個(gè)超向量代表一個(gè)對(duì)象及其屬性的某種組合。然后，該團(tuán)隊(duì)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)檢查圖像并生成一個(gè)雙極超向量——向量的元素可以是+1或-1——其與字典中超向量的某種疊加盡可能接近。因此，生成的超向量包含有關(guān)圖像中所有對(duì)象及其屬性的信息?！澳憧梢詫⑸窠?jīng)網(wǎng)絡(luò)引導(dǎo)到一個(gè)有意義的概念空間?！盧ahimi解釋道。

一旦網(wǎng)絡(luò)為每個(gè)上下文圖像以及空白位的每個(gè)候選對(duì)象生成了超向量，相應(yīng)地另一種算法就會(huì)分析這些超向量，并為每個(gè)圖像中的對(duì)象數(shù)量、大小和其他特征創(chuàng)建概率分布。這些概率分布說(shuō)明了上下文和候選圖像的可能特征，可以被轉(zhuǎn)換為超向量，允許使用代數(shù)來(lái)預(yù)測(cè)最有可能的候選圖像來(lái)填充空白位。

他們的方法在一組問(wèn)題上的準(zhǔn)確率接近88%，而僅使用神經(jīng)網(wǎng)絡(luò)的方案準(zhǔn)確率不到61%。該團(tuán)隊(duì)的研究還顯示，對(duì)于3×3網(wǎng)格，他們系統(tǒng)的運(yùn)算速度是使用符號(hào)邏輯規(guī)則進(jìn)行推理的傳統(tǒng)方法的近250倍，因?yàn)閭鹘y(tǒng)方法必須檢索大量規(guī)則之后才能確定正確的下一步。

充滿希望的起點(diǎn)

超維計(jì)算不僅賦予我們符號(hào)化地解決問(wèn)題的能力，同時(shí)也解決了一些傳統(tǒng)計(jì)算所面臨的棘手問(wèn)題。如果由隨機(jī)位反轉(zhuǎn)（某個(gè)0變?yōu)?，或者反過(guò)來(lái)）引起的錯(cuò)誤無(wú)法通過(guò)內(nèi)置糾錯(cuò)機(jī)制糾正，則當(dāng)今計(jì)算機(jī)的性能會(huì)迅速下降。此外，美國(guó)維拉諾瓦大學(xué)計(jì)算機(jī)科學(xué)家Xun Jiao表示，這些糾錯(cuò)機(jī)制可能會(huì)對(duì)性能造成高達(dá)25%的損失。

而超維計(jì)算更能夠容忍錯(cuò)誤，因?yàn)榧词钩蛄吭庥龃罅侩S機(jī)位反轉(zhuǎn)，其仍然接近原始向量。這意味著使用這些向量的任何推理在面對(duì)錯(cuò)誤時(shí)都不會(huì)受到重要的影響。Jiao團(tuán)隊(duì)的研究已經(jīng)表明，這些系統(tǒng)對(duì)硬件故障的容忍度至少是傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的10倍，而傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)本身的彈性比傳統(tǒng)計(jì)算架構(gòu)高出幾個(gè)數(shù)量級(jí)。Jiao認(rèn)為，“我們可以利用上述各種彈性來(lái)設(shè)計(jì)高效的硬件。”

超維計(jì)算的另一個(gè)優(yōu)勢(shì)在于其透明性。代數(shù)可以清楚地告訴我們系統(tǒng)給出其答案的原因。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)則無(wú)法實(shí)現(xiàn)。Olshausen、Rahimi等正在開(kāi)發(fā)混合系統(tǒng)，其中神經(jīng)網(wǎng)絡(luò)將物理世界中的事物映射到超向量，然后由超維代數(shù)接管?！邦惐韧评碇惖臇|西應(yīng)該自然而然，”O(jiān)lshausen說(shuō)，“這是我們對(duì)任何人工智能系統(tǒng)的期望。我們應(yīng)該能夠像理解飛機(jī)或電視機(jī)一樣理解它?！?/p>

與傳統(tǒng)計(jì)算相比，超維計(jì)算所具有的各種優(yōu)勢(shì)都表明其非常適合新一代硬件極可靠且低功耗的要求。它還與“內(nèi)存計(jì)算系統(tǒng)”相兼容，后者在存儲(chǔ)數(shù)據(jù)的同一硬件上執(zhí)行計(jì)算（不同于現(xiàn)有的馮·諾依曼計(jì)算機(jī)，后者需要在內(nèi)存和中央處理器之間低效地傳輸數(shù)據(jù)）。這些新設(shè)備中的一些可以找到替代策略，如在非常低的電壓下運(yùn)行，從而使其節(jié)能，但這也容易產(chǎn)生隨機(jī)噪聲。對(duì)于馮·諾依曼結(jié)構(gòu)，這種隨機(jī)性是“無(wú)法逾越的墻，”O(jiān)lshausen指出，但如果使用超維計(jì)算，“就可以直接穿透這堵墻”。

盡管有上述優(yōu)勢(shì)，超維計(jì)算仍處于起步階段。“這是真正有潛力的研究方向。”Fermüller回應(yīng)說(shuō)。但她同時(shí)指出，超維計(jì)算仍然需要針對(duì)現(xiàn)實(shí)世界的問(wèn)題進(jìn)行測(cè)試，并需要在更大范圍，更接近現(xiàn)代神經(jīng)網(wǎng)絡(luò)的規(guī)模下進(jìn)行測(cè)試。

“對(duì)于大規(guī)模問(wèn)題而言，亟需非常高效的硬件?！盧ahimi指出，“例如，對(duì)于超過(guò)10億個(gè)項(xiàng)目，如何才能有效地搜索？”

Kanerva則表示，所有這些都將隨著時(shí)間的推移而到來(lái)?！案呔S空間還有其他秘密，而我認(rèn)為這正是使用向量計(jì)算時(shí)代的開(kāi)端?！狈祷厮押?，查看更多

責(zé)任編輯：

關(guān)鍵詞：