(資料圖片)

【網(wǎng)易科技7月6日報道】今日，2018年圖靈獎得主、Meta Al基礎(chǔ)人工智能研究(FAIR)團(tuán)隊首席人工智能科學(xué)家楊立昆與地平線創(chuàng)始人兼CEO余凱在2023人工智能大會上進(jìn)行了一場對話，就人工智能治理展開了深入討論。

首先，楊立昆談到了過去十年人工智能領(lǐng)域最令人激動的進(jìn)展——自主監(jiān)督運(yùn)行的革命。他特別提到了自然語言處理領(lǐng)域的語言模型和語音識別等與符號序列相關(guān)的技術(shù)。他指出，類似的革命正在擴(kuò)展到圖像和視頻領(lǐng)域，并取得了顯著成果。此外，他強(qiáng)調(diào)了在Transformer架構(gòu)上的重大進(jìn)步。

余凱進(jìn)一步探討了平移不變性和排列不變性的概念，并詢問了楊立昆的看法。楊立昆解釋道，在Transformer中，平移定變性是一種等變性，也就是說，如果輸入發(fā)生平移，輸出也會相應(yīng)發(fā)生平移。他認(rèn)為，通過結(jié)合平移和排列不變性的概念，我們能夠?qū)崿F(xiàn)許多有意義的應(yīng)用。

隨后，余凱提到了ChatGPT以及大型語言模型，并詢問了楊立昆對這項技術(shù)是否可以通向人工通用智能（AGI）的看法。對此，楊立昆指出，關(guān)鍵在于系統(tǒng)的功能和缺陷，如果系統(tǒng)在某些基本能力上存在缺陷，那么它就無法走向人類智能的道路。此外，他表示對自己并不太喜歡AGI一詞，因?yàn)槊糠N智能都具有特定的領(lǐng)域?qū)ｉL。

在此基礎(chǔ)上，楊立昆同時指出了一些關(guān)鍵問題。首先，大型語言模型僅通過文本進(jìn)行訓(xùn)練，而沒有利用圖像或視頻等其他類型的數(shù)據(jù)。這些模型的目標(biāo)是預(yù)測文本中缺失的單詞，例如ChatGPT只預(yù)測長文本的最后一個單詞。然而，問題在于無法準(zhǔn)確預(yù)測缺失的單詞，必須預(yù)測整個字典中所有單詞的分布。如果嘗試在視頻領(lǐng)域采用類似的生成式架構(gòu)來預(yù)測視頻的下一幀則面臨挑戰(zhàn)，因?yàn)橐曨l幀之間差距很小。（江淼）

關(guān)鍵詞：