【腦客中國(guó)·科研】呂柄江：人工神經(jīng)網(wǎng)絡(luò)和人腦中的語(yǔ)言表征與加工

2024年3月20日晚20點(diǎn)，昌平實(shí)驗(yàn)室呂柄江研究員作為腦客中國(guó)科研第137位講者為大家?guī)?lái)主題為《人工神經(jīng)網(wǎng)絡(luò)和人腦中的語(yǔ)言表征與加工》的報(bào)告。以下內(nèi)容節(jié)選自直播視頻：

大家好，我是呂柄江，今天很高興在這里和大家分享我做的一點(diǎn)工作。我們知道語(yǔ)言作為人類(lèi)特有的高級(jí)認(rèn)知功能，是我們思考和交流最重要的工具。

我們通過(guò)使用語(yǔ)言，能夠?qū)崿F(xiàn)知識(shí)和信息穿越時(shí)空的延續(xù)、傳遞和積累。‘我們的大腦是如何理解語(yǔ)言的？’是認(rèn)知神經(jīng)科學(xué)領(lǐng)域持續(xù)關(guān)注的一個(gè)重要問(wèn)題。

我們知道近年來(lái)，人工智能的大語(yǔ)言模型的飛速發(fā)展，給我們的生活帶來(lái)了非常多的便利。與此同時(shí)，這些大語(yǔ)言模型也為我們研究大腦如何表征和加工語(yǔ)言提供了新的工具。今天在這里我就想跟大家分享我在這方面做的一些工作。

1、Structure dependence

今天的分享我想首先從一個(gè)采訪(fǎng)開(kāi)始。畫(huà)面左邊的是主持人，右邊的這位長(zhǎng)者叫做Noam Chomsky。他可以說(shuō)是過(guò)去幾十年甚至一個(gè)世紀(jì)以來(lái)最偉大的認(rèn)知科學(xué)家和語(yǔ)言學(xué)家。他最著名的理論就是他提出的語(yǔ)言加工的結(jié)構(gòu)化表征。他憑一己之力對(duì)語(yǔ)言學(xué)研究帶來(lái)了革命性的推動(dòng)及發(fā)展。

在這個(gè)采訪(fǎng)里面，這個(gè)主持人問(wèn)Chomsky：“你在研究語(yǔ)言，跟認(rèn)知科學(xué)打交道一輩子的時(shí)間中，你覺(jué)得你研究語(yǔ)言，發(fā)現(xiàn)語(yǔ)言最重要或者是最深刻的一個(gè)特性是什么？ ”

Chomsky回答道：“我覺(jué)得語(yǔ)言最深刻的特性叫做structure dependence?！币簿褪墙Y(jié)構(gòu)依賴(lài)。他通過(guò)一句話(huà)“The guy who fixed the car carefully packed his tools”來(lái)進(jìn)行解釋。在這句話(huà)中，里面標(biāo)黃的副詞‘carefully’，修飾的是‘packed’這個(gè)詞。兩個(gè)詞離得非常近，我們?cè)谡暇渥右馑紩r(shí)，會(huì)把兩個(gè)詞整合在一起，理解為“小心翼翼地打包”。

而如果我們把這個(gè)副詞‘carefully’放到句子的最前面，就是‘Carefully the guy who fixed the car packed his tools’。即使在兩個(gè)詞離得很遠(yuǎn)的情況下，當(dāng)我們逐字聽(tīng)到這句話(huà)時(shí)，首先聽(tīng)到了‘carefully’，一段時(shí)間后才聽(tīng)到‘packed’，但是我們大腦會(huì)不由自主地把‘carefully’和‘packed’結(jié)合在一起。 

這其實(shí)是一個(gè)非常神奇的現(xiàn)象，盡管這兩個(gè)詞在我們的語(yǔ)音信號(hào)中離得很遠(yuǎn)，但是我們?cè)诖竽X加工時(shí)，不知道為什么我們的大腦居然會(huì)把離得很遠(yuǎn)的兩個(gè)詞快速自動(dòng)的合并在一起，從而形成一個(gè)可以理解的意思。

甚至當(dāng)這句話(huà)它意義上是講不通的。比如說(shuō)他又舉了一個(gè)例子，“Carefully the guy who fixed the car is tall，這里面我們還是嘗試會(huì)把‘carefully’和‘is tall’合在一起。雖然我們知道‘carefully’和這個(gè)人‘is tall’是完全沒(méi)有關(guān)系的。但是我們大腦會(huì)傾向于把‘carefully’這個(gè)副詞和后面的‘is tall’結(jié)合在一起。

這是為什么呢？根據(jù)Chomsky的理論，這樣的一句話(huà)我們可以根據(jù)句法進(jìn)行展開(kāi)。我們看第二句話(huà)，雖然‘carefully’和‘packed’之間隔了‘the gap fixed car’，但是如果我們把它展開(kāi)作為一個(gè)語(yǔ)法樹(shù)的話(huà)，我們就可以看到它是有層級(jí)結(jié)構(gòu)的。在這里面我們可以看到‘carefully’和‘packed’這兩個(gè)詞它在結(jié)構(gòu)上是相近的。

也就是說(shuō)我們?cè)诼?tīng)到這個(gè)句子時(shí)，我們大腦會(huì)自動(dòng)的逐字構(gòu)建這樣一個(gè)結(jié)構(gòu)，然后會(huì)根據(jù)這個(gè)結(jié)構(gòu)對(duì)我們聽(tīng)到的內(nèi)容進(jìn)行理解，把該合并在一起的詞合并在一起，從而理解說(shuō)話(huà)人的意圖。

這個(gè)現(xiàn)象或者說(shuō)規(guī)律并不只是對(duì)英語(yǔ)成立的，對(duì)我們中文及所有語(yǔ)言都是成立的。 比如說(shuō)這句話(huà)，“他在實(shí)驗(yàn)室看了一整天的動(dòng)畫(huà)片”。我們?cè)诶斫膺@句話(huà)的時(shí)候，會(huì)把看和動(dòng)畫(huà)片緊密的關(guān)聯(lián)在一起，看動(dòng)畫(huà)片的動(dòng)作是自然而然的就在我們大腦中出現(xiàn)的。 雖然兩者之間還隔了“一整天的”這樣一段語(yǔ)音，但是我們的大腦還是能夠自然而然的把看和動(dòng)畫(huà)片整合在一起。原因就像剛才的英語(yǔ)句子一樣，在這個(gè)中文例子的句法樹(shù)結(jié)構(gòu)中，看和動(dòng)畫(huà)片是更為接近的。

2、Contextualized meaning

除了有結(jié)構(gòu)的特點(diǎn)之外，語(yǔ)言另外一個(gè)比較顯著的特點(diǎn)就叫做這個(gè)Contextualized meaning。 就是我們對(duì)一個(gè)詞，對(duì)一個(gè)概念的理解是有特定語(yǔ)境限制的。

具體的我們可以看下圖這樣一句話(huà)，里面有兩個(gè)bank。 第一個(gè)bank它的意思是銀行，第二個(gè)bank是河岸。不管是在中文還是在英文里面，很多詞都有多個(gè)語(yǔ)義。在我們理解它時(shí)，具體應(yīng)該選哪個(gè)語(yǔ)義就取決于它所在的語(yǔ)境。比如說(shuō)第一個(gè)bank，它是bank of london，就是倫敦銀行，我們就選擇它作為銀行的意思。 第二個(gè)是泰晤士河河畔，那它就是河岸的意思。

同樣的，在中文里面也有類(lèi)似的現(xiàn)象。 比如說(shuō)這句話(huà)，“那個(gè)帶著老花鏡的花匠花了一天時(shí)間修剪盆栽?！边@句話(huà)里面有三個(gè)花，但是意思卻完全不一樣。第一個(gè)花是形容詞， 第二個(gè)花是名詞，第三個(gè)花則是一個(gè)動(dòng)詞。

雖然存在不同的意思，但是我們?cè)诶斫獾臅r(shí)候其實(shí)非常自然，不需要去刻意的想他有什么意思。當(dāng)在這個(gè)語(yǔ)境中聽(tīng)到了這個(gè)字時(shí)，我們大腦會(huì)非?？斓淖匀欢坏恼业剿詈线m的解釋?zhuān)缓蟀阉渌脑~整合在一起。

以上為本期直播部分內(nèi)容，觀看本期及往期完整視頻內(nèi)容可掃描下方二維碼觀看。

掃描二維碼

觀看完整視頻

END

點(diǎn)擊此處，觀看最新直播及回放。

往期精彩節(jié)選

周東升：抑郁癥神經(jīng)調(diào)控進(jìn)展及思考

周昌松：大腦的分層模塊化組織-分離，整合及其在個(gè)體認(rèn)知能力中的平衡

田仰華：焦慮抑郁的神經(jīng)調(diào)控研究