新的“讀心術(shù)”人工智能直接從腦電波中翻譯思想——無需植入物

世界首創(chuàng)的非侵入式人工智能系統(tǒng)可以將無聲的想法轉(zhuǎn)化為文本，同時只需要用戶戴上貼身的帽子。

開發(fā)這項名為DeWave的技術(shù)的澳大利亞研究人員進行了測試該過程使用來自二十多個受試者的數(shù)據(jù).

參與者戴著帽子默默閱讀，帽子通過腦電圖（EEG）記錄他們的腦電波并將其解碼為文本。

隨著進一步的改進，DeWave可以幫助中風和癱瘓患者進行交流，并使人們更容易指揮仿生手臂或機器人等機器。

“這項研究代表了將原始腦電波直接翻譯成語言的開創(chuàng)性努力，標志著該領(lǐng)域的重大突破。說來自悉尼科技大學（UTS）的計算機科學家Chin-Teng Lin。

盡管DeWave在Lin及其同事進行的實驗中僅根據(jù)兩組指標之一實現(xiàn)了略高于40%的準確率，但這比之前從EEG記錄中翻譯思想的標準提高了3%。

研究人員的目標是將準確率提高到90%左右，這與傳統(tǒng)的語言翻譯或語音識別軟件方法相當。

其他方法將大腦信號翻譯成語言需要侵入性手術(shù)植入電極或笨重，昂貴的MRI機器，這使得它們在日常使用中不切實際——而且它們經(jīng)常需要使用眼動追蹤將大腦信號轉(zhuǎn)換為單詞級塊。

當一個人的眼睛從一個單詞跳到另一個單詞時，可以合理地假設(shè)他們的大腦在處理每個單詞之間會短暫休息。將原始腦電波轉(zhuǎn)換為單詞（如果沒有眼動追蹤來指示相應(yīng)的單詞目標）則更加困難。

來自不同人的腦電波并不都以完全相同的方式表示單詞之間的中斷，這使得教人工智能如何解釋個人想法成為一項挑戰(zhàn)。

經(jīng)過大量訓練后，DeWave的編碼器將腦電圖波轉(zhuǎn)換為代碼，然后可以根據(jù)它們與DeWave“密碼本”中條目的接近程度將其與特定單詞進行匹配。

“它是第一個將離散編碼技術(shù)納入腦到文本翻譯過程的公司，引入了一種創(chuàng)新的神經(jīng)解碼方法，”解釋林。

“與大型語言模型的集成也為神經(jīng)科學和人工智能開辟了新的領(lǐng)域。

Lin 和他的團隊使用了經(jīng)過訓練的語言模型，其中包括一個名為 BERT 的系統(tǒng)與 GPT 的組合，并在現(xiàn)有數(shù)據(jù)集人數(shù)誰有閱讀文本時記錄的眼動追蹤和大腦活動。

這有助于系統(tǒng)學會將腦電波模式與單詞相匹配，然后 DeWave 進一步訓練開源大型語言模型這基本上是用單詞造句的。

翻譯動詞是 DeWave 表現(xiàn)最好的地方。另一方面，名詞往往被翻譯為意思相同的詞對，而不是確切的翻譯，例如“人”而不是“作者”。

“我們認為這是因為當大腦處理這些單詞時，語義上相似的單詞可能會產(chǎn)生相似的腦電波模式。說第一作者Yiqun Duan，悉尼科技大學的計算機科學家。

“盡管存在挑戰(zhàn)，但我們的模型產(chǎn)生了有意義的結(jié)果，對齊了關(guān)鍵詞并形成了相似的句子結(jié)構(gòu)。”

測試的樣本量相對較大，解決了人們的腦電波分布差異很大的事實，這表明該研究比僅在非常小的樣本上測試的早期技術(shù)更可靠。

還有更多的工作要做，當腦電圖信號通過帽而不是植入大腦的電極接收時，信號相當嘈雜。

“直接從大腦中翻譯思想是一項有價值但具有挑戰(zhàn)性的工作，需要持續(xù)付出巨大的努力，”該團隊寫.

“鑒于大型語言模型的快速發(fā)展，將大腦活動與自然語言聯(lián)系起來的類似編碼方法值得更多關(guān)注。

該研究發(fā)表在NeurIPS 2023 會議，預(yù)印本可在ArXiv的.

寶寶起名