俄羅斯科學家研發腦機介面,從腦電圖即時重建人腦看到的影像

圖:Grigory Rashkov/Neurobotics

俄羅斯企業 Neurobotics 及莫斯科物理技術學院(Moscow Institute of Physics and Technology,MIPT)的研究人員,找出一個方法將人類腦部活動視覺化為實際影像,此實際影像是模仿人們即時觀察到的事物。這項技術能發展出由腦部訊號控制的新型中風後復原設備。

擷取腦部訊息

要發展由大腦能控制的設備以及治療認知失調暨中風後復原的方法,神經生物學家必須要了解大腦如何對訊息編碼。其中一個關鍵是要研究人們感受視覺訊息時的大腦活動,例如觀賞影片時的大腦活動。

目前,從大腦訊號中擷取觀察到的影像是使用功能性磁振造影(Functional magnetic resonance imaging,fMRI),或是使用大腦植入物直接收集神經元的信號進行分析。這兩種方法在臨床操作和日常生活的應用上都受相當大的限制。

由 Neurobotics 及 MIPT 研發的腦機介面依靠的是人工智慧神經網路及腦電圖(electroencephalography)。腦電圖是藉由非侵入式放置在頭皮上的電極來記錄腦波的技術。藉由分析大腦活動,該系統可以在同時進行腦電圖下,重建一個人所看到的影像。

進行實驗

在實驗的第一部分,神經生物學家要求健康的受試者觀看約 10 秒的 YouTube 影片片段,總計觀看 20 分鐘。團隊隨機選擇 5 個影片項目:抽象形狀、瀑布、人臉、移動機制及動力運動。動力運動的項目包括以第一人稱視角紀錄的雪上摩托車、水上摩托車、重型機車及賽車賽事。

藉由分析腦電圖的資料,研究人員發現對每一種影片類型,大腦腦波圖案都不一樣。這讓團隊可以即時分析大腦對於影片的反應。

在實驗的第二階段,從原本的五個影片項目中隨機的選出三個。研究人員發展出兩種神經網路:其中一種是從雜訊中產生隨機、因項目而異的特定影像,另一種則是從腦電圖中產生相似的雜訊。接著,團隊將腦電圖訊號轉成與受試者觀察到的影像相似的實際影像,來訓練兩種網路一起運作。

為了測試系統視覺化大腦活動的能力,研究團隊接著從相同的項目中給受試者看之前未播放過的影片。當他們在觀賞時,腦電圖被記錄並被傳輸到神經網路中。系統通過了測試,產生令人信服的影像,在 90% 的情況下都能夠輕易被分類。

未來展望

MIPT 神經機器人實驗室的弗拉吉米爾·克涅雪夫(Vladimir Konyshev)表示:「我們正致力於國家科技措施(National Technology Initiative)中的神經網路輔助技術計畫,專注在研發腦機介面,此腦機介面能讓中風病患控制幫助他們神經復原的手臂外骨骼,或是讓癱瘓病人能操控電動輪椅。最終目標也包括讓健康的人增加對神經控制的準確率。」

本研究共同作者,MIPT 資深研究員及 Neurobotics 的程式設計師果戈里·拉許柯夫(Grigory Rashkov)解釋:「腦電圖是由頭皮記錄到的一系列大腦訊號。研究人員以往認為,透過腦電圖研究大腦過程就像藉由分析蒸汽火車留下的煙來理解蒸汽引擎的內部結構。我們一開始甚至不期待它們包含足夠的訊息來重建人們觀察到的影像。但實際上這其實是很有可能的。」

他補充:「此外,我們可以用腦電圖為基礎來構建即時運作的腦機介面。這非常令人欣慰。在現今的科技下,伊隆·馬斯克(Elon Musk)展望的侵入式神經介面面臨挑戰,包括複雜的手術、以及器材因為氧化等自然過程而在數個月快速衰壞的問題。我們希望我們最終可以設計更負擔得起且不需要移植的神經介面。」

參考資料:

  1. Houser, K., (2019, November 3). This Ai Decodes Your Brainwaves And Draws What You’re Looking At. Futurism
  2. Research News, (2019, October 30). Neural network reconstructs human ‘thoughts’ from brain waves in real time. MIPT
  3. Rashkov, G., (2019, October 25). Natural image reconstruction from brain waves: a novel visual BCI system with native feedback. BioRxiv. doi.org/10.1101/787101
黃威翔
黃威翔 200 文章
清華大學材料工程學系碩士畢業生。一個喜歡學外語,但又在科學領域打滾的平凡人,喜歡美食,日劇,電影,旅遊。