精選文章||腦機(jī)接口在元宇宙中的應(yīng)用研究進(jìn)展
精選文章||腦機(jī)接口在元宇宙中的應(yīng)用研究進(jìn)展
gh_72df7adaeec6
工程科學(xué)學(xué)報(bào)網(wǎng)絡(luò)宣傳與推廣
〢詳細(xì)信息：
腦機(jī)接口在元宇宙中的應(yīng)用研究進(jìn)展
王雪, 李莎, 李榮洋, 寧煥生
工程科學(xué)學(xué)報(bào), 2023, 45(9): 1528
http://doi.org/10.13374/j.issn2095-9389.2023.02.15.001
點(diǎn)擊下方網(wǎng)站直達(dá)相應(yīng)頁(yè)面
官網(wǎng) ； 知網(wǎng)
〢摘 要：
近期，隨著元宇宙研究重心轉(zhuǎn)向內(nèi)容交流和社會(huì)互動(dòng)，如何打破當(dāng)前視聽(tīng)媒體交互瓶頸成為了亟待解決的問(wèn)題，使用腦機(jī)接口進(jìn)行感官模擬就是解決方案之一. 目前，腦機(jī)接口已經(jīng)作為生理信號(hào)采集工具在元宇宙諸多領(lǐng)域表現(xiàn)出了不可替代的應(yīng)用潛力. 研究三個(gè)應(yīng)用場(chǎng)景，元宇宙藝術(shù)中的生成藝術(shù)、元宇宙醫(yī)學(xué)中醫(yī)療保健嚴(yán)肅游戲、元宇宙虛擬社會(huì)中的虛擬人表情合成中腦機(jī)接口應(yīng)用現(xiàn)狀，調(diào)查已經(jīng)存在的商業(yè)產(chǎn)品和專利(MindWave Mobile、GVS、Galea )，類比網(wǎng)絡(luò)安全和神經(jīng)安全、生物倫理學(xué)和神經(jīng)倫理學(xué)的發(fā)展過(guò)程，探討腦機(jī)接口成熟并被廣泛應(yīng)用后可能面臨的挑戰(zhàn)和潛在問(wèn)題，展望未來(lái)腦機(jī)接口在元宇宙中深入多樣應(yīng)用的可能性.
元宇宙并非新生概念，在1992年的科幻小說(shuō)《雪崩》中已經(jīng)提出 [ 1 ] ，但是元宇宙概念在近兩年才走上風(fēng)口，以Meta公司為代表的科技巨頭紛紛涌入，傳統(tǒng)企業(yè)也開(kāi)始積極擁抱元宇宙技術(shù)，數(shù)字經(jīng)濟(jì)開(kāi)始圍繞著元宇宙展開(kāi)全球新一輪科技博弈. 元宇宙是利用物聯(lián)網(wǎng)、云計(jì)算、擴(kuò)展現(xiàn)實(shí)等科技手段，創(chuàng)造出來(lái)的映射現(xiàn)實(shí)世界、能夠與現(xiàn)實(shí)交互的虛擬空間. 從技術(shù)角度上，元宇宙是在設(shè)計(jì)的特定場(chǎng)景下由多種技術(shù)完成的綜合性應(yīng)用，網(wǎng)絡(luò)及運(yùn)算技術(shù)是元宇宙交互與信息傳遞的基礎(chǔ)；X聯(lián)網(wǎng)、身份建模、社會(huì)計(jì)算、去中心化管理技術(shù)實(shí)現(xiàn)了元宇宙中虛擬社會(huì)的構(gòu)建；擴(kuò)展現(xiàn)實(shí)、腦機(jī)接口等技術(shù)完成虛實(shí)世界感官的統(tǒng)一，是虛實(shí)融合的基石. 從構(gòu)成角度上，元宇宙可以分為硬件、軟件與內(nèi)容. 從方法角度上，元宇宙由用戶之間的互動(dòng)、虛擬空間的實(shí)現(xiàn)、各種豐富的應(yīng)用組成. 以往元宇宙研究重心更偏向于虛擬世界本身結(jié)構(gòu)，如今人們?cè)絹?lái)越關(guān)注元宇宙的內(nèi)容交流與社會(huì)互動(dòng)功能，賦予了元宇宙更多交互功能上的期望, 為了實(shí)現(xiàn)元宇宙對(duì)現(xiàn)實(shí)世界中交互模式更加真實(shí)的模擬，感官模擬研究愈發(fā)重要，腦機(jī)接口(Brain-computer interface, BCI)就是方向之一 [ 2 ] . 目前并沒(méi)有將腦機(jī)接口感覺(jué)模擬技術(shù)與元宇宙技術(shù)相結(jié)合的應(yīng)用實(shí)例，腦機(jī)接口在元宇宙中更多是作為生理數(shù)據(jù)采集工具.
對(duì)元宇宙中腦機(jī)接口技術(shù)應(yīng)用現(xiàn)狀和面臨問(wèn)題進(jìn)行調(diào)查研究，進(jìn)而展望未來(lái)腦機(jī)接口感覺(jué)模擬技術(shù)發(fā)展的可能性.
腦機(jī)接口早期定義為不依靠周圍神經(jīng)系統(tǒng)和肌肉的大腦通信系統(tǒng) [ 3 ] . 2012年，Wolpaw與Wolpow [ 4 ] 對(duì)腦機(jī)接口進(jìn)行了重新定義，擴(kuò)寬了范圍，定義為測(cè)量中樞神經(jīng)系統(tǒng)(Central nervous system, CNS)活動(dòng)并轉(zhuǎn)化為人工輸出的系統(tǒng). 腦機(jī)接口有著多種分類方式，依據(jù)信號(hào)采集方法的不同，可以分為侵入式腦機(jī)接口(Electrocorticography, ECoG)和非侵入式腦機(jī)接口(Electroencephalogram, EEG)；依據(jù)使用者是否在使用時(shí)自愿控制，將腦機(jī)接口分為主動(dòng)腦機(jī)接口和被動(dòng)腦機(jī)接口；依據(jù)腦與計(jì)算機(jī)之間信息通路方向的不同，將腦機(jī)接口分為單向腦機(jī)接口和雙向腦機(jī)接口.
近幾年，腦機(jī)接口技術(shù)在前端接口、后端算法、可穿戴設(shè)備、干式腦電圖等領(lǐng)域都取得了巨大進(jìn)步 [ 5 ] ，隨著技術(shù)更新?lián)Q代，腦機(jī)接口應(yīng)用逐漸成熟，典型例子就是腦機(jī)接口拼寫(xiě)器和神經(jīng)義肢，大大改善了殘疾人士的生活；對(duì)于健康用戶，腦機(jī)接口也有用途，比如在游戲領(lǐng)域，依據(jù)運(yùn)動(dòng)想象(Motor imagery, MI)和穩(wěn)態(tài)視覺(jué)誘發(fā)電位(Steady-state visual evoked potentials, SSVEP)設(shè)計(jì)出的游戲范例中，玩家可以通過(guò)運(yùn)動(dòng)想象來(lái)匹配不同的游戲命令，通過(guò)注視閃爍時(shí)產(chǎn)生的SSVEP事件做出特定游戲操作 [ 6 ] . 這種連續(xù)控制相對(duì)于普通鍵盤(pán)、游戲手柄等交互方式更具有沉浸感，有更優(yōu)秀的游戲體驗(yàn).
腦機(jī)接口從實(shí)驗(yàn)成果到現(xiàn)實(shí)運(yùn)用不斷落地，展示著它在元宇宙領(lǐng)域的應(yīng)用潛力. 依據(jù)采集方法分類的兩種腦機(jī)接口中，侵入式腦機(jī)接口技術(shù)更為復(fù)雜并且涉及創(chuàng)傷性的手術(shù)，非侵入式腦機(jī)接口相比較之下具有無(wú)創(chuàng)性，更易于獲取，同時(shí)也有著良好性能與準(zhǔn)確度，是首選腦電檢測(cè)方法，也是主要研究與討論對(duì)象. 通過(guò)對(duì)元宇宙藝術(shù)、元宇宙醫(yī)學(xué)、元宇宙虛擬社會(huì)進(jìn)行研究調(diào)查，展示元宇宙不同應(yīng)用場(chǎng)景中腦機(jī)接口技術(shù)的功能與成效.
1.1 元宇宙藝術(shù)
元宇宙由軟硬件技術(shù)和內(nèi)容設(shè)計(jì)兩大部分構(gòu)成，軟硬件技術(shù)是科學(xué)技術(shù)的代表，而內(nèi)容設(shè)計(jì)是藝術(shù)的代表，藝術(shù)與技術(shù)同根同源，相輔相成，元宇宙起源于藝術(shù)領(lǐng)域，其蓬勃發(fā)展也反過(guò)來(lái)豐富了藝術(shù)領(lǐng)域，創(chuàng)造出了虛實(shí)相生的元宇宙藝術(shù). 元宇宙藝術(shù)包括數(shù)字孿生藝術(shù)、數(shù)字原生藝術(shù)、物理孿生藝術(shù)，是采用虛擬現(xiàn)實(shí)(Virtual reality, VR)、增強(qiáng)現(xiàn)實(shí)(Augmented reality, AR)、混合現(xiàn)實(shí)(Mixed reality, MR)、全息投影、非同質(zhì)化通證(Non-fungible token, NFT)等數(shù)字技術(shù)，以現(xiàn)實(shí)世界為靈感源泉的藝術(shù)形式. 2022年在南寧舉辦的清明上河圖科技藝術(shù)沉浸特展，就是典型的元宇宙藝術(shù)展，特展通過(guò)全息動(dòng)態(tài)投影技術(shù)激活了千年古畫(huà)的生命力，使用VR技術(shù)使游客可以身臨其境地穿越到畫(huà)作中，突破了以往藝術(shù)展覽的嚴(yán)肅與距離感，賦予文物在科技時(shí)代的新活力，給游客新穎生動(dòng)的美育體驗(yàn). 因?yàn)樵钪嫠囆g(shù)在交互與沉浸參與感上的優(yōu)勢(shì)，使普羅大眾可以輕松地進(jìn)行藝術(shù)的個(gè)人表達(dá)，并且深入理解、參與元宇宙藝術(shù)家的作品之中，腦機(jī)接口作為一種特殊的交互技術(shù)，成為了藝術(shù)創(chuàng)作者與藝術(shù)欣賞者之間合作與交流的橋梁 [ 7 ] .
腦機(jī)接口與元宇宙藝術(shù)交匯在生成藝術(shù)(Generative art)領(lǐng)域，生成藝術(shù)是指藝術(shù)家將創(chuàng)作者身份交給自治系統(tǒng)，比如計(jì)算機(jī)程序和機(jī)器，使其主導(dǎo)或者輔助一個(gè)完整藝術(shù)作品誕生 [ 8 ] . 生成藝術(shù)和腦機(jī)接口通過(guò)生成藝術(shù)所需的自主性啟動(dòng)聯(lián)結(jié)起來(lái)，EEG采集腦電信號(hào)輸入生成藝術(shù)裝置，啟動(dòng)裝置，由于腦電信號(hào)的動(dòng)態(tài)性、獨(dú)特性，不同人在不同時(shí)間里藝術(shù)裝置產(chǎn)生的輸出結(jié)果都不同. 在2021年，已經(jīng)有研究者做出了成功的系統(tǒng)設(shè)計(jì)，如 圖1 所示，使用NeuroSky腦立方耳機(jī)二代作為信號(hào)采集工具，通過(guò)藍(lán)牙將采集到的腦電波數(shù)據(jù)傳給計(jì)算機(jī)上的ThinkGear Connector程序，它采用用戶數(shù)據(jù)報(bào)協(xié)議(User datagram protocol, UDP)將數(shù)據(jù)發(fā)送給Unity引擎，隨后Unity引擎依據(jù)數(shù)據(jù)進(jìn)行即時(shí)渲染，產(chǎn)生的動(dòng)畫(huà)效果同步投影到佩戴耳機(jī)的被試者面前. 即時(shí)渲染在部分自治的同時(shí)，也具有一定規(guī)律，研究者的靈感來(lái)自大自然，依據(jù)植物葉序規(guī)律進(jìn)行渲染程序設(shè)計(jì)，使用了向日葵花朵的簡(jiǎn)單模型，發(fā)現(xiàn)通過(guò)改變花朵角度可以產(chǎn)生不同圖案變化，便使用角度作為變量來(lái)生成可變圖案，通過(guò)對(duì)腦波數(shù)據(jù)進(jìn)行特征提取，用不同注意力程度映射不同花朵圖案角度，用不同冥想程度映射不同花朵顏色，用這種特殊方式向被試者可視化了自己的平靜程度，可以應(yīng)用于冥想和藝術(shù)治療 [ 9 ] . 這項(xiàng)實(shí)驗(yàn)通過(guò)二維平面的投影展示，還沒(méi)有發(fā)展到元宇宙的虛擬空間，通過(guò)將元宇宙這種虛擬空間作為生成藝術(shù)的畫(huà)布，比起普通的二維、三維現(xiàn)實(shí)空間中的生成藝術(shù)有了更多的自由度、更少的經(jīng)濟(jì)成本，能給予藝術(shù)家更廣闊的靈感發(fā)揮空間 [ 10 ] ，元宇宙在計(jì)算機(jī)的輔助下極具高效性，大大簡(jiǎn)化了原本復(fù)雜的藝術(shù)創(chuàng)造流程 [ 11 ] .
圖 1 腦電數(shù)據(jù)驅(qū)動(dòng)的生成藝術(shù)范例
腦機(jī)接口與元宇宙藝術(shù)的結(jié)合，讓人的大腦活動(dòng)成為了藝術(shù)作品的構(gòu)成部分，因?yàn)榇竽X活動(dòng)的因人而異性、因時(shí)而異性，創(chuàng)造出了這種獨(dú)特，動(dòng)態(tài)的藝術(shù)，通過(guò)進(jìn)一步了解腦電信號(hào)特征的生理原因、象征意義，相信科學(xué)家和藝術(shù)家通過(guò)腦機(jī)接口，可以進(jìn)一步增進(jìn)群眾對(duì)大腦功能的理解，發(fā)展出成熟的藝術(shù)治療手段.
1.2 元宇宙醫(yī)學(xué)
元宇宙醫(yī)學(xué)最早的概念源頭是遠(yuǎn)程醫(yī)療，隨著傳感器、可穿戴設(shè)備、云計(jì)算等物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，功能上更為強(qiáng)大的物聯(lián)網(wǎng)醫(yī)學(xué)繼承了移動(dòng)醫(yī)療將醫(yī)療與信息相結(jié)合的特性，在醫(yī)療資源不均衡、患者就診困難的社會(huì)背景下應(yīng)運(yùn)而生，在協(xié)助疾病診斷、慢性疾病管理、康復(fù)訓(xùn)練等方面發(fā)揮了巨大作用，物聯(lián)網(wǎng)醫(yī)學(xué)使用便攜物聯(lián)網(wǎng)設(shè)備遠(yuǎn)程采集患者數(shù)據(jù)，通過(guò)基于人工智能技術(shù)的信息處理系統(tǒng)來(lái)高效地管理患者，將云計(jì)算技術(shù)應(yīng)用在社區(qū)醫(yī)院、區(qū)醫(yī)院、醫(yī)學(xué)中心的分工場(chǎng)景中，高效聯(lián)動(dòng)，完成級(jí)別分明又相互協(xié)作的疾病診療. 元宇宙醫(yī)學(xué)是物聯(lián)網(wǎng)醫(yī)學(xué)的真子集，復(fù)旦大學(xué)附屬中山醫(yī)院教授白春學(xué)將元宇宙醫(yī)學(xué)定義為通過(guò)AR技術(shù)實(shí)施的物聯(lián)網(wǎng)醫(yī)學(xué)，使用傳感器來(lái)實(shí)時(shí)監(jiān)測(cè)機(jī)體的生理和病理變化，再通過(guò)數(shù)字孿生技術(shù)完成虛擬建模和患者身體的虛實(shí)聯(lián)動(dòng). 白春學(xué)教授在2018年開(kāi)創(chuàng)了世界首個(gè)元宇宙醫(yī)學(xué)原型的臨床研究，帶領(lǐng)團(tuán)隊(duì)開(kāi)發(fā)了BRM一體機(jī)，醫(yī)生可以在系統(tǒng)中使用AR設(shè)備收集并查看患者的全息醫(yī)學(xué)資料，從而達(dá)到高效精準(zhǔn)的診療 [ 12 ] .
除了基于AR的高效診療系統(tǒng)外，元宇宙醫(yī)學(xué)還通過(guò)基于VR、MR的嚴(yán)肅游戲改善了醫(yī)療保健的質(zhì)量. 嚴(yán)肅游戲并非傳統(tǒng)意義上供人消遣娛樂(lè)的游戲，它通過(guò)應(yīng)用游戲設(shè)計(jì)技術(shù)來(lái)解決現(xiàn)實(shí)生活中各種領(lǐng)域的問(wèn)題，提供創(chuàng)造性解決方案，嚴(yán)肅游戲可以通過(guò)模擬現(xiàn)實(shí)環(huán)境，給學(xué)習(xí)者提供在現(xiàn)實(shí)中因?yàn)榘踩?、時(shí)間、成本等因素不可能實(shí)現(xiàn)的學(xué)習(xí)條件. 其中，醫(yī)療保健嚴(yán)肅游戲可以對(duì)個(gè)人生理與心理產(chǎn)生直接或間接的積極影響，比如鍛煉身體的舞蹈和體育鍛煉游戲，養(yǎng)成患者或幼兒生活技能的自我管理游戲，提高患者運(yùn)動(dòng)技能的康復(fù)訓(xùn)練游戲，以及確診和治療精神疾病的診斷治療游戲. 醫(yī)療保健嚴(yán)肅游戲領(lǐng)域廣闊且具有強(qiáng)大的生命力，為了討論腦機(jī)接口技術(shù)在其中的應(yīng)用潛力，以孤獨(dú)癥譜系障礙(Autism spectrum disorders, ASDs)的嚴(yán)肅游戲治療作為實(shí)例，進(jìn)行現(xiàn)狀闡述和未來(lái)展望 [ 13 ] .
孤獨(dú)癥(Autism) 是一種神經(jīng)發(fā)育綜合癥，其癥狀包括缺乏社會(huì)互惠和交流，以及不尋常的限制性重復(fù)行為，因?yàn)楦杏X(jué)知覺(jué)和社會(huì)功能上的障礙，普通生活場(chǎng)景對(duì)于ASDs患者也潛藏著各種危險(xiǎn)，給患者本人和家人都帶來(lái)了沉重負(fù)擔(dān). 早期強(qiáng)化行為干預(yù)(Early intensive behavioral intervention, EIBI)是目前較為成熟的一種治療手段，能夠降低癥狀嚴(yán)重程度，提高部分患者的智商、 適應(yīng)行為和語(yǔ)言能力，訓(xùn)練者年齡要在5歲以下 [ 14 ] ，對(duì)于超過(guò)EIBI治療年齡的ASDs患者，通常采用康復(fù)訓(xùn)練等非藥物治療手段或心理治療手段，VR沉浸式嚴(yán)肅游戲是其中一種新穎的治療手段，VR創(chuàng)造出完全可控的訓(xùn)練環(huán)境，達(dá)到鍛煉社交技能、矯正注意力缺陷、改善恐怖情緒、提高軀體運(yùn)動(dòng)技能的訓(xùn)練效果 [ 15 ] ，同時(shí)由于患者在日常認(rèn)知活動(dòng)中視覺(jué)皮層相較于典型神經(jīng)發(fā)育者的高活躍度，VR提供的視覺(jué)輔助對(duì)訓(xùn)練ASDs患者有顯著幫助 [ 16 ] . 目前VR訓(xùn)練系統(tǒng)具有不足之處，首先，VR眩暈和視覺(jué)疲勞不良反應(yīng)會(huì)在感知覺(jué)異常的ASDs患者身上進(jìn)一步放大；其次，目前VR訓(xùn)練系統(tǒng)的訓(xùn)練模式都是對(duì)ASDs患者某一癥狀進(jìn)行干預(yù)，沒(méi)有綜合性和階梯性 [ 17 ] .
對(duì)于VR不良反應(yīng)問(wèn)題，早在2016年，梅奧診所(Mayo Clinic)的專利前庭電刺激(Galvanic vestibular stimulation, GVS)就給出了解決方案，GVS可以營(yíng)造完整運(yùn)動(dòng)感覺(jué)，平衡VR使用者視野變化與體感之間的不匹配，緩解其3D眩暈綜合征. 這種技術(shù)已經(jīng)得到產(chǎn)業(yè)化，vMocion的3vTM平臺(tái)運(yùn)用了這項(xiàng)專利，提供完整三維運(yùn)動(dòng)感覺(jué)，包括從左到右旋轉(zhuǎn)、向前向后移動(dòng)，向左向右移動(dòng)，三者的組合反映了人體所有潛在的運(yùn)動(dòng)模式. 同時(shí)vMocion公司的REMOvESTM技術(shù)可以安全地抑制前庭系統(tǒng)，不產(chǎn)生額外運(yùn)動(dòng)感覺(jué) [ 18 ] .
對(duì)于VR訓(xùn)練系統(tǒng)設(shè)計(jì)綜合性和階段性上的欠缺，由于目前的VR系統(tǒng)側(cè)重于對(duì)ASDs患者行為上的訓(xùn)練，無(wú)法確認(rèn)能否在神經(jīng)生理層面上影響患者，往往依據(jù)對(duì)患者行為的主觀觀察來(lái)判定患者的訓(xùn)練成效，缺少客觀的訓(xùn)練成果指標(biāo). ASDs患者鏡像神經(jīng)元存在功能性失調(diào)，自身實(shí)際運(yùn)動(dòng)時(shí)鏡像神經(jīng)元活躍，觀察他人運(yùn)動(dòng)時(shí)鏡像神經(jīng)元不活躍，而鏡像神經(jīng)元功能正常的典型神經(jīng)發(fā)育者在這兩種情景之下鏡像神經(jīng)元都活躍，感覺(jué)運(yùn)動(dòng)皮層上方μ頻率(8~13 Hz)的腦電信號(hào)頻率受抑制的程度反映了鏡像神經(jīng)元活躍程度，μ頻率下鏡像神經(jīng)元對(duì)實(shí)際運(yùn)動(dòng)和觀察到的運(yùn)動(dòng)反應(yīng)性差距可以反映鏡像神經(jīng)元功能失調(diào)程度 [ 19 ] . 在確認(rèn)患者經(jīng)過(guò)VR訓(xùn)練后有顯著行為層面成效的前提下，依據(jù)權(quán)威診斷量表設(shè)計(jì)出科學(xué)的行為改善量化標(biāo)準(zhǔn)，同時(shí)將VR訓(xùn)練前后兩組腦電數(shù)據(jù)進(jìn)行對(duì)比，觀察ASDs患者的鏡像神經(jīng)元功能性失調(diào)是否在訓(xùn)練中得到改善，如果確有改善，通過(guò)分析行為改善量化結(jié)果與鏡像神經(jīng)元功能改善程度的相關(guān)性，判斷是否能將鏡像神經(jīng)元功能上的變化視為訓(xùn)練成果指標(biāo)之一；如果沒(méi)有改善，在訓(xùn)練過(guò)程中對(duì)腦電數(shù)據(jù)采集研究，也為進(jìn)一步了解ASDs，設(shè)計(jì)出綜合性、階段性的訓(xùn)練系統(tǒng)打下了基礎(chǔ).
對(duì)于因?yàn)樽陨碇橇?lái)的社交補(bǔ)償，行為癥狀較少而尚未診斷出的ASDs患者，如 圖2 所示，VR訓(xùn)練系統(tǒng)與腦機(jī)接口的結(jié)合提供了高效簡(jiǎn)易的診斷方案 [ 20 ] ，普通的VR診斷往往會(huì)設(shè)計(jì)一個(gè)社會(huì)互動(dòng)場(chǎng)景，將被測(cè)的頭部運(yùn)動(dòng)、眼睛凝視、注視焦點(diǎn)等非語(yǔ)言行為作為生物標(biāo)志物 [ 21 ] ，但對(duì)于具有良好社交技巧和貧乏心智理論的社交補(bǔ)償型ASDs患者，此診斷方式可能會(huì)失效，可以使用腦機(jī)接口采集μ頻率腦電波做更深一步的診斷. 現(xiàn)階段VR設(shè)備與腦機(jī)接口技術(shù)的初步結(jié)合，提供了硬件基礎(chǔ)，在2020年11月19日，OpenBCI公司在其官網(wǎng)上發(fā)布了新產(chǎn)品Galea的公告，Galea將AR、VR頭戴式顯示器和EEG、眼電圖(EOG)、肌電圖(EMG)、皮膚電活動(dòng)(EDA)、光電容積脈搏波(PPG)、Varjo Aero眼動(dòng)追蹤技術(shù)相結(jié)合，將生物特征數(shù)據(jù)即時(shí)傳輸給開(kāi)發(fā)引擎，為研究人員提供探索人類思維和生理規(guī)律的便捷手段. 如 圖2 所示，在ASD患者的VR訓(xùn)練場(chǎng)景下，Galea這種將生物信號(hào)采集裝置和VR顯示器相結(jié)合的設(shè)計(jì)，比起普通的將VR顯示和信號(hào)采集器相分離的實(shí)驗(yàn)方式更加便捷方便，同時(shí)也提高了實(shí)驗(yàn)沉浸程度，降低了患者心理壓力.
圖 2 基于VR與EEG的ASDs訓(xùn)練/診斷系統(tǒng)
1.3 社交虛擬現(xiàn)實(shí)
社交虛擬現(xiàn)實(shí)(Social virtual reality)使全球各地的用戶能夠在一個(gè)可以共享、互動(dòng)的虛擬環(huán)境中進(jìn)行交互與社交，在虛擬社交世界，用戶使用3D建模生成的數(shù)字化身(Avatar)代替自己進(jìn)行社交活動(dòng)，作為建立元宇宙的重要基礎(chǔ)，社交虛擬現(xiàn)實(shí)已經(jīng)被計(jì)算機(jī)圖形學(xué)和人機(jī)交互社區(qū)廣泛研究 [ 22 ] . 對(duì)目前比較流行的5個(gè)社交虛擬平臺(tái)進(jìn)行調(diào)研與信息整理，展示在 表1 中.
表 1 5個(gè)流行社交虛擬平臺(tái)
在現(xiàn)實(shí)社交生活中，語(yǔ)言是核心工具，表情和肢體動(dòng)作是重要輔助，在虛擬社交世界中復(fù)現(xiàn)用戶現(xiàn)實(shí)表情是十分有價(jià)值的問(wèn)題. 以Horizon Worlds為例，在Meta公司之前釋出的概念影片中，用戶虛擬形象雖然因?yàn)榧夹g(shù)限制只有上半身，卻有著靈動(dòng)真實(shí)的面部表情；然而，目前Horizon Worlds中真正的虛擬形象面部建模和表情復(fù)現(xiàn)并不理想，對(duì)于面部表情的實(shí)時(shí)變化，Meta公司采用對(duì)用戶語(yǔ)音進(jìn)行情感分析，再映射到對(duì)應(yīng)面部變化的方法，由于面部建模的技術(shù)限制，這種表情變化僅限于揚(yáng)眉、嘴的張合、眨眼等面部子區(qū)域動(dòng)作的組合，效果僵硬不自然. 為了進(jìn)一步提升虛擬形象面部表情模擬效果，不僅需要仿生美觀的面部建模，還需要貼近自然效果的表情復(fù)現(xiàn)方法.
復(fù)現(xiàn)人類表情的方法可以依據(jù)情感識(shí)別方法分為兩類，第一類方法基于面部表情圖像、聲音信號(hào)等非生理信號(hào)，第二類方法基于EEG、EMG、心電圖(ECG)等生理信號(hào)，第一類方法中基于面部表情的方法效果最佳，元宇宙中的社交活動(dòng)要求參與者佩戴頭戴式VR設(shè)備，會(huì)遮擋住部分面部，并且VR設(shè)備對(duì)人臉的束縛影響了參與者自由地做出各種表情. 第二類基于生理信號(hào)的方法不受外部VR設(shè)備限制，并且不需要攝像頭進(jìn)行圖像采集，更具靈活性，價(jià)格成本也更為低廉，體現(xiàn)出了獨(dú)特優(yōu)勢(shì). 在用于情感識(shí)別的各種生理信號(hào)中，腦電信號(hào)是最常用的生理信號(hào)之一，它直接從大腦皮層捕獲，有利于反映心理狀態(tài) [ 23 ] .
基于腦電信號(hào)的表情復(fù)現(xiàn)方法依賴兩種技術(shù)，分別是腦電信號(hào)情感識(shí)別和情感的面部表情效果映射. 基于腦電信號(hào)的情感識(shí)別采用EEG技術(shù)，一個(gè)完整的腦電情感識(shí)別流程如 圖3 所示，首先要確定科學(xué)的實(shí)驗(yàn)規(guī)程，采集固定電極位置、固定波段腦電信號(hào)，最常用的電極是放置在額葉的電極，即 圖4 中用紅色標(biāo)注的電極；采集到最初的信號(hào)后，需要使用手動(dòng)刪除、盲源分離(Blind source separation, BSS)、獨(dú)立元素分析分離(Independent component analysis, ICA)等方法刪除被測(cè)眼球運(yùn)動(dòng)、肌肉運(yùn)動(dòng)產(chǎn)生的信號(hào)偽影，得到濾波后信號(hào)；對(duì)濾波后的信號(hào)進(jìn)行特殊波段信號(hào)特征提取，最后依據(jù)提取出的信號(hào)特征對(duì)被測(cè)情緒狀態(tài)進(jìn)行分類 [ 24 ] . 也許有人會(huì)因?yàn)閭€(gè)人情感表達(dá)獨(dú)特性來(lái)質(zhì)疑分類結(jié)果，實(shí)際上，只要在進(jìn)行分類前，通過(guò)同時(shí)采集被試表情圖像數(shù)據(jù)、生理信號(hào)和腦電數(shù)據(jù)，形成個(gè)體獨(dú)一無(wú)二的標(biāo)準(zhǔn)，就能確定腦電信號(hào)和情感表達(dá)的對(duì)應(yīng)關(guān)系.
圖 3 腦電情感識(shí)別流程圖
圖 4 10–10腦電極導(dǎo)聯(lián)系統(tǒng)
這種情感識(shí)別方式也存在著問(wèn)題. 對(duì)采集的腦電信號(hào)進(jìn)行情感識(shí)別時(shí)，識(shí)別出來(lái)是個(gè)體情緒狀態(tài)，即正在經(jīng)歷一種情緒時(shí)的動(dòng)態(tài)狀態(tài)，在我們的社交生活中，實(shí)際參與個(gè)體社交行為的是個(gè)體情感表達(dá)，如表情、肢體語(yǔ)言、說(shuō)話聲調(diào)，情緒狀態(tài)無(wú)法被他人直接觀察，使用者在不同社交場(chǎng)合下，情緒狀態(tài)對(duì)應(yīng)的情感表達(dá)不可能完全相同 [ 25 ] ，因此，基于腦電信號(hào)的情感識(shí)別方法與其作為元宇宙中虛擬形象表情復(fù)現(xiàn)的基礎(chǔ)，更適合作為一種補(bǔ)充或輔助方式，解決面部表情識(shí)別方法遇到的VR設(shè)備遮擋和肌肉運(yùn)動(dòng)不自然的問(wèn)題.
從安全性角度來(lái)看，BCI還處于早期和不成熟階段，有可能對(duì)使用者產(chǎn)生生理、心理、個(gè)人隱私及經(jīng)濟(jì)上的危害，神經(jīng)安全(Neurosecurity)、神經(jīng)隱私(Neuroprivacy)、神經(jīng)保密(Neuroconfidentiality)、腦黑客(Brain-hacking)、神經(jīng)倫理學(xué)(Neuroethics)等與BCI安全相關(guān)聯(lián)的術(shù)語(yǔ)已經(jīng)出現(xiàn)，在其中選擇神經(jīng)安全問(wèn)題和神經(jīng)倫理學(xué)問(wèn)題進(jìn)行調(diào)查與論述 [ 26 ] .
2.1 神經(jīng)安全問(wèn)題
類似于網(wǎng)絡(luò)安全的定義，神經(jīng)安全的定義是為保護(hù)神經(jīng)設(shè)備機(jī)密性、完整性與可用性，使其免受惡意方攻擊，保護(hù)人的神經(jīng)機(jī)制、神經(jīng)計(jì)算與自由意志的安全. 機(jī)密性指攻擊者不能利用設(shè)備屬性來(lái)獲取私人信息，完整性指攻擊者不能更改設(shè)備設(shè)置或啟動(dòng)未經(jīng)授權(quán)的操作，可用性指攻擊者不能夠完全禁用設(shè)備并使其無(wú)效. 網(wǎng)絡(luò)安全問(wèn)題由于在最初設(shè)計(jì)互聯(lián)網(wǎng)時(shí)沒(méi)有得到足夠重視，已經(jīng)無(wú)法圓滿解決，有了這個(gè)前車之鑒，神經(jīng)安全問(wèn)題在現(xiàn)在這個(gè)時(shí)期就顯得至關(guān)重要 [ 27 ] .
想要深入了解神經(jīng)安全問(wèn)題，就要先理清腦機(jī)接口功能周期，因?yàn)樵诓煌δ苤芷?，發(fā)生各種攻擊的可能性和影響都不同，籠統(tǒng)地在整個(gè)周期上進(jìn)行描述并不準(zhǔn)確，2021年，Bernal等 [ 26 ] 將雙向腦機(jī)接口的功能周期細(xì)分為5個(gè)環(huán)節(jié)，2個(gè)方向的循環(huán). 如 圖5 所示，正方向循環(huán)是神經(jīng)數(shù)據(jù)采集過(guò)程，5個(gè)環(huán)節(jié)分別為產(chǎn)生神經(jīng)活動(dòng)、獲取大腦信號(hào)、對(duì)大腦信號(hào)進(jìn)行向數(shù)字信號(hào)的轉(zhuǎn)換、將數(shù)字信號(hào)解碼為意圖活動(dòng)、運(yùn)行應(yīng)用，同時(shí)第五個(gè)環(huán)節(jié)會(huì)對(duì)神經(jīng)活動(dòng)的產(chǎn)生具有反饋?zhàn)饔?，形成閉環(huán)；反方向循環(huán)是神經(jīng)刺激過(guò)程，5個(gè)環(huán)節(jié)分別為運(yùn)行應(yīng)用、將外部活動(dòng)依據(jù)大腦神經(jīng)細(xì)胞放電模式編碼成數(shù)字信號(hào)、對(duì)數(shù)字信號(hào)進(jìn)行向模擬信號(hào)的轉(zhuǎn)換、對(duì)相應(yīng)神經(jīng)元進(jìn)行電刺激、產(chǎn)生神經(jīng)活動(dòng). 在數(shù)據(jù)采集和刺激的兩個(gè)循環(huán)中，犯罪者可能在每一個(gè)環(huán)節(jié)發(fā)起破壞神經(jīng)設(shè)備機(jī)密性、完整性、可用性、安全性的攻擊，列舉幾個(gè)常見(jiàn)攻擊類型，說(shuō)明其在不同環(huán)節(jié)攻擊神經(jīng)設(shè)備對(duì)使用者造成的影響和危害，依據(jù)神經(jīng)安全問(wèn)題的共性和不同攻擊類型的特性，討論各自的解決方法.
圖 5 雙向腦機(jī)接口功能周期. (a) 正循環(huán); (b)逆循環(huán)
2.1.1 誤導(dǎo)性刺激攻擊
誤導(dǎo)性刺激攻擊(Misleading stimuli attacks)是基于神經(jīng)系統(tǒng)特性誕生的新型攻擊類型，其他針對(duì)腦機(jī)接口的攻擊大多由針對(duì)計(jì)算機(jī)的攻擊模仿而來(lái)，攻擊主體是外部設(shè)備，誤導(dǎo)性刺激攻擊卻不一樣，它以產(chǎn)生特定神經(jīng)反應(yīng)為目的，向使用者提供惡意感覺(jué)或運(yùn)動(dòng)刺激，攻擊主體是使用者的大腦. 在正循環(huán)產(chǎn)生神經(jīng)活動(dòng)的環(huán)節(jié)中，刺激序列(Oddball paradigm) [ 28 ] 、犯罪知情檢測(cè)法(Guilty knowledge test)、啟動(dòng)效應(yīng)(Priming)等方法為誤導(dǎo)性刺激攻擊提供了理論基礎(chǔ)，刺激序列和犯罪知情檢測(cè)法有著熟悉刺激與不熟悉刺激產(chǎn)生的反應(yīng)可以相互區(qū)別開(kāi)的相同原理，通過(guò)這種方式可以竊取到使用者的隱私信息或敏感數(shù)據(jù)；而啟動(dòng)效應(yīng)的原理是利用特殊刺激讓使用者產(chǎn)生內(nèi)隱記憶效應(yīng)，影響其他刺激，從而達(dá)成一種誘導(dǎo)效果 [ 26 ] .
此外，在逆循環(huán)的每個(gè)環(huán)節(jié)中，誤導(dǎo)性刺激攻擊都有可能對(duì)神經(jīng)設(shè)備使用者造成生理學(xué)上、精神病學(xué)上、心理學(xué)上的損害. 第一種攻擊方式通過(guò)破壞深部腦刺激(Deep brain stimulate)正常環(huán)節(jié)，過(guò)度刺激行為或阻止治療來(lái)?yè)p傷使用者神經(jīng)組織，此外，使用者本人也可能通過(guò)濫用深部腦刺激技術(shù)來(lái)刺激大腦獎(jiǎng)勵(lì)中心，獲得快感或提高情緒，這將形成類似于毒品的效果，沒(méi)有培訓(xùn)過(guò)的使用者的不規(guī)范操作可能會(huì)導(dǎo)致神經(jīng)損壞，更何況深部腦刺激技術(shù)本就具有一定副作用；第二種攻擊側(cè)重于從精神和心理上蠶食使用者，使用惡意刺激誘發(fā)使用者產(chǎn)生抑郁焦慮等負(fù)面狀態(tài)，這種攻擊的目的是從心理上操縱使用者或者削弱其抑制力和抵抗力從而方便竊取隱私信息. 其中，針對(duì)光敏性癲癇患者的攻擊是元宇宙中極有可能發(fā)生的神經(jīng)安全問(wèn)題，一方面，元宇宙中廣泛運(yùn)用了VR技術(shù)，一項(xiàng)對(duì)老鼠的研究顯示，在虛擬現(xiàn)實(shí)中導(dǎo)航時(shí)，海馬體(一種對(duì)空間導(dǎo)航很重要的顳葉結(jié)構(gòu))中腦細(xì)胞的發(fā)射頻率與現(xiàn)實(shí)世界相比降低了68%， 這對(duì)VR安全性的重要性尚不清楚，但是在VR環(huán)境中抑制性(保護(hù)性)神經(jīng)元被抑制，可能增加大腦興奮性并導(dǎo)致癲癇發(fā)作；另一方面，取決于不同光敏性癲癇綜合征的類型，0.6%~30%的癲癇患者都具有急性光敏反應(yīng)，潛在受害群體基數(shù)龐大 [ 29 ] . 在腦機(jī)接口神經(jīng)數(shù)據(jù)采集正循環(huán)中，攻擊者可以在產(chǎn)生神經(jīng)活動(dòng)環(huán)節(jié)對(duì)使用者施加可能誘發(fā)光敏性癲癇的誤導(dǎo)性刺激，通過(guò)在獲取大腦信號(hào)環(huán)節(jié)竊取腦電數(shù)據(jù)，觀察有無(wú)光敏性癲癇相關(guān)腦電圖特征，從而確定使用者是否有光敏性癲癇，泄露隱私疾病對(duì)使用者本人非常危險(xiǎn).
對(duì)于誤導(dǎo)性刺激攻擊，主要有訓(xùn)練神經(jīng)設(shè)備使用者和控制監(jiān)視神經(jīng)設(shè)備兩類防御手段. 將人作為預(yù)防攻擊的切入點(diǎn)時(shí)，可以基于潛在的異常場(chǎng)景設(shè)計(jì)出提高使用者安全意識(shí)、訓(xùn)練使用者應(yīng)對(duì)技能的嚴(yán)肅游戲；將外部設(shè)備作為預(yù)防攻擊的切入點(diǎn)時(shí)，可以在神經(jīng)設(shè)備使用過(guò)程中完全禁用當(dāng)前活動(dòng)不涉及的電極，將攻擊風(fēng)險(xiǎn)在物理層面上控制到最小，或是使用外部的監(jiān)視設(shè)備和能夠探測(cè)出異常行為的機(jī)器學(xué)習(xí)系統(tǒng)，即時(shí)預(yù)測(cè)，攔截潛在的風(fēng)險(xiǎn).
2.1.2 惡意軟件攻擊
惡意軟件攻擊(Malware attacks)是通過(guò)硬件、軟件、固件，獲取計(jì)算設(shè)備訪問(wèn)權(quán)限來(lái)故意執(zhí)行惡意行為的攻擊.在正循環(huán)中，惡意軟件可能在除了產(chǎn)生神經(jīng)活動(dòng)的其余四個(gè)環(huán)節(jié)發(fā)起攻擊，惡意軟件可以在這些環(huán)節(jié)中通過(guò)掌握BCI系統(tǒng)完全控制權(quán)、惡意篡改前期數(shù)據(jù)或者數(shù)據(jù)與意圖行為的映射方式、竊取使用者隱私數(shù)據(jù)等方式破壞神經(jīng)設(shè)備完整性、機(jī)密性、可用性、安全性. 在逆循環(huán)中產(chǎn)生的神經(jīng)活動(dòng)和運(yùn)行應(yīng)用兩個(gè)環(huán)節(jié)中，惡意軟件可能會(huì)竊取隱私數(shù)據(jù).
對(duì)于惡意軟件攻擊，通常采用的應(yīng)對(duì)措施為設(shè)置周邊安全機(jī)制，如防火墻，或使用機(jī)器學(xué)習(xí)異常檢測(cè)系統(tǒng)來(lái)識(shí)別潛在惡意軟件威脅. 對(duì)于能夠繞過(guò)常見(jiàn)應(yīng)對(duì)措施的惡意軟件攻擊，可以采用沙盒、應(yīng)用程序強(qiáng)化、惡意軟件可視化等一系列緩解技術(shù)，為研究出應(yīng)對(duì)措施爭(zhēng)取時(shí)間.
2.1.3 注入式攻擊
注入式攻擊(Injection attacks)是利用系統(tǒng)輸入驗(yàn)證漏洞，向解釋器提供包含可以修改其解析方式特定元素輸入的攻擊. 注入式攻擊可以發(fā)生在正循環(huán)除了產(chǎn)生神經(jīng)活動(dòng)的其余四個(gè)環(huán)節(jié)，也可能會(huì)發(fā)生于逆循環(huán)中產(chǎn)生神經(jīng)活動(dòng)和運(yùn)行應(yīng)用兩個(gè)環(huán)節(jié)中. 通過(guò)對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)惡意操作，達(dá)到篡改應(yīng)用功能、破壞數(shù)據(jù)庫(kù)數(shù)據(jù)、竊取用戶隱私數(shù)據(jù)等目標(biāo).
對(duì)于注入式攻擊，通常采用嚴(yán)格的輸入驗(yàn)證進(jìn)行防范，或是對(duì)不同的子系統(tǒng)或用戶進(jìn)行權(quán)限管理來(lái)規(guī)避風(fēng)險(xiǎn).
2.2 神經(jīng)倫理學(xué)問(wèn)題
學(xué)科倫理學(xué)與學(xué)科本身的整合是充滿意義的，兩者互相影響，促進(jìn)彼此發(fā)展，倫理整合使得科學(xué)研究正確地投入現(xiàn)實(shí)生活中的應(yīng)用和實(shí)踐，使科學(xué)相關(guān)的倫理學(xué)更加貼近科學(xué)研究，做出更有意義的貢獻(xiàn). 比如生物倫理學(xué)與生物學(xué)的整合，起初遭到了生物學(xué)領(lǐng)域科研人員的抵制，因?yàn)楫?dāng)時(shí)的生物學(xué)家們沒(méi)有意識(shí)到科研成果與現(xiàn)實(shí)應(yīng)用之間的鴻溝，在以往的生物學(xué)領(lǐng)域，生物學(xué)家們將生物倫理學(xué)家視作沒(méi)有話語(yǔ)權(quán)的“局外人”，科學(xué)家們僅采納來(lái)自于領(lǐng)域內(nèi)同行的評(píng)價(jià)，這種內(nèi)部評(píng)價(jià)受限于對(duì)領(lǐng)域內(nèi)權(quán)威者的尊敬和同行之間的友好氛圍，而來(lái)自生物倫理學(xué)家的外部評(píng)價(jià)沒(méi)有以上限制，可以直接激進(jìn)地進(jìn)行評(píng)價(jià)，并談?wù)撘恍﹥?nèi)部評(píng)價(jià)不涉及的話題，比如研究目的與終極價(jià)值. 科學(xué)家們慢慢意識(shí)到這種局限性，科學(xué)領(lǐng)域與倫理學(xué)領(lǐng)域最終融合達(dá)成平衡，生物學(xué)也就發(fā)展成了更加健全完整的學(xué)科 [ 30 ] .
與生物倫理學(xué)相比更為年輕的神經(jīng)倫理學(xué)在這幾年飽受爭(zhēng)議，2006年以來(lái)，大量神經(jīng)科學(xué)家表示支持神經(jīng)倫理學(xué)，美國(guó)國(guó)家衛(wèi)生研究院腦計(jì)劃(Brain initiative)也將神經(jīng)倫理學(xué)列為重點(diǎn)，但是在神經(jīng)倫理學(xué)整合到神經(jīng)科學(xué)的過(guò)程中，出現(xiàn)了一系列爭(zhēng)議性問(wèn)題，列舉與腦機(jī)接口技術(shù)相關(guān)度高的動(dòng)物實(shí)驗(yàn)問(wèn)題和神經(jīng)技術(shù)商業(yè)化問(wèn)題，討論現(xiàn)有解決方案.
2.2.1 動(dòng)物實(shí)驗(yàn)問(wèn)題
2022年12月5日，據(jù)路透社報(bào)道，腦機(jī)接口科技公司Neuralink面臨美國(guó)聯(lián)邦部門審查，因?yàn)楣镜膭?dòng)物實(shí)驗(yàn)涉嫌侵犯了動(dòng)物福利，自2018年，該公司進(jìn)行的侵入式腦機(jī)接口動(dòng)物實(shí)驗(yàn)總共殺死了約1500只動(dòng)物. 公司為了快速搶占市場(chǎng)份額，與競(jìng)爭(zhēng)對(duì)手Synchron分庭抗禮，拒絕了研究人員建議的在動(dòng)物實(shí)驗(yàn)之前先得到相關(guān)結(jié)論的傳統(tǒng)實(shí)驗(yàn)方法，選擇在完善結(jié)論之前快速連續(xù)地做動(dòng)物實(shí)驗(yàn)，造成了大量實(shí)驗(yàn)動(dòng)物死亡，然而它的對(duì)手Synchron公司的侵入式腦機(jī)接口研究中只有大約80只羊被殺死.
動(dòng)物實(shí)驗(yàn)爭(zhēng)議早就存在，2018年美國(guó)腦計(jì)劃中，神經(jīng)倫理學(xué)小組提出了神經(jīng)倫理學(xué)路線圖，其中關(guān)于動(dòng)物研究的章節(jié)受到了從事非人類動(dòng)物研究的科研人員反對(duì)，認(rèn)為對(duì)非人類動(dòng)物研究進(jìn)行進(jìn)一步道德調(diào)查是不必要的，拒絕神經(jīng)倫理學(xué)小組過(guò)度干涉 [ 30 ] . 支持當(dāng)前實(shí)驗(yàn)室研究指導(dǎo)方針的兩個(gè)倫理框架分別是道義論與功利主義，人類實(shí)驗(yàn)依賴于道義論，而動(dòng)物實(shí)驗(yàn)依賴于功利主義. 2019年，有研究組織根據(jù)功利主義在動(dòng)物實(shí)驗(yàn)領(lǐng)域的不足之處—實(shí)驗(yàn)動(dòng)物受到的廣泛傷害，主張使用基于道義論的動(dòng)物實(shí)驗(yàn)方法. 以非人靈長(zhǎng)類動(dòng)物實(shí)驗(yàn)為例，該研究組織提出，為了讓生物醫(yī)學(xué)研究使用非人類動(dòng)物更有效，選擇野生動(dòng)物作為實(shí)驗(yàn)對(duì)象更好，野生動(dòng)物生活環(huán)境復(fù)雜性更為貼近人類患者生活環(huán)境，這樣尊重了實(shí)驗(yàn)自治原則；通過(guò)訓(xùn)練實(shí)驗(yàn)動(dòng)物，使其可以逃避實(shí)驗(yàn)可能造成的痛苦，尊重了實(shí)驗(yàn)自主原則. 通過(guò)對(duì)實(shí)驗(yàn)范式進(jìn)行改善，不僅對(duì)參與實(shí)驗(yàn)動(dòng)物進(jìn)行了尊重與保護(hù)，還提高了實(shí)驗(yàn)數(shù)據(jù)質(zhì)量和實(shí)驗(yàn)結(jié)果可靠性 [ 31 ] .
2.2.2 神經(jīng)技術(shù)商業(yè)化問(wèn)題
神經(jīng)技術(shù)商業(yè)化問(wèn)題的核心在于目標(biāo)，即為什么要將這種技術(shù)商業(yè)化，提高人們對(duì)神經(jīng)系統(tǒng)的理解這一回答并不可靠，畢竟并沒(méi)有那么多人對(duì)自己大腦如何運(yùn)轉(zhuǎn)感興趣. 對(duì)三家典型神經(jīng)技術(shù)公司NeuroSky、OpenBCI、Emotiv的腦機(jī)接口商業(yè)化產(chǎn)品進(jìn)行調(diào)查，結(jié)果展示在 表2 中，目前腦機(jī)接口技術(shù)商業(yè)化領(lǐng)域還比較局限，更多集中于醫(yī)療領(lǐng)域，在其他領(lǐng)域的應(yīng)用，比如游戲和保健領(lǐng)域，都是小眾而不成熟的，比如Neurosky腦立方耳機(jī)系列，公司設(shè)計(jì)的應(yīng)用領(lǐng)域是注意力訓(xùn)練、冥想和腦控游戲，這個(gè)系列的產(chǎn)品只能采集單通道數(shù)據(jù)，不具備科研級(jí)別的信號(hào)采集質(zhì)量，比起實(shí)用性，更突出的是新穎性和趣味性，性價(jià)比不算高，適合娛樂(lè)和科學(xué)教育；而OpenBCI推出的一系列EEG腦電模塊產(chǎn)品受眾更為狹窄，僅限于一些本身對(duì)腦電開(kāi)發(fā)感興趣的極客，數(shù)據(jù)采集通道更多，精度更好，與此同時(shí)使用門檻也更高，對(duì)使用者硬件組裝和軟件編程能力都有要求，但是在軟硬件方面都擁有較高開(kāi)發(fā)自由度；Emotiv的產(chǎn)品具備高精度信號(hào)采集質(zhì)量和對(duì)使用者友好的配套軟硬件，更加適合于科學(xué)研究. 可以看出目前腦機(jī)接口商業(yè)化產(chǎn)品受眾限制于研究人員和科技愛(ài)好者，而此類產(chǎn)品相對(duì)高昂的價(jià)格進(jìn)一步阻礙了其流行與傳播. 要改善目前情況，需要神經(jīng)技術(shù)公司做好用戶研究，結(jié)合現(xiàn)實(shí)生活中人群的廣泛需求，探索更加常見(jiàn)、實(shí)際的應(yīng)用場(chǎng)景，同時(shí)在數(shù)據(jù)質(zhì)量、價(jià)格、成本上找到平衡點(diǎn)，才能設(shè)計(jì)出更符合日常生活的硬件和軟件系統(tǒng).
表 2 神經(jīng)技術(shù)商業(yè)化產(chǎn)品
比起受眾群體小和實(shí)用性不強(qiáng)的問(wèn)題，將來(lái)更加可能普遍存在的是商業(yè)公司對(duì)用戶腦電數(shù)據(jù)的隱私保護(hù)問(wèn)題 [ 32 ] ，2019年各大科技公司開(kāi)始格外重視人工智能技術(shù)帶來(lái)的數(shù)據(jù)隱私問(wèn)題，但是英國(guó)《衛(wèi)報(bào)》在2019年的一篇文章抨擊道，大型科技公司表現(xiàn)出的對(duì)數(shù)據(jù)倫理的關(guān)心，只是一種說(shuō)服政府的方式，以此來(lái)逃避即將到來(lái)的法律監(jiān)督. 文章中以谷歌公司道德咨詢委員會(huì)的虛有其表和不作為為例，譴責(zé)了這些大型科技公司的虛偽與貪婪，谷歌曾明確表示，它的“道德”重視“人們”的權(quán)力，而不包括LGBTQ人群(Lesbians、Gays、Bisexuals、Transgender、Queer)、移民等社會(huì)少數(shù)群體的福祉. 谷歌通過(guò)各種不徹底的“道德”舉措，意圖讓使用群體感到更加安全，沒(méi)有采取任何實(shí)際措施來(lái)改善安全 [ 33 ] . 從這個(gè)例子可以得知，對(duì)于數(shù)據(jù)隱私問(wèn)題，最徹底的解決方案就是國(guó)家出臺(tái)相關(guān)法律，進(jìn)行規(guī)范化管理從而保護(hù)民眾數(shù)據(jù)安全.
腦機(jī)接口中人腦到計(jì)算機(jī)的單向數(shù)據(jù)通路，從本質(zhì)上，除了采集數(shù)據(jù)不同，和其他生理信號(hào)傳感器沒(méi)有差別，腦電信號(hào)特殊性在于包含了使用者的“意圖”信息，在未來(lái)，利用特定區(qū)域和波段腦電信號(hào)，通過(guò)情感計(jì)算可以讓使用者與元宇宙之間交互更加高效，創(chuàng)造出能夠理解和適應(yīng)使用者需求和情緒的虛擬空間，實(shí)現(xiàn)更加動(dòng)態(tài)和個(gè)性化的元宇宙；通過(guò)運(yùn)動(dòng)想象和深度神經(jīng)網(wǎng)絡(luò)，將EEG信號(hào)分類并映射到元宇宙中不同行為動(dòng)作，可以讓殘疾人士在虛擬空間里操縱化身，擺脫現(xiàn)有設(shè)備需要用現(xiàn)實(shí)中的肢體操作的限制 [ 34 ] ；通過(guò)將腦機(jī)接口技術(shù)和人工智能技術(shù)結(jié)合，人類智能和人工智能結(jié)合成獨(dú)立統(tǒng)一體，元宇宙虛擬空間中的化身能夠擁有現(xiàn)實(shí)生活中使用者同步的知覺(jué)、認(rèn)知、想法與思維，通過(guò)在元宇宙中映射物理空間，使用者的化身可以輔助完成工作 [ 35 ] .
腦機(jī)接口中計(jì)算機(jī)到人腦的單向數(shù)據(jù)通路，在元宇宙中主要應(yīng)用場(chǎng)景是對(duì)嗅覺(jué)、味覺(jué)、觸覺(jué)等一系列感官的模擬，今天元宇宙和真實(shí)世界交互主要依賴于視聽(tīng)媒體，不能夠捕獲和刺激嗅覺(jué)、味覺(jué)、觸覺(jué)感官，沉浸感和真實(shí)感較差 [ 36 ] . 基于計(jì)算機(jī)到人腦的單向數(shù)據(jù)通路的感官模擬應(yīng)用實(shí)例較少，因?yàn)槠浒踩砸钣诹硪粭l數(shù)據(jù)通路，從人腦到計(jì)算機(jī)的單向數(shù)據(jù)通路不會(huì)對(duì)人體直接施加影響，計(jì)算機(jī)到人腦的單向數(shù)據(jù)卻需要對(duì)人體進(jìn)行謹(jǐn)慎、安全的電刺激. 在觸覺(jué)模擬領(lǐng)域，2020年Ganzer等 [ 37 ] 利用閉環(huán)解復(fù)用BCI，將初級(jí)運(yùn)動(dòng)皮層亞知覺(jué)信號(hào)解碼為意識(shí)知覺(jué)，幾乎完全恢復(fù)了脊髓損傷患者手的觸覺(jué)，進(jìn)而顯著改善了患者運(yùn)動(dòng)功能；在嗅覺(jué)模擬領(lǐng)域，2021年Brooks等 [ 38 ] 設(shè)計(jì)出了一種外形類似于鼻環(huán)的新型嗅覺(jué)裝置，橫跨鼻中隔，通過(guò)刺激三叉神經(jīng)來(lái)模擬或者增強(qiáng)嗅覺(jué).可以窺見(jiàn)感官模擬技術(shù)在元宇宙中未來(lái)發(fā)展的極限，類似于假想模型缸中之腦，通過(guò)對(duì)人體進(jìn)行特定電刺激來(lái)產(chǎn)生與真實(shí)生活完全相同的感覺(jué)，營(yíng)造一種逼真的、身臨其境的沉浸感.
腦機(jī)接口目前在元宇宙中更多地作為生理信號(hào)采集工具，不是元宇宙交互技術(shù)的研究主流，并且在安全性和倫理道德上并不成熟. 但是隨著人們未來(lái)對(duì)元宇宙沉浸程度和功能上需求的增加，腦機(jī)接口技術(shù)有著獨(dú)特優(yōu)勢(shì)和巨大應(yīng)用潛力，可能成為打破元宇宙交互瓶頸的有力工具.
《工程科學(xué)學(xué)報(bào)》精選文章系列