全 文 ：第26卷 第6期
2014年6月
Vol. 26, No. 6
Jun., 2014
生命科学
Chinese Bulletin of Life Sciences
文章编号：1004-0374(2014)06-0645-05
DOI: 10.13376/j.cbls/2014090
收稿日期：2014-06-09
基金项目：国家重点基础研究发展计划(“973”项目)(2013CB329504)
*通信作者：E-mail: wzh@zju.edu.cn；Tel: 0571-87951647
脑机融合系统综述
吴朝晖*，俞一鹏，潘　纲，王跃明
(浙江大学计算机科学与技术学院，杭州 310027)
摘　要：脑机接口是生物脑与电脑或机器之间的一种直接连接通路。脑机融合计算系统是一种基于脑机接
口技术，综合利用生物智能和机器智能的新型智能融合系统，其在医疗康复、生活娱乐和军事侦查等方面
具有巨大的应用开发潜力。首先从信息传输的角度简述由脑机接口到脑机融合的发展趋势；其次重点阐述
脑机融合系统的概念及其研究所面临的挑战，并分三个层次介绍当前若干典型相关工作；最后介绍吴朝晖
课题组在脑机融合计算系统方面的相关工作。
关键词：脑机接口；脑到脑；脑机融合；层次化计算模型
中图分类号： Q983.5；TP242 文献标志码：A
Brain-machine integrated systems
WU Zhao-Hui*, YU Yi-Peng, PAN Gang, WANG Yue-Ming
(College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China)
Abstract: Brain-machine interface (BMI) is a direct communication pathway between the brain and an external
device. Brain-machine integrated systems are a new kind of computational systems based on BMI, which aims to
combine living beings’ intelligence and machines’ intelligence. It has a great potential in many applications, such as
clinical rehabilitation, entertainment, and military surveillance. This paper presents the advances, trends, and
challenges in brain-machine integrated systems, and introduces our work in this emerging field.
Key words: brain-computer interface; brain to brain; brain-computer integration; hierarchical computation model
吴朝晖，浙江大学计算机科学与技术学院教授，国家杰出青年科学基
金获得者 (2005)，国家级“百千万人才工程”(2009)、何梁何利科学与技
术创新奖获得者 (2011)，浙江省特级专家 (2011)。曾在德国人工智能研究
中心 (DFKI)学习研究，现任智能科学与技术教育部网上合作中心主任、
浙江大学计算机系统工程研究所所长、国家“十二五”现代服务业重点专
项专家组组长、中国计算机学会普适计算专委会主任。中国计算机学会常
务理事、会士，享受国家政府特殊津贴。国家 973计划“脑机融合感知和
认知的计算理论与方法”项目的首席科学家。吴朝晖教授长期从事人工智
能、分布式系统、普适计算以及实时嵌入式系统等相关的研究工作，发表
论文 300多篇，其中在 IEEE TPAMI、IEEE TKDE、IEEE TITS、IEEE IS等
国际一流刊物，以及 IJCAI、AAAI、CVPR、ICCV、Ubicomp等国际顶级
会议上发表论文 30多篇，出版学术专著 5本，发明专利授权 50余项。获
国家级科技进步二等奖 2项，省部级科技进步一等奖 4项。
脑科学研究专刊 第26卷646
生物智能与机器智能各有所长，具有很强的互
补性。机器智能擅长于海量存储、快速搜索及精确
数值计算等，人类智能优于抽象思维、推理、学习
等高级智能活动，而动物在环境信息感知、觅食求
偶逃生等方面表现出远胜人类的智能行为，如大鼠
的空间记忆和蜜蜂导航过程中的路径优化等。脑机
接口是连接脑与计算机的双向信息交互通道，通过
记录神经元信号解析大脑意图，将解析结果映射为
指令从而控制外围设备，同时外围机器端也可以通
过脑机接口通道向生物端输入刺激命令或者反馈信
息，从而达到驱动生物体的目的，以实现更为精细
智能的控制。脑机接口技术在最近20年中日趋成熟，
从单向、开环的输出控制模式，发展到双向闭环的
互适应交互模式，并正朝着脑机融合的方向前进，
脑机融合的计算系统便是在这种背景下应运而生。
脑机融合计算系统是基于脑机接口技术的新型智能
融合系统，通过脑对机与机对脑的双向信息感知、
解析与理解，形成脑与机多层次融合的智能模式，
以达到机器智能与生物智能的充分互联。
1　脑机接口
脑机接口 (brain-machine interface, BMI)是指不
依赖常规的脊髓 /外周神经肌肉系统，在脑与外部
环境之间建立一种新型的信息交流与控制通道，实
现脑与外部设备之间的直接交互 [1]。“脑”一词意指
有机生命形式的脑或神经系统，而并非仅仅是
“mind”，“机”意指任何处理或计算的设备。脑机接
口涉及信息科学、认知科学、材料科学和生命科学
等领域，对智能融合、生物工程和神经科学产生了
越来越重要的影响。脑机接口有多种分类方法，本
文从信息传输方向的角度将其分为四类：由大脑到
机器、由机器到大脑、由大脑到大脑，以及脑机融合。
1.1　脑到机
该类脑机接口系统的基本原理是：通过脑信号
检测技术获取神经系统的活动变化，再对这些信号
进行分类识别，分辨出引发脑信号变化的动作意图，
再用计算机把思维活动转变成命令信号驱动外部设
备，从而在没有肌肉和外围神经直接参与的情况下，
实现大脑对外部环境的直接控制。其信息传输方向
由大脑到机器。典型应用有：Chapin等 [2]用人工
神经网络算法将大鼠运动皮层神经集群电信号转换
为水泵控制指令，首次实现了大脑对外部设备的直
接控制；浙江大学的研究团队成功实现猴子通过脑
信号控制机械手完成抓、握、勾、捏四种不同的手
部运作 [3]；美国四肢瘫痪长达十五年的中风患者
Cathy通过意念控制机械手，完成了自己抓取杯子
喝水行为 [4]。
1.2　机到脑
该类脑机接口系统的基本原理是：通过对生物
的大脑或者其他神经系统的特定部位施加精细编码
的外部刺激 (如微电刺激、光刺激 )，来唤醒或控
制生物的某些特定感受和行为。其信息传输方向由
机器到大脑。根据刺激对象 (动物和人 )不同，可
以将其可以分为两类：动物机器人和神经康复。动
物机器人的典型应用有：大鼠机器人 [5]、蟑螂机器
人 [6]、飞蛾机器人 [7]。神经康复的典型应用有：康
奈尔大学维尔医学院采用中部丘脑刺激方法唤醒了
一个脑外伤 6年而处于最小意识状态的患者 [8]；日
本大学医学本部尝试采用深部脑刺激治疗植物状态
(vegetative state, VS)的患者 [9]。
1.3　脑到脑
大脑与大脑之间的网络通信是通过对一个大脑
的神经信号进行实时解码，并将解码结果重新编码
后直接传输到另一个大脑，从而对另一个大脑产生
作用。其具有带宽小、强实时性，以及安全性要求
高等特点。大脑与大脑之间的直接通信可作为一种
新型的生物体与生物体之间的交互途径，其对神经
康复、脑机协同等方面的研究也具有重要的参考价
值。相关研究目前在国际中还比较少见：华盛顿大
学的研究者将检测到的实验者 A想象右手动的头皮
脑电信号转化为经颅磁刺激，作用于实验者 B大脑
的左运动皮质区，令 B的右手向上移动 [10]；Seung-
Schik等 [11]将人脑的稳态视觉诱发电位转化为超声
波聚集刺激，作用于麻醉大鼠脑部的特定运动区域，
使大鼠的尾巴移动；Pais-Vieira等 [12]则构建了一个
鼠脑与鼠脑之间的通信网络。
1.4　脑机融合
脑机融合是脑机接口技术发展的必然趋势。在
脑机融合系统中，大脑与大脑、大脑与机器之间互
相传递信息。大脑与机器两者互相适应、协同工作，
把生物脑的感认知能力与机器的计算能力完美结
合，生物和机器在信息感知、信息处理、决策判断，
甚至记忆、意图多个层次相互配合。脑机融合的相
关研究有：2009年，DiGiovanna 等 [13]设计了基于
强化学习的互适应脑机接口系统，利用奖惩机制调
节大脑活动，机器采用强化学习算法自适应控制机
械臂运动，实现了性能更为优化的机械臂运动控制；
2010年，Fukayama等 [14]通过提取和分析老鼠的运
吴朝晖，等：脑机融合系统综述第6期 647
动神经信号来控制一辆机械车；2011年，Nicolelis
团队在 Nature杂志上报道了一种新型的脑 -机 -脑
信息通路的双向闭环系统，在对猴子大脑神经信息
进行解码的同时将猴子触觉信息转化为电刺激信号
反馈到大脑，实现了脑与机的相互配合 [15]。
2　脑机融合系统：概念与挑战
脑机融合系统是通过脑机接口技术，以综合利
用生物 (包括人类和非人类生物体 )和机器能力的
计算系统。与传统计算系统相比，脑机融合计算系
统具有三个显著特征：(1)对生物体的感知更加全
面，包含表观行为理解与神经信号解码；(2)生物
体也作为系统的感知体、计算体和执行体，且与系
统其他部分的信息交互通道为双向；(3)多层次、
多粒度的综合利用生物体和机器的能力，达到系统
智能的极大增强。
2.1　应用前景
脑机融合的计算系统有两个主要的重大应用：
神经康复和动物机器人系统。在神经康复方面，借
助脑机融合计算系统，可以直接建立脑与外部设备
之间的信息互动与交互控制，高效地实现残障人士
机能补偿与功能重建。面向运动功能重建的脑机融
合计算系统将为老年人或残疾人提供智能与机能增
进技术，提高生活质量，减轻家庭和社会的负担，
具有极其重要的社会意义。
在动物机器人系统方面，脑机融合计算系统可
以实现对动物运动行为的有效控制以及感知觉功能
的合理增强。相比传统机械机器人，动物机器人在
能量供给、运动灵活性、隐蔽性、机动性和适应性
方面具有更大优势，更加适合在军事重地、核辐射
区和灾区等危险场地执行复杂环境搜索、空间检测、
反恐侦察等各种任务。以生物智能为主导的脑机融
合计算系统，可以巧妙利用传统机器人的计算能力
与动物机器人的感认知和执行能力，这在国防安保
等领域具有广阔的应用前景。
2.2　面临的挑战
生物智能的引入也为脑机融合计算系统带来极
大的挑战。系统构建需要引进多种学科的先进技术，
如认知神经科学、材料科学和信息科学等。目前脑
机接口技术只能实现简单的信息读出和输入，大脑
端和机器端的能力难以做到相互适应、深度融合，
主要面临以下挑战 [16]。
(1)如何获取稳定的神经信号。在神经信号获
取方面，高通量神经信号的实时获取和预处理是重
要挑战，目前国内外已研发了各种微电极、光成像
系统来克服这一困难。但是，多点记录问题、信号
的长期稳定性，以及对设备的全植入要求依然是很
大的难题。
(2)如何有效地对生物的神经系统进行干预。
大脑是一个神经元联接的巨型复杂系统，具有很强
的自组织性和自适应性。揭示生物神经系统对客观
世界的感知与认知机制，并借助神经接口技术干预
生物的神经系统以恢复其功能或控制其行为，仍有
许多需要解决的问题。
(3)如何设计植入式设备并提高其生物兼容性。
设备植入通常导致炎症和生物排异性反应，新兴材
料和集成微电机系统的发展一定程度降低了植入式
设备引起的细胞反应，然而无法解决长期植入带来
的生物兼容性问题。
(4)如何充分融合机器智能与生物智能。机器
端的智能可以极大提高脑机融合系统的能力，同样，
生物体的接入也能提高系统的各种能力，如何将两
者融洽连接在一起，并在智能层面形成合力，相互
增强，依然是一个难题。
3　脑机融合系统：典型工作综述
本节将对若干典型的相关工作进行介绍。本课
题组最近结合生物与机器感认知方面的相似性，曾
提出一个层次化的计算框架 [17-18]，如图 1所示。在
该框架中，生物端包含记忆与意图层、决策层和感
知与行为层，机器端包含目标层和知识库、任务规
划层和感知与行为层。机器端三个层次的研究在人
工智能领域已非常多，下面将重点在如何与生物端
进行交互方面，对若干典型研究进行介绍。
3.1　记忆与意图层相关工作
通过对生物的记忆和意图进行影响，可以使生
物主动去完成任务，能最大限度地发挥生物的智能。
传统影响的方法是基于奖惩机制对生物进行反复的
训练，使其学会某种行为，现在主要通过光遗传学
的技术手段对大鼠的记忆进行操作，如 Berger等 [19]
将大鼠脑部记忆体的部分功能模块用皮质神经假
体替代，以重建和增强大鼠的记忆能力；Ramirez
等 [20]利用光学及遗传学操作的组合在小鼠的脑子
中植入了虚假的记忆，使这些小鼠在特定的条件下
产生回忆；Nabavi等 [21]通过光遗传学刺激抹去了
大鼠的一段恐惧记忆，随后又将其重新激活。
3.2　决策层相关工作
机器端基于对生物行为和神经信号的感知，采
脑科学研究专刊 第26卷648
用机器学习的方法与生物进行协作。生物端为了得
到奖赏，也逐渐学会与机器端协作。Taylor等 [22]基
于猴子脑部的神经细胞放电的变化，来控制一个假
肢在三维空间内移动，以完成特定的任务，猴子完
成任务可以得到喝水的奖赏；DiGiovanna等 [13]构
建了一个共生脑机接口，基于对大鼠脑部的神经信
号的变化，采用神经网络和增强学习的方法，让老
鼠和机械臂根据指示灯的提示协作完成某个特定的
任务，老鼠完成任务也会得到喝水的奖赏。
3.3　感知与行为层相关工作
生物和机器的感知和执行能力各有优劣，通过
综合利用生物和机器各自较强的执行能力和感知能
力，优势互补，使脑机融合的计算系统具备原来不
具备的能力。Thomson等 [23]在小鼠头上佩戴一个
红外探测器，经过训练，老鼠可以学会探测红外，
从而使老鼠拥有原本不具有的红外探测的能力；
Wang等 [24]在大鼠头上佩戴一个微型摄像头，微型
摄像头负责感知 (比如目标识别 )，大鼠机器人则
负责执行，从而探索未知环境。
3.4　本课题组的三个系统实例
近几年本课题组对脑机融合系统进行了深入
探索，并建立了若干系统实例。这里对其中三个
实例分别简介。
3.4.1　意念控制的四旋翼飞行器
意念控制四旋翼无人飞行器系统 [25]通过对头
皮脑电信号的解析，识别出三种不同的运动想象动
作 (想象左、想象右和想象推 )和两种不同的表情
动作 (眨眼和咬紧牙齿 )。借助于便携式无线脑式
电采集帽 (Emotiv)，用户可以用意念 (结合表情动作 )
控制飞行器在三维空间内移动，并借助飞机上的传
感器与执行器与周围环境进行交互。该系统可以作
为残障人士的日常生活小助理，也可以成为普通大
众的娱乐工具。这项工作是脑机融合系统的一个典
型实例，系统中人的决策能力与机器的自主决策能
力、感知能力和执行能力相互结合。
3.4.2　视觉增强大鼠机器人
生物自身与一般机器人相比，在运动灵活性、
平稳性、环境适应性等方面都有着无可比拟的天然
优势。本课题组建立的视觉增强大鼠机器人 [24]，以
大鼠为主要载体，通过搭载摄像头，结合计算机视
觉技术，加强大鼠机器人的视觉识别能力。视觉增
强的大鼠机器人系统主要包括三个部分：植入电极、
鼠载背包和计算模块。鼠载背包上装有一个针孔摄
像头，实时拍摄大鼠面前的视频画面，并通过背包
上的无线模块将视频传输给计算机上的计算模块分
析。根据分析结果，背包上的刺激电路产生刺激电
信号传递到大鼠相关脑区，大鼠机器人将产生不同
的行为 (左转、右转和前进 )，从而导航大鼠探索
未知环境。在该脑机融合计算系统中，大鼠自身的
空间决策能力和执行能力与机器的决策能力 (闭环
控制 )和感知能力 (摄像头感知 )结合在一起。
3.4.2　脑控大鼠机器人
脑控大鼠机器人系统 [27]的使用者佩戴脑电信
号采集帽，大鼠机器人携带微型无线摄像头。系统
使用者通过观察交互界面上显示的鼠载摄像头视
频，做出路径决策 (向左走、向右走、向前走 )。
该决策通过脑电信号解码，无线发送给大鼠机器人。
大鼠机器人按照接收到的控制指令行走并探索环
境。该脑机融合系统综合利用大鼠机器人在复杂地
形的运动能力、微型摄像头对环境的感知能力、计
图1　层次化计算模型[18]
吴朝晖，等：脑机融合系统综述第6期 649
算机的计算能力，以及人类的决策能力等。
4　总结
脑机接口研究已呈现出从脑机接口、脑机交互
到向脑机融合的发展趋势，以脑机接口为代表的技
术突破为直接利用生物智能、构建集成生物智能与
机器智能于一体的脑机融合系统提供了基础手段与
可能途径。脑机融合系统的逐步成熟，将对残障人
士的运动功能修复和动物机器人等研究，产生革命
性的进步，在军事、人工智能、娱乐等方面也具有
广阔的应用前景。但要基于脑机接口技术，实现脑
机融合系统中两种截然不同的智能体的有效协作及
互适应，需要解决机器智能与生物智能的协同感知、
认知及执行等问题，需要建立一整套感知和认知的
计算新理论与方法。目前脑机融合计算系统的研究
还处于初级阶段，期待更多的研究学者加入到这个
新兴的研究方向。
[参　考　文　献]
[1] Lebedev MA, Nicolelis MA. Brain-machine interfaces:
past, present and future. Trends Neurosci, 2006, 29(9):
536-46
[2] Chapin JK, Moxon KA, Markowitz RS, et al. Real-time
control of a robot arm using simultaneously recorded
neurons in the motor cortex. Nat Neurosci, 1999, 2(7):
664-70
[3] Zhang QS, Zhang SM, Hao YY, et al. Development of an
invasive brain-machine interface with a monkey model.
Chin Sci Bull, 2012, 57(16): 2036-45
[4] Hochberg LR, van der Smagt P, Donoghue JP, et al. Reach
and grasp by people with tetraplegia using a neurally
controlled robotic arm. Nature, 2012, 485(7398): 372-5
[5] Talwar SK, Xu S, Hawley ES, et al. Behavioural neurosci-
ence: rat navigation guided by remote control. Nature,
2002, 417(6884): 37-8
[6] Raphael H, Isao S. Locomotion control of a bio-robotic
system via electric stimulation. Intelligent Robots and
Systems, 1997. IROS’97., Proceedings of the 1997 IEEE/
RSJ International Conference on, 1997, 3: 1514-9
[7] Bozkurt A, F Gilmour JR, Lal A. Balloon-assisted flight of
radio-controlled insect biobots. IEEE Trans Biomed Eng,
2009, 56(9): 2304-2307
[8] Schiff ND, Giacino JT, Kalmar K, et al. Behavioural im-
provements with thalamic stimulation after severe trau-
matic brain injury. Nature, 2007, 448(7153): 600-3
[9] Tsubokawa T, Yamamoto T, Katayama Y, et al. Deep-brain
stimulation in a persistent vegetative state: follow-up re-
sults and criteria for selection of candidates. Brain Injury,
1990, 4(4): 315-27
[10] Rao RPN, Stocco A. Direct brain-to-brain communication
in humans: A pilot study. 2013
[11] Seung-Schik Y, Hyungmin K, Emmanuel F, et al. Non-in-
vasive brain-to-brain interface (BBI): establishing func-
tional links between two brains. PLoS One, 2013, 8(4):
e60410
[12] Pais-Vieira M, Lebedev M, Kunicki C, et al. A brain-to-
brain interface for real-time sharing of sensorimotor infor-
mation. Sci Rep, 2013, 3: 1319
[13] DiGiovanna J, Mahmoudi B, Fortes J, et al. Coadaptive
brain-machine interface via reinforcement learning. IEEE
Trans Biomed Eng, 2009, 56(1): 54-64
[14] Fukuyama O, Suzuki T, Mabuchi K. RatCar: a vehicular
neuro-robotic platform for a rat with a sustaining structure
of the rat body under the vehicle. Annual International
Conference of the IEEE Engineering in Medicine and Bi-
ology Society, 2010
[15] O’Doherty JE, Lebedev MA, Ifft PJ, et al. Active tactile
exploration using a brain-machine-brain interface. Nature,
2011, 479(7372): 228-31
[16] 王跃明, 潘纲, 吴朝晖. 脑机交互界面. 中国标准化, 2013
[17] 吴朝晖, 郑能干. 混合智能: 人工智能的新方向. CCF,
2012
[18] Wu ZH, Pan G, Zheng NG. Cyborg Intelligence. IEEE In-
telligent Systems, 2013, 28(5): 31-3
[19] Berger TW, Hampson RE, Song D, et al. A cortical neural
prosthesis for restoring and enhancing memory. J Neural
Eng, 2011, 8(4): 046017
[20] Ramirez S, Liu X, Lin PA, et al. Creating a false memory
in the hippocampus. Science, 2013, 341(6144): 387-91
[21] Nabavi S, Fox R, Proulx CD, et al. Engineering a memory
with LTD and LTP. Nature, 2014 [Epub ahead of print]
[22] Taylor DM, Tillery SIH, Schwartz AB. Direct cortical
control of 3D neuroprosthetic devices. Science, 2002,
296(5574): 1829-32
[23] Thomson EE, Carra R, Nicolelis MAL. Perceiving invisi-
ble light through a somatosensory cortical prosthesis. Nat
Commun, 2013, 4: 1482
[24] Wang YM, Lu ML, Wu ZH, et al. Ratbot: A rat “under-
standing” what humans see. International Workshop on
Intelligence Science, in conjunction with IJCAI-2013
[25] Yu YP, He D, Hua WD, et al. FlyingBuddy2: a brain-con-
trolled assistant for the handicapped [c]. Ubicomp, 2012
[26] Wu ZH, Yang YC, Xia BC, et al. Speech interaction with a
rat. Chin Sci Bull, 2014
[27] Yu YP, Qian CL, Wu ZH, et al. Mind-controlled ratbot: A
brain-to-brain system. PerCom, 2014