投稿问答最小化  关闭

万维书刊APP下载

一只猴子用意念控制机器人,我们还能走得更远吗?——“脑机接口之父”米格尔·尼科莱利斯的经典演讲回顾

2022/11/7 13:51:47  阅读:168 发布者:

原文来源:

Miguel Nicolelis: A monkey that controls a robot with its thoughts. No, really. | TED Talk

我们能不需要身体作为中间人,用我们的大脑直接控制机器吗?

早在2000年,被誉为“脑机接口之父”的米格尔·尼科莱利斯教授就带领他的团队,给出了答案,他们实现了让一只猴子通过脑机接口技术在体外控制机械臂;2006年,他们让在美国的一只猴子仅用它的思想来控制一台在日本的机器人行走,横跨整个世界;2014年,全球逾十亿观众见证了尼科莱利斯教授在“重拾行走计划(WAP)”中通过脑机接口控制外骨骼,让一位全身瘫痪的少年通过脑机接口控制外骨骼站起来并为巴西世界杯开球。

你可能好奇,在发明“机械战甲”之前,这位“脑机接口之父”究竟都做了什么?

本期的科普小课堂将带你回顾尼科莱利斯教授在2013年发表的一次TED演讲

让我们一起走近尼科莱利斯教授探索“脑机接口”的前10

米格尔·尼科莱利斯(Miguel Nicolelis):神经生物学家、“脑机接口”领域的学术奠基人,美国杜克大学医学院神经科学名誉教授,法国科学院和巴西科学院院士,被美国科普杂志《科学美国人》评为全球最具影响力的20位科学家之一。2000年,尼科莱利斯在《自然》杂志发表评论性论文,正式提出“脑机接口(BMI)”,开始被全世界使用。2014年,他在巴西世界杯上主导发明基于脑机接口技术的“机械战甲”,帮助28岁的截瘫青年朱利亚诺·平托为当届世界杯开球。2021年,米格尔·尼科莱利斯宣布加入非侵入式脑机接口公司BrainCo强脑科技任首席科学顾问。

《一只猴子用意念控制一个机器人》

我和我同事们所从事的神经科学研究,就像是进行天气预报观测——我们总在观测风暴,但这次我们想要观测的是头脑风暴。平日里我们总在谈论头脑风暴,但我们很少真正看到或听到它,所以每当我谈到头脑风暴时,总希望能先让你们真实体验一下。

实际上,这是我们第一次记录到多个神经细胞:同时观测100个脑细胞时所测到的电位发放—来自同一个动物的100个细胞。我们撷取到了思想的一个小片段,就这样呈现在我们面前。

我总是告诉我的学生们,从某种意义上讲,我们可以把神经学家叫做天文学家,因为我们所处理的这个系统包含数量巨大的细胞,数量大到只有宇宙中的星系数量可以比拟。现在,在数十亿计的神经元中我们可以记录到的(细胞),已经从10 年前的100个,到了现在的1000个。

我们想理解人性的基础,因为这对我们来说是未知的。实际上我们用来确立人性的一切,都源于这些头脑风暴,这些席卷我们大脑沟回的风暴,形成了我们的记忆、信仰、情感,以及我们的未来规划,我们每一个人所做的一切,都基于大量的神经细胞工作所产生的这些风暴。

而头脑风暴的声音,如果你们没听过的话,就是这个样子的(现场音频)。你们可以放大音量来听。(现场音频)我儿子说这就像"一边听着没调准的收音机,一边做爆米花"

这就是大脑。这是这些电风暴在扬声器中播放的声音,你可以听到一百个脑细胞同时开火的声音,你我的大脑听起来都像这样,任何大脑都如此。而此时,作为神经学家,我们想做的实际上就是欣赏这些交响乐——头脑的交响乐,并试着获取这其中承载的信息。

需要特别提一句的是,大概12年前我们创建了一个模式,我们把它叫做脑机接口(BMI)。我可以在这里介绍一下它的工作原理。大致就是:使用某些传感器,去聆听这些电风暴,与此同时,我们在这些风暴离开大脑到达动物四肢的半秒左右的时间内读取这些信号,将其中携带的运动信息提取出来转化成数字命令,并发送到人工设备上,设备将同步做出大脑指令的动作。通过比较设备指令和动物身体所做的动作,我们可以衡量这种“信息翻译”的准确程度。如果我们可以提供反馈,把大脑控制下的机器人、机械设备、计算执行器发出的信号再次传回大脑,大脑将如何处理这些从人工设备接收回的信息?

这就是我们 10 年前做的事情。我们在一只名叫Aurora的猴子身上开始试验,它现在已经成了这个领域的超级巨星了。Aurora喜欢玩电子游戏。就像你们现在看到的,就像我们和我们的孩子一样,它喜欢用操纵杆玩这个游戏,作为优秀的灵长类动物,找到正确答案前它甚至还会试着作弊,它需要用操纵杆控制光标穿过目标,但在目标出现之前Aurora就已经开始到处寻找目标了。只要它每次操作光标穿过目标,就可以得到一滴巴西橙汁。我可以跟你们说,只需一小滴巴西橙汁,任何猴子都肯为你赴汤蹈火。这适用于任何灵长类动物。(笑)

通过玩你们看到的这种游戏,Aurora每天进行一千次判断,达到 97%的正确率,获得350毫升橙汁奖励。我们记录了Aurora大脑中产生的头脑风暴,将它们发送到一个机械手臂,机械手臂重现了Aurora正在进行的动作。因为我们的想法就是:开启一个脑机接口,让Aurora通过思考就可以玩游戏,不需要肢体的加入,它头脑发出的指令将控制机械臂,机械臂移动光标穿过目标。后来我们惊讶地发现,Aurora正是这么做的。它玩游戏时,完全无需移动自己的身体。

所以你们目前看到的每一条光标轨迹,都是来自那一刻它的头脑风暴,一个意识可以被灵长类动物从物理意义的身体中解放出来,并通过控制人工设备,在外部世界进行动作。可以看到Aurora一直玩游戏,不断寻找目标并得到它渴望的橙汁,在那个时候,它已经获得了“新”手臂。

你们在这里看到机械手臂的动作,是在第一个视频的30天后录制的,在Aurora的大脑的控制之下,它正将光标移到目标。Aurora现在知道,它可以用机械臂玩这个游戏,同时还可以随心所欲使用自己的生物手臂去干别的,用自己的手臂挠自己的背,可以挠我们,还可以玩另一个游戏。总而言之,Aurora的大脑已经整合了这个人工设备,作为它身体的延伸,Aurora意识里的自我已经扩展,它为自己增添了一只手臂。这就是我们 10 多年所做的事。

让我们快进随后的10 年,就在去年我们意识到,你甚至不需要有一个机械设备,你可以只生成一个计算意义的身体,一个猴子的化身,你就可以使用这个“化身”与猴子互动,或者训练猴子,让它们学会在一个虚拟的世界中以化身的角度,用大脑活动控制化身的肢体动作。

基本上,我们所做的就是训练动物学习如何控制这些“化身”,探索出现在虚拟世界中的对象。这些对象看上去一样,但当“化身”穿过对象表面,对象就会发出与自身表面微结构触感对应的电信息,这些电信息反馈给猴子的大脑,告诉大脑,“化身”触摸到了什么,短短四个星期内,大脑就学会了处理这种新的感觉,并建立起了新的感官通路——就像一种新的感觉。现在你真正地解放了大脑,因为可以让大脑发送运动命令来移动“化身”,同时来自“化身”的反馈可以直接通过大脑处理,无需皮肤的参与。

这里看到的是任务设计,你将看到实验动物触摸这三个目标,但它只能选择其中一个,因为只有正确选中携带奖励的目标才能获得它们想要的橙汁,它必须使用并不实际存在的一只虚拟手臂触摸和选择(它们就是这么做的)。这是对大脑的彻底解放,从实际身体的限制中获得解放,完成触觉感知任务。

可以看到这只实验动物正控制“化身”去触摸目标,它通过大脑直接接收电信息来感觉纹理,大脑判断哪种纹理会带来奖励,猴子看不见这个视频上的标示,它们也不懂英语,这里的标示只是为了显示正确的目标始终在变换位置,而动物仍然可以通过触感的区别,找到并选择它。

这说明,我们的感觉本身并不会中止于身体的最外层皮肤,而是中止于我们大脑控制的最终端的设备工具。我们的小提琴、汽车、自行车、足球、衣服等等,它们都被这个叫做“大脑”的 “贪婪而令人惊叹的动态系统”同化了。

我们还能走得更远么?

在前几年的实验中,我们达到了新的高度。

我们曾让一只实验动物在美国东海岸杜克大学的跑步机上运动,产生运动所需要的头脑风暴。同时,我们有人形机器人设备(CB1),放置在日本京都 ATR 实验室。这个机器人一生的梦想就是获得一个人类或其它灵长类动物的大脑指令。

可以看到的是,猴子大脑的活动正发出运动指令,传到日本,并且控制这个机器人的行走,而行走的镜头被发送回杜克,所以猴子就能看到机器人的双腿就在眼前行走,它也因此获得奖励,但奖励并不是因为它自己身体的动作,而是来源于地球另一端的机器人在它大脑活动的控制下正确走的每一步。更加有趣的是,这个过程(信息环绕地球的往返时间间隔),比从猴子的大脑离开达到其本身的肌肉所花的时间还要短20毫秒。

一只猴子正在移动地球另一端一个大于它身体六倍的机器人,这就是机器人自主行走的实验之一。这是正在日本的CB1,在灵长类动物大脑活动的控制下,完成自己的梦想。

我们所谈的所有这一切是为了什么?除了学习我们双耳间的这个“动态宇宙”,这项研究还可以用来做什么?我们的想法是,使用所有的这些知识和技术,尝试解决世界上最严重的神经问题。数以百万计的人失去了将头脑风暴翻译成动作、翻译成运动的能力。虽然他们的大脑还在产生这些风暴,为运动编码,但他们无法跨越脊髓病变所制造的障碍。

所以我们的理念是绕道而行,用脑机接口技术来读取这些信号,放大这些携带“重新运动愿望”的头脑风暴,利用计算机工程绕过病变组织,将它发送到一个新身体,一个可以称为外骨骼的完整身体。这个完整的机器人设备,将成为这些患者的全新躯体。

你们眼前的这个图景,由一个叫做“重拾行走计划(WAP)”的非营利组织制作,这个组织聚集了来自欧洲、美国和巴西的科学家,为构建这个“全新躯体”而共同努力。我们相信,与Aurora和其它猴子在脑机接口技术中所使用的合成设备一样,我们可以把它们整合并应用于日常生活。通过同样的合成设备,我们希望能让这些病人不仅能够把他们想要做的动作翻译成新身体的动作,同时还可以与这个大脑控制的新身体完美融合。

10 年前,别人告诉我这是痴人说梦,几乎是不可能的。作为一个科学家,我只能告诉你:60年代中期,我在巴西南部长大,看着几个疯狂的家伙告诉我们说他们会去月球。那时我五岁,我想不通美国国家航空航天局(NASA)为什么不雇柯克船长和斯波克(电影《星际迷航》中的两个著名角色)去登月。毕竟,这方面他们才是专家。但儿时所见的这一切令我相信,我祖母曾经告诉过我的话,“所有不可能其实都是可能的,只是人们还没有付出足够的努力让它们成真”。

所以,当有人告诉我,让一个人恢复行走能力是不可能的时候,我觉得我还是会相信我祖母的建议。

谢谢。

“这项研究对四肢瘫痪的人有很大的影响——也许对我们所有人都有影响。事实上,它为2014年世界杯的外骨骼提供了动力。”(TED官网评)

转自:arXiv每日学术速递”微信公众号

如有侵权,请联系本站删除!


  • 万维QQ投稿交流群    招募志愿者

    版权所有 Copyright@2009-2015豫ICP证合字09037080号

     纯自助论文投稿平台    E-mail:eshukan@163.com