首页 > 文章内容

Facebook详谈脑机接口成果:全天候可穿戴AR眼镜强大输入方式

来源:映维网 作者 黄颜

日前,Facebook Reality Labs通过新一期的博文介绍了他们的脑机界面(Brain-Computer Interface;BCI)研究团队和最近进展,以及这对未来增强现实眼镜的意义。下面是映维网的具体整理:

对于艾米丽·穆勒(Emily Mugler)来说,那是一个改变一切的时刻。

当时是2017年4月下旬,雷吉娜·杜甘(Regina Dugan)刚刚登上F8讲台并提出了一个煽动性的问题:“假如你可以直接从脑海键入文本,这又将如何?”她接着详细介绍了Facebook正在进行中的研究:只需要在脑海构思你要说的话,系统就可以直接帮助你键入相应的文本,无需发出一个音节或敲打一个键盘。

穆勒回忆道:“那天晚上我就给他们发了我的简历。”当时她正在美国西北大学攻读生物工程博士学位,并尝试根据清醒时大脑手术数据来解码语音。这是患者在记录语音和大脑信号时依然能够保持清醒的位置,并且通常可用于帮助绘制能够安全移除而不损害认知功能的组织。

在那之前,穆勒与因肌萎缩侧索硬化而无法说话的患者进行了合作。为了帮助患者更轻松进行交流,她曾使用脑电图来测量大脑的电活动。遗憾的是,设备用起来十分困难并且缓慢。她解释说:“患者有时需要70分钟才能键入一句话。”这次尝试激励了她在整个博士研究期间及以后的工作,并立志追求更好,更有效的方法来帮助改善人们的生活。

艾米丽·穆勒是Facebook Reality Labs脑机接口团队的工程师。当她在2017年的F8演讲中知道Facebook正在追求一种非侵入性的可穿戴的BCI设备时,她马上选择要加入这家公司。

她开始将言语作为一种更为有效的交流方法。尽管对脑机接口技术的探索最初是从2004年开始,并以脑皮层电图(ECoG)的方式进行,但当时世界范围内致力于解决这个问题的实验室数量非常稀少。另外,由于ECoG需要在脑皮层放置电极,所以这不是一种完全无创的解决方案,亦即一种可以在体外运行的解决方案。

在看完F8大会的主题演讲后,穆勒对Facebook的脑机界面研究感到非常兴奋,因为那里看起来最有可能给出她所寻找的答案。

1. 设计未来

想象一下这样一个世界:你可以立即访问当今智能手机的所有一切,并且完全可以实现免手操作。你可以随时随地与生活中最重要的人共度美好时光。不管有什么外部干扰,地理限制,甚至身体残疾和运动限制,你都可以以有意义的方式与他人建立联系。

这是我们相信的未来,我们认为这将是一对时尚增强现实眼镜的终极形状参数。在首席科学家迈克尔·亚伯拉什和Facebook Reality Labs(FRL)团队看来,我们正站在下一波计算浪潮的最前沿,未来AR和VR的组合技术将出现融合,并彻底改变我们与周遭世界的交互方式,以及我们工作,娱乐和沟通的方式。

这个未来尚有非常遥远的距离,但今天进行的早期研究是实现其承诺的第一步。我们需要解决的最有趣和最具挑战性的问题之一是输入问题。换句话说,当我们戴上一副AR眼镜后,我们将如何实际地使用它们?

亚伯拉什写道:“这一定是全新的方式,不同于基于鼠标/基于图形用户界面的界面,穿孔卡和电传打字机。”

这时正是脑机界面发挥作用的时候。

2. 寻找全新的界面

FRL的研究总监马克·雪佛莱特(Mark Chevillet)说道:“我从小就看着威廉·吉布森和尼尔·斯蒂芬森等关于脑机界面的小说长大,而我在长大后有很大一部分时间都在尝试探索脑机界面是否能够成为现实…但对于这最终变成了一份真正的工作,我现在都依然感到惊讶。”用意念控制机器已经不再局限于科幻作品。人类已经在利用脑机界面技术来进行自我喂食,牵着亲人的手,甚至驾驶喷气式飞机模拟器。但是,这个领域迄今为止都只能选择植入式电极。他指出:“今天没有其他方法可以做到,但我们团队的长期目标是以一种非侵入式可穿戴设备实现这个目标。”

马克·雪佛莱特是Facebook Reality Labs的脑机接口研究项目的负责人。这个项目的目标是开发一种非侵入性的,无声语音界面,并允许用户只凭意念即可实现文本键入。这种技术未来有望成为全天候可穿戴的AR眼镜的强大输入方式。

在加入FRL并建立和领衔一直致力于脑机接口研究的团队之前,雪佛莱特曾在约翰霍普金斯大学应用物理实验室(Johns Hopkins University Applied Physics Laboratory ;APL)工作。他解释说:“吸引我加入APL的地方是,是他们将尖端机器人技术与手术植入电极结合起来,并为受伤的老兵开发假肢的研究。”

受到启发的雪佛莱特帮助APL建立了一个更广泛的应用神经科学相关研究项目,并旨在探究这项技术未来的发展方向,以及它将如何以非侵入性方式帮助更多的人群。他介绍道: “我领导了一个内部研究计划,其目标是看看我们是否可以利用运动假肢方面的概念,以及我在认知神经科学方面的其他工作来为无法说话的人群开发一种通信假体。我们同时尝试探索是否可以利用非侵入性的方法,从而允许更多的人进行使用。”

在接受Facebook邀请并建立一支专注于脑机接口的团队之后,雪佛莱特提出了一个雄心勃勃的长期研究项目:挑战可能的极限,并重新定义最先进的技术。这时他突发灵感:基于可穿戴设备的通信脑机接口不仅能作用于无法说话者,它可能同时是人们与数字设备进行交互的一种非常强大的方式。

尽管支持语音作为输入机制的智能家居和智能手机正越来越受到市场的欢迎,但它们并不适合所有的情况。如果你身处一个拥挤的房间,走在嘈杂的城市街道,这可怎么办?正如雪佛莱特所说,“大多数人都用过手机的语音助手,但他们几乎不会在其他人面前使用它。”

然而,如果你可以实现免手操作的便利和语音语言的速度呢?

3. 两支团队,一个目标

对于这个愿景,雪佛莱特开始建立一支旨在探索非入侵性的可穿戴脑机接口设备是否可能成为现实的跨学科团队。

“我们显然需要真正理解语音产生及其背后的神经科学的人才,而我们幸运地找到了艾米丽,或者说她找到了我们。”他如是说道。随着团队的发展,这个问题的跨学科性质吸引了各种各样的顶尖研究人员,涵盖从生物医学成像到机器学习和量子计算等领域。但FRL团队暂时无法解决一个问题:在确定要构建何种类型的可穿戴设备之前,他们需要明确是否可以实现无声的语音接口。如果是,这又需要什么神经信号。

就目前而言,这个问题只能通过植入电极来解决,所以雪佛莱特联系了加利福尼亚大学旧金山分校的世界著名神经外科医生张复伦(Edward F. Chang)教授。张复伦同时在负责一直大脑测绘和言语神经科学研究团队,并致力于为神经系统疾病患者探索新的治疗方法。

雪佛莱特回忆道:“我去了他的办公室并介绍了这个愿景。我解释说我希望知道语音BCI是否可以通过可穿戴设备的形式实现,以及他们团队对植入电极的研究在多大程度上可以推进我们的非入侵性研究。”

他发现,张复伦早就计划为因脑损伤而失语的患者开发一种交流设备,如脑干中风,脊髓损伤,神经退行性疾病等等。但他明白这个目标需要的资源在短期内尚不存在。

在讨论了加利福尼亚大学旧金山分校旨在改善瘫痪和其他形式言语障碍的患者生活的研究重要性,以及Facebook对通过脑机界面来改变我们与技术交互方式的长期潜力的兴趣后,两人决定为了共同的目标而合作,一起探索是否真的可以实时解码大脑活动中的言语。

4. 一个充满前景但尚未成熟的结果

张复伦及其实验室同事大卫·摩西斯(David Moses)日前通过《Nature Commnications》期刊发表了他们的研究成果。他们证明了在记录大脑活动过程时能够以几乎实时的速度解码大脑构思的言语。原来的解码研究都是离线进行,而这一论文的关键之处是他们能够实时根据大脑活动解码完整的口语单词和短语。当然,研究人员强调他们的算法目前只能识别有限的单词和短语,但他们希望在接下来的研究中扩大可识别的词汇量和降低错误率。

神经科学领域在过去十年间经历了显著的进步,我们对大脑理解和产生言语的方式有了进一步的了解。与此同时,全新的人工智能研究提升了我们将语言变成文本的能力。在结合起来的时候,它们有朝一日或许能够帮助我们直接通过意念进行沟通,而这个可能性将会极大地改善中风患者的生活。

发表于《Nature Commnications》期刊的论文研究了当时正在接受大脑手术以治疗癫痫的正常言语患者。这属于一个由FRL支持的更大规模的研究项目的一部分:Project Steno。Project Steno的最后阶段将涉及为期一年的研究,并旨在确定是否有可能利用大脑活动来恢复患者的交流能力。除了提供资金之外,一小组Facebook的研究人员与张复伦及其实验室进行了直接合作,为其提供输入和工程方面的支持。加利福尼亚大学旧金山分校负责监督研究计划,并直接与研究志愿者合作。Facebook研究人员对数据的访问权限有限,后者始终由加州大学旧金山分校保管。

最终,研究人员希望实现每分钟100字的实时解码速度,词汇量1000字,单词错误率低于17%。通过证明这个利用植入电极来帮助失语患者的概念证明,我们希望加州大学旧金山分校的研究能够为我们开发完全非入侵性可穿戴设备所需的解码算法和技术规范提供支持。

要以非入侵性的方式实现加州大学旧金山分校研究的相同结果,我们尚有一段非常遥远的路途要走。为了实现这个目标,FRL将继续与其他合作伙伴一起探索非入侵性脑机接口的方法,包括华盛顿大学医学院的马林克罗特放射学研究所(Mallinckrodt Institute of Radiology)和约翰霍普金斯大学应用物理实验室。

我们正在从一个利用近红外光的系统开始。

5. 看见红外光

与身体中的其他细胞相似,神经元在活跃时会消耗氧气。所以,如果我们能够检测到大脑氧气水平的变化,我们就可以间接地测量大脑活动。想象一下脉搏血氧仪,就如同它能够通过手指测量血液中的氧饱和度一样,我们同样可以使用近红外光以安全,非入侵性的方式测量大脑的血液氧合作用。这类似于今天通过功能行磁共振成像(fMRI)中测量的信号,但不同的是我们将采用由消费级零件制成的便携式可穿戴设备。

下图是Facebook Reality Labs开发的可穿戴脑机接口设备的早期研究工具包。团队一直在测试使用非入侵性技术来解码单个构思单词的能力。即便只是少数的想象式单词,比如“选择”或“删除”,能够解码它们将提供与当今VR系统和未来AR眼镜进行交互的全新方式。

我们不认为这个系统很快就能解决AR的输入问题。它目前十分笨重,缓慢,而且不可靠。但潜力非常大,所以我们认为它值得我们投入时间来不断进行改进。尽管测量氧合可能永远不会允许我们解码意念句子,但这能够识别少数的意念命令,如“主页面”,“选择”和“删除”,并为我们提供与当今VR系统和未来AR眼镜交互的全新方式。

我们同时在探索从将测量血氧作为检测大脑活动的主要手段,拓展至测量血管运动,甚至神经元本身。得益于智能手机和LiDAR光学技术的商业化,我们认为我们可以创建小巧,方便的BCI设备,并允许我们以更接近于植入电极水平的神经信号,甚至终有一天能够解码无声言语。

这可能需要十年的时间,但我们认为我们可以缩小差距。

6. 负责任的创新

科技的发展不可避免,而且它永远不可能是中立。它始终与特定的社会和历史背景相关。在过去的五年中,神经技术取得了巨大的进步,部分原因是美国,欧洲,日本,中国和澳大利亚的大量国际投资。所以,社会需要一定的时间来理解其潜在的可能,以及它对人类的意义。

尽管BCI作为AR的主要输入机制仍有很长的路要走,但在这种潜在的强大技术成为商业产品之前,我们应该早日开始思考重要问题的答案。例如,我们如何确保设备安全可靠?无论肤色如何,它们适用于所有人吗?我们如何帮助人们按照期望的方式管理自己的隐私和数据呢?

雪佛莱特指出:“我们已经学到了很多。例如在项目的早期阶段,我们要求我们的合作者向我们分享癫痫患者的去标识电极记录,从而允许我们验证他们的软件。尽管这在研究学界非常常见,而且这对部分期刊而言是一项要求,但作为额外的保护层,我们已经不再要求他们向我们提供电极数据。”

穆勒补充说:“我们比其他任何人都更了解这项技术,所以我们现在应该开始与社区讨论这个问题。我们并非都是接受过培训的生物伦理学家,但这并不意味着我们不能或不应该参与对话。事实上,我们有责任确保每个人都明确知晓科学的进步,这样我们就可以对这项技术的未来进行讨论。”

这正是我们支持和鼓励我们的合作机构在同行评审期刊发表他们的研究,以及我们今天要讲述这个故事的原因。

雪佛莱特说道:“我们无法预测或解决与这项技术相关的所有道德问题。我们所能做的就是承认科技的进步已经超越了人们所知道的可能性,并确保向社区传达这样的信息。神经伦理设计是我们计划的关键支柱之一,而我们希望对我们正在开展的工作保持公开透明,这样大家可以告诉我们他们对这项技术的担忧。”

7. 未来的愿景

AR的承诺在于它能够将人们无缝地接入周遭的世界,以及联系彼此。我们不再需要低头查看手机屏幕或拿出笔记本电脑,我们可以保持对现实世界的视图感知,同时获取有用的信息。这是一个诱人的愿景,但需要一种进取的精神,大量的决心和开放的态度。

全天候可穿戴AR眼镜的输入问题仍有待解决,而脑机接口代表着一条通往解决方案的道路。十年后,直接根据大脑实现输入的能力可能将成为一种默认的模式。在不久之前,这听起来仿佛就像是科幻作品。但现在,这个未来感觉已经像是触手可及。当然,我们有责任确保这种技术适用于所有人。

责任编辑:

相关推荐

9月1日起北京将实行购房资格审核复核业务全城通办
我军精锐跨过边境,数十架战机飞向俄罗斯,北约司令称来头不小
亚洲强国打响“斩首行动”,炮火染红边境:多人伤亡,指挥部被毁
如龙新作《如龙7:光与暗的去向》战斗模式大改 成指令回合制RPG
伊朗军队发出求救电 :多个基地弹尽粮绝,军火船到底在哪里?
《生化危机》官宣新作:PS4/X1/Steam 9月9公布预告
痛心!2岁男童婴儿游泳馆溺亡,本该避免的悲剧就这样发生了......
《胡闹厨房2》DLC混乱嘉年华泄露 9月12日发售
长寿花上半年净利1.53亿元,同比下降3.72%
国产精品独立《蜡烛人》将于10月3日登陆Switch平台
港股终止3连跌弹88点 药股绩优股获追捧
美军中东重要盟友有所异动,与俄暧昧不断,或与这一原因有关
妈妈忘记一件事,3个月宝宝摔成脑震荡,婴儿车不能这么用
你是不是依旧如此哄孩子睡觉?
有一种团建,叫做别人家的团建?
辟谣:宝宝游泳要戴游泳脖圈?家长长点心吧,对宝宝危害不止一点
添加剂最多的四种零食,你家宝宝可能正在吃,有一种大人小孩都爱
以色列彻底认怂 遭到伊朗严厉警告 请求国际社会帮忙
合丰集团(02320)中期净利同比下滑91.6%至172万港元
什么时候培养娃的“生理卫生”意识?(附:男娃/女娃清洗生殖器官教程)
难怪不让拍这里,苏57机腹弹舱图片曝光,巨大缝隙令人触目惊心
中国华融(02799):打好不良资产主业王牌
中石油(00857):上半年公司在国内原油产量同比增1.6% 连续四年下降后首次企稳回升
中国富强金融(00290):莫明慧已获委任为联席公司秘书
中车时代电气(03898)拟将半导体业务的资产进行重组
全球最强运输机送至印度,莫迪感谢美国支援,称拿下敌人易如反掌
恐怖互动游戏大师最新作《黑相集:棉兰号》 在炎炎夏日倒吸凉气
《圣女战旗》推出免费DLC,女记者揭秘战争真相
联想控股(03396)中期收入增15%至1793亿元 实现连续第五个报告期增长
首长宝佳(00103)上半年扭亏为盈 净利润3520万港元
全泰国最大的泳池原来在这里!
复旦张江(01349)中期股东应占利润大增71%至8963万元
中国海洋石油(00883)中期净利同比增长18.7%至302.5亿元 每股派32港仙
继婴儿游泳纸尿裤不能重复使用之后,小豆丁曝光了这些秘密!
户外小能手,萤石 C3W化身家庭安全卫士
魔兽世界怀旧服:NAXX通关后,继续在经典版本开新团本还是TBC?
魔兽怀旧服肝帝有多可怕?48小时不下线,等级已经高达34级
《魔兽世界》怀旧服宣布提高服务器人数上限
魔兽世界怀旧服8月30日维护到几点 怀旧服服务器维护公告
国产航母回港后又忙碌起来:新设备上舰,舰载机训练同步进行
船,到处都是小船,这里是“山里的土家威尼斯”——重庆酉阳河湾山寨(一)
到巴基斯坦必看全世界最精彩的降旗仪式,中国人有免费VIP座位
id Software联合创始人谈游戏业界加班问题:这是好事
中外对决?天美自研宝可梦招兵买马,DeNA《宝可梦大师》上线
复活《绝体绝命都市4》与《R-Type Final》:九条一马归来记(下)
这款10岁高龄的游戏 已然成为中国最成功的游戏IP
男篮12人名单:阿联郭少领衔内外线 孙铭徽可兰入
*ST信威35个跌停:1900亿市值蒸发 15万
10月1日国庆将举行阅兵式和群众游行
洋媳妇回青海农村狂吐槽 瑞典农村也太豪了
海底捞创办人张勇成新加坡新首富 身家138亿美元
香港争论是否动用"紧急法"?港媒:非常时期 非常
70周年国庆活动安排完整版出炉!十大活动细节披
商务部:希望美方尽快取消对华为等中企的制裁
中央颁发"庆祝中华人民共和国成立70周年"纪念章
深源 | 万达电影十字路口:错失与迷失
咋整?恒大半年亏损高达7.12亿 已超足协限额2
兰临高速致15死46伤案宣判:2名被告人均获刑7
应莹起诉徐翔求离婚:财产问题另案主张
解析男篮12人:锋无力是老大难 内线轮换少成隐患
国庆70周年阅兵将比国庆60周年和93大阅兵规模
日本最低分酒店住一晚9千日元 床垫藏垃圾还有蟑螂
不姓贾?李小璐疑将女儿甜馨名字改为“李奕涵”
10月1日将举行国庆群众游行 超10万名群众参加
球迷连中10球挑衅杜兰特 KD反击:14年每天都
真假富二代?黄毅清上海“豪宅”周遭破旧年代久
115天!中国男篮今夏都干了这些事 除了17场比
具惠善安宰贤闹离婚 看房屋装修就知道女方付出多
范冰冰父母陪儿子现身银行 范丞丞戴口罩心情好
白富美为养猫被迫搬离豪宅 只能租破旧小公寓住
网曝吴秀波复出拍戏?经纪公司否认:图中不是他
应莹回应徐翔"炒股秘籍":系交易总结 仅是分散记
《决胜时刻》曝"胜利宣言"预告 革命精神历久弥
实力女星爆改废墟老宅 厨房竟有三个房间大!
男篮12人出自6家俱乐部:疆粤各占3席 成最大赢
新版标准地图上线:规范使用地图 一点都不能错
《金蝉脱壳3》9月1日上线 史泰龙张晋劲猛开打
"青海首富"的"豪赌"人生:从开直升机回家到禁坐
相声有新人专场出现涉嫌违规内容 德云社成员参
奥克兰职棒明星:勇士把我们当成狗屎 发达了就翻
奔驰保时捷奥迪 数十辆车竟悬挂同一块车牌
白国华:李可落选国足23人名单 视伤病情况随时增
国安兄弟俱乐部重返欧冠正赛 队服都是一样的...
10名香港警员受邀参加十一庆典 含负伤"光头警长
特朗普炮轰美联储跟不上形势:瞧德国借钱还挣钱
国庆70周年阅兵有哪些新装备亮相?官方:请耐心等
不姓贾?李小璐疑将女儿甜馨名字改为“李奕涵”
知情人士:贾跃亭将卸任FF CEO 已还债30亿
赵薇偷偷生了个二胎?工作人员辟谣:哪有时间生
博尔顿指责中国偷F35技术,理由荒谬,俄媒嘲讽
梅西将参加欧足联颁奖典礼 最佳球员奖真稳了?
90后“秃如其来”引爆千亿市场 投资人敢看不敢
朴槿惠"亲信干政"案二审判决被撤销 此前获刑25
马云对话马斯克:AI时代人会活120岁,不会没工
《最长一枪》曝终极预告 王志文“承包”死亡定
七星上将易建联!阿联这个成就领跑现役国手
新一批人工智能"国家队"亮相:华为等10家企业入
宁夏两辆私家车相撞 致6人死亡14人受伤

相关新闻

回到首页 回到顶部

网站简介 - 广告服务 - 诚聘英才 - 联系我们 - 法律声明 - 友情链接