美国明尼苏达大学杨知

这是一款便携式独立神经假肢系统,戴上之后,原本截掉手臂、失去手指的患者,可以像正常人一样玩电子游戏。

图 | 白手是电脑生产动作,病人试图用脑机跟着做一样的动作(来源:受访者)

这不是简单的机械手,而是深度学习和机械臂硬件的结合。近年来,深度学习在分析、解释和解码生物医学数据方面的应用正在稳步发展。在迅速发展的脑机接口和神经假体领域,基于深度学习的神经解码器已成为创造下一代灵巧、易操作的神经假体的最被看好的方法。

图 |(来源:受访者)

简单来说,神经解码器就是一种能够识别大脑神经活动的人造装置。对于因神经系统受损而无法正常控制肢体的人来说,它可以解码大脑活动,传递大脑向肢体发出的控制指令,从而实现对配套神经假肢的操控。

相比普通假肢,神经假肢可以由 “意念” 控制,也就是直接接受大脑发出的指令,显然更加灵活且符合人类的直觉。

随着人工智能和深度学习技术的发展,科学家开始尝试将其应用在各个领域,假肢控制也不例外,以主流 CNN 和 RNN 等神经网络为基础的算法都能用来驱动神经解码器。

图 |(来源:受访者)

不过,高性能深度学习模型对硬件的运算能力提出了很高的要求,而且通常依赖 GPU 以支撑其大规模的并行运算。这不仅对缩小硬件尺寸和降低功耗提出了挑战,更是限制了假肢及其神经解码系统的便携性和易用性,使其难以应用在临床上。

为了解决这一问题,美国明尼苏达大学杨知教授的研究团队开发出本次便携式独立神经假肢系统,主要部件包括基于深度学习的神经解码器,英伟达 Jetson 边缘计算套件,Neuronix 神经接口微芯片,连接神经纤维的束内微电极阵列,定制的 PCB 电路板和 i-Limb 机械手。

图 | 机械手的实际佩戴效果(来源:受访者)

多年成果融为一体

除了英伟达 Jetson 套件,电极阵列和机械手部分组件,剩下的成果或是最新努力,或是研究团队成员此前完成的成果,一步步积累和融合成了今天的样子。研究成果以预印本的形式发表于 Arxiv 上

Scorpius 系统由 Neuronix 神经芯片,电极连接器,稳压器和 Microsemi 的现场可编程门阵列(FPGA)等组件构成。每套系统包含八个记录信道,并且配有频率整形放大器和高精度模数转换器,可以捕捉极其微弱的神经信号并排除干扰信号。如果需要更多的通道数量,还可以部署多个设备。

图 | 团队所开发的神经芯片组(来源:受访者)

最终,组合而成的机械手可以套在残臂上,参与测试的残障人士成功实现了用意念控制机械手指,做出握拳、拿捏、指向、摇滚等手势,系统也可以准确识别其控制的是哪根手指。

此外,给正常人的小臂植入电极后,机械手也可以捕捉神经控制信号,实现隔空遥控。

“据我们所知,这是最先进的、通过将基于深度学习的神经解码器和便携式计算平台结合,从而实现神经假肢。” 研究人员在论文中表示。

为了实现对机械手的操控,研究人员必须先捕获并解码大脑传递出的神经信号。

杨知告诉 DeepTech,将深度学习和硬件结合,并将其应用于疾病治疗,是本次成果的亮点。其主要涉及的技术是神经解码,这在古代叫做 “读心术”,即搞清楚一个人的内心想法。人类的思考和行动是基于大量的神经活动。这些活动会在体内留下痕迹,比如产生微弱的电信号。这时就可用到深度学习的优势,其优点在于可根据大量的电信号,来产生类似黑盒子的计算模型,从而映射出信号和结果之间的关系。

硬件方面,他们使用了一套名为 Scorpius(天蝎座)的神经接口系统,是论文作者 Anh Tuan Nguyen 和 Jian Xu 等人在 2020 年发表的研究成果。

图 | 机械手原型机和各组成部分(来源:受访者)

该系统随后会将捕捉到的原始神经数据实时传输给 Jetson Nano 套件。

Jetson 平台是英伟达专为边缘计算开发的 AI 平台,其中的 Nano 系列套件自带 Tegra X1 片上系统(SoC),配有 ARM A57 四核 CPU 和 128 核英伟达 Maxwell GPU。

经过研究人员的定制,该套件可以运行经过训练的深度学习模型,负责将神经信号实时翻译成对应的大脑指令,例如要控制哪根手指,做出什么样的动作。它能在 10W 和 5W 功率模式下分别运行 2 小时和 4 小时。

机械手本身使用了 Össur 公司的 i-Limb 产品,不过原装驱动被研究人员替换成了自己开发的手部控制单元,可以直接接收深度学习模型发出的指令并操控手指内的电机。

图 | 三个数据处理线程(A)与深度学习电机解码器架构(B)(来源:受访者)

在数据处理方面,研究人员用 Python 实现了三个线程,分别用于数据获取、数据预处理和电机解码。

数据获取线程负责从两个或更多的 Scorpius 设备上获取数,并且将它们与对应的信道对齐。对齐后的神经数据会被输入预处理线程,经过过滤和降采样后,再提取其中包含的特征。

图 | (来源:受访者)

研究人员一共定义了 14 种特征函数,提取出的特征数据会被放入 LIFO(后进先出)序列中,所有数据都会被实时传输到电机解码线程中。处理不了或来不及处理的神经数据会被直接丢弃,以确保解码线程能够始终接收到最新的数据。

在电机解码的过程中,会基于最新的特征数据进行深度学习推理,使用的深度学习模型是 RNN 架构,每个模型包含 160 万个参数。

该设备最多支持同时部署五个模型,每个负责一根或更多根手指动作的解码。在实验中,所有模型都有一样的架构,但使用了不同的数据集进行训练,实现了对特定手指及其动作的优化。

最终的解码结果会输出到手部控制器上,驱动手指上的电机执行相应的指令。

手势识别准确率超 95%

在实际测试中,研究团队分别对残障人士和正常人进行了测试。杨知告诉 DeepTech,本次论文中展示的受试者,在 14 年前的一次事故中,失去了左手大拇指以外的四个手指,接下来的 8 年中他忍受着长期的神经痛,夜里经常会被痛醒,直到把整个左小臂截肢,疼痛才得到缓解。3 年前,他加入本次研究小组的测试项目,杨知评价他 “又无私又勇敢”。

植入设备后,他可以自由控制义肢,包括其各个手指,同时可对义肢产生感知,就好像变成了身体的一部分。。

这位受试者告诉杨知:“这个技术如果变成产品,就会有很多栩栩如生的功能,能让他做各种不同的日常工作,就好像使用自己另一只完好的手一样。”

图 | 针对残障人(A 和 B)和健全人(C 和 D)的实验(来源:受访者)

结果现实,在只使用一个模型的情况下,10W 功率配置的机械手延迟不到 50ms,随着模型部署数量提升,延迟最多增加到 120ms 左右 —— 这个程度的延迟是可以感受到的,但对手指的可控程度和灵活性不会有太大影响。

如果降低到 5W 功率,其最大延迟会增加约一倍至 220ms 左右,考虑到设备的尺寸、功耗和成本,这个响应速度也是可以接受的。

在识别准确率方面,深度学习模型的准确率可以稳定在 95%-99% 之间,其中识别健全人五指活动的准确率均超过 97%,而识别残障人士五指活动的准确率也超过 95%,表现亮眼。

图 | 手势识别准确率:健全人(红)残障人(绿)(来源:受访者)

“我们发现残障人士的食指识别准确率偏低,这是由较低的神经信号噪声比导致的,” 研究人员表示,“在实际操作中,我们可以引入更多的训练或者训练一个模型专门控制食指。”

为了测试机械手在日常生活中的表现,研究团队让一名残障人士在多个场景下操作该设备。结果显示它的表现并未受到 Wi-Fi、手机和电子设备的干扰,可以持续稳定的工作。

图 | 在实际应用场景中测试机械手(来源:受访者)

“我觉得如果这个设备经过更好地调试,以一个消费级产品问世时,它将会具备更多的功能,能(让我)在未经思考的情况下完成许多日常操作,” 测试者表示,“当我想够到和拿起东西的时候,我也不需要刻意地去操作它,就像我的真手一样。我相信它能实现这一点。”

当然,目前的模型还存在一些不足,在判断一些手势时容易混淆,比如握拳 VS 竖起大拇指。

未来,研究团队计划进一步优化软件和完善硬件,包括优化神经网络模型,采用真正的多线程来避开 Python 的全局解释器锁,强化 Jetson 的深度学习推理能力,采用在线电机解码优化等等,从而在便携的基础上实现更低延迟、更高精度的实时控制。

未来投入应用后,病人使用就像配眼镜一样,验光之后配置度数合适的镜片和镜架。同样,给病人配置合适的机械臂和神经解码器,也是一样的思路。

目前,团队已成立公司对该设备进行成果转化,首先将用于治疗残疾人的疼痛。杨知表示,该神经解码技术已帮助参与实验的受试者们,减轻或治愈他(她)们的疼痛。

用患者的话说,”有了这个系统,我们可以看到我的痛苦是可以量化的,并且可以做些什么……这是对生活的巨大改善……它几乎无可估量地改善了我的生活质量,达1000%。” 杨知还表示神经解码技术还可以用于治疗更多的疾病。一旦通过美国FDA和中国相关审批,该技术将产生一个新的医疗器械市场,涵盖很多现在不能被药物和手术治愈的疾病。

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/40467.html

(0)
上一篇 2025年1月9日
下一篇 2025年1月9日

相关推荐

  • 去新西兰要多少钱

    省流助手:马来西亚航空一票玩新西兰+马来西亚 指定动作国际机票 前言 主要还是马来西亚也免签了,可以给安排个带马来西亚停留的行程。既然都去新西兰了,去马来西亚也能顺路免签玩个几天。 马来西亚航空经济舱飞新西兰 这次轮到海外的航司也有3K多飞新西兰的价格了。如果单纯是往返的价格当然是没啥太大的意思。如果你刚好之前在去年12月底弄到了马来西亚航空的高卡,配合起来…

    2024年6月25日
  • 加拿大动漫专业的大学

     在加拿大都有哪些久负盛名的动画、艺术类高等院校呢?下面小编就来介绍一下加拿大的前10位顶尖的动画艺术类院校。 1. Sheridan College 谢尔顿学院 谢尔顿学院——“动画界的哈佛”当仁不让地排到第1位。学校位于安大略省的大多伦多地区,所有动画行业的雇主都曾谈论过的一个话题就是最想要得到的人才就是谢尔顿学院的毕业生。90年代谢尔顿学院开始被称为动…

    2024年1月8日
  • 美国解除中国学生赴美限制

    来源:环球时报-环球网 【环球时报-环球网 报道 记者 邢晓婧 赵喻莎】30日,美国驻华大使馆举行媒体圆桌会,就解除中国留学生“赴美禁令”做出进一步说明。美国驻华大使馆领事处总领事毕文霖(William Bistransky)透露,使馆将从5月4日星期二开放面签,学生可在课程开始前的120天申请签证,但最早只能提前30天进入美国。然而,军民融合战略以及某些高…

    2023年12月5日
  • 英国剑桥大学有个李约瑟博士

    1992年,李约瑟在剑桥大学的办公室。 为什么近代科学没有产生在中国?“李约瑟之问”,让李约瑟在中国声名鹊起。 李约瑟,本是一个与中国没有任何联系的英国生物化学家。三位中国留学生,把他与古老的东方文明联系在了一起;一次机缘巧合,让他来到了抗战时期的中国。 1943年至1946年,李约瑟和他领导的中英科学合作馆成员走遍敌后数十省,为几乎与外部世界隔绝的中国同行…

    2024年12月27日
  • 查尔斯王子(查尔斯王子为什么那么爱卡米拉)

    2022年 9月8日,英国历史上最长寿、在位时间最长的君主——伊丽莎白二世,终于走到了人生的尽头,享年96岁。 当天,已经74岁的查尔斯王子宣布继任王位,成为英国新一任王室君主。 不过,刚刚登基没多久,查尔斯就违背了母亲伊丽莎白的命令,命令彻查539年前的“塔中王子”谜案,试图揭开王室谋杀之谜。 那么,对待同一桩案子,伊丽莎白母子为何会采取截然不同的处置方法…

    2023年10月14日
  • 洛桑联邦理工学院物理博士后待遇

    编译 | 沈秋月 戚金葆 2020年,新冠疫情席卷全球时,《自然》杂志首次面向全球博士后研究人员开展了一项调查。结果显示,实验叫停、科研停滞、研讨不便给科研工作者带来强劲冲击。近2/3的研究人员称,疫情严重阻碍了其职业发展。 2023年,《自然》杂志展开第二次调查,发现对现有工作表示满意的博士后比例,比3年前又有所下滑(从60%到55%)。尽管如此,在疫情过…

    2025年7月27日
  • 北京留学体检中心

    每年春暖花开之季,都有一批勇敢的小留学生们兴高采烈地接到美国高中、美国本科的录取通知书。开心之余,家长们就开始忙着给娃们办理学生签证、安排行程和购买机票等事宜。 5 月份以后,还有一项必做功课就是:留学体检。 近一个多月以来,北京和睦家医院全科已经陆续收到很多这方面的咨询,也帮助很多孩子们顺利完成了他们的留学或夏季海外游学体检。 美国高中、美国本科留学生的体…

    2024年1月25日
  • 怎样考上香港大学

    在高等教育的广阔天地中,香港的院校凭借其国际化的教育资源、独特的地理位置优势以及卓越的学术声誉,吸引着越来越多内地学子的目光。对于 2025 届内地考生而言,如何成功报考香港院校,开启理想的大学生活呢?以下为您详细呈上一份全面攻略,涵盖申请流程、费用详情以及各院校特色。 一、申请时间节点提醒 2025 年香港高校内地招生申请截止日期呈现出多样化的特点,多数集…

    2025年5月20日
  • 密码学专业大学排名_密码学专业大学排名前一百

    在互联网时代,计算机已然成为备受追捧的热门专业,就连文科生们也纷纷卷进“转码”大军。市场需求量大、就业选择多、薪资高,都是学习计算机相关专业的优势。那么,对于留学生来说,海外哪些院校的计算机专业值得考虑? 近日,行业内公认最具权威的全球计算机协会专业排行榜CS Rankings更新了【2022-2023全球计算机科学专业排名】。 除了有计算机科学领域(Com…

    2024年4月2日
  • 近畿大学对比立命馆

    日本私立学研组织14日公布了向各地区高三学生做出的《最想报考大学》的调查结果,关东地区是早稻田大学连续2年居首,东海地区是名城大学连续6年居首,关西地区是关西大学连续15年居首。 关东地区报考人气大学排行 第一位 早稻田大学第二位 明治大学第三位 青山学院大学,第四位 立教大学第五位 庆应义塾大学第六位 中央大学第七位 日本大学第八位 法政大学第九位 千叶大…

    2024年10月29日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信