美国明尼苏达大学杨知

这是一款便携式独立神经假肢系统,戴上之后,原本截掉手臂、失去手指的患者,可以像正常人一样玩电子游戏。

图 | 白手是电脑生产动作,病人试图用脑机跟着做一样的动作(来源:受访者)

这不是简单的机械手,而是深度学习和机械臂硬件的结合。近年来,深度学习在分析、解释和解码生物医学数据方面的应用正在稳步发展。在迅速发展的脑机接口和神经假体领域,基于深度学习的神经解码器已成为创造下一代灵巧、易操作的神经假体的最被看好的方法。

图 |(来源:受访者)

简单来说,神经解码器就是一种能够识别大脑神经活动的人造装置。对于因神经系统受损而无法正常控制肢体的人来说,它可以解码大脑活动,传递大脑向肢体发出的控制指令,从而实现对配套神经假肢的操控。

相比普通假肢,神经假肢可以由 “意念” 控制,也就是直接接受大脑发出的指令,显然更加灵活且符合人类的直觉。

随着人工智能和深度学习技术的发展,科学家开始尝试将其应用在各个领域,假肢控制也不例外,以主流 CNN 和 RNN 等神经网络为基础的算法都能用来驱动神经解码器。

图 |(来源:受访者)

不过,高性能深度学习模型对硬件的运算能力提出了很高的要求,而且通常依赖 GPU 以支撑其大规模的并行运算。这不仅对缩小硬件尺寸和降低功耗提出了挑战,更是限制了假肢及其神经解码系统的便携性和易用性,使其难以应用在临床上。

为了解决这一问题,美国明尼苏达大学杨知教授的研究团队开发出本次便携式独立神经假肢系统,主要部件包括基于深度学习的神经解码器,英伟达 Jetson 边缘计算套件,Neuronix 神经接口微芯片,连接神经纤维的束内微电极阵列,定制的 PCB 电路板和 i-Limb 机械手。

图 | 机械手的实际佩戴效果(来源:受访者)

多年成果融为一体

除了英伟达 Jetson 套件,电极阵列和机械手部分组件,剩下的成果或是最新努力,或是研究团队成员此前完成的成果,一步步积累和融合成了今天的样子。研究成果以预印本的形式发表于 Arxiv 上

Scorpius 系统由 Neuronix 神经芯片,电极连接器,稳压器和 Microsemi 的现场可编程门阵列(FPGA)等组件构成。每套系统包含八个记录信道,并且配有频率整形放大器和高精度模数转换器,可以捕捉极其微弱的神经信号并排除干扰信号。如果需要更多的通道数量,还可以部署多个设备。

图 | 团队所开发的神经芯片组(来源:受访者)

最终,组合而成的机械手可以套在残臂上,参与测试的残障人士成功实现了用意念控制机械手指,做出握拳、拿捏、指向、摇滚等手势,系统也可以准确识别其控制的是哪根手指。

此外,给正常人的小臂植入电极后,机械手也可以捕捉神经控制信号,实现隔空遥控。

“据我们所知,这是最先进的、通过将基于深度学习的神经解码器和便携式计算平台结合,从而实现神经假肢。” 研究人员在论文中表示。

为了实现对机械手的操控,研究人员必须先捕获并解码大脑传递出的神经信号。

杨知告诉 DeepTech,将深度学习和硬件结合,并将其应用于疾病治疗,是本次成果的亮点。其主要涉及的技术是神经解码,这在古代叫做 “读心术”,即搞清楚一个人的内心想法。人类的思考和行动是基于大量的神经活动。这些活动会在体内留下痕迹,比如产生微弱的电信号。这时就可用到深度学习的优势,其优点在于可根据大量的电信号,来产生类似黑盒子的计算模型,从而映射出信号和结果之间的关系。

硬件方面,他们使用了一套名为 Scorpius(天蝎座)的神经接口系统,是论文作者 Anh Tuan Nguyen 和 Jian Xu 等人在 2020 年发表的研究成果。

图 | 机械手原型机和各组成部分(来源:受访者)

该系统随后会将捕捉到的原始神经数据实时传输给 Jetson Nano 套件。

Jetson 平台是英伟达专为边缘计算开发的 AI 平台,其中的 Nano 系列套件自带 Tegra X1 片上系统(SoC),配有 ARM A57 四核 CPU 和 128 核英伟达 Maxwell GPU。

经过研究人员的定制,该套件可以运行经过训练的深度学习模型,负责将神经信号实时翻译成对应的大脑指令,例如要控制哪根手指,做出什么样的动作。它能在 10W 和 5W 功率模式下分别运行 2 小时和 4 小时。

机械手本身使用了 Össur 公司的 i-Limb 产品,不过原装驱动被研究人员替换成了自己开发的手部控制单元,可以直接接收深度学习模型发出的指令并操控手指内的电机。

图 | 三个数据处理线程(A)与深度学习电机解码器架构(B)(来源:受访者)

在数据处理方面,研究人员用 Python 实现了三个线程,分别用于数据获取、数据预处理和电机解码。

数据获取线程负责从两个或更多的 Scorpius 设备上获取数,并且将它们与对应的信道对齐。对齐后的神经数据会被输入预处理线程,经过过滤和降采样后,再提取其中包含的特征。

图 | (来源:受访者)

研究人员一共定义了 14 种特征函数,提取出的特征数据会被放入 LIFO(后进先出)序列中,所有数据都会被实时传输到电机解码线程中。处理不了或来不及处理的神经数据会被直接丢弃,以确保解码线程能够始终接收到最新的数据。

在电机解码的过程中,会基于最新的特征数据进行深度学习推理,使用的深度学习模型是 RNN 架构,每个模型包含 160 万个参数。

该设备最多支持同时部署五个模型,每个负责一根或更多根手指动作的解码。在实验中,所有模型都有一样的架构,但使用了不同的数据集进行训练,实现了对特定手指及其动作的优化。

最终的解码结果会输出到手部控制器上,驱动手指上的电机执行相应的指令。

手势识别准确率超 95%

在实际测试中,研究团队分别对残障人士和正常人进行了测试。杨知告诉 DeepTech,本次论文中展示的受试者,在 14 年前的一次事故中,失去了左手大拇指以外的四个手指,接下来的 8 年中他忍受着长期的神经痛,夜里经常会被痛醒,直到把整个左小臂截肢,疼痛才得到缓解。3 年前,他加入本次研究小组的测试项目,杨知评价他 “又无私又勇敢”。

植入设备后,他可以自由控制义肢,包括其各个手指,同时可对义肢产生感知,就好像变成了身体的一部分。。

这位受试者告诉杨知:“这个技术如果变成产品,就会有很多栩栩如生的功能,能让他做各种不同的日常工作,就好像使用自己另一只完好的手一样。”

图 | 针对残障人(A 和 B)和健全人(C 和 D)的实验(来源:受访者)

结果现实,在只使用一个模型的情况下,10W 功率配置的机械手延迟不到 50ms,随着模型部署数量提升,延迟最多增加到 120ms 左右 —— 这个程度的延迟是可以感受到的,但对手指的可控程度和灵活性不会有太大影响。

如果降低到 5W 功率,其最大延迟会增加约一倍至 220ms 左右,考虑到设备的尺寸、功耗和成本,这个响应速度也是可以接受的。

在识别准确率方面,深度学习模型的准确率可以稳定在 95%-99% 之间,其中识别健全人五指活动的准确率均超过 97%,而识别残障人士五指活动的准确率也超过 95%,表现亮眼。

图 | 手势识别准确率:健全人(红)残障人(绿)(来源:受访者)

“我们发现残障人士的食指识别准确率偏低,这是由较低的神经信号噪声比导致的,” 研究人员表示,“在实际操作中,我们可以引入更多的训练或者训练一个模型专门控制食指。”

为了测试机械手在日常生活中的表现,研究团队让一名残障人士在多个场景下操作该设备。结果显示它的表现并未受到 Wi-Fi、手机和电子设备的干扰,可以持续稳定的工作。

图 | 在实际应用场景中测试机械手(来源:受访者)

“我觉得如果这个设备经过更好地调试,以一个消费级产品问世时,它将会具备更多的功能,能(让我)在未经思考的情况下完成许多日常操作,” 测试者表示,“当我想够到和拿起东西的时候,我也不需要刻意地去操作它,就像我的真手一样。我相信它能实现这一点。”

当然,目前的模型还存在一些不足,在判断一些手势时容易混淆,比如握拳 VS 竖起大拇指。

未来,研究团队计划进一步优化软件和完善硬件,包括优化神经网络模型,采用真正的多线程来避开 Python 的全局解释器锁,强化 Jetson 的深度学习推理能力,采用在线电机解码优化等等,从而在便携的基础上实现更低延迟、更高精度的实时控制。

未来投入应用后,病人使用就像配眼镜一样,验光之后配置度数合适的镜片和镜架。同样,给病人配置合适的机械臂和神经解码器,也是一样的思路。

目前,团队已成立公司对该设备进行成果转化,首先将用于治疗残疾人的疼痛。杨知表示,该神经解码技术已帮助参与实验的受试者们,减轻或治愈他(她)们的疼痛。

用患者的话说,”有了这个系统,我们可以看到我的痛苦是可以量化的,并且可以做些什么……这是对生活的巨大改善……它几乎无可估量地改善了我的生活质量,达1000%。” 杨知还表示神经解码技术还可以用于治疗更多的疾病。一旦通过美国FDA和中国相关审批,该技术将产生一个新的医疗器械市场,涵盖很多现在不能被药物和手术治愈的疾病。

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/40467.html

(0)
上一篇 2025年1月9日
下一篇 2025年1月9日

相关推荐

  • 谢菲尔德大学实力怎么样

    谢菲尔德大学作为英国著名“红砖大学”之一,创建于1828年,拥有近两百年历史的谢菲尔德大学一直以来都是全英综合实力一流的大学之一,尤以工程学院著称,综合实力方面与剑桥大学和伦敦帝国理工学院位居全英前三名,研究相关的价值达到5000万英镑以上。 谢菲尔德大学在每7年发布一次的REF 2014 英国大学官方排名科研实力排名中,位居英国第12位。在2022年QS世…

    6天前
  • 乔治亚大学学院怎么样

    乔治亚大学怎么样 美国佐治亚大学创建于1785年,佐治亚大学位于佐治亚州东北部的雅典城,是全美国最大的大学城之一。作为美国公立高等教育的发源地,佐治亚大学也是全美第一所公立大学,由14所学院及1所研究所组成,校区面积广阔,拥有许多的天然资源。佐治亚大学拥有不少历史建筑群与美国南方特色建筑, 大部分皆座落于南与北校园, 除了传统历史建筑外, 最近十几年佐治亚大…

    2024年10月17日
  • 美国东海岸大学排名

    美国作为全球最受欢迎的留学目的地之一,拥有丰富的高等教育资源和多样化的学习与生活体验。然而,美国东海岸和西海岸的留学环境,在地理气候、学术氛围、就业方向、生活方式等方面,确实存在不少显著差异。 这些差异不仅影响学习体验,也会潜移默化地影响到未来的职业发展和生活习惯。 很多同学在申请学校时,可能只顾着刷排名、查榜单,却忽视了地区的影响。等到真正开始留学生活时,…

    2025年8月29日
  • 千万别考东北的大学

    \r 说到东北的大学,很多人第一反应都是“包分配”“铁饭碗”,但现实其实并没有那么美好。近年来,东北有几所高校频频被吐槽:专业设置不合理,师资力量薄弱,甚至毕业证含金量低到找工作都成了难题。别看名字挺响亮,毕业后才发现,简历投出去石沉大海,企业根本不认。\r学费花了不少,最后却成了“学历空壳”。如果你正打算报考东北的高校,千万别只看表面风光,一定要擦亮眼睛,…

    2025年8月27日
  • 香港大学地址在哪个区

    新京报讯(记者苏季)4月19日,东莞市大学筹建办发布消息,4月16日,教育部向广东省人民政府发函,批准正式设立具有独立法人资格的内地与香港合作办学机构——香港城市大学(东莞)。香港城市大学(东莞)的正式设立,是贯彻落实《粤港澳大湾区发展规划纲要》、推进粤港澳大湾区高等教育合作的重要标志性成果。 据介绍,香港城市大学(东莞)将秉承香港城市大学“教研合一”的办学…

    2024年12月20日
  • 美国州立大学毕业证

    这是一个非常复杂特殊的情况。 同学在拿到美国加利福尼亚州立大学圣马可斯分校的本科毕业证,先后辗转了四个学校,转学分超过了五分之三。 其中,在这四所学校中,有国内的学校,也有美国的社区大学,甚至有所学校在教留服没有备案。 并且,转学分高达五分之三,在留服认证规定中,转学分超过三分之一就要面临麻烦了。 此外,这位同学是2019年拿到毕业证的,已经过去了六七年,有…

    2025年6月23日
  • 地理信息系统专业排名_地理信息系统专业排名大学

    整理了6个专业:1.地理科学 2.人文地理与城乡规划 3.地理信息科学 4.环境科学与工程 5.地理学 6.测绘科学与技术 // 1、地理科学 // 2、人文地理与城乡规划 // 3、地理信息科学 // 4、环境科学与工程 学科排名共有104所大学上榜,清华大学、北京大学、南京大学、同济大学位列前2%。 // 5、地理学 学科排名共有44所大学上榜,北京师范…

    2024年3月4日
  • 帕德博恩大学国内认可吗

    中德联手办大学,机会来了!中国有很多城市与德国交往密切,比如上海和青岛。官方消息称,这两座城市将各自迎来一所中德合办的大学。 这两所中德合办大学分别由一所中国大学与一所德国大学联合举办,两所中方高校,一所是顶尖985高校,一所是进步很快的省属高校;两所德方高校,则刚好代表了德国两种类型的大学。这两种类型的高校,颠覆了很多中国人的认知。 一、上海自贸区之星 既…

    2024年12月22日
  • 利物浦约翰摩尔斯大学研究生

    利物浦约翰摩尔大学(Liverpool John Moores University,简称:LJMU)建校于1823年,是坐落于英国利物浦的一所综合性大学,其名称是为了纪念英国知名商人约翰·摩尔斯。经过近200年的发展在世界科研领域屡获奖项,作为英国北方大学联合会的一员,并于同城的利物浦大学有着在语言学、空间物理、计算机、数学等多个领域的紧密合作。 学校坐落…

    2025年2月20日
  • 考上哈佛什么概念_考上哈佛是什么概念

    近日,成都外国语学校官网贴出“校园热讯”:《11个哈佛!成外四川最牛!》 “热讯”里说,最近从清华大学传来喜讯,初中高中在成都外国语学校就读6年后考入清华大学的母卓尔同学,被哈佛大学设计学院录取,至此从成都外国语学校毕业,考入哈佛大学的学生已达11名,成外从2013年至2020年期间,基本上每年都有考上哈佛的同学,真正四川最牛! 成外官网截图 文后依次列举了…

    2024年3月7日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信