浙江大学首次实现汉字书写脑机接口 “意念写字”成现实

发布时间:2024-11-22 04:59:11 来源: sp20241122

   中新网 杭州4月23日电(郭天奇)23日,浙江大学脑机接口团队的最新研究成果在浙江大学医学院附属第二医院(下称浙大二院)发布。据悉,其最新研究首次实现汉字书写脑机接口,成功实现了侵入式脑机接口控制机械臂书写汉字,科幻电影中才能见到的“意念写字”照进了现实。

图为患者依靠侵入式脑机接口控制机械臂书写汉字。浙江大学医学院附属第二医院供图

  浙江大学脑机接口团队自2006年起就开展脑机接口前沿交叉研究,2012年完成国内首例猴子大脑运动皮层植入电极解码勾、抓、捏、握等精确手势;2014年完成国内首例临床病人颅内植入电极、成功解码石头剪刀布等动作;2020年实现国内首例、国际高龄首次临床志愿者侵入式脑控机械手完成喝水、进食、握手等动作。

  目前,该团队最新的研究主要集中在脑控汉字书写,依靠这一技术,患者只需想象正常的书写过程,该过程就可以被运动区的神经元活动反映出来,通过对运动区神经信号的解析,可以获得其所想象的书写轨迹,并控制机械臂进行书写。

  发布现场,研究团队依靠前期在患者张大伯使用过程中提取的脑电信号,操控机械臂流畅地写下“浙江大学”“脑机接口”。

  “部分中风、渐冻症的患者失去书写功能,也不能说话,但通过提取脑电信号,控制外部的机械设备,写出他想要的字,就可以实现与外界沟通联系,这就是一个主要的突破。”浙江大学脑机调控临床转化研究中心神经疾病分中心主任、浙大二院神经外科主任张建民说。

  实际上,脑控汉字书写在实践研究过程中遇到诸多难点。首先,传统脑机接口中对于机械臂伸抓的控制原理是大关节运动的解析,而汉字书写的过程是一种精细运动。此外,与英文相比,汉字是象形字,有复杂结构,同时笔画更多、分类更难、字数更多,解码难度也就更高。

  “我们都知道汉字的书写在偏旁、部首、笔顺等方面有很多讲究,甚至笔画长一点或是短一点,也有可能完全是两个字,而且国外也不会有团队研究汉字,我们没有参照,所以此次对于汉字的成功解码是非常重要的一环,也是脑机接口研究的一个非常关键的突破。”张建民说。

  目前,浙江大学脑机接口团队突破了汉字书写的特殊编码机制,在此基础上发展了汉字书写轨迹解码新技术,在离线状态下100个常用汉字的分类正确率达到了91.3%,在语言模型辅助下,在线正确率可提高至96.2%。

  如今,侵入式脑机接口控制机械臂书写汉字已经实现,脑机接口的发展也取得了新的突破,未来,如何让该技术更好地服务于患者的日常生活,还需要研究来进一步优化。

  “脑机接口未来的路还很长,当其硬件变得更小、创伤更小,并且实现‘无线’的时候,我们就可以对部分截瘫患者、渐冻患者进行植入,让他们完成以前不能执行的功能,例如可以控制外骨骼行走,或是控制机械臂协助日常的生活。”浙大二院神经外科副主任、功能神经外科组组长朱君明说。(完)

【编辑:曹子健】