研究人员首次将脑信号直接翻译成语音
在“科学报告”杂志上发表的一项突破性研究中,来自纽约哥伦比亚大学(CU)的工程师描述了一种能够监测人的大脑活动并将相关位翻译成清晰,易于识别的语音的系统。
“我们的声音有助于将我们与我们的朋友,家人和我们周围的世界联系起来,这就是为什么由于受伤或疾病而失去一个人声音的力量是如此具有破坏性,”该论文的高级作者,校长Nima Mesgarani博士说。 CU的Mortimer B. Zuckermann Mind Brain Behavior Institute的研究员。
通过进一步的调整和更新,该系统 - 使用当前可用的语音合成器和人工智能构建 - 可能很快成为那些由于中风或肌萎缩侧索硬化症(ALS)等疾病而失去说话能力的人的生命线。
此外,转换与听说和产生的语音相关的大脑模式的能力对于从事脑 - 计算机接口(BCI)应用的研究人员来说非常有用。
在这项研究中,Nima Mesgarani及其同事招募了一组接受脑外科手术的癫痫患者,当研究小组测量他们的大脑活动时,他们被要求听取不同人说的句子。
接下来,参与者聆听讲述0到9之间数字的人,同时记录他们的大脑信号,然后将其输入声码器 - 一种计算机算法,能够在人们谈话的录音训练后合成语音(相同的技术是由Amazon Echo和Apple Siri使用)。
经过一些清理后,多达75%的参与者成功识别出机器人发出的声音,这超出了之前的尝试范围。
该团队现在计划使用更多强制性句子进行进一步的实验,希望最终将该系统用作植入物的一部分,类似于癫痫患者所使用的系统,这将直接在语音中转换思想。
“在这种情况下,如果穿着者认为'我需要一杯水',我们的系统可以接受这种想法产生的大脑信号,并将它们变成合成的口头语言,”Mesgarani博士说。“这将改变游戏规则。它会让任何失去讲话能力的人,无论是受伤还是疾病,都有可能重新接触周围的世界。“