微软的应用程序帮助ALS的人只用眼睛说话

时间:2019-02-05 02:14:00166网络整理admin

GazeSpeak,启动团队,微软研究作者Timothy Revell当你只能移动你的眼睛时很难沟通,就像ALS患者(也称为运动神经元疾病)一样微软研究人员已开发出一款应用程序,可让您更轻松地与眼睛交谈,称为GazeSpeak GazeSpeak在智能手机上运行并使用人工智能将眼动转换为语音,因此对话伙伴可以实时了解所说的内容该应用程序在侦听器的设备上运行他们将智能手机指向扬声器,好像他们正在拍照手机背面的标签(扬声器可见)显示一个网格,其中字母分为四个框,分别对应左,右,上,下由于扬声器提供不同的眼睛信号,GazeSpeak将它们记录为字母 “例如,要说'任务'这个词,他们首先要选择包含't'的组,然后选择包含'a'的组,依此类推,”张孝义说,他在开发GazeSpeak的同时微软的实习生 GazeSpeak通过根据最常见的英语单词预测说话者想说的单词,从每个组中选择适当的字母,类似于预测文本消息发言者表示他们通过眨眼或直视两秒钟完成了一个单词系统还会考虑添加的单词列表,例如说话者可能使用的名称或位置屏幕上显示前四个单词预测,大声朗读前四个单词预测华盛顿雷德蒙德的微软研究院的梅雷迪思莫里斯说:“我们正在使用计算机视觉来识别眼睛的手势,而人工智能会用来进行单词预测”该应用程序专为ALS等运动障碍人士设计,因为眼动可以成为具有这些条件的人进行交流的唯一途径 ALS逐渐损害神经细胞,影响一个人说话,吞咽和最终呼吸的能力眼部肌肉往往是最后受影响的部分 “人们在尝试沟通时会变得非常沮丧,所以如果这个应用程序可以让事情变得更容易,这是一件非常好的事情,”运动神经元疾病协会的马修霍利斯说目前,ALS进行沟通的人选择有限最常见的是使用在不同组中显示字母的板,人们在选择字母时跟踪说话者的眼球运动但是,有些人可能需要很长时间来学习如何有效地解释这些眼球运动事实证明,GazeSpeak可以更快地用于20人尝试app和低技术板的实验中使用GazeSpeak完成一个句子的平均时间为78秒,而使用这些板的时间为123秒测试中的人没有ALS,但团队也从一些患有ALS及其口译员的人那里得到了关于该技术的反馈一个尝试过该设备的人在62秒内输入了一个测试句,并说他认为在现实生活中情况会更快,因为他的翻译可以更容易地预测他可能会说些什么 “我喜欢手机技术;我只是认为那会很光滑,“其中一位翻译说其他系统目前使用软件来跟踪红外摄像机的眼球运动但是这些通常是昂贵且笨重的,并且红外摄像机在阳光下不能很好地工作 GazeSpeak应用程序是便携式且相对便宜,因为它只需要安装了应用程序的iOS设备,如iPhone或iPad微软将于5月份在科罗拉多州的计算系统人类因素大会上展示该应用程序研究人员表示,它将在会议开始之前在Apple App Store上提供,源代码将免费提供,以便其他人可以帮助改进它更多关于这些主题: