虽然研究人员之前曾致力于开发可以将佩戴者的手语翻译成口语的智能手套,但目前还没有一种可以广泛应用的量产、易于使用的版本。
中国的乌拉拉科技公司希望通过他们的手语翻译手套来改变这种状况。手语使用者会戴上手套,这样他们就可以更轻松地与非听力障碍者交流。
手套在每个手指中都装有可弯曲的传感器,可以跟踪每个手指的位置。同时,手掌中的传感器在三维空间中跟踪手套的运动和位置。
手套使用蓝牙与应用程序配对,该应用程序将动作转换为屏幕文本和合成语音。然后,听力者可以说出他们的回答,这将显示为文本或由动画化身执行的手语。
虽然最初旨在解释中国手语,但乌拉拉(Wulala) 还在开发其他手语。这不仅可以让聋人与使用另一种语言的聋人交流,还可以用来将中国手语翻译成英语口语——充当万能翻译器。
乌拉拉(Wulala)发起了一项 Kickstarter 活动,为这款手套的开发筹集资金。他们声称这款手套还可以适应个人的手语风格,不仅可以“教你各国的手语,还可以学习你的手语习惯。创新手套可以识别来自不同国家或地区的 95% 或更多手语,甚至可以学习个人手语习惯。”
这不是我们见过的第一款旨在帮助听力障碍者与他人交流的智能设备。手语不仅仅包括各种手部动作。使用技术进行翻译的难点在于捕捉非语言语言的全部范围。
匈牙利公司 SignAll 接受了挑战,正在创建世界上第一个全自动手语翻译系统。SignAll 开发了利用人工智能和计算机视觉的技术,能够识别和翻译手语。它可以用于商业和教育。
我们之前曾研究过一个可以在手语和英语之间进行翻译的自动化系统 ,以及一个使手语用户能够与 Alexa 交流的应用程序 。然而,乌拉拉(Wulala)这可能是最广泛和最实用的。
虽然世界各地的聋人社区已经发展出许多丰富的语言系统,但许多聋人或听力障碍者在日常生活中与听力正常的人交流时仍面临重大障碍。
如果成功,乌拉拉(Wulala)这款手套可以帮助消除其中的一些障碍,同时使与使用其他语言的聋人进行面对面交流变得更加容易。
据乌拉拉(Wulala)称,这种手套已经在中国使用,它在识别大约 8,000 个中国手语单词方面的准确率为 95%。他们希望最终以大约 3,000 美元(2,570 欧元)的零售价出售这款手套。
专注于数字产品和体验的创意工作室 Hello Monday 与美国聋童协会合作开发了一款应用程序,可以教授 ASL 手语字母表。
在 ASL 中,手指拼写用于专有名词,或者当一个人不知道单词的符号时。该应用程序实时教授和纠正手部位置,使人们更容易与聋人交流。
基于浏览器的“fingerpelling.xyz”应用程序与流行的语言学习应用程序 Duolingo 有点相似,但必须采用截然不同的技术来指导用户学习正确的手部位置。
当用户签名时,他们的网络摄像头会跟踪手部动作并提供反馈,以便用户可以同时纠正他们的手部位置。这有助于用户更快地开发技能。
该应用程序使用机器学习和“高级手部识别技术”来分析用户的手形并提供改进建议,将学习变成游戏。目标用户包括聋人的家人和朋友,他们想快速学习交流。
根据 Happy Monday 创始合伙人 Anders Jessen 的说法, 该应用程序提供了比通过阅读或观看视频学习手指拼写更具吸引力的学习体验。
Jessen 补充说: “想想这个经过高度训练的机器学习模型,研究人员花了无数个小时来训练,现在却反其道而行之——它现在训练我们回来,让我们更擅长手指拼写,这很有趣。”
像 Duolingo 这样帮助教授语言的应用程序非常受欢迎,但这标志着这种方法首次应用于手指拼写。
据 Hello Monday 报道,72% 的家庭不与聋哑孩子签约,这是他们希望改变的情况。免费、易于使用的程序还可以让孩子们快速学习与聋人朋友交流。
当然,ASL 只在美国使用;其他国家有自己的手语字母。但如果这成功的话,它可能会在世界各地的其他手语字母中推出。