Система автоматически ищет соответствия между последовательностями слов и жестами языка глухонемых. Жесты воспроизводит виртуальный персонаж. Точность перевода пока невысока, но если автоматический переводчик делает ошибку, человек может его поправить, указав нужное соответствие. В этом случае машина запомнит правильный вариант перевода.
Виртуальные сурдопереводчики могут быть полезны на телевидении — в частности, для перевода срочных новостных сообщений, когда «живого» специалиста может не оказаться рядом. Большинство новостей строится по определенным шаблонам, поэтому системе будет проще справиться с переводом.
Разработчики из NHK уточнили, что сурдоперевод необходим прежде всего тем людям, которые лишены возможности слышать от рождения. Если же человек утратил слух из-за болезни или травмы, ему будет легче читать субтитры, сообщает Lenta.Ru.