Для тестирования программы разработчики пригласили группу добровольцев, которые не подозревали о цели исследования. Сначала их попросили изобразить удовольствие и раздражение. Затем исследователи попытались вызвать у них настоящие эмоции и сравнить возникающую мимику с имитированной.
Чтобы вызвать настоящую улыбку, добровольцам показывали смешное видео. Чтобы вызвать раздражение, участникам давали задание заполнить очень подробную электронную анкету. Ее размер был преднамеренно увеличен до такой степени, что к концу выполнения задания испытуемые успевали ощутимо устать. Когда они отправляли заполненную анкету, компьютер выдавал сообщение об «ошибке» и обнулял все заполненные поля. Реакцию добровольцев записывали на видеокамеру. В отличие от имитированной реакции, в реальности 90 процентах случаев при столкновении с неприятностью люди не хмурились, а улыбались. Разумеется, эти улыбки отличались от счастливых.
Авторы анализировали полученные записи с помощью комбинации различных методов (метод опорных векторов, метод скрытых марковских моделей и другие), позволяющих обнаружить значимые различия.
Оказалось, что счастливая улыбка и ухмылка отличаются прежде всего динамикой. Настоящая улыбка образуется медленнее, но держится дольше, тогда как ухмылка более краткосрочна. На основе этой и других особенностей ученые создали алгоритм, который различал на видеозаписях две эмоциональные реакции. Точность компьютерного алгоритма достигала 92 процентов, тогда как сами испытуемые совсем не могли правильно угадать реакцию. Их точность не превышала случайные 50 процентов.
Авторы исследования считают, что полученные результаты могут пригодиться при обучении пациентов с аутизмом, которые очень плохо «считывают» эмоциональную реакцию. Кроме того, многие современные фотоаппараты реагируют на улыбку. Возможно, в будущем они будут учить своих обладателей улыбаться «правильно».
Работа исследователей опубликована в журнале IEEE Transactions on Affective Computing.