Можно ли помочь глухонемым людям выразить свои мысли, автоматически переводя жесты руками, которые они показывают, в слова? Таким вопросом задался российский десятиклассник Даниил Казанцев из Екатеринбургского лицея. Решение разобраться в этой проблеме привело Даниила к победе в одной из категорий конкурса молодых ученых Google Science Fair 2019. Он разработал систему, которая может интерпретировать язык жестов и заменять сурдопереводчика.
Как указано на сайте конкурса Google, Казанцев прошел отбор среди тысяч других участников конкурса и стал одним из 24 финалистов из 14 стран мира. В итоге он получил премию Lego Education Builder за разработку своего переводчика языка жестов.
Все финалисты конкурса. Даниил крайний слева
Что такое электромиография?
В основе разработки юного российского гения лежит технология электромиографии, которая определяет электромеханическую активность мышц с учетом изменяющегося положения руки и пальцев. В этом случае каждое движение конечности создает крошечные электрические сигналы, которые можно считать, а затем перевести в понятные для компьютера команды. В частности, эта технология используется для управления искусственными протезами.
Читайте также: Как немые люди могут вновь обрести дар речи?
Но российский школьник разработал на основе технологии электромиографии систему, которая может переводить электрические сигналы мышц в слова.
Синими и белыми крестиками обозначены места расположения электродов, которые считывают электрические импульсы мышц
Как работает переводчик языка жестов
Устройство состоит из манжеты, которая надевается на предплечье. На манжете установлены 24 электрода, каждый из которых считывает определенные электрические сигналы мышц предплечья. Кроме того, здесь используется специальный датчик, который определяет положение предплечья в пространстве. На базе всех этих сигналов формируется уникальный «отпечаток» положения каждой отдельной части кисти в пространстве.
Все собираемые сигналы усиливаются и фильтруются от лишнего электромагнитного шума, а затем по проводам передаются на внешний микрокомпьютер. Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после чего передает их в мощный вычислительный сервер со специально обученной нейросетью. Именно с помощью нейросети проводится интерпретации (перевод в слова) данных об электрических сигналах, отвечающих за каждый языковой жест.
Как проводилась проверка переводчика жестов
Проверку системы Даниил проводил на себе и двух других добровольцах. В качестве основы для перевода он использовал 5 жестов и популярного жестового языка ASL (American Sign Language).
Hello (привет); Yes (да); No (нет); Please (пожалуйста); I love you (я люблю тебя)
Для проверки эффективности системы для каждого распознавания жеста использовалось 10 попыток. Как указывает автор разработки, система смогла показать 92,6-процентную точность при распознавании.
В таблице отмечены участники эксперимента, наименования жестов, которые требуется распознать системе, а также количество верных распознаваний
Видео проверки технологии можно посмотреть ниже: