Студентка СФУ научила искусственный интеллект понимать язык жестов

Студентка Института космических и информационных технологий СФУ Владислава Жуковская разработала метод распознавания жестов русского жестового языка по видеопоследовательностям с учётом языкового диалекта Сибирского региона.

Жестовый язык не является универсальным языком общения для всех глухих людей мира. В зависимости от местонахождения слабослышащих диалекты жестового языка будут отличаться. Чтобы обеспечить коммуникативное взаимодействие, Владислава Жуковская разработала методы распознавания жестового языка по визуальным данным с применением нейронных сетей.

«Для того чтобы воплотить в жизнь программу распознавания жестов, я использовала модифицированную модель нейронной сети LSTM, работающую на основе выделения ключевых точек ладони. Затем перемещения этих точек отслеживаются. Система достоверно умеет понимать 6 различных жестов. В настоящее время я продолжаю работу над наполнением базы жестов для того, чтобы система могла понимать больше слов, затем предстоит разбираться, как распознавать предложения, ведь, зачастую паузы в жестовой речи минимальны или отсутствуют. В моих планах продолжить работу уже в магистратуре», — сообщила Владислава Жуковская , автор работы.

Отметим, работа выполнена в рамках междисциплинарного сотрудничества Института космических и информационных технологий и Института филологии и языковой коммуникации СФУ.

«В сентябре со мной связалась директор Института филологии и языковой коммуникации Куликова Людмила Викторовна. Мы обсудили возможное междисциплинарное сотрудничество ИКИТ и ИФиЯК. Среди всех задач, Владиславу заинтересовало распознавание жестов по визуальным данным. Оказалось, что язык жестов существенно отличается в разных регионах России, и наш Сибирский регион не исключение, поэтому распознавание жестов является сложной и интересной задачей», — поделилась Анна Пятаева , научный руководитель, доцент кафедры систем искусственного интеллекта ИКИТ.

Добавим, дипломная работа «Разработка методов распознавания русского языка по видеопоследовательностям с учётом языкового диалекта Сибирского региона» Владиславы Жуковской стала победителем Всероссийского инженерного конкурса в номинации «Лучшая выпускная квалификационная работа бакалавра».