«Сбер» представил новые нейросети для распознавания русского жестового языка. эти модели точно интерпретируют жесты и переводят их в текстовый формат.

разработчики из SberDevices создали прототип, использующий генеративную языковую модель для коммуникации на жестовом языке. это может существенно упростить взаимодействие с ИИ для людей с проблемами слуха или речи.

на основе нейросетей, разработанных для распознавания русского языка жестов, были созданы модели для американского языка жестов, занявшие первое место в публичном рейтинге WLASL-2000.

для сбора были отобраны около 7,5 тысяч фраз из разных разговорников, субтитров интервью Всероссийского общества глухих и электронных библиотек. отдавалось предпочтение фразам, часто использующимся в повседневности. в результате было собрано более 70 часов видео и около 240 тысяч жестов.

ИИ-модели открывают новые возможности в сфере коммуникации. подобные инновации могут применяться в разных сферах: от многофункциональных центров до медицины и банков.