Нова технологія смарт-каблучок для перекладу жестової мови

Нова технологія перекладу жестової мови: як смарт-каблучки долають бар’єри спілкування

Для людей із порушенням слуху жестова мова — це не просто засіб комунікації, а їхня основна мова. Однак більшість людей із нормальним слухом її не вивчають, що створює значний бар’єр у спілкуванні. Дослідники з Південної Кореї запропонували елегантне рішення цієї проблеми — систему WRSLT (безпровідний каблучковий перекладач жестової мови).

Згідно з дослідженням, опублікованим у журналі Science Advances, нова технологія здатна розпізнавати та перекладати як американську, так і міжнародну жестову мову з точністю понад 88%. При цьому переклад відбувається в реальному часі.

Як працює система?

Кожна смарт-каблучка оснащена тривісним акселерометром, який фіксує рухи пальців. Коли людина виконує жести, сенсори відстежують орієнтацію пальців та рухи руки. Зібрані дані бездротово передаються через Bluetooth на смартфон або комп’ютер, де штучний інтелект аналізує їх і перетворює на текст.

«Система побудована на модульній архітектурі, де кожне кільце працює автономно та передає дані без дротових з’єднань між елементами. Такий підхід дозволяє обробляти не лише статичні жести, а й безперервні послідовності рухів, що дає змогу перекладати цілі фрази без додаткового налаштування для нового користувача», — пояснюють розробники.

Головна перевага WRSLT над існуючими рішеннями — свобода рухів. Сучасні системи перекладу жестової мови часто використовують громіздкі рукавички або дротові сенсорні комплекси, які обмежують природні рухи та потребують індивідуального налаштування. Нова технологія позбавлена цих недоліків.

Чи підходить система для всіх?

Результати тестувань виявилися обнадійливими. Дослідники навчали модель на одній групі користувачів, а потім перевіряли її на іншій. Система продемонструвала точність розпізнавання слів міжнародної жестової мови на рівні 88,5%, а американської — 88,3%. Це високий показник, враховуючи індивідуальні відмінності в жестах різних людей.

«Система використовує модель машинного навчання, яка обробляє сигнали руху пальців відносно гравітації. Це зменшує залежність від індивідуальних особливостей користувача, тому підхід не потребує складного налаштування та показує стабільні результати навіть для нових учасників», — зазначається у технічному описі.

Наразі система розпізнає 100 слів у кожній мові, що є хорошим стартом. У планах розробників — зменшення розмірів каблучок та розширення словникового запасу штучного інтелекту. Це включатиме додавання нових слів та підтримку інших жестових мов. Хоча технологія перебуває на ранньому етапі розвитку, вона є одним із найперспективніших рішень для перекладу жестової мови останніх років.