Алгоритм распознал нарисованный пальцем в воздухе текст

Американские разработчики создали алгоритм, по которому рукописный текст может распознаваться с помощью стереокамеры или специальной перчатки. Он был представлен на конференции CV4ARVR 2020.Такой метод можно применять для ввода данных с использованием VR-шлема.

Ечжоу Ян со своими коллегами из Университета штата Аризона выбрали два устройства, которые способны распознавать непрерывный рукописный текст: специальную перчатку и контроллер Leap Motion. У перчатки на конце указательного пальца находятся акселерометр и гироскоп. Они помогают отслеживать траекторию движения руки.

Контроллер состоит из инфракрасных камер и подсветки. Он передает компьютеру данные по положению всех частей кисти. Независимо от того, каким устройством будет пользоваться человек, единственное, что он должен делать, — писать текст в воздухе. В этот момент устройство собирает данные о траектории и сопоставляет их с данными из датасета.

Разработчики уже протестировали свой алгоритм на рукописном тексте. С помощью инфракрасного контроллера точность распознавания составила 79,7 % для английского языка. Перчатка показала результат в 78,5 %. Для китайского языка результаты оказались выше 87,4 % показал контроллер и 83,4 % — перчатка.

Раньше в VR-шлемах для управления и набора текста использовался  другой контроллер. Человек указывал им на буквы или использовал кнопки. Теперь вводить текст стало гораздо проще. Нужно всего лишь нарисовать символы в воздухе, а система сама преобразует их в необходимый формат, пишет nplus1.

Автор: Мария Гордеева