Технологии бесконтактного взаимодействия человека с компьютером и управления жестами быстро развиваются и внедряются. По оценкам некоторых организаций, к 2025 году размер этого рынка может достигнуть 30,6 млрд долларов США. Существует множество факторов, движущих отраслью, включая развитие технологий, спрос на бесконтактные системы Интернета вещей (например, причины предотвращения эпидемий) и общий спрос на неограниченный опыт (например, виртуальную реальность и дополненную реальность).
Эта область быстро развивается, особенно механизм отслеживания рук. Отслеживание рук может фиксировать движение руки пользователя и позволяет разработчикам использовать соответствующие данные для создания бесконтактного пользовательского интерфейса. Отслеживание рук также является ключевым компонентом пространственных вычислений, которые могут помочь людям достичь естественного взаимодействия с трехмерным миром.
В ответ на эту ситуацию Qualcomm уже сотрудничал с Ultraleap, экспертом в технологиях отслеживания и тактильных ощущений, чтобы совместно создать эффективное решение для взаимодействия рук. Например, команда Qualcomm будет сотрудничать с Ultraleap (образованной в результате слияния Leap Motion и Ultrahaptics) в 2020 году, чтобы усердно работать над интеграцией технологии отслеживания рук Ultraleap в решение Qualcomm XR.
Несколько дней назад Брайан Фогелсанг, глава отдела стратегии и партнерства в XR-бизнесе Qualcomm, написал статью об основах отслеживания рук и инновационных решениях Ultraleap и обсудил, как сотрудничество между Ultraleap и Qualcomm поможет разработчикам XR. Ниже приводится конкретная структура Yingwei.com:
1. Откройте новый мир обеими руками
Пространственные вычисления позволяют взаимодействию с пользователем выйти за рамки традиционных компьютерных периферийных устройств и сенсорных экранов, а среда вокруг пользователя станет полотном пользовательского интерфейса. Среди них взаимодействие в основном состоит из прямых операций и ответов между людьми и виртуальными объектами. (Например, действие нажатия виртуальной кнопки). Используя уже знакомый физический опыт, мы можем естественно и легко манипулировать виртуальными объектами обеими руками, что может минимизировать кривую обучения для новых пользователей.
Отслеживание рук также может улучшить ощущение полезности, реализма и погружения в виртуальное взаимодействие, и это реализуется в реальном времени. Объектами можно манипулировать с помощью ряда взаимодействий, наиболее естественных для пользователя, таких как толкание, щипание и хватание. Виртуальные объекты подобны физическим объектам и могут четко передавать пользователям назначение и атрибуты объектов. Например, бороздки на поверхности сферы побуждают пользователей засовывать пальцы внутрь и выполнять действия по выбору. Кроме того, это взаимодействие может быть дополнено абстрактными жестами или жестами, такими как вытягивание пальцев и ладоней вверх, чтобы активировать меню, или поднятие определенного количества пальцев для запуска действий по сценарию.
Таким образом, теперь возможна серия привлекательных новых взаимодействий, многие из которых особенно подходят для управления интерфейсами и меню, физического взаимодействия с виртуальными объектами и самовыражения в социальных сетях виртуальной реальности. Примеры включают:
Используйте пальцы для нажатия виртуальных кнопок или других элементов пользовательского интерфейса.
Зажмите виртуальные объекты для точного физического управления, например, зажимая и отпуская пункты меню, растягивая или вытягивая небольшие цели или интерактивные якоря для объектов
Разрешить пользователям хватать, толкать, бросать, подбирать, перемещать и рвать объекты наиболее естественным образом
Вы можете управлять виртуальными объектами способами, которые невозможны с физическими объектами, например изменять размер объекта обеими руками или хранить его в бесконечном виртуальном кармане.
Может выполнять определенные функции с помощью уникальных специальных абстрактных жестов, таких как открытие меню
У отслеживания рук есть дополнительное преимущество: пользователи, которые не привыкли к традиционным периферийным устройствам (например, портативным контроллерам виртуальной реальности), могут более легко получить доступ к приложению. Отслеживание рук может значительно сократить кривую обучения, а это означает, что любой может напрямую управлять виртуальным контентом и сразу же интуитивно взаимодействовать с виртуальным контентом.
2. Элементы и проблемы отслеживания рук
Для отслеживания рук требуются два основных элемента: датчики для отслеживания суставов и программное обеспечение для преобразования и анализа данных датчиков. На протяжении многих лет сбор данных можно было осуществлять с помощью различных периферийных устройств, включая сенсорные перчатки и портативные контроллеры. Но и то, и другое сложно добиться естественного ощущения при работе руками и пальцами. Для решения этой проблемы могут пригодиться самые современные решения для отслеживания рук на основе камеры.
Решение для отслеживания рук на основе камеры может захватывать изображения рук и пальцев, используя различные типы алгоритмов для анализа и потокового преобразования их в кросс-кадры суставов, а также направления и положения костей, такие как карты глубины и 3D-изображения.
Из-за большого количества элементов, которые необходимо идентифицировать и отслеживать в реальном времени, отслеживание рук очень сложно. Каждая рука содержит 27 различных костей и суставов, и они могут двигаться одновременно. Объекты в реальном мире и даже проблемы с освещением могут препятствовать захвату оппонента камеры, или рука пользователя может находиться далеко от поля зрения камеры.
Для решений слежения за руками необходимо решить следующую проблему: при сохранении высокой производительности и низкой задержки движения фотонов, при попытке решить вышеупомянутые проблемы, особенно для уменьшения укачивания.
3. Ultraleap
Первоначальным решением для отслеживания рук Ultraleap был Leap Motion Controller. Это инновационное устройство оснащено двумя инфракрасными камерами и несколькими светодиодами. Светодиод освещает руку инфракрасным светом, а инфракрасная камера записывает соответствующий свет, а затем система может преобразовать его в данные отслеживания руки:
Контроллер Leap Motion Controller также можно использовать в XR, прикрепив его к гарнитуре XR, чтобы светодиод и камеру устройства можно было расположить и прикрепить к движению головы пользователя.
Платформа отслеживания рук Ultraleap пятого поколения (в настоящее время пятое поколение, названное Gemini) предоставляет алгоритм, который анализирует данные и преобразует их в информацию отслеживания рук. Разработчики могут использовать SDK, предоставляемый Ultraleap, для доступа к соответствующей информации. Информация поддерживает несколько языков и платформ, включая java, C ++, Unity и т. Д. Плагины Unity включают мощный движок взаимодействия Ultraleap, который позволяет разработчикам создавать физические пользовательские интерфейсы, такие как 3D-меню, которые можно использовать для пространственных вычислений.
Stereo IR 170 - это оптический модуль отслеживания рук нового поколения Ultraleap, который имеет более широкое поле обзора и более широкий диапазон отслеживания. Stereo IR 170 можно интегрировать в аппаратные решения, дисплеи и гарнитуры AR / VR / XR.
Ввиду успеха прошлых решений Ultraleap, Ultraleap теперь впервые отделяет Gemini от своего оборудования, и мы работали с Ultraleap и интегрируем его в платформу Qualcomm Snapdragon XR2 5G.
Это поможет внедрить ведущее в отрасли отслеживание рук на нашу платформу XR и позволит разработчикам XR использовать Gemini для создания своих собственных устройств без ограничений. Разработчики могут создать устройство на базе Ultraleap Stereo IR 170 или использовать другую систему камер, например внешнюю камеру эталонного дизайна Snapdragon XR2 HMD.
4. Резюме
Отслеживание рук играет жизненно важную роль в человеко-машинном интерфейсе и открывает совершенно новый способ взаимодействия. Интеграция платформы Ultraleap Gemini и платформы Snapdragon XR2 5G поможет большему количеству разработчиков XR освоить первоклассную высокопроизводительную функцию отслеживания рук.
© 2020 www.ourvrworld.com