99,7% de precisión de reconocimiento, ETH Zurich investiga TapID, una solución de entrada de pulsera de realidad virtual

2021-03-23 El artículo se tradujo en software.

---

Facebook compartió anteriormente a través de una publicación de blog un dispositivo tipo pulsera diseñado para explorar el futuro de la interacción AR. Puede interpretar las señales nerviosas transmitidas desde la muñeca al antepié como comandos digitales y permitirle controlar las funciones del dispositivo. Esta empresa cree que se espera que la entrada de fricción ultrabaja descrita cambie la forma en que nos comunicamos con personas cercanas y lejanas.

Según un artículo publicado hace unos días, ETH Zurich también está explorando una solución de entrada de pulsera similar, pero el caso de uso objetivo es un casco de realidad virtual. Además, este tipo de dispositivo de pulsera no interpreta las señales nerviosas, pero utiliza un sensor de inercia incorporado para captar las señales de vibración cuando las yemas de los dedos del usuario tocan ligeramente la superficie física.

El sistema de realidad virtual actual suele utilizar una cámara para capturar la entrada del controlador o el gesto de desplazamiento del usuario, pero el equipo cree que esta no es la solución óptima, por lo que propone una entrada táctil con la que los usuarios están muy familiarizados en la era de teléfonos inteligentes.

Como se muestra en la figura anterior, la solución denominada TapID está equipada con un microcontrolador de bajo consumo DA14695 de Dialog Semiconductor. Este SoC muestreará los dos acelerómetros de baja potencia LIS2DH de STMicroelectronics integrados en la pulsera flexible de PCB y luego transmitirá los datos relevantes al componente informático para calcular y reconocer la acción de toque del dedo relacionada a través del clasificador de red neuronal.

Entre ellos, la arquitectura del clasificador de redes neuronales incluye cinco bloques de capas convolucionales que constituyen la función de activación softmax y dos capas lineales finales. Dado que la ruta de propagación de la señal de vibración cuando cada dedo realiza una acción de toque en diferentes posiciones es diferente, el dispositivo puede usar una tubería de aprendizaje automático para analizar esta señal sutil proporcionada por el sensor para detectar la acción de toque específica e identificar la acción de activación. Dedo.

Los investigadores señalaron que en la prueba real que involucró a 18 sujetos, la precisión de reconocimiento de TapID pudo alcanzar el 99,7% .

Otro , el equipo de ETH Zurich hizo cuatro aplicaciones prototipo:

Organización de imágenes: permite a los usuarios arrastrar y soltar imágenes y cambiar su tamaño.

Edición de documentos: se proporciona un componente de entrada de teclado virtual para que los usuarios editen documentos.

Entrada numérica: teclado numérico que se utiliza para introducir números.

Tocar el piano: permite a los usuarios tocar teclas de piano virtuales.

Documento relacionado: TapID: Interacción táctil rápida en realidad virtual usando Wearable Sensing

El equipo cree que el método descrito en el documento es un complemento factible del sistema de realidad virtual existente, que puede brindar a los usuarios una solución de entrada táctil que es muy familiar en la era de los teléfonos inteligentes. Sin embargo, el equipo también reconoció que el programa requiere una mayor optimización y mejora.