WiMi Hologram Cloud Inc. ha anunciado el desarrollo de un sistema de interacción de realidad virtual multicanal. Un sistema de interacción multicanal es un enfoque colaborativo que combina dos o más canales de entrada (por ejemplo, voz, vídeo, háptica y gestos) en un solo sistema, utilizando plenamente diferentes canales sensoriales humanos para que la interacción sea más natural y eficaz. En un sistema de interacción multicanal, los usuarios pueden utilizar métodos de interacción naturales como la voz, los gestos, los ojos, las expresiones, los movimientos de los labios, etc., para trabajar en colaboración con el sistema informático.

Tanto los humanos como los ordenadores participan activamente en el intercambio de información. Existen varias formas de comunicación en serie/paralelo y complementarias/independientes entre los canales de entrada. La interacción persona-ordenador converge hacia la forma de interacción persona-ordenador, que mejora sustancialmente la naturalidad y la eficacia de la interacción, y ésta será la forma principal de interacción persona-ordenador en realidad virtual en el futuro.

El uso de la interacción multicanal en la realidad virtual tiene ventajas evidentes. Reduce el acoplamiento y la carga cognitiva del usuario, mejora significativamente la tasa de reconocimiento de las entradas y proporciona al usuario métodos de entrada flexibles para mejorar la eficacia de la interacción. El sistema permite a los usuarios interactuar simultáneamente utilizando diferentes canales basados en la voz, la postura o la entrada háptica.

Además, para la entrada multicanal también se utilizan elementos como el reconocimiento de la expresión facial o la lectura de labios. Las interfaces multicanal pueden combinar las ventajas de los canales individuales o cambiar de canal en función del contexto del entorno. Dado que la tecnología multicanal fusiona flujos de entrada de varios canales, el uso de la tecnología de interacción multicanal en la realidad virtual puede mejorar significativamente el rendimiento del control del sistema.

Y hay dos formas principales de fusión multicanal, la fusión de características y la fusión semántica. La fusión de características se basa en los datos de entrada originales fusionados a nivel de señal, y este enfoque es aplicable cuando los canales conectados están estrechamente acoplados. La fusión semántica es el proceso de mapear los datos de entrada en interpretaciones semánticas, adquiriendo el flujo de información de entrada de los canales de entrada y construyendo una representación unificada de los datos mediante un preprocesamiento preliminar.

La interacción persona-ordenador es la relación interactiva entre el sistema y el usuario, que utiliza el lenguaje del diálogo entre humanos y ordenadores para completar el proceso de intercambio de información entre humanos y ordenadores de alguna forma interactiva. En la HCI, el comportamiento de interacción natural de los humanos y el cambio de estado del espacio físico son patrones multicanal. El aprendizaje profundo hará que el sistema establecido sea más inteligente para la HCI en escenas de RV, ya sea el reconocimiento del habla, el reconocimiento de emociones o el diálogo entre humanos y ordenadores.

El sistema de interacción de WiMi puede mejorar la capacidad de los modelos informáticos para reconocer, clasificar y analizar comportamientos confusos. Lleva el modo HCI en la RV a desarrollarse gradualmente hacia la inteligencia, la humanización y el escenario, y construye un entorno humano-ordenador de realidad virtual armonioso y natural.