WiMi Hologram Cloud Inc. ha anunciado el desarrollo de una interfaz cerebro-ordenador (BCI) basada en la integración de datos multimodales EEG-fNIRS para mejorar el rendimiento y la precisión de la integración de datos multimodales EEG-fNIRS. La integración multimodal de datos ha sido un tema candente en el campo de la inteligencia artificial en los últimos años, y su principal objetivo es combinar eficazmente datos o información de distintas fuentes para proporcionar una base mejor para la toma de decisiones que una única fuente de datos. La electroencefalografía (EEG) y la espectroscopia funcional del infrarrojo cercano (fNIRS) son dos técnicas de uso común para detectar señales neuronales en el cerebro, y cada una de ellas tiene sus propias ventajas y limitaciones.

El EEG puede proporcionar información de alta resolución sobre la actividad neuronal cerebral, pero su resolución espacial es relativamente baja; aunque la fNIRS tiene una resolución temporal baja, puede proporcionar información hemodinámica cerebral de alta resolución espacial. El equipo de WiMi ha descubierto que la combinación de estas dos tecnologías puede compensar sus respectivas deficiencias y proporcionar una información neural cerebral más completa y precisa. WiMi utilizó un algoritmo de mejora binaria para lograr una integración eficaz de los datos de EEG y fNIRS.

Se trata de un modelo de aprendizaje profundo con un mecanismo de autoatención que aprende automáticamente las correlaciones intrínsecas de los datos, mejorando la calidad y la eficacia de la integración de datos. Además, WiMi ha diseñado un marco algorítmico único que puede manejar datos multimodales a gran escala y satisfacer los requisitos de aplicación en diferentes escenarios. Esto suele incluir pasos como el filtrado y la normalización.

Además, debido a las diferentes resoluciones temporales de los dispositivos EEG y fNIRS, también se requiere una operación de alineación temporal. Extracción de características: La combinación de datos permite extraer características más ricas y precisas de la actividad neuronal cerebral. Las características útiles se extraen de los datos preprocesados.

Para los datos de EEG, pueden extraerse características del dominio temporal, del dominio de la frecuencia y del dominio de la frecuencia temporal, como la densidad espectral de potencia media, características del dominio temporal (por ejemplo, media, varianza), coeficientes de la transformada wavelet, etc. Para los datos fNIRS son variaciones del flujo luminoso, etc. Integración de datos: En la integración de datos multimodales EEG-fNIRS, las características se combinan para obtener una representación de características multimodales completa.

La integración de características multimodales consiste principalmente en combinar las características extraídas de los datos EEG y fNIRS para obtener una información más completa y precisa sobre las actividades cerebrales. Mediante el algoritmo de mejora binaria, un modelo de aprendizaje profundo basado en el mecanismo de autoatención, puede aprender automáticamente la correlación intrínseca de los datos, realizando así el procesamiento eficaz de datos de alta dimensión y estructura compleja. Entrenamiento del modelo: Proceso de entrenamiento del modelo, utilizando métodos como la validación cruzada para la selección de los parámetros del modelo y la evaluación del rendimiento.

Realización de aplicaciones: A partir de las características extraídas, se realizan diversas aplicaciones. Por ejemplo, el uso de estas características para entrenar modelos de aprendizaje automático para la predicción y el control de la actividad neuronal cerebral. Esta tecnología proporcionará un fuerte apoyo técnico para la investigación y la aplicación en los campos de la ciencia del cerebro, la ingeniería neuronal y la atención médica clínica.

Puede ayudar a los investigadores a comprender más profundamente la ley de la actividad neuronal del cerebro, proporcionar a los médicos clínicos una base más precisa para el diagnóstico y el tratamiento, y también puede aplicarse a las interfaces cerebro-ordenador, la realidad virtual y otros campos de alta tecnología para promover su progreso tecnológico.