NOIR: Robots inteligentes operados por señales neuronales para actividades cotidianas

Tabla de enlaces

Resumen e introducción

Interfaz cerebro-robot (BRI): antecedentes

El sistema NOIR

experimentos

Resultados

Conclusión, limitaciones y preocupaciones éticas

Agradecimientos y referencias

Apéndice 1: Preguntas y respuestas sobre NOIR

Apéndice 2: Comparación entre diferentes dispositivos de registro cerebral

Apéndice 3: Configuración del sistema

Apéndice 4: Definiciones de tareas

Apéndice 5: Procedimiento experimental

Apéndice 6: Detalles de los algoritmos de decodificación

Apéndice 7: Detalles del algoritmo de aprendizaje de robots

Abstracto

Presentamos los robots inteligentes operados por señales neuronales (NOIR), un sistema inteligente de interfaz cerebro-robot de uso general que permite a los humanos ordenar a los robots que realicen actividades cotidianas a través de señales cerebrales. A través de esta interfaz, los humanos comunican sus objetos de interés y acciones a los robots mediante electroencefalografía (EEG). Nuestro novedoso sistema demuestra su éxito en una amplia gama de 20 desafiantes actividades domésticas cotidianas, que incluyen cocinar, limpiar, cuidado personal y entretenimiento. La eficacia del sistema mejora gracias a la integración sinérgica de algoritmos de aprendizaje de robots, lo que permite a NOIR adaptarse a usuarios individuales y predecir sus intenciones. Nuestro trabajo mejora la forma en que los humanos interactúan con los robots, reemplazando los canales tradicionales de interacción con comunicación neuronal directa. Sitio web del proyecto: https://noir-corl.github.io/

Palabras clave: Interfaz Cerebro-Robot; Interacción humano-robot

1. Introducción

Las interfaces cerebro-robot (BRI) son un logro supremo en el ámbito del arte, la ciencia y la ingeniería. Esta aspiración, que ocupa un lugar destacado en la ficción especulativa, las obras de arte innovadoras y los estudios científicos innovadores, implica la creación de sistemas robóticos que operen en perfecta sinergia con los humanos. Un componente crítico de tales sistemas es su capacidad para comunicarse con los humanos. En la colaboración entre humanos y robots y en el aprendizaje de robots, los humanos comunican sus intenciones a través de acciones [1], pulsaciones de botones [2, 3], miradas [4–7], expresiones faciales [8], lenguaje [9, 10], etc. [11 , 12]. Sin embargo, la perspectiva de la comunicación directa a través de señales neuronales destaca como el medio más emocionante pero desafiante.

Presentamos robots inteligentes operados por señales neuronales (NOIR), un sistema BRI inteligente de uso general con electroencefalografía (EEG) no invasiva. El principio principal de este sistema es la autonomía jerárquica compartida, donde los humanos definen objetivos de alto nivel mientras el robot actualiza los objetivos mediante la ejecución de comandos motores de bajo nivel. Aprovechando los avances en neurociencia, robótica y aprendizaje automático, nuestro sistema se distingue por ir más allá de los intentos anteriores y realizar las siguientes contribuciones.

En primer lugar, NOIR es de uso general en su diversidad de tareas y accesibilidad. Mostramos que los humanos pueden realizar una amplia gama de 20 actividades diarias, en contraste con los sistemas BRI existentes que generalmente se especializan en una o unas pocas tareas o existen únicamente en simulación [13-22]. Además, el sistema puede ser utilizado por la población en general, con un mínimo de formación.

En segundo lugar, la "I" en NOIR significa que nuestros robots son inteligentes y adaptables. Los robots están equipados con una biblioteca de diversas habilidades, lo que les permite realizar acciones de bajo nivel sin una densa supervisión humana. Los objetivos de comportamiento humano pueden ser comunicados, interpretados y ejecutados de forma natural por los robots con habilidades primitivas parametrizadas, como Pick(obj-A) o MoveTo(x,y). Además, nuestros robots son capaces de aprender los objetivos previstos por los humanos durante su colaboración. Mostramos que al aprovechar el progreso reciente en los modelos básicos, podemos hacer que dicho sistema sea más adaptable con datos limitados. Mostramos que esto puede aumentar significativamente la eficiencia del sistema.

Las contribuciones técnicas clave de NOIR incluyen un canal modular de decodificación de señales neuronales para intenciones humanas. Decodificar los objetivos humanos (por ejemplo, “coger la taza del asa”) a partir de señales neuronales es un gran desafío. Descomponemos la intención humana en tres componentes: qué objeto manipular, cómo interactuar con el objeto y dónde interactuar, y mostramos que dichas señales pueden decodificarse a partir de diferentes tipos de datos neuronales. Estas señales descompuestas corresponden naturalmente a habilidades robóticas parametrizadas y pueden comunicarse de manera efectiva a los robots.

En 20 actividades domésticas que implicaban manipulaciones móviles o de mesa, tres sujetos humanos utilizaron con éxito nuestro sistema para realizar estas tareas con sus señales cerebrales. Demostramos que el aprendizaje de robots con pocos disparos de los humanos puede mejorar significativamente la eficiencia de nuestro sistema. Este enfoque para construir sistemas robóticos inteligentes, que utilizan señales del cerebro humano para la colaboración, tiene un inmenso potencial para el desarrollo de tecnologías de asistencia críticas para personas con o sin discapacidades y para mejorar su calidad de vida.