NOIR: Robôs Inteligentes Operados por Sinais Neurais para Atividades Diárias

Tabela de Links

Resumo e Introdução

Interface Cérebro-Robô (BRI): Antecedentes

O Sistema NOIR

Experimentos

Resultados

Conclusão, limitações e preocupações éticas

Agradecimentos e Referências

Apêndice 1: Perguntas e Respostas sobre NOIR

Apêndice 2: Comparação entre diferentes dispositivos de gravação cerebral

Apêndice 3: Configuração do Sistema

Apêndice 4: Definições de Tarefas

Apêndice 5: Procedimento Experimental

Apêndice 6: Detalhes dos algoritmos de decodificação

Apêndice 7: Detalhes do Algoritmo de Aprendizagem do Robô

Abstrato

Apresentamos Robôs Inteligentes Operados por Sinais Neurais (NOIR), um sistema inteligente de interface cérebro-robô de uso geral que permite que humanos comandem robôs para realizar atividades cotidianas por meio de sinais cerebrais. Através desta interface, os humanos comunicam os objetos de interesse e ações pretendidos aos robôs usando eletroencefalografia (EEG). Nosso novo sistema demonstra sucesso em uma ampla gama de 20 atividades domésticas cotidianas desafiadoras, incluindo cozinhar, limpar, cuidados pessoais e entretenimento. A eficácia do sistema é melhorada pela sua integração sinérgica de algoritmos de aprendizagem de robôs, permitindo que o NOIR se adapte aos utilizadores individuais e preveja as suas intenções. Nosso trabalho aprimora a forma como os humanos interagem com os robôs, substituindo os canais tradicionais de interação pela comunicação neural direta. Site do projeto: https://noir-corl.github.io/

Palavras-chave: Interface Cérebro-Robô; Interação Humano-Robô

1. Introdução

As interfaces cérebro-robô (BRIs) são uma conquista culminante no domínio da arte, ciência e engenharia. Esta aspiração, que aparece com destaque na ficção especulativa, nas obras de arte inovadoras e nos estudos científicos inovadores, implica a criação de sistemas robóticos que operem em perfeita sinergia com os humanos. Um componente crítico de tais sistemas é a sua capacidade de comunicar com os seres humanos. Na colaboração humano-robô e no aprendizado do robô, os humanos comunicam suas intenções por meio de ações [1], pressionamentos de botões [2, 3], olhar [4–7], expressão facial [8], linguagem [9, 10], etc [11 , 12]. No entanto, a perspectiva de comunicação direta através de sinais neurais destaca-se como o meio mais emocionante, mas desafiador.

Apresentamos Robôs Inteligentes Operados por Sinais Neurais (NOIR), um sistema BRI inteligente de uso geral com eletroencefalografia (EEG) não invasiva. O princípio primário deste sistema é a autonomia compartilhada hierárquica, onde os humanos definem objetivos de alto nível enquanto o robô atualiza os objetivos através da execução de comandos motores de baixo nível. Aproveitando o progresso da neurociência, da robótica e do aprendizado de máquina, nosso sistema se distingue por ir além das tentativas anteriores de fazer as seguintes contribuições.

Primeiro, o NOIR é de uso geral em sua diversidade de tarefas e acessibilidade. Mostramos que os humanos podem realizar uma ampla gama de 20 atividades diárias, em contraste com os sistemas BRI existentes que são normalmente especializados em uma ou algumas tarefas ou existem apenas em simulação [13–22]. Além disso, o sistema pode ser utilizado pela população em geral, com um mínimo de treinamento.

Em segundo lugar, o “I” em NOIR significa que os nossos robôs são inteligentes e adaptáveis. Os robôs estão equipados com uma biblioteca de diversas habilidades, permitindo-lhes realizar ações de baixo nível sem supervisão humana densa. Os objetivos comportamentais humanos podem ser naturalmente comunicados, interpretados e executados pelos robôs com habilidades primitivas parametrizadas, como Pick(obj-A) ou MoveTo(x,y). Além disso, nossos robôs são capazes de aprender os objetivos pretendidos pelos humanos durante sua colaboração. Mostramos que, ao aproveitar o progresso recente nos modelos básicos, podemos tornar esse sistema mais adaptável com dados limitados. Mostramos que isso pode aumentar significativamente a eficiência do sistema.

As principais contribuições técnicas do NOIR incluem um pipeline modular de decodificação de sinais neurais para intenções humanas. Decodificar os objetivos pretendidos pelos humanos (por exemplo, “pegar a caneca pela alça”) a partir de sinais neurais é extremamente desafiador. Decompomos a intenção humana em três componentes: qual objeto manipular, como interagir com o objeto e onde interagir, e mostramos que tais sinais podem ser decodificados a partir de diferentes tipos de dados neurais. Esses sinais decompostos correspondem naturalmente às habilidades parametrizadas do robô e podem ser comunicados de forma eficaz aos robôs.

Em 20 atividades domésticas envolvendo manipulações de mesa ou móveis, três seres humanos usaram com sucesso nosso sistema para realizar essas tarefas com seus sinais cerebrais. Demonstramos que o aprendizado de robôs com poucos disparos com humanos pode melhorar significativamente a eficiência do nosso sistema. Esta abordagem à construção de sistemas robóticos inteligentes, que utiliza sinais do cérebro humano para colaboração, tem um imenso potencial para o desenvolvimento de tecnologias de assistência críticas para indivíduos com ou sem deficiência e para melhorar a sua qualidade de vida.