Autores:  (1) Ruohan Zhang, Departamento de Ciência da Computação, Universidade de Stanford, Instituto de IA Centrada no Ser Humano (HAI), Universidade de Stanford e com contribuições iguais; zharu@stanford.edu;  (2) Sharon Lee, Departamento de Ciência da Computação, Universidade de Stanford e com contribuições iguais; zharu@stanford.edu;  (3) Minjune Hwang, Departamento de Ciência da Computação, Universidade de Stanford e com contribuição igual; zharu@stanford.edu;  (4) Ayano Hiranaka, Departamento de Engenharia Mecânica, Universidade de Stanford e com contribuição igual; zharu@stanford.edu;  (5) Chen Wang, Departamento de Ciência da Computação, Universidade de Stanford;  (6) Wensi Ai, Departamento de Ciência da Computação, Universidade de Stanford;  (7) Jin Jie Ryan Tan, Departamento de Ciência da Computação, Universidade de Stanford;  (8) Shreya Gupta, Departamento de Ciência da Computação, Universidade de Stanford;  (9) Yilun Hao, Departamento de Ciência da Computação, Universidade de Stanford;  (10) Ruohan Gao, Departamento de Ciência da Computação, Universidade de Stanford;  (11) Anthony Norcia, Departamento de Psicologia, Universidade de Stanford  (12) Li Fei-Fei, 1Departamento de Ciência da Computação, Universidade de Stanford e Instituto de IA Centrada no Ser Humano (HAI), Universidade de Stanford;  (13) Jiajun Wu, Departamento de Ciência da Computação, Universidade de Stanford e Instituto de IA Centrada no Ser Humano (HAI), Universidade de Stanford.  Tabela de Links   Resumo e Introdução   Interface Cérebro-Robô (BRI): Antecedentes   O Sistema NOIR   Experimentos   Resultados   Conclusão, limitações e preocupações éticas   Agradecimentos e Referências   Apêndice 1: Perguntas e Respostas sobre NOIR   Apêndice 2: Comparação entre diferentes dispositivos de gravação cerebral   Apêndice 3: Configuração do Sistema   Apêndice 4: Definições de Tarefas   Apêndice 5: Procedimento Experimental   Apêndice 6: Detalhes dos algoritmos de decodificação   Apêndice 7: Detalhes do Algoritmo de Aprendizagem do Robô  Abstrato  Apresentamos Robôs Inteligentes Operados por Sinais Neurais (NOIR), um sistema inteligente de interface cérebro-robô de uso geral que permite que humanos comandem robôs para realizar atividades cotidianas por meio de sinais cerebrais. Através desta interface, os humanos comunicam os objetos de interesse e ações pretendidos aos robôs usando eletroencefalografia (EEG). Nosso novo sistema demonstra sucesso em uma ampla gama de 20 atividades domésticas cotidianas desafiadoras, incluindo cozinhar, limpar, cuidados pessoais e entretenimento. A eficácia do sistema é melhorada pela sua integração sinérgica de algoritmos de aprendizagem de robôs, permitindo que o NOIR se adapte aos utilizadores individuais e preveja as suas intenções. Nosso trabalho aprimora a forma como os humanos interagem com os robôs, substituindo os canais tradicionais de interação pela comunicação neural direta. Site do projeto: https://noir-corl.github.io/    Interface Cérebro-Robô; Interação Humano-Robô  Palavras-chave:  1. Introdução  As interfaces cérebro-robô (BRIs) são uma conquista culminante no domínio da arte, ciência e engenharia. Esta aspiração, que aparece com destaque na ficção especulativa, nas obras de arte inovadoras e nos estudos científicos inovadores, implica a criação de sistemas robóticos que operem em perfeita sinergia com os humanos. Um componente crítico de tais sistemas é a sua capacidade de comunicar com os seres humanos. Na colaboração humano-robô e no aprendizado do robô, os humanos comunicam suas intenções por meio de ações [1], pressionamentos de botões [2, 3], olhar [4–7], expressão facial [8], linguagem [9, 10], etc [11 , 12]. No entanto, a perspectiva de comunicação direta através de sinais neurais destaca-se como o meio mais emocionante, mas desafiador.  Apresentamos Robôs Inteligentes Operados por Sinais Neurais (NOIR), um sistema BRI inteligente de uso geral com eletroencefalografia (EEG) não invasiva. O princípio primário deste sistema é a autonomia compartilhada hierárquica, onde os humanos definem objetivos de alto nível enquanto o robô atualiza os objetivos através da execução de comandos motores de baixo nível. Aproveitando o progresso da neurociência, da robótica e do aprendizado de máquina, nosso sistema se distingue por ir além das tentativas anteriores de fazer as seguintes contribuições.  Primeiro, o NOIR é de uso geral em sua diversidade de tarefas e acessibilidade. Mostramos que os humanos podem realizar uma ampla gama de 20 atividades diárias, em contraste com os sistemas BRI existentes que são normalmente especializados em uma ou algumas tarefas ou existem apenas em simulação [13–22]. Além disso, o sistema pode ser utilizado pela população em geral, com um mínimo de treinamento.  Em segundo lugar, o “I” em NOIR significa que os nossos robôs são inteligentes e adaptáveis. Os robôs estão equipados com uma biblioteca de diversas habilidades, permitindo-lhes realizar ações de baixo nível sem supervisão humana densa. Os objetivos comportamentais humanos podem ser naturalmente comunicados, interpretados e executados pelos robôs com habilidades primitivas parametrizadas, como Pick(obj-A) ou MoveTo(x,y). Além disso, nossos robôs são capazes de aprender os objetivos pretendidos pelos humanos durante sua colaboração. Mostramos que, ao aproveitar o progresso recente nos modelos básicos, podemos tornar esse sistema mais adaptável com dados limitados. Mostramos que isso pode aumentar significativamente a eficiência do sistema.  As principais contribuições técnicas do NOIR incluem um pipeline modular de decodificação de sinais neurais para intenções humanas. Decodificar os objetivos pretendidos pelos humanos (por exemplo, “pegar a caneca pela alça”) a partir de sinais neurais é extremamente desafiador. Decompomos a intenção humana em três componentes: qual objeto manipular, como interagir com o objeto e onde interagir, e mostramos que tais sinais podem ser decodificados a partir de diferentes tipos de dados neurais. Esses sinais decompostos correspondem naturalmente às habilidades parametrizadas do robô e podem ser comunicados de forma eficaz aos robôs.  Em 20 atividades domésticas envolvendo manipulações de mesa ou móveis, três seres humanos usaram com sucesso nosso sistema para realizar essas tarefas com seus sinais cerebrais. Demonstramos que o aprendizado de robôs com poucos disparos com humanos pode melhorar significativamente a eficiência do nosso sistema. Esta abordagem à construção de sistemas robóticos inteligentes, que utiliza sinais do cérebro humano para colaboração, tem um imenso potencial para o desenvolvimento de tecnologias de assistência críticas para indivíduos com ou sem deficiência e para melhorar a sua qualidade de vida.  Este artigo está   sob licença CC 4.0. disponível no arxiv

EScholar Technologies

EScholar

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Boost your HackerNoon story @ $159.99! 🚀

NOIR: Robôs Inteligentes Operados por Sinais Neurais para Atividades Diárias

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Uma breve introdução à teoria do cérebro de Boltzmann

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Uma breve introdução à teoria do cérebro de Boltzmann

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps