NOIR: Robot thông minh vận hành bằng tín hiệu thần kinh cho các hoạt động hàng ngày

Bảng liên kết

Tóm tắt & Giới thiệu

Giao diện não-Robot (BRI): Bối cảnh

Hệ thống NOIR

Thí nghiệm

Kết quả

Kết luận, hạn chế và mối quan tâm về đạo đức

Lời cảm ơn & Tài liệu tham khảo

Phụ lục 1: Hỏi đáp về NOIR

Phụ lục 2: So sánh giữa các thiết bị ghi não khác nhau

Phụ lục 3: Thiết lập hệ thống

Phụ lục 4: Định nghĩa nhiệm vụ

Phụ lục 5: Quy trình thí nghiệm

Phụ lục 6: Chi tiết thuật toán giải mã

Phụ lục 7: Chi tiết về thuật toán Robot Learning

trừu tượng

Chúng tôi giới thiệu Robot thông minh vận hành bằng tín hiệu thần kinh (NOIR), một hệ thống giao diện robot thông minh, có mục đích chung cho phép con người ra lệnh cho robot thực hiện các hoạt động hàng ngày thông qua tín hiệu não. Thông qua giao diện này, con người truyền đạt các đối tượng quan tâm và hành động dự định của họ cho robot bằng cách sử dụng điện não đồ (EEG). Hệ thống mới của chúng tôi thể hiện sự thành công trong một loạt 20 hoạt động gia đình hàng ngày đầy thử thách, bao gồm nấu ăn, dọn dẹp, chăm sóc cá nhân và giải trí. Hiệu quả của hệ thống được cải thiện nhờ sự tích hợp tổng hợp các thuật toán học tập của robot, cho phép NOIR thích ứng với từng người dùng và dự đoán ý định của họ. Công việc của chúng tôi nâng cao cách con người tương tác với robot, thay thế các kênh tương tác truyền thống bằng giao tiếp thần kinh trực tiếp. Trang web của dự án: https://noir-corl.github.io/

Từ khóa: Giao diện não-Robot; Tương tác giữa người và robot

1. Giới thiệu

Giao diện não-robot (BRI) là một thành tựu đỉnh cao trong lĩnh vực nghệ thuật, khoa học và kỹ thuật. Khát vọng này, nổi bật trong tiểu thuyết suy đoán, tác phẩm nghệ thuật sáng tạo và nghiên cứu khoa học đột phá, đòi hỏi phải tạo ra các hệ thống robot hoạt động phối hợp hoàn hảo với con người. Một thành phần quan trọng của các hệ thống như vậy là khả năng giao tiếp với con người. Trong sự hợp tác giữa người và robot và học tập của robot, con người truyền đạt ý định của mình thông qua hành động [1], nhấn nút [2, 3], ánh mắt [4–7], nét mặt [8], ngôn ngữ [9, 10], v.v. [11 , 12]. Tuy nhiên, triển vọng giao tiếp trực tiếp thông qua các tín hiệu thần kinh nổi lên là phương tiện ly kỳ nhất nhưng đầy thách thức.

Chúng tôi giới thiệu Robot thông minh vận hành bằng tín hiệu thần kinh (NOIR), một hệ thống BRI thông minh, có mục đích chung với điện não đồ không xâm lấn (EEG). Nguyên tắc chính của hệ thống này là quyền tự chủ được chia sẻ theo cấp bậc, trong đó con người xác định các mục tiêu cấp cao trong khi robot hiện thực hóa các mục tiêu thông qua việc thực hiện các lệnh vận động cấp thấp. Tận dụng sự tiến bộ trong khoa học thần kinh, robot và học máy, hệ thống của chúng tôi tự tạo sự khác biệt bằng cách vượt xa những nỗ lực trước đây để thực hiện những đóng góp sau.

Đầu tiên, NOIR có mục đích chung là tính đa dạng của nhiệm vụ và khả năng tiếp cận. Chúng tôi cho thấy rằng con người có thể thực hiện một loạt gồm 20 hoạt động hàng ngày, trái ngược với các hệ thống BRI hiện có thường chuyên môn hóa ở một hoặc một vài nhiệm vụ hoặc chỉ tồn tại dưới dạng mô phỏng [13–22]. Ngoài ra, hệ thống này có thể được mọi người sử dụng mà không cần đào tạo nhiều.

Thứ hai, chữ “I” trong NOIR có nghĩa là robot của chúng tôi thông minh và thích nghi. Các robot được trang bị một thư viện các kỹ năng đa dạng, cho phép chúng thực hiện các hành động cấp thấp mà không cần sự giám sát chặt chẽ của con người. Các mục tiêu hành vi của con người có thể được truyền đạt, diễn giải và thực hiện một cách tự nhiên bởi robot với các kỹ năng cơ bản được tham số hóa, chẳng hạn như Pick(obj-A) hoặc MoveTo(x,y). Ngoài ra, robot của chúng tôi có khả năng học hỏi các mục tiêu dự định của con người trong quá trình cộng tác. Chúng tôi cho thấy rằng bằng cách tận dụng những tiến bộ gần đây trong các mô hình nền tảng, chúng tôi có thể làm cho một hệ thống như vậy thích ứng hơn với dữ liệu hạn chế. Chúng tôi cho thấy rằng điều này có thể làm tăng đáng kể hiệu quả của hệ thống.

Những đóng góp kỹ thuật quan trọng của NOIR bao gồm đường dẫn giải mã tín hiệu thần kinh mô-đun cho ý định của con người. Việc giải mã các mục tiêu dự định của con người (ví dụ: “nhặt chiếc cốc từ tay cầm”) từ các tín hiệu thần kinh là vô cùng khó khăn. Chúng tôi phân tách ý định của con người thành ba thành phần: Đối tượng nào cần thao tác, Cách tương tác với đối tượng và Nơi tương tác, đồng thời cho thấy rằng các tín hiệu đó có thể được giải mã từ các loại dữ liệu thần kinh khác nhau. Những tín hiệu bị phân tách này tương ứng một cách tự nhiên với các kỹ năng được tham số hóa của robot và có thể được truyền đạt một cách hiệu quả đến robot.

Trong 20 hoạt động gia đình liên quan đến thao tác trên máy tính bảng hoặc thiết bị di động, ba đối tượng là con người đã sử dụng thành công hệ thống của chúng tôi để hoàn thành các nhiệm vụ này bằng tín hiệu não của họ. Chúng tôi chứng minh rằng việc học hỏi từ con người trong vài lần bắn của robot có thể cải thiện đáng kể hiệu quả của hệ thống của chúng tôi. Cách tiếp cận này nhằm xây dựng các hệ thống robot thông minh, sử dụng tín hiệu não người để cộng tác, có tiềm năng to lớn để phát triển các công nghệ hỗ trợ quan trọng cho những người khuyết tật hoặc không khuyết tật và cải thiện chất lượng cuộc sống của họ.