NOIR: Günlük Faaliyetler için Nöral Sinyalle Çalışan Akıllı Robotlar

Bağlantı Tablosu

Özet ve Giriş

Beyin-Robot Arayüzü (BRI): Arka Plan

NOIR Sistemi

Deneyler

Sonuçlar

Sonuç, Sınırlamalar ve Etik Kaygılar

Teşekkür ve Referanslar

Ek 1: NOIR ile ilgili Sorular ve Cevaplar

Ek 2: Farklı Beyin Kayıt Cihazlarının Karşılaştırması

Ek 3: Sistem Kurulumu

Ek 4: Görev Tanımları

Ek 5: Deneysel Prosedür

Ek 6: Kod Çözme Algoritmalarının Ayrıntıları

Ek 7: Robot Öğrenme Algoritmasının Detayları

Soyut

İnsanların günlük aktivitelerini beyin sinyalleri aracılığıyla gerçekleştirmeleri için robotlara komut vermesini sağlayan, genel amaçlı, akıllı bir beyin-robot arayüz sistemi olan Nöral Sinyalle Çalışan Akıllı Robotları (NOIR) sunuyoruz. Bu arayüz aracılığıyla insanlar, ilgilendikleri nesneleri ve eylemleri elektroensefalografi (EEG) kullanarak robotlara iletir. Yeni sistemimiz, yemek pişirme, temizlik, kişisel bakım ve eğlence dahil olmak üzere 20 zorlu günlük ev etkinliğinden oluşan geniş bir yelpazede başarı göstermektedir. Sistemin etkinliği, robot öğrenme algoritmalarının sinerjik entegrasyonuyla artırılarak NOIR'ın bireysel kullanıcılara uyum sağlamasına ve niyetlerini tahmin etmesine olanak tanıyor. Çalışmalarımız, geleneksel etkileşim kanallarını doğrudan sinirsel iletişimle değiştirerek insanların robotlarla etkileşim kurma biçimini geliştiriyor. Proje web sitesi: https://noir-corl.github.io/

Anahtar Kelimeler: Beyin-Robot Arayüzü; İnsan-Robot Etkileşimi

1. Giriş

Beyin-robot arayüzleri (BRI'ler) sanat, bilim ve mühendislik alanında zirveye ulaşan bir başarıdır. Spekülatif kurguda, yenilikçi sanat eserlerinde ve çığır açan bilimsel çalışmalarda öne çıkan bu istek, insanlarla mükemmel bir sinerji içinde çalışan robotik sistemler yaratmayı gerektiriyor. Bu tür sistemlerin kritik bir bileşeni insanlarla iletişim kurabilme yetenekleridir. İnsan-robot işbirliğinde ve robot öğreniminde, insanlar niyetlerini eylemler [1], düğmelere basma [2, 3], bakışlar [4-7], yüz ifadesi [8], dil [9, 10] vb. [11] yoluyla iletirler. , 12]. Bununla birlikte, sinirsel sinyaller yoluyla doğrudan iletişim olasılığı, en heyecan verici ama zorlu ortam olarak öne çıkıyor.

Non-invaziv elektroensefalografiye (EEG) sahip, genel amaçlı, akıllı bir BRI sistemi olan Nöral Sinyalle Çalışan Akıllı Robotları (NOIR) sunuyoruz. Bu sistemin temel prensibi, insanların yüksek seviyeli hedefleri tanımladığı, robotun ise düşük seviyeli motor komutlarını uygulayarak hedefleri gerçekleştirdiği hiyerarşik paylaşılan özerkliktir. Sinirbilim, robot bilimi ve makine öğrenimindeki ilerlemelerden yararlanan sistemimiz, aşağıdaki katkıları sağlamak üzere önceki girişimlerin ötesine geçerek kendisini farklılaştırıyor.

Birincisi, NOIR görev çeşitliliği ve erişilebilirliği açısından genel amaçlıdır. Tipik olarak bir veya birkaç görevde uzmanlaşmış veya yalnızca simülasyonda var olan mevcut BRI sistemlerinin aksine, insanların 20 günlük günlük aktiviteden oluşan geniş bir diziyi gerçekleştirebildiğini gösteriyoruz [13-22]. Ayrıca sistem minimum düzeyde eğitimle genel nüfus tarafından da kullanılabilir.

İkincisi, NOIR'daki "I" robotlarımızın akıllı ve uyarlanabilir olduğu anlamına gelir. Robotlar, yoğun insan denetimi olmadan düşük seviyeli eylemler gerçekleştirmelerine olanak tanıyan çeşitli becerilerden oluşan bir kütüphaneyle donatılmıştır. İnsan davranışsal hedefleri, Pick(obj-A) veya MoveTo(x,y) gibi parametreli ilkel becerilere sahip robotlar tarafından doğal olarak iletilebilir, yorumlanabilir ve yürütülebilir. Ayrıca robotlarımız, işbirlikleri sırasında insanların amaçladığı hedefleri öğrenme yeteneğine sahiptir. Temel modellerindeki son gelişmelerden yararlanarak böyle bir sistemi sınırlı verilerle daha uyarlanabilir hale getirebileceğimizi gösteriyoruz. Bunun sistemin verimliliğini önemli ölçüde artırabileceğini gösteriyoruz.

NOIR'ın temel teknik katkıları, insan niyetlerine yönelik modüler bir sinir sinyali kod çözme hattını içermektedir. İnsanın amaçladığı hedeflerin (örneğin, "bardağı sapından almak") sinir sinyallerinden çözülmesi son derece zordur. İnsan niyetini üç bileşene ayırıyoruz: Hangi nesneyi manipüle edeceğiz, Nesneyle nasıl etkileşime gireceğiz ve Nerede etkileşime gireceğiz ve bu tür sinyallerin farklı türdeki sinirsel verilerden çözülebileceğini gösteriyoruz. Bu ayrıştırılmış sinyaller doğal olarak parametrelendirilmiş robot becerilerine karşılık gelir ve robotlara etkili bir şekilde iletilebilir.

Masaüstü veya mobil manipülasyonları içeren 20 ev aktivitesinde, üç insan denek, bu görevleri beyin sinyalleriyle gerçekleştirmek için sistemimizi başarıyla kullandı. İnsanlardan birkaç adımlık robot öğreniminin, sistemimizin verimliliğini önemli ölçüde artırabileceğini gösteriyoruz. İşbirliği için insan beyni sinyallerinden yararlanan akıllı robotik sistemler oluşturmaya yönelik bu yaklaşım, engelli veya engelli olmayan bireyler için kritik yardımcı teknolojilerin geliştirilmesi ve yaşam kalitelerinin iyileştirilmesi açısından büyük bir potansiyele sahiptir.