Skrywers:   Jo Lee   Chanyoung Jung   Jiwon Kim   Hojung Cha   Tabel van skakels   OPSOMMING   1 INLEIDING   2 AGTERGROND: OMNIDIREKSIONELE 3D-OBJEKOPSPORING   3 VOORLOPIGE EKSPERIMENT  3.1 Eksperimentopstelling  3.2 Waarnemings  3.3 Opsomming en uitdagings   4 OORSIG VAN PANOPTICUS   5 MEERVOUDIGE OMNIDIREKSIONELE 3D-OBJEKOPSPORING  5.1 Modelontwerp   6 RUIMTELIK-ADAPTIEWE UITVOERING  6.1 Prestasievoorspelling  5.2 Modelaanpassing  6.2 Uitvoeringskedulering   7 IMPLEMENTERING   8 EVALUERING  8.1 Toetsbed en datastel  8.2 Eksperimentopstelling  8.3 Prestasie  8.4 Bestendigheid  8.5 Komponent Analise  8.6 Oorhoofse   9 VERWANTE WERK   10 BESPREKING EN TOEKOMSTIGE WERK   11 GEVOLGTREKKING EN VERWYSINGS   OPSOMMING  3D-objekbespeuring met omnirigtingaansigte maak veiligheidskritiese toepassings soos mobiele robotnavigasie moontlik. Sulke toepassings werk toenemend op hulpbronbeperkte randtoestelle, wat betroubare verwerking fasiliteer sonder kommer oor privaatheid of netwerkvertragings. Om kostedoeltreffende ontplooiing moontlik te maak, is kameras wyd aangeneem as 'n laekoste-alternatief vir LiDAR-sensors. Die rekenaar-intensiewe werklading om hoë werkverrigting van kamera-gebaseerde oplossings te bereik, bly egter uitdagend as gevolg van die berekeningsbeperkings van randtoestelle. In hierdie vraestel bied ons Panopticus aan, 'n noukeurig ontwerpte stelsel vir omnirigting- en kamera-gebaseerde 3D-opsporing op randtoestelle. Panopticus gebruik 'n aanpasbare multi-tak opsporingskema wat rekening hou met ruimtelike kompleksiteite. Om die akkuraatheid binne latensielimiete te optimaliseer, pas Panopticus die model se argitektuur en bedrywighede dinamies aan op grond van beskikbare randhulpbronne en ruimtelike kenmerke. Ons het Panopticus op drie randtoestelle geïmplementeer en eksperimente uitgevoer oor werklike omgewings gebaseer op die publieke selfbestuurdatastel en ons mobiele 360°-kameradatastel. Eksperimentresultate het getoon dat Panopticus akkuraatheid met gemiddeld 62% verbeter gegewe die streng latensiedoelwit van 33ms. Panopticus behaal ook gemiddeld 'n 2.1× latensievermindering in vergelyking met basislyne.   1 INLEIDING  Saam met die vooruitgang in rekenaarvisie en diep neurale netwerke (DNN's), het 3D-objekbespeuring 'n kernkomponent van talle toepassings geword. Byvoorbeeld, outonome voertuie maak staat op presiese en intydse persepsie van voorwerpe in 'n omgewing om veilige navigasieroetes te vestig [55]. Aangesien voorwerpe vanuit enige rigting kan nader, soos in Figuur 1 getoon, is dit van kardinale belang om persepsie deur 'n omvattende 360°-sigveld (FOV) te verseker. Sulke omnirigting-persepsie vereis die verwerking van aansienlike hoeveelhede sensordata en vereis hoë-end rekenaartoestelle met AI versnellers vir intydse verwerking [47]. Onlangs het die vraag na mobiele toepassings wat omnidireksie 3D-voorwerpopsporing gebruik wydverspreid geword. Robotte of hommeltuie wat persoonlike dienste soos toesig verskaf, kan by sulke tegnologie baat vind [16]. Daarbenewens kan die opsporing van omliggende hindernisse en die verskaffing van hoorbare waarskuwings van potensiële gevare mense met gesiggestremdheid help [39, 56]. Hierdie gepersonaliseerde toepassings moet op 'n randtoestel verwerk word om gebruikersprivaatheidskwessies of netwerkbokoste tot die minimum te beperk. Selfs die jongste NVIDIA Jetson Orin-reeks [8], wat gevorderde randrekenaarkrag bied, het egter 6,7× tot 13,5× minder Tensor-kerns vir KI-versnelling in vergelyking met die kragtige A100 [9] wat vir wolkrekenaars gebruik word, wat dieselfde onderliggende GPU-argitektuur het. Verder moet rand-KI-toepassings praktiese faktore soos kostedoeltreffende ontplooiings in ag neem. Gevolglik is baie moeite gedoen om sulke toepassings met laekostekameras te ondersteun [1, 38, 42, 58]. Spesifiek, veelvuldige kameras of 'n mobiele 360°-kamera word gebruik om alomrigting-persepsie te fasiliteer  Edge AI-dienste het 'n wye spektrum van akkuraatheid en latensievereistes. Ten spyte van onlangse vooruitgang, het vorige werke beperkings in die ondersteuning van beide doeltreffendheid en akkuraatheid op hulpbron-beperkte randtoestelle. DeepMix [18] het komplekse DNN-gebaseerde objekbespeuringstake na 'n wolkbediener afgelaai om die berekeningslas op 'n randtoestel te verminder. Die aflaai van omnidireksie-persepsietake kan egter aansienlike randwolk-kommunikasievertraging veroorsaak as gevolg van massiewe data-oordrag. PointSplit [37] ondersteun parallelle werking op rand-GPU en NPU, maar die skema is geoptimaliseer vir 'n spesifieke 3D-opsporingpyplyn wat 'n RGB-D-sensor met beperkte FOV gebruik. Intussen het verskeie metodes [1, 31, 34, 38] die akkuraatheid van kameragebaseerde oplossings verbeter, wat inherente probleme veroorsaak as gevolg van die afwesigheid van 3D-diepte-inligting. 'n Reeks werke [29, 30, 52] het gefokus op die ontwikkeling van DNN's om dieptevoorspelling van RGB-beelde te verbeter. Die aanvaarding van grootskaalse DNN's, soos funksie-ekstraksie-ruggraat met hoë-resolusiebeelde, is ook noodsaaklik vir akkuraatheidverbetering [51]. Die verwerking van veelvuldige rekenaar-intensiewe DNN-take met alomrigting-insette plaas egter aansienlike berekeningseise op hulpbronbeperkte randtoestelle.  In hierdie vraestel stel ons Panopticus voor, 'n stelsel wat die akkuraatheid van alomrigting 3D-voorwerpopsporing maksimeer terwyl aan die vertragingsvereistes op randtoestelle voldoen word. Ons het voorlopig opgemerk dat kamera-gebaseerde 3D-detektors verskillende opsporingsvermoëns het, afhangende van ruimtelike kenmerke, wat deur verskeie faktore soos die aantal of beweging van voorwerpe bepaal word. Die sleutelgedagte van Panopticus is om elke kamera-aansig optimaal te verwerk op grond van die begrip van korttermyndinamika in ruimtelike verspreiding. Byvoorbeeld, 'n kamera-aansig wat 'n paar statiese en nabygeleë voorwerpe bevat, kan met 'n liggewig-inferensie-konfigurasie verwerk word om die latensie te verminder met 'n minimale akkuraatheidsverlies. Die gestoorde latensiemarge kan dan gebruik word om 'n hoëpresterende afleidingskonfigurasie toe te ken aan 'n komplekse aansig waar voorwerpe vinnig of in 'n ver plek beweeg, soos in Figuur 1 getoon  Verskeie uitdagings bestaan in die ontwerp van Panopticus. Eerstens slaag vorige 3D-opsporingsmodelle nie daarin om 'n doeltreffende en dinamiese afleidingskema te verskaf wat in staat is om die inferensiekonfigurasie vir elke kamera-aansig in dieselfde videoraam te onderskei nie, soos ruggraatkapasiteit of die gebruik van verbeterde diepteberaming. Daarbenewens moet die model se argitektuur verstelbaar wees om die verskillende beperkings, soos vertragingsvereistes, op 'n gegewe toestel te akkommodeer. Tweedens, om die akkuraatheid binne latensievereistes te maksimeer, moet die optimale afleidingsopset vir elke kamera-aansig besluit word. Dit vereis 'n runtime-analise van beide veranderinge in ruimtelike verspreiding en die verwagte werkverrigting van inferensiekonfigurasies.   Om argitektoniese en operasionele aanpassings van die model moontlik te maak, stel ons 'n alomrigting 3D-objekbespeuringsmodel met veelvuldige afleidingsvertakkings bekend. Die model verwerk elke aansig deur een van die takke met verskillende opsporingsvermoëns te gebruik, wat fynkorrelige benutting van randrekenaarhulpbronne moontlik maak. Die model se argitektuur is ontwerp om modulêr te wees, wat buigsame ontplooiings moontlik maak deur 'n tak los te maak wat gegewe beperkings oortree. Vir die tweede uitdaging om akkuraatheid binne latensielimiete te maksimeer, stel ons 'n ruimtelike-aanpasbare uitvoeringskema bekend. Tydens looptyd voorspel die skema die werkverrigting van elke tak gebaseer op die verwagte ruimtelike verspreiding van die omliggende voorwerpe. Optimale kombinasies van takke en kamera-aansigte, wat algehele beraamde akkuraatheid maksimeer terwyl die vertragingsdoelwit bereik word, word dan vir afleiding gekies. Ons het Panopticus geïmplementeer op drie randtoestelle met verskillende berekeningsvermoëns. Die stelsel is geëvalueer in verskeie werklike omgewings, soos stedelike paaie en strate, met behulp van 'n publieke outonome bestuur-datastel en ons pasgemaakte mobiele 360°-kamera-toetsbed. Uitgebreide eksperimente het getoon dat Panopticus sy basislyne onder diverse scenario's beter gevaar het in terme van beide opsporing akkuraatheid en doeltreffendheid.  Die sleutelbydraes van ons werk is soos volg: •  Na die beste van ons kennis is Panopticus die eerste omnirigting- en kamera-gebaseerde 3D-objekbespeuringstelsel wat beide akkuraatheid en latensieoptimalisering op hulpbronbeperkte randtoestelle bereik.  • Ons het 'n diepgaande studie gedoen om die verskillende vermoëns van onlangse 3D-verklikkers te verken wat deur diverse kenmerke van voorwerpe en ruimtes beïnvloed word. Panopticus bied fyn beheer oor alomrigtingpersepsie en randhulpbronbenutting, en pas by verskillende ruimtelike kompleksiteite in dinamiese omgewings aan.  • Ons het Panopticus ten volle geïmplementeer as 'n end-tot-end randrekenaarstelsel wat beide 'n publieke selfbestuur gebruik  datastel en ons mobiele 360°-kamera-toetsbed, wat die aanpasbaarheid daarvan by die hulpbronbeperkings van randtoestelle oor 'n reeks werklike toestande wys  Hierdie vraestel is  onder BK deur 4.0 Akte (Erkenning 4.0 Internasionaal) lisensie.   beskikbaar op arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Omnidirectional Technology

omnidirectional's blog

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Hierdie KI-model gee Edge-toestelle oë op die agterkop

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Top Actionable Tips to Grow a Community: More Tips to Monetize

The AI Writing Contest by Bright Data & HackerNoon: Results Announcement 🎉

Thinking for the 21st century

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Top Actionable Tips to Grow a Community: More Tips to Monetize

The AI Writing Contest by Bright Data & HackerNoon: Results Announcement 🎉

Thinking for the 21st century

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps