Ny fifangaroan'ny fikarohana ara-teknika sy ny fiarovana ny tontolo iainana dia mihamitombo haingana, manolotra fitaovana tsy mbola nisy teo aloha mba hanatanterahana ny sasany amin'ireo fanamby ara-toekarena manan-danja indrindra eto amin'izao tontolo izao. Ny fandrosoana farany amin'ity sehatra ity, indrindra amin'ny modely toy ny Google DeepMind's Perch, dia mampiseho tantara mahatalanjona momba ny fiantraikan'ny AI manokana sy ny zava-misy voajanahary amin'ny fampandrosoana AI ao amin'ny sehatra siansa. Ny fampidirana ny Perch 2.0: Leap amin'ny Bioacoustics Nandritra ny androm-potoana, ireo mpiaro ny fiarovana dia miatrika asa mahatsiravina: mamorona tahirin-kevitra momba ny angon-drakitra goavana avy amin'ny ekosystems. Ireo rakitsary ireo, miaraka amin'ny vokalin'ny vorona avy amin'ny vorona, vorona, ondry, vorona, ary trondro, dia manolotra toro-hevitra manan-danja momba ny fisian'ny biby sy ny fahasalamana amin'ny tontolo iainana. Ity no toerana ahafahan'i Perch, modely AI natao hanadihady angon-drakitra bioacoustic, miditra. Ny modely Perch 2.0 novolavolaina dia maneho fandrosoana goavana, manolotra fanamby tsara kokoa amin'ny karazana voromahery avo lenta noho ny teo aloha. Amin'ny maha-zava-dehibe, afaka mifanohitra amin'ny tontolo vaovao, anisan'izany ny fanamby amin'ny rano toy ny vatohara. Ny angon-drakitra fampiofanana dia avo roa heny noho ny dikan'ny teo aloha, mampiditra karazana biby lehibe kokoa, anisan'izany ny biby mamono sy ny ampibia, miaraka amin'ny feo antropogenic avy amin'ny loharanom-baovao toy ny Xeno-Canto sy iNaturalist. Ity fampiofanana fampandrosoana ity dia mamela ny Perch 2.0 hamadika toe-javatra mahery vaika amin'ny an'arivony na an-tapitrisany ora amin'ny angon-drakitra audio. Ny fahasamihafana dia mamela azy hamaly fanontaniana isan-karazany momba ny tontolo iainana, toy ny fanamafisana ny fiterahana vaovao na ny fanombanana ny mponina biby ao amin'ny faritra voafaritra. Ny fanoloran-tena ho an'ny siansa misokatra dia mazava, satria ny Perch 2.0 dia open-source ary azo jerena ao amin'ny Kaggle, manatsara ny fampiasana be dia be amin'ny fiaraha-monina siansa. Hatramin'ny famoahana azy voalohany tamin'ny 2023, ny dikan'ny Perch voalohany dia navoaka mihoatra ny 250.000 fotoana, manampy ny vahaolana misokatra amin'ny fitaovana ho an'ny biolojika miasa, toy ny BirdNet Analyzer avy amin'ny Cornell. Perch efa nanampy ny fahitana lehibe, anisan'izany ny mponina vaovao ao amin'ny Plains Wanderer ao Aostralia, mampiseho ny fiantraikan'ny AI amin'ny fiarovana. Izy io ihany koa dia nahavita mahomby amin'ny famantarana vorona tsirairay sy ny fanaraha-maso ny habetsahan'ny vorona, mety hampihenana ny ilaina amin'ny fikarohana mahazatra sy mahazatra kokoa. Ny "Lesson Bitter" ao amin'ny Bioacoustics: Ny herin'ny fanaraha-maso maharitra Ny fahatsapana manan-danja avy amin'ny fampandrosoana ny Perch 2.0 dia miady hevitra amin'ny fivoaran'ny tendrombelon'ny AI lehibe kokoa: ny fitondran'ny modely fototra lehibe sy miaro ny tenany. Ao amin'ny sehatra toy ny famoahana ny fiteny voajanahary (NLP) sy ny fahitana amin'ny solosaina (CV), ny fandrosoana dia avy amin'ny modely miaro ny tenany izay nianatra tamin'ny habetsaky ny angon-drakitra tsy misy marika, azo ampiharina amin'ny asa samihafa amin'ny fanaraha-maso kely. Na izany aza, ao amin'ny bioacoustics, ny fahombiazana amin'ny Perch 2.0 dia manamafy izay antsoina hoe "The Bittern Lesson Ity fanandramana ity dia mampiseho fa na dia mahery vaika aza ny fomba fiasan'ny tenany, ny fahombiazany dia matetika miankina amin'ny modely lehibe sy ny angon-drakitra tsy misy marika, indraindray an-jatony an-tapitrisany. Ankoatra izany, na dia ny angon-drakitra bioacoustic lehibe toy ny Xeno-Canto sy iNaturalist aza dia kely kokoa. Ankoatra izany, ny fomba fiasan'ny tenany dia miankina be amin'ny tanjona fampiofanana manokana sy ny fampitomboana ny angon-drakitra, ary ny fametrahana tsara indrindra ho an'ny olana amin'ny feo ankapobeny dia mbola sehatra matanjaka amin'ny fikarohana. Ny sehatry ny bioacoustics, na izany aza, dia tena tsara ho an'ny fampianarana mifanaraka amin'ny fanaraha-maso. Ny Perch 2.0 dia nianatra tamin'ny famantarana mihoatra ny 1,5 tapitrisa. Ny fikarohana dia mampiseho fa rehefa misy ohatra marika ampy, dia sarotra kokoa ny mifanaraka amin'ny modely mifanaraka amin'ny fanaraha-maso. Ny bioacoustics amin'ny ankapobeny dia miasa amin'ny kilasy mihoatra ny 15,000, matetika mitaky fahasamihafana eo amin'ny karazana ao anatin'ny jentilisa iray ihany; olana tena tsara tarehy. Ny fampihenana ny granularity ny taratasy amin'ny fampiofanana voafehy dia efa voaporofo fa manimba ny fampianarana fampitaovana. Ny fahasamihafana goavana amin'ny hira an-tongotra sy ny famokarana feo ankapobeny amin'ny vertebrates tany koa dia manampy amin'ny famindrana mahomby ny modely nianatra amin'ny vokalin'ny vorona ho an'ny sehatra bioacoustic hafa mahagaga. Ity fomba fijery fanadihadiana ity dia midika fa ho an'ny sehatra manana angon-drakitra matanjaka sy voajanahary ary toetra manokana, ny modely voatendry tsara dia afaka mahatratra ny fahombiazana amin'ny fampisehoana tsy misy ilaina amin'ny fampiofanana ankapobeny amin'ny tanjona ankapobeny. Under the Hood: ny famolavolana ara-panorenana ao amin'ny Perch 2.0 Ny modely dia mifototra amin'ny EfficientNet-B3, tambajotra residual convolutional miaraka amin'ny 12 tapitrisa parameters, izay lehibe kokoa noho ny modely Perch voalohany mba hanatanterahana ny fampiofanana avo lenta ny angon-drakitra, fa mbola kely araka ny fitsipika maoderina amin'ny fianarana milina, manatsara ny fahombiazan'ny solosaina. Ity habetsaky ny fampiharana ity dia ahafahan'ny mpanjifa mihazakazaka ny modely amin'ny fitaovana mpanjifa, manampy amin'ny fanangonana mahery vaika sy ny asa fangatahana akaiky indrindra. Ny fomba fiasan'ny fampiofanana dia ahitana: Generalized Mixup: Teknika fampitomboana ny angon-drakitra izay mampifangaro loharano mihoatra noho ny roa hira mba hamoronana famantarana komity. Izany dia manoro hevitra ny modely mba hahafantarana ny feo rehetra ao amin'ny varavarankely feo amin'ny fiarovana avo, na inona na inona feo. Self-Distillation: Ny dingana izay ny prototype fampianarana classifier miasa toy ny "mampianatra" ny linear classifier, mamokatra soft targets izay manatsara ny fampisehoana ankapobeny ny modely. Source Prediction: A self-supervised auxiliary fahaverezana izay mampiofanana ny modely mba haminavina ny loharanon-tsary famaritana ny varavarankely feo, na dia avy amin'ny tsy mifanaraka segments. Perch 2.0 dia nianatra tamin'ny dataset multi-taxa mampifandray Xeno-Canto, iNaturalist, Tierstimmenarchiv, ary FSD50K, izay ahitana ny kilasy maherin'ny 15.000, indrindra ny karazana labels. Hyperparameter Selection mampiasa Vizier, algorithm fanatsarana bokotra mainty, mba hahita ny habetsaky ny fampianarana, ny tahan'ny fihenam-bidy, ary ny parameter mixup, mba hahazoana fahombiazana mahery foana amin'ny asa samihafa. Ny dingana fanombanana ny modely dia manandrana tanteraka ny fahaiza-manaon'ny ankapobeny amin'ny sehatry ny feo an-tongotra, ny asa famantarana tsy karazana (ohatra, karazana antso), ary ny fampidirana amin'ny takelaka tsy an-tongotra (bats, biby madinika, mosquitoes), amin'ny fampiasana fepetra toy ny BirdSet sy BEANS. Agile Modeling: Mivezivezy amin'ny fametrahana ny asa Ankoatra ny modely ihany, ny Google DeepMind dia natsangana tamin'ny Agile Modeling, rafitra ankapobeny, azo ampiharina ary mahomby amin'ny angon-drakitra izay mampiasa ny fahafaha-manao amin'ny Perch mba hanatsarana famantarana bioacoustic vaovao ao anatin'ny ora iray. Ny singa fototra amin'ny Agile Modeling dia ahitana: Very Generalizable Acoustic Embeddings: Ny embeddings efa voaomana avy amin'ny Perch dia miasa ho toy ny modely fototra bioacoustic, miasa ho toy ny endri-javatra extractors izay mampihena ny angon-drakitra mangatsiaka. Izany dia manan-danja satria raha niova ny endri-javatra embedding nandritra ny fampiofanana, ny famerenana daty be dia be dia be dia be dia be, manakana ny fahafaha-mahazatra. Indexed Audio Search: Izany dia mamela ny famoronana mahomby ny fampiofanana dataset. Ny mpampiasa dia manome ohatra audio clip, izay tafiditra ary avy eo mifandray amin'ny precomputed embeddings mba hanasongadina ny feo mitovy indrindra ho an'ny famantarana. Ity "vector search" ity dia afaka mandrindra mihoatra ny tapitrisa embeddings isaky ny segondra (amin'ny 1500 ora ny feo) ao amin'ny solosaina manokana, manome safidy mahomby ho an'ny brute-force human review, indrindra ho an'ny famantarana tsy mahazatra. Active Learning Loop mahomby: Ny famaritana tsotra (mitranga matetika amin'ny lalina) dia nianatra amin'ny fametrahana voamarina. Satria voamarina sy static, ny fampiofanana dia mandritra ny minitra farafahakeliny, tsy misy fitaovana manokana. Ny fampiofanana ara-toekarena dia avy eo mamela kandidà vaovao ho an'ny famantarana, miaraka amin'ny ohatra ambony indrindra amin'ireo avy amin'ny isan-karazany isan-karazany ( "top 10 + quantile"), manome antoka ny marina sy ny fahasamihafana ao amin'ny fanangonana angona. Ity rafitra ity dia manome antoka fa afaka manatsara haingana sy mahomby ny famolavolana ny famaritana, izay mahatonga izany ho azo atao ho an'ny manam-pahaizana amin'ny sehatra hanatanterahana ny fanamby bioacoustic vaovao amin'ny fomba mahomby. Ny fiantraikany amin'izao tontolo izao amin'ny fiainana: fianarana tranga amin'ny hetsika Ny fahombiazan'ny Perch sy Agile Modeling dia efa voaporofo amin'ny alalan'ny tetikasa maro samihafa amin'ny fiainana tena izy: Hawaiian Honeycreepers: Manara-maso ny karazam-pahalemana Hawaiian honeycreepers dia miatrika ny loza mahatsiravina avy amin'ny malaria an-tokantrano, niteraka ny mosquito non-native. Ny fanaraha-maso ny vokalin'ny tanora dia mety mampiseho ny fihenjanana ny aretina sy ny fahombiazana amin'ny fiterahana, fa matetika sarotra ny manavaka ireo antso ireo. Ny LOHE Bioacoustics Lab ao amin'ny Oniversiten'i Hawai'i dia nampiasa Perch mba hanara-maso ny mponina honeycreeper, mahita feo maherin'ny 50 fotoana haingana noho ny fomba mahazatra, mamela azy ireo hanara-maso karazana maro kokoa amin'ny faritra lehibe kokoa. Ao amin'ny fanandramana ny fotoana mivantana, ny famerenana ara-tànana ny ora 7 amin'ny feo ho an'ny hira Leiothrix Red-billed dia naharitra ora mihoatra ny 4 ka nahavita sampana 137 tsara. Ankoatra izany, ny famerenana ny sampana 500 ambony hita amin'ny fikarohana vektor dia naharitra minitra latsaky ny 20, nahavita fanadihadiana 472 tsara, izay mahatonga ny fomba fikarohana vektor 43 fotoana haingana. Agile Modeling dia nahatonga ny fampandrosoana ny famaritana famaritana ho an'ny vokalin'ny olon-dehibe sy ny tanora amin'ny 'Akiapōlā'au sy 'Alaw̄ı voafetra, nahatratra fanamafisana avo (0.97-1.0) sy ny valin'ny ROC-AUC (≥ 0.81). Coral Reefs: Manambara ny Fahasalamana ny Ecosystem Underwater Ny fanaraha-maso ny tetikasa fanavaozana ny korontana dia matetika voasambotra amin'ny fahasarotana sy ny fandaniana amin'ny fijerena. Ny endriky ny korontana dia fampitandremana manan-danja amin'ny fahasalamany sy ny asa, manampy amin'ny fampiroboroboana ny trondro sy ny korontana ankizivavy. Nampiasaina ny Modeling Agile mba hamoronana famaritana ho an'ny taranak'arivony sonotypes ao amin'ny tontolo iainana ao amin'ny korontana ao Indonezia. Ny embeddings dia navoaka amin'ny fampiasana SurfPerch, karazana Perch optimized for coral reef audio. Human labeling for these nine sonotypes took a cumulative 3.09 hours, mahatonga ny klassifiers tena marina amin'ny ROC-AUC ambany indrindra ny 0.98. Ny fanadihadiana dia nanambara avo lenta sy isan-karazany amin'ny trondro sonotypes amin'ny toerana mahasoa sy niverina raha oharina amin'ny toerana naratra, indrindra fa nitarika ny "Pulse Train" sy "Rattle" sonotypes. Christmas Island: Ny fanaraha-maso amin'ny habetsahan'ny vorona mahazatra Ny fanaraha-maso ny vorona any amin'ny nosy lavitra toy ny Christmas Island dia manan-danja amin'ny fiarovana, saingy sarotra noho ny tsy fahafahana miditra sy ny tsy fahampian'ny angon-drakitra mahazatra ho an'ny karazana endemika maro. Na dia eo aza ny angon-drakitra voafetra indrindra momba ny fampiofanana voalohany aza, ny fampiofanana ara-toekarena iterative dia nahatonga ny famaritana ny kalitao ambony ho an'ny karazana telo, miaraka amin'ny ROC-AUC mihoatra ny 0.95, amin'ny fotoana fohy noho ny ora iray ho an'ny mpikaroka isaky ny famaritana. Ny rafitra dia nanaporofo ny fahafaha-mahazatra azy ho an'ny angon-drakitra lehibe, mandrindra an'arivony arivo ora ny feo. Ny tahan'ny famantarana dia nanambara ny fiovan'ny fampiasana ny toerana manerana ny nosy, manome fahalalana manan-danja ho an'ny ezaka fiarovana. Fomba mahomby ho an'ny mpandrindra Ny fanandramana simulated natao miaraka amin'ny fanadihadiana tranga dia nanolotra toro-hevitra fanampiny mahomby: Ny kalitaon'ny fonosana embedding: Ny kalitaon'ny fonosana embedding dia misy fiantraikany goavana amin'ny fahombiazan'ny modely. Ny modely izay nianatra amin'ny angon-drakitra manokana momba ny bioacoustics, toy ny BirdNet, Perch, ary SurfPerch, dia mihoatra noho ny fampisehoana feo amin'ny ankapobeny. Active Learning Strategy: Ny “Top 10 + Quantile” Active Learning Strategy dia manome fitoviana mahery vaika amin'ny fitondran-tenan'ny angon-drakitra samihafa (low, medium, high abundance), mifototra amin'ny hery mahery vaika amin'ny sehatry ny “most confidence” sy “quantile”. Call Type Management: Ho an'ny karazana manana karazana antso maromaro, ny "fangatahana fikarohana mahomby" (manana fehezan-teny iray amin'ny karazana antso tsirairay) miaraka amin'ny famantarana amin'ny sehatry ny karazana dia matetika manatsara ny fampisehoana amin'ny karazana antso madinika raha tsy manohintohina ny marina amin'ny sehatry ny karazana. Amin'ny ankapobeny, ny fotoana fanadihadiana amin'ny olona ho an'ny ohatra dia 4.79 segondra isaky ny clip 5 segondra, midika izany fa afaka manara-maso manodidina ny 720 ohatra isaky ny ora ny mpamaky, ampy ho an'ny famokarana famaritana tsara haingana. Fikirakira farany: Ny hoavin'ny AI amin'ny fiarovana Ny asa amin'ny Perch 2.0 sy Agile Modeling dia mampiseho ny fahombiazan'ny AI ao amin'ny bioacoustics, mifanaraka amin'ny fepetra manan-danja ho an'ny fahombiazan'ny, ny fahafaha-miasa, ny fahafaha-miasa, ary ny kalitao amin'ny fikarohana sy ny fiarovana ara-tontolo iainana. Ny fampidirana tsy tapaka ny angon-drakitra momba ny fikarohana avy amin'ny famaritana vaovao amin'ny fahatakarana ny tontolo iainana, toy ny hita amin'ny vatohara sy ny Nosy Krismasy, dia fivoarana lehibe. Na dia nisy fandrosoana goavana aza, dia ahitana ny fampiasana fikarohana akaiky indrindra akaiky indrindra (ANN) ho an'ny angon-drakitra lehibe kokoa aza, ny fanatsarana ny fehezan-teny ho an'ny bioacoustics mba hanatsarana ny vokatra amin'ny toe-javatra ratsy indrindra, ary ny fampandrosoana sehatra mahomby kokoa amin'ny fitantanana karazana manana karazana feo maro.
