Yatiña-Destilación-Basado en Entrenamiento Adversario ukaxa Redes Neuronales Multi-Salida Robustas ukanakataki

Tabla de Enlaces ukax mä juk’a pachanakanwa

Resumen ukatxa 1. Uñt’ayawi

2. Uñt’ata lurawinaka

3. Algoritmo NEO-KD propuesto ukatxa 3.1 Jan walt’awinaka wakicht’aña: Redes Multi-Salida ukana Yatichawi Adversaria

3.2 Algoritmo uñakipaña

4. Yant’awinaka ukatxa 4.1 Yant’awinaka wakicht’aña

4.2.2.1. Jilïr Yant’awinakan Achuwinakapa

4.3. Ablación ukan yatxatäwinakapa ukat aruskipäwinakapa

5. Tukuyañataki, Yuspajarawi ukatxa Referencias

A. Yant’awi tuqita Detalles

B. Q’uma Yant’awinaka Exactitud ukatxa C. Entrenamiento Adversario vía Ataque Promedio

D. Hiperparámetro Afinación ukaxa

E. Qhipa mistuñanakanxa Degradación de Rendimiento uka tuqita aruskipaña

F. Jichha pacha arxataña thakhinakampi chikachasiña Redes de Salida única ukanakataki

G. SKD ukatxa ARD ukampi chikachasiña ukhamaraki H. Implementaciones de Algoritmos de Atacante Más Ch’amani

Qhana

Redes neuronales multi-salida ukax mä solución prometedora ukhamaw uñjasi, nayrïr mistuwinak tuqi inferencia eficiente lurañataki, ataques adversarios ukanakamp ch’axwañax mä ch’amäkaspas ukhamaw qhiparaski. Walja mistuña redes ukanxa, kunaymana submodelos ukanaka taypina jach’a dependencia utjatapatxa, mä uñacht’awi adversarial ukaw mä específico mistuwiru uñt’ayata, janiwa ukaki mistuña amtawi lurawixa jisk’achkiti jan ukasti taqi yaqha mistuwinakana lurawipaxa mä pachana jisk’acharaki. Ukax walja mistuñ redes ukanakarux wali jan walt’ayataw uñjasi, sapuru ataques adversarios ukanakataki. Aka qillqatanxa, NEO-KD, mä estrategia de capacitación adversaria basada en conocimiento-destilación-based ukawa, ukaxa aka fundamental desafío ukarux pä jach’a yanapt’awinakampiwa askichi. NEO-KD nayraqatax destilación de conocimientos vecinos ukaruw recurri, ukhamat uñacht’äwinak adversarios ukan mistuwipar irpañataki, ukhamat q’uma datos ukan mistuwinakapan conjunto ukan mistuwinakapar uñjañataki. NEO-KD ukaxa destilación de conocimientos ortogonal de salida-wise ukampiwa irnaqaraki, ukhamata transferibilidad adversaria uksa jisk’achañataki kunaymana submodelos ukanakana. Ukax mä jach’a ch’amanchawiw ataques adversarios ukanakar saykatañataki. Kunaymana conjuntos de datos/modelos ukanakana yant’awi lurawixa uñacht’ayiwa jiwasana lurawixa suma chiqapa adversarial ukaru puriraki jisk’achata presupuestos de computación ukanakampi, uñakipata líneas bases ukanakampi chikachasiñataki kunatixa utjkixa entrenamiento adversario jan ukaxa técnicas de destilación de conocimientos ukanakaru redes multi-salida ukanakataki.

1 Qalltañataki

Redes neuronales multi-salida ukaxa wali suma uñjatawa [9, 13, 26, 27, 28, 32] kunatixa lurapxi predicciones dinámicas ukanakaxa recursos-constreñidos ukanakana. Modelo completo ukan qhipa mistuwipanx yatiyawinak lurañat sipansa, mä juk’amp jank’ak yatiyawix nayrïr mistuñanx lurasispawa, jichha pachan presupuesto ukarjama jan ukax presupuesto de computación ukarjama. Uka amuyunxa, mä red multi-salida ukaxa mä arquitectura ukhamxa uñjasispawa walja submodelos ukanakampi, kawkhantixa sapa submodelo ukaxa parámetros ukanakampiwa lurataraki, ukaxa modelo ukan mantatapatxa mä específico salida ukan mistutapakama. Aka submodelos ukanakax wali correlacionatapxiwa kunatix yaqhip parámetros modelo ukanakamp chikanchasipxi. Ukhamaraki suma uñt’atarakiwa taqi submodelos ukanakana lurawipaxa suma uñjatarakispawa qhipa mistuwi yatiñanaka yaqha mistuñanakaru destilar, mä arunxa autodestilación tuqi [15, 20, 24, 27]. Ukhamaraki, ch’amanchawixa utjarakiwa ataque adversario uka tuqita askichañataki aka contexto de redes multi-salida ukanxa [3, 12].

Ataques adversarios ukar ch’amanchañax juk’amp ch’amäspawa redes multi-salida ukanx: kunatix kunayman submodelos ukanakax jach’a correlaciones ukanipxi parámetros compartidos ukanakampi, mä uñacht’äwix adversario ukanx mä específico salida ukar uñt’ayañax yaqha submodelos ukan lurawip wali jisk’achaspawa. Mä arunxa, mä uñacht’awix adversario ukax kunayman submodelos ukanx ch’aman transferencia adversaria ukanispawa, ukax modelo ukax wali vulnerable ukhamaw sapuru ataques adversarios ukanakataki (jan ukax, mä ataque adversario ukax mä sapa mistuwiruw uñt’ayasi).

Ch'amanchawi . Mä qawqha nayrir lurawinakakiw estrategias de defensa adversarias ukanak redes multi-salida ukanakatakix uñt’ayasi [3, 12]. [12] qillqirinakax uñacht’awinak adversarios uñstayañaruw chuym churapxi, ukax redes multisalidas ukarjam wakicht’atawa (jan ukax, muestras uñstayaña vía ataque max-promedio), ukatx modelo ukarux yatichapxi, ukhamat suma q’uma ukhamarak adversarios pérdidas taqi mistuwinak jisk’achañataki. Uka uñacht’awi adversario lurata [12] ukanxa, [3] qillqirinakaxa mä término de regularización uñacht’ayapxi, ukhamata jisk’achañataki pesos del clasificador sapa mistuwi pachana yatichawi pachana. Ukampirusa, utjki uka estrategias de defensa adversaria [3, 12] janiwa chiqapaxa apnaqapkiti jach’a correlaciones kunaymana submodelos ukanaka taypina, ukaxa mä jach’a transferencial adversarial ukhamaraki limitada robustez redes multi-salida ukanakana. Aka jan walt’awi askichañatakixa, mä yatiñ utana destilación ukarjamawa mä moda ortogonal nayra lurawinakata [3, 12]. Yaqhipa nayra yatxatawinakaxa [8, 23, 33, 34] uñacht’ayiwa destilación de conocimiento ukaxa apnaqasirakispawa suma ch’amanchañataki modelo ukaxa redes convencionales de salida única ukanakana. Ukampirusa, utjkchixa jach’a lurawinakawa utji autodestilación tuqita yatichañataki redes multi-salidas ukampi q’uma yatiyawinakampi [15, 20, 24, 27], jichhaxa janiwa yatiskiti kunjamasa técnicas de destilación ukaxa apnaqaña wakisi capacitación adversaria de redes multi-salida ukataki. Ukhamaraki, kunapachatix utjki uka esquemas basados en destilación ukax redes multi-salida ukar apnaqatäki ukhax submodelos ukanakan dependencias ukanakax juk’amp jach’aruw tuku kunatix pachpa salida (jan ukax qhipa mistuñ yatiñax) taqi submodelos ukanakaruw destiladas. Uka limitaciones ukanakamp ch’amanchata, aka jiskt’awinak jiskt’apxtanxa: ¿Kunjamatsa aprovechas conocimiento-destilación ukax redes multi-salida ukan ch’amanchawi adversarial ukar juk’amp askinchañataki? Uka pachparakiw, kunjamas transferencia adversaria ukax kunayman submodelos ukanakan redes multi-salida ukanx jisk’achasispa?

Jilïr yanapt’awinaka. Aka jiskt’awinak askichañatakix NEO-KD ukaruw amtapxta, ukax mä estrategia de capacitación adversarial basada en destilación de conocimientos ukawa, ukax wali wakicht’atawa redes neuronales multi-salida ch’aman ukanakataki. Jiwasana askichawixa pä tuqitawa: vecino yatiña destilación ukatxa salida-wise yatiñanaka destilación ortogonal.

• Mä específico mistuwi churata, nayrïri chiqa jiwasana solución, destilación de conocimientos vecinos (NKD), destila la predicción conjunto de salidas vecinos de datos limpios a la predicción del ejemplo adversario en el salida correspondiente, kunjamatixa uñacht’ayata Figura 1a. Aka lurawix uñisiri uñacht’awinakan mistuwiparuw irpi, q’uma yatiyawinak mistuwinak arktañataki, uñisirinakan ataques ukanakar ch’amanchañataki. Ensemble de los predicciones vecinos de datos limpios antes de destilación, NKD ukaxa churarakiw juk’amp jach’a calidad uñacht’awinak correspondientes salidas ukanakaru uñtasita esquema destilación ukampi mä salida ukampi pachpa posición ukanxa.

• Jiwasana solución ukanxa payïri amtawixa, destilación de conocimientos ortogonal por salida (EOKD), jilpachaxa amtiwa jisk’achañataki transferibilidad adversarial kunaymana submodelos ukanakana. Aka chiqaxa yaqha jan uñt’ata yanapt’awiwa jiwasana lurawinakasaxa kunatixa utjki uka lurawinakampi chikachasiñataki ch’amani redes multi-salida [3, 12] (ukaxa t’aqhisiwayiwa jach’a transferencial adversarial) jan ukaxa autodestilación-based multi-salida redes [15, 20, 24, 27 ] (ukax juk’amp transferencial adversario ukar jilxatayañataki). Jiwasana EOKD ukanxa, q’uma yatiyawinakxa i-th mistuwi tuqina apsutaxa destilada ukhamawa muestra adversarial ukana mistuwiparuxa i-th mistuwi tuqina, mä mistuwi tuqita. Aka mistuña tuqita destilación lurawi taypinxa, sapa mistuwi tuqita jani uraqi chiqa tuqita yatiyawinakaxa maynit maynikama ortogonal ukhamawa, sapa mistuñatakixa etiquetas blandas ortogonales ukanaka churasa kunjamatixa 1b uñacht’ayata. Kunayman mistuñ mistuwinak taypin dependencias ukanakar jan ch’amanchasa, EOKD ukax transferencia adversarial ukar jisk’achawayi taqi submodelos ukanakan red ukan, ukax mä juk’amp suma ch’amanchawiruw puriyi ataques adversarios ukanakarux.

Jiwasana solución arquitectónica ukan componentes NKD ukat EOKD ukanakax mayacht’asisaw irnaqapxi, transferencial adversarial ukar jisk’achañataki kunayman submodelos ukanakan red ukan ukhamarak chiqaparu irpañataki predicciones de ejemplos adversarios ukanakax sapa mistuwipanxa. Kunayman conjuntos de datos ukan yant’awinakax uñacht’ayiwa, uka amtat estrategia ukax juk’amp suma chiqaparu adversarial ukar puri, jisk’a presupuestos de computación ukanakampi, kunatix utjki uka adversario ukan yatichäwinakapamp chikachasiñatakix redes multi-salida ukanakataki. Jiwasana askichawixa mä plug-and-play ukawa, ukaxa apnaqatarakiwa kunatixa utjki uka yatichawi estrategias ukanakampi chikt’ata, ukaxa walja mistuña redes ukanakaru wakicht’atawa.