Tabla de Contenido ukax mä juk’a pachanakanwa Qallta Ch’amaka Yatiñanaka Destilación ukaxa lurasirakiwa MNIST ukan yant’awi MNIST ukan yaqha yant’awinaka 1. Uñt’ayañataki Aka qillqatanx AI ukan yatiñanak destilación ukan lurawipatw yatxatañani —kunjams taqpachanx irnaqäna, kuna askis ukat kunats apnaqañax wakisi. Kunjamas yatiñanak mä jach’a modelo jan ukax conjunto de modelos(ukax wali jach’a conjuntos de datos ukan yatichatäna estructura de datos ukanakat apsuñataki) mä sapa jisk’a modelo ukar jan sinti dip in performance ukar comprimir ukat transferencia? Ukampis ¿kunatsa ukham lurañ muntanjja? ¿Kunatsa mä jisk’a modelo ukax munasispa kunapachatix mä jach’a modelo jan ukax modelo de conjunto ukax nayratpach jach’a askinak yant’äw yatiyawinakan churaski? Yatichäw pachanx jach’a/consemble de modelos ukanakaruw yatichapxta kunatix nayrïr amtax wali jach’a conjuntos de datos ukanakat estructura apsuñawa. Ukhamarakiw walja yänak apnaqaraksna, jaytjaña, tren ukan pachanakan datos ukar jilxatayaña, uka jach’a modelonakar taqi kasta yatiyawinak manq’ayañataki. Ukampis predicción tiemponx amtäwisax taqpach mayjawa. Jiwasax jank’akiw resultadonak jikxatañ munapxta. Ukhamat mä jach’a/conjunto de modelos apnaqañax wali jila qullqiwa ukatx walja apnaqirinakaruw uñstayañ jark’ani. Ukhama, jichhax jiskt’awix kunjamas aka jach’a modelo ukan yatiñanakax mä jisk’a modelo ukar comprimir ukax jasakiw uñstayasispa. Geoffrey Hinton, Oriol Vinyals, ukat Jeff Dean jupanakax google ukan tuqiw yaqha kasta yatichäwinak uñstayapxi, ukax satawa, uka yatiñanak jisk’a modelo ukar apañataki. Akax pachpa técnica ukaw jamp’att’asis ajanupax ukan phuqhawipanx apnaqapxi. qillqatanakap destilación Distill BERT Jiwasatix aka jisk’a modelo ukarux yaticharaksna ukhax mä jach’a modelo ukar uñtasita, ukhamax aka jisk’a modelo ukham yatichatax juk’amp sum lurani, jisk’a modelo ukar yatichatat sipanx pachpa datos ukampis normal ukham yatichata. Ukax Destilación ukan mä amtäwipawa generalizacionar jach’a 2. Ch’amaka Yatiñanaka Jilapachaxa, Maquina aprendizaje ukanxa, mä modelo ukaw walja clases ukanakat yaqhachañ yatiqi, jach’a yatichäw amtax probabilidad log promedio de respuesta correcta ukar jach’anchayañawa. Amuyt’añataki, MNIST ukan uñacht’äwip apsuñani kawkhantix amtäwix mä uñacht’äw uñt’ayañawa, 1 jan ukax 2 jan ukax ... 9. Ukhamat chiqpach uñacht’awix 2 ukhamächi ukhax kuna modelon amtapax jach’anchayañawa (ukax probabilidad ukhamaw uñakipataspa, mä particular uñacht’äwix 2 uñacht’ayata). Ukampis modelo ukax taqi jan chiqap jaysäwinakarux probabilidades ukanakaw churaraki, uka probabilidades ukanakax wali jisk’akiwa, yaqhipanakax yaqhipanakat sipanx juk’amp jach’awa. Punto ukax aka probabilidades ukax jisk’akïkchisa, probabilidades relativas de respuestas incorrectas ukax walpun yatiyapxistu kunjams modelo ukax generalizaspa. Uk amuytʼañatakejja, aka aynachan uñachtʼäwip uñakiptʼañäni. P(its 2/image) ukar Aka pata uñacht’awina, aka versión 2 ukaxa mä probabilidad 10-6 ukhamawa 3 ukhamaraki 10-9 ukhamawa 7 ukatxa yaqha versión ukatakixa inasa yaqha tuqiruxa. Akax wali aski yatiyawiwa, ukax mä qamir uñtasit estructura de datos ukar uñt’ayi(mä arunx kawkir 2 ukanakax 3 ukar uñtasita ukat kawkïris 7 ukar uñtasita) ukampis wali juk’a influencia ukaniwa función de costo cruzado de entropía ukarux etapa de transferencia ukanx kunatix probabilidades ukanakax cero ukar jak’achatawa. Ukampis janïr procedimiento de destilación ukar sarkasaxa, kunjams modelo ukax chiqpachan probabilidades de salida ukar uñstayatayna uka tuqit pacha apst’asiñäni. Akax kawkhantix activación softmax ukax mantaniwa Qhipa thakhix modelo de procesamiento ukax softmax ukawa ukatx aka componente ukax kunatix probabilidades de salida ukanak churaraki. Softmax ukar mantañax logits satawa ukatx NN ukan qhipa capa ukarux diseñar ukhamat imantat unidades ukanakax = clases ukanakax clasificañ munapxi. Uka fórmula ukaxa softmax uñakipañatakixa akhamawa Aka pata ecuación ukaxa sapa ukatakixa probabilidades ukanaka churaraki ukatxa suma taqi probabilidades taqpacha ukaxa 1. Yatichawi pachana, kuna sapa yatichawi uñacht’awitaki chhaqhata ukaxa jakhthapitawa aka softmax probabilidades ukanakampi chikachasiñampi hard metas(etiquetas) ukanakampi ukhamaraki apnaqasa coeficientes de retropropagación ukanakampixa machaqt’ayatarakiwa chhaqhata jisk’akama. i i Kunjamatix nayraqat uñjaski aka softmax ukax mä jach’a probabilidad chiqpach etiqueta ukat jisk’a probabilidad jan chiqap etiquetas ukar churaraki. Ukhamaraki uñjaraktanwa probabilidades de respuestas incorrectas jisk’a ukhamäkchisa, walja yatiyawinak imantatawa jupanakanx ukax modelo ukarux generalizañapatakiw yanapt’i. Ukarux sasaw sutichapxta Ch’amaka Yatiña 3. Destilación sata lurawi Uka qillqatarjamaxa, jach’a modelo ukan capacidades de generalización ukanaka jisk’a modelo ukar apañatakix wali askiwa, ukax probabilidades de clase ukanakaw modelo engorroso ukan lurat ukanakax ukham jisk’a modelo ukar yatichañataki. llamp’u metas Ukhamajj uka lurañajj akhamawa: Uka conjunto de entrenamiento original ukax apsutawa kunatix jach’a modelo ukar yatichañatakiw apnaqasiwayi ukatx uka yatichäw datos ukax jach’a modelo tuqiw pasañapa ukatx probabilidades softmax ukax kunayman clases ukanakan jikxatasi. Kunjamtix nayraqat uñjktanxa, chiqpach etiquetax jach’a probabilidad ukaniwa ukatx jan chiqap etiquetanakax jisk’a probabilidad ukaniwa. Ukampis uñjtanwa uka jisk’a probabilidades ukanakax walja yatiyawinakaw jupanakan imantatäski. Ukhamat uka probabilidades ukanakan wakiskirïtap jach’anchayañatakix qillqatanakan qillqirinakax mä variable Temperatura(T) ukamp apnaqapxäna, taqi logits ukanakar jaljañataki janïr softmax ukar pasañkama. Ukax mä llamp’u probabilidad distribución clases ukanakar uñstayi. Aka aynachan uñjaraksnawa Softmax ukampi temperatura(T) ukamp apnaqañax kuntix Soft targets sasin sutichapktan ukawa. Aka lurawixa qillqirinakaxa sapxiwa. destilación Analogía ukaxa uma taypina q’añuchatanaka apsuñatakixa temperatura jilxatayasa Walja yatiyawinakax jach’a modelo ukan yatiqat lurawipatx ratios de probabilidades muy pequeñas ukanw jikxatasi, ukax llamp’u amtanakankiwa. Mä qawqha terminología: 1.1. - jach’a modelo ukata mistuwi ukatxa temperatura T ukaxa softmax ukja pachana apsutarakiwa Llamp’u amtanaka - jisk’a modelo ukat mistuwi temperatura T ukax softmax ukjax apnaqatarakiwa Llamp’u yatiyawinak - jisk’a modelo ukata mistuwi kunapachatixa temperatura T = 1(regular softmax) . Ch’ama yatiyawi - chiqpach amtanakax yatichäw utt’ayat ukanakat Chiqpach amtanaka Aka aynachanx mä diagrama de flujo ukaw taqpach yatichäw lurawinak uñacht’ayata Ukhamarusa proceso de capacitación ukaxa mä jisk’a modelo ukatakixa 2 funciones de pérdida ukaniwa. Nayrïr chhaqhat lurawix llamp’u yatiyawinakampi llamp’u amtanakampiw apsu ukatx entropía cruzada chhaqhat lurawiwa. Akax kunjams generalización capacidad ukax jach’a modelo ukhat jisk’a modelo ukar mayjt’ayatawa, llamp’u amtanakamp chikancht’asiñ yant’asa. Aka chhaqhat lurawitakixa, softmax panpachaniwa ‘T’ temperatura apnaqapxi. Qillqirinakax chiqpach amtanakar uñtasit jisk’a modelo apnaqañax yanapt’arakiwa sasaw jikxatapxaraki. Ukax payïr costo función ukan uñt’ayatawa. Qhipa qullqix mä promedio ponderado ukawa aka pä costo funciones ukanakax hiper-parámetros alfa ukat beta ukanakampi. 4. MNIST ukan yant’awi Qillqirinakax MNIST ukan yatxatatanakap yant’añatakix apnaqapxäna. Ukatakix pä arquitectura apnaqapxäna ukax chika taypinkir capas ukan imantat unidades ukanakan jakhüwiparjamakiw mayjt’i. Qillqirinakax 2 red neural de capa oculta ukampiw panpachanx apnaqapxäna Jisk’a modelo ukaxa uñjasispawa 784 -> 800 -> 800 -> 10 (kawkhantixa 784 ukaxa dimensiones desrolladas de una imagen, 800 ukaxa unidades ocultas uka jakhuwa activación RELU ukampi ukatxa 10 ukaxa jakhuwiwa clases ukaxa yatiyatarakiwa). Aka modelo ukax 146 yant’äw pantjasiwinak churawayi jan regularización ukampi. Jach’a modelo ukax 784 -> 1200 -> 1200 -> 10 ukhamaw uñjasispa (kawkhantix 784 ukax mä uñacht’äwin dimensiones desrolladas ukawa, 1200 ukax unidades ocultas ukanakaw activación RELU ukampi ukatx 10 ukax clases ukanakan jakhüwipawa. Aka modelo ukax MNIST ukan yatichatawa, dropout, peso-constraints, ukat jittering input ukan uñacht’awinakapampix ukat aka red ukax 67 yant’äw pantjasiwinak jikxatawayi. ¿Jach’a modelon uka askinchawix mä jisk’a modelo ukarux mayjt’ayaraksnati? Jichhax qillqirinakax jach’a llikat apsutanakax llamp’u amtanakampiw apnaqapxi ukatx chiqpach amtawinakax jan jaytjasaw apnaqapxi ukatx janiw jittering de imágenes ukax utjkiti mä arunx jisk’a llikax regularizatawa ukakipkarakiw yapxatat lurawimp yapxatasinx llamp’u amtanakamp chikancht’asis jach’a red ukan lurat mä temperatura 20 ukat ukax. apnaqaña 784 -> 800 -> 800 -> 10 74 yant’awi pantjasiwi Ukax uñacht’ayiwa, llamp’u amtanakax mä jach’a yatiñanak jisk’a modelo ukarux mayjt’ayaspawa, ukampirus kunjams generalizañax uka yatiñanakax jaqukipataw yatichäw yatiyawinakat yatiqata. Mä arunxa, insumos ukar mayjt’ayañat askinak jikxatawayktan ukax jisk’a llikaruw mayjt’ayi, janis jisk’a llikatakix insumos ukar mayjt’ayasktan ukhas. Wali uñt’atawa kunatix insumos ukar mayjt’ayañax kunayman mayjt’awinakampiw modelo ukarux generalizarux juk’amp suma tukuyi ukatx jiwasan casosanx yatiyawinak kunjams ukxat yatiyawix Ch’amaka yatiñanakanw uñacht’ayasi ukatx akax llamp’u amtanakan imantatawa. Janiw kunas uka yatiyawinakax Chiqpach amtanakan utjkiti. Ukhamat llamp’u amtanakat yatiyawinak apnaqasa jiwasan jisk’a red ukax juk’amp sumaw irnaqaski. generalizañax Jach’a llika apnaqasa llamp’u amtanakampi yatiqawayi uñtasiwi métrica ukaxa yatiqawayi ‘kunas kunjamasa’ ukatxa aka yatiñanaka transferencia ukampixa, jiwasaxa jisk’a llikaruxa ‘kunas kunjamasa’ sasawa sasktanxa. Taqi kunatix MNIST ukan yant’awinakax akham uñacht’ayatawa 5. MNIST tuqit yaqha yant’awinaka Ukhamaraki, qillqirinakaxa yant’apxarakiwa uñacht’awinaka 3 dígito uksa tuqita, kunapachatixa mä jisk’a modelo destilación ukampiwa yatichapxi. Ukhamat jisk’a modelo ukan uñjatapatxa, 3 ukax mä dígito mítico ukhamawa, janiw kunapachas uñjkiti. Kunjamakitix jisk’a modelox janiw kunapachas 3 uñacht’ayawaykiti yatichäw pachanxa, suyt’apxtwa walja pantjasiwinak lurañapataki kunapachatix 3 ukar yant’äw conjunto ukan jikisi ukhaxa. Ukhamäkchisa, modelo destilado ukax 206 yant’äw pantjasiwinak lurawayi ukat 133 pantjasiwinakax 1010 kimsa chiqanw yant’äw conjunto ukanx utji. Ukaxa qhana uñacht’ayiwa capacidades de generalización jach’a modelo ukaxa jisk’a modelo ukarux destilación ukjaxa pasatarakiwa ukatxa ukaxa jisk’a modelo ukarux chiqaparu yatiyaraki 3 jilpacha pachanakanxa Ukhama moral uka sarnaqäwixa. Entrada uñacht’awinak mayjt’ayañax generalización ukarux wali askincharaki. Ukhamarakiw metas ukar mayjt’ayañax mä uñtasit jach’a efectos ukaniwa ukatx jiwasatix kawkhantix llamp’u metas ukanakax jikxatasma ukax juk’amp jila chaniniwa kunatix pachpa lurawinak jisk’a modelo ukamp jikxatassna Uñakipt’atanaka: Hinton, Geoffrey, Oriol Vinyals ukat Jeff Dean jupanakax ukham lurapxäna. “Mä red neuronal ukan yatiñanak destilar”. Yatiñanaka destilación ukaxa intellabs ukanakampiwa lurataraki.
