Google jaunais AI pārvērš sarežģītus modeļus par vienkāršu, rediģējamu kodu

Autori : Walker Ravina, walkerravina@google.com (Google) Ethan Sterling, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nathan Bell, nathanbell@google.com (Google) Honglei Zhuang, hlz@google.com (Google) Xuanhui Wang, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) Autori : Rēzeknes pilsētas dome, walkerravina@google.com (Google) Mārtiņš Kļaviņš, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nātans Bells, nathanbell@google.com (Google) Lāčplēša diena, hlz@google.com (Google) Jēkabpils pilsētas dome, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Aleksandrs Grusetskis, grushetsky@google.com (Google) Abstrakcija Modelu destilācijas mērķis ir uzticami pārnest skolotāja modeļa zināšanas uz modeli, kas ir ātrāks, vispārinātāks, interpretējams, vai kam ir citas vēlamas īpašības. Cilvēka lasāmība ir svarīgs un vēlams standarts mašīnlasāmā modeļa interpretējamībai. Lasāmie modeļi ir pārredzami un tos var pārskatīt, manipulēt un izvietot kā tradicionālo avota kodu. Tā rezultātā šādus modeļus var uzlabot ārpus mašīnu mācīšanās konteksta un manuāli rediģēt, ja nepieciešams. Tā kā šādu modeļu tiešā apmācība ir sarežģīta, mēs ierosinām apmācīt interpretējamus modeļus, izmantojot tradicionālās metodes, un pēc tam destilēt tos īsā, cilvēka lasāmā kodā. Ierosinātā destilācijas metodoloģija lokalizētā veidā aptuveni vienveidīgu skaitlisko funkciju modelī ar daļēji lineāriem līkumiem. Iegūtie līkumu modeļa attēli ir precīzi, saīsināti, cilvēka lasāmi un labi regulēti pēc konstrukcijas. Mēs aprakstām daļēji lineāru līkumu pielāgošanas algoritmu, kas efektīvi un uzticami rada augstas kvalitātes rezultātus plašā lietojumu klāstā. Mēs demonstrējam vispārējās destilācijas tehnikas un mūsu līkumu pielāgošanas algoritma efektivitāti, izmantojot četrus datu kopumus visās klasifikācijas, regresijas un rangu uzdevumos. CCS koncepcijas → . Computing methodologies Machine learning approaches Atslēgvārdi Modelēšanas destilācija; cilvēka lasāmība; daļēji lineāras līknes 1 Ievads Interpretējamie modeļi ir kritiski svarīgi augstas likmes lēmumu pieņemšanas scenārijos [ Saskaņā ar likumprojektu “Grozījumi likumā “Par valsts un pašvaldību institūcijām”” likumprojektu “Grozījumi likumā “Par valsts un pašvaldību institūciju institūcijām”” un likumprojektu “Grozījumi likumā “Par valsts un pašvaldību institūciju institūcijām”””. Individuālajiem ieguldījumiem jābūt pārbaudāmiem un saprotamiem, lai nodrošinātu rezultātu pārredzamību, pārskatatbildību un taisnīgumu. 21 e.g Lai sasniegtu iekšējo interpretējamību, vienveidīgās funkcijas tiek plaši izmantotas interpretējamos modeļos. ], modelis ir vienveidīgu formas funkciju summa, 11 kur xi 's ir n funkcijas un fi 's ir formas funkcijas. Šāds modelis ir vienkāršs, bet bieži vien mazāk precīzs nekā modelis ar funkciju mijiedarbību. • [ ] parādīja, ka, pievienojot ierobežotu skaitu paralēlu funkciju mijiedarbību, GAM stila aditīvie modeļi ļauj uzņemt ievērojamu daļu no pilnībā mijiedarbīga modeļa precizitātes. un al 18 vai īpašību grupu izstrādājumi, kur vienas funkcijas (t.i. fi ) lielumu modulē citas "konteksta" funkcijas (i.e.ci) funkcija (t.i. gi vai gi,j) [32]. citos gadījumos mijiedarbību starp funkcijām pienācīgi aptuveni pielāgo vienveidīgu funkciju, kas iekļautas vienveidīgās funkcijās, aditīvie modeļi, kur ārējā funkcija gi uztver nelineāru uzvedību [7]. Patiešām, Kolmogorova-Arnoldas pārstāvības teorēma [16, 27] garantē, ka katru n ieejas nepārtraukto daudzveidīgo funkciju var pārstāvēt kā 2n šādu terminu summu, Praksē bieži vien pietiek ar vienu ārējo funkciju, lai iegūtu interpretējamu modeli. Klasiskajos GAM modeļos splines tiek izmantotas kā formas funkcijas [ ].Vēl viena biežāk izmantota formas funkcija ir daļēji lineāras funkcijas [ ].Šie attēli satur nelielu skaitu mainīgo ( Tomēr, tieši optimizējot šādus attēlus, bieži vien rodas mazāk precīzi modeļi nekā alternatīvie modeļu attēli. • [ ] parādīja, ka mācīšanās spline GAMs ir mazāk precīzi, nekā mācīšanās bagged palielināts lēmumu meža GAMs. Mūsu eksperimenti rāda līdzīgus rezultātus tieši optimizēt GAMs sastāv no gabalu-lineāro līknes, izmantojot Stochastic Gradient Descent (SGD) metodes. Plašāk runājot, modelis pārstāvības, izmantojot lēmumu meža GAMs ir priekšrocība modeļa optimizācijas laikā, bet iegūtie modeļi nav cilvēka lasāmie. Tas ir gadījums, pat ja pastāv vienkāršāks modelis ar saīsinātu, cilvēka lasāmās formas, kas nodrošina salīdzināmu precizitāti. 11 30 e.g un al 17 Iedvesmojoties no modeļa destilācijas darba, kurā salīdzinoši mazus lēmumu mežus vai neironu tīklus var destilēt no daudz lielākiem komplektiem, bet netiek apmācīti tieši no datiem, lai atbilstu sarežģītu modeļu precizitātei. , ], mēs ierosinām destilēt interpretējamus modeļus lasāmos attēlos atsevišķā procesā pēc modeļa optimizācijas. Tas atdala sākotnējo, iemācīto modeļa attēlu no galīgā, publicētā modeļa attēla. Piemēram, ierosināto destilācijas metodoloģiju var piemērot additīviem modeļiem, kas apmācīti, izmantojot bagged palielinātus lēmumu kokus [ ], kā arī papildu neironu tīkli 5 12 17 [ 2 ] 32 Šajā rakstā mēs aprakstām metodi, kā destilēt modeļus, kas sastāv no vienveidīgām sastāvdaļām, uz cilvēka lasāmiem attēliem, jo īpaši daļēji lineārās līknes, kas aprakstītas sadaļā The output of our distillation technique is illustrated in Listing and Figure kas parāda tekstuālus un grafiskus attēlus, kas iegūti, piemērojot mūsu pieeju lēmumu mežam GAM, kas apmācīts COMPAS datu kopā (kas aprakstīts sadaļā Destilētais modelis ir saīsināts lēmumu meža GAM modeļa attēlojums un tiek pārvērsts par cilvēka lasāmu avota kodu. No šejienes mēs izmantosim "līknes", lai atsauktos uz daļēji lineāriem līkumiem, "līknes modeļi", lai atsauktos uz modeļiem, kur katrs komponents ir līkne, un "kods", lai atsauktos uz līknes modeļu vai līkņu teksta attēlojumiem. 2.2 Tātad 1 1 , 1 2.1 Iekšējā Pārējais raksts ir strukturēts šādi.Pēc priekšlikumu iesniegšanas sadaļā Mēs izstrādājam priekšrocības, izmantojot līknes modeļus sadaļā Tad mēs aprakstām lokalizēto destilācijas procesu sadaļā un daļēji lineāro aptuvenu algoritmu, ko dažreiz sauc par segmentētu regresiju [ ], lai izveidotu līkumu modeļus sadaļā Visbeidzot, mēs prezentējam eksperimentālos rezultātus attiecībā uz datu kopām: COMPAS, FICO, MSLR-WEB30K un CWS sadaļā Noslēdziet rakstu sadaļā 2 , 3. 4 30 5. 6 7. 2 Pirmizrādes Visā rakstā mēs izmantosim šajā rakstā izmantotās datu kopas kā konkrētus piemērus, lai izskaidrotu mūsu metodes.Tādējādi mēs tos vispirms aprakstām šajā sadaļā. 2.1 Datu kopas Mēs izmantojām šādus četrus datu kopumus, lai pārstāvētu dažādus iestatījumus: klasifikāciju, regresiju un rangu. COMPAS datu kopums1 ir rezultāts ProPublica izmeklēšanai [4] par iespējamiem rasu aizspriedumiem īpašā COMPAS modeļa rezultātā apsūdzētajiem Broward County, Florida. Datu kopums ir plaši izpētīts aizspriedumu, taisnīguma un interpretējamības kontekstā [8, 9, 14, 23]. Etiķetes ir bināras un norāda, vai atkārtošanās ir notikusi indivīdam laika periodā. Mēs izmantojam zonu zem uztvērēja darbības raksturlieluma līknes (AUC-ROC), lai novērtētu klasificētāja precizitāti. COMPAS ir 6 iezīmes un četras no tām tiek izmantotas kā piemēri šajā dokumentā: vecums, priors_count, garums_of_stay, un c_charge_degree. FICO datu kopums [1] sastāv no reālās pasaules anonimizētiem kredīta pieteikumiem kopā ar riska rādītājiem. Etiķetes ir indivīda riska rādītājs. Mēs izmantojam sakņu vidējo kvadrātveida kļūdu (RMSE), lai novērtētu regresora precizitāti. FICO ir 24 fea-tures un mēs izmantojam divas funkcijas kā piemērus mūsu dokumentā: MSinceMostRecentDelq, Mēnesis kopš nesenākās noziedzīgās darbības; PercentTradesWBalance, Procent Trades with Balance. MSLR-WEB30K datu kopums [19] ir plaši izmantots mācīšanās-to-ranga atsauces datu kopums. Etiķetes ir atbilstības spriedumi par dokumentu. Mēs izmantojam normalizētu diskontu kumulatīvo ieguvumu k = 5 (NDCG@5), lai izmērītu rangera precizitāti. MSLR-WEB30K ir ievērojami lielāks gan funkciju skaitā (136) un mācību piemēru skaitā (~2,000,000 par šķērsgriezuma pārklājumu). Mēs to izmantojam, lai salīdzinātu mūsu līknes tuvināšanas algoritmu ar pwlf [13], publiski pieejamu alternatīvu, pamatojoties uz precizitāti, izturību un efektivitāti. Mēs izmantojam divas funkcijas kā piemērus mūsu papīrā: feature_0011, Body stream length Chrome Web Store (CWS) datu kopa ir privāta un anonimizēta datu kopa, kas iegūta no Chrome Web Store žurnāliem. Katrs vaicājums atbilst Chrome Web Store apmeklējumam. Katra vaicājuma elementi bija tie, kas tika parādīti lietotājam. Etiķetes atbilst lietotāja darbībām, piemēram, noklikšķiniet, instalējiet, pārliecinieties par ranger precizitāti. Līdzīgu, bet atšķirīgu datu kopu no Chrome Web Store iepriekš pētīja Zhaung et al. [32]. Atšķirībā no iepriekšējā darba šajā gadījumā mēs neizmantojam vaicājuma līmeņa "konteksta" funkcijas, bet gan izmantojam tikai 14 elementu līmeņa funkcijas. Vaicājumi arī ir atšķirīgi. Katrā gadījumā mēs destilējam lēmumu meža GAM un novērtējam destilēto līkumu modeļu precizitāti. COMPAS un FICO datu kopas pārstāv augstas likmes domēnus [ ] kurā priekšrocības līknes modeļiem, kas apspriesti tālāk, ir īpaši pārliecinoši. FICO, MSLR-WEB30K, un CWS iepriekš ir pētīti kontekstā interpretējamību Turklāt rezultāti no MSLR-WEB30K parāda, ka šīs pieejas precizitāte neaprobežojas tikai ar maziem datu kopumiem. 21 [ 2 ] 7 , 18, 32 2.2 Lineārās svārstības Saskaņā ar lineāro režīmu ( ) is defined by a list of control points 𝑆 = [(𝑥𝑘 , 𝑦𝑘 )]𝐾 𝑘=1 through which the curve must pass. Between control points, output 𝑦 values are determined by performing linear interpolation between neighboring control points. Beyond the leftmost or rightmost control points, output values are capped to the 𝑦𝑘 -value of the neighboring control point. More formally, assuming 𝑥𝑘 ’s are ordered, i.e. 𝑥𝑘 < 𝑥𝑘+1, the definition of a piecewise linear curve can be described as: PWLCurve Lielākajā daļā interešu gadījumu 5 vai 6 kontrolpunkti, kas definē 4 vai 5 iekšējos segmentus, ir pietiekami, lai uztvertu vēlamo uzvedību. Mēs atļaujam ar fx argumentu norādītu opcionālu x-transformāciju, lai pielāgotu līknes datiem ar dažādām skalām. Kad x-transformācija ir klāt, tā tiek piemērota visu kontrolpunktu ievades vērtībai un x-vērtībām, un pēc tam pārveidotā telpā tiek veikta lineāra interpolācija. Mēs atbalstām identitātes (parastās), log, log1p un symlog1p transformācijas. Šeit symlog1p ir definēts kā sgn(x) * log1p(abs(x)) un ir piemērots ļoti mainīgām funkcijām, kas ņem gan pozitīvas, gan negatīvas 3 Attiecības un motivācija Interpretējamie modeļi ir kritiski svarīgi augstas likmes lēmumiem [21] un nodrošina daudzas priekšrocības salīdzinājumā ar sarežģītākām modeļu struktūrām [ , ]. Šajā sadaļā mēs izskaidrojam, kā interpretējamo mod-elu destilēšana līkuma modeļos pastiprina šīs priekšrocības un risina dažādus reālās pasaules inženiertehniskos izaicinājumus. . 6 10 samazina jaunu mašīntulkošanas problēmu līdz izveidotai programmatūras inženierijas problēmai ar daudzām esošām risinājumiem 3.1 Lielāka pārredzamība Modelis ir pārredzams, ja tas sniedz tekstuālu vai grafisku attēlu, kas ļauj visaptveroši izprast tā uzvedību.Viens veids, kā ierosinātā metode nodrošina lielāku pārredzamību, ir vienkāršojot modeļa grafiskos attēlus, vienlaikus saglabājot tās būtiskās īpašības. Lai gan šis apgalvojums ir šauri patiess, tas ir maldinošs kopumā. Ja vien netiek dota īpaša vadība, cilvēki dabiski atskaitīs noteiktas smalki grauzdētas detaļas no gabaliem, kad attīstās izpratne par modeli. Distilējot interpretējamus modeļus īsā attēlojumā, mēs atmetam ārējās char-akteristikas un samazinām garīgo piepūli, kas nepieciešams, lai izprastu modeli. Piemēram, nav nekavējoties skaidrs, ko indivīdam vajadzētu saprast no funkcijas_0011 (ķermeņa plūsmas garums) un funkcijas_0128 (saites numurs) iezīmēm sākotnēji iemācītajā MSLR-WEB30K modelī, kas parādīts attēlā Patiešām, dažādi indivīdi var iegūt kvalitatīvi atšķirīgu izpratni no šiem grafiskajiem attēliem. Tomēr, ņemot vērā papildu zināšanas, ka destilēts līknes modelis, ko pārstāv pārklātie līknes attēlā ja ir gandrīz identiska precizitāte, novērotājs var izdarīt daudz spēcīgākus secinājumus par modeļa būtiskajām īpašībām. Interpretējamību var vēl vairāk palielināt, nosakot monotonitātes ierobežojumus. Precīzs apraksts 2. 2 6.4. Acīmredzot, kad destilācija rada vienkāršāku modeli ar salīdzināmu precizitāti, mēs teiktu, ka destilācijas process ir veiksmīgs.Tomēr gadījumi, kad destilācija rada modeli ar zemāku precizitāti, atļauj turpmāku izmeklēšanu, jo acīmredzamo "neveiksmi" bieži var attiecināt uz skolotāja modeļa būtiskām iezīmēm, kas netika veiksmīgi nodotas studentam. Mēs apskatām vienu reprezentatīvu piemēru par šo parādību sadaļā Lai gan pilnīga šī principa apspriešana ir ārpus šī darba darbības jomas, mēs atzīmējam, ka ideju var uzskatīt par strukturālo ierobežojumu izmantošanas paplašināšanu, lai definētu “interpretējamus” modeļus, kas tieši tagad tiek piemēroti atsevišķu funkciju struktūrai modelī. Kravas ar nelielu skaitu sagrieztu kontrolpunktu) tās pārredzamība būtu apšaubāma. jo tie pārkāpj noteikto cilvēka interpretējamības jēdzienu 6.2 Tātad e.g 3.2 Konstruktīva regulēšana Ierosinātā metode var tikt uzskatīta arī par post-hoc regularizācijas procesu, kas ir pilnībā saderīgs ar un papildina optimizācijas bāzes regularizācijas paņēmienus ( L1/L2 sankcijas vai monotonitātes ierobežojumi). normalizācijas kontekstā mūsu uzsvars uz īsumu ir saskaņots ar minimālā apraksta garuma principu [ ] par modeļu izvēli. Ustun un Rudin [ ] piemēroja līdzīgu pamatojumu, lai motivētu lineāros modeļus ar maziem, veselu vērtību svariem. Ierobežotā apraksta garums līknes nodrošina ierobežotu jaudu, lai uztvertu idiosinkratisko uzvedību. Tā rezultātā līknes destilācija veiksmīgi novērš aberācijas no skolotāja modeļa funkcijām. Šis normalizācijas efekts var redzēt attēlā un figūra Jo mazāk segmentu, jo lielāks efekts. Lai atrastu īsāko līknes modeli, mēs varam atkārtoti piemērot ierosināto metodi, samazinot kontrolpunktu skaitu. un līkuma tuvināšanas algoritmu (skatīt sadaļu Lai gan ir grūti tieši salīdzināt modeļus ar dažādām funkcionālām pārstāvībām, to attiecīgā koda garuma un lasāmības salīdzināšana ir informatīva. e.g 28 24 1 2. 4) ir 5 ) One practical advantage of curve-based regularization is that regularity is enforced by construction and the complexity of individual curves is readily apparent and quantifiable. Therefore, organizations that adopt curve models can set objective guidelines about model complexity that developers can anticipate when submitting model candidates for approval. Such guidelines can specify the maximum number of curve segments, maximum number of significant digits per curve control point, or monotonicity of the curve. Similar to the use of nothing-up-my-sleeve numbers in cryptography [ Uzņēmums ir izstrādājis un izstrādājis dažādas tehnoloģijas, kas ļauj izstrādātājiem precīzi risināt aizdomas par iespējamām vājībām un konstruktīvi pierādīt konkrēta modeļa kandidāta izturību. Vispārīgi runājot, standartizējot attīstību ap līkumu modeļiem ir vienkāršs veids, kā organizācijām sistemātiski īstenot labāko praksi, aizstāvēt pret kopējām kļūdām un slazdām un paātrināt modeļa pārbaudi un apstiprināšanu. vadītājus, produktu vadītājus utt.) piedalīties šajā apstiprināšanas procesā. 29 e.g 3.3 Lasāms, rediģējams kods Curve modeļa kodu var izlasīt, pārskatīt, apvienot un versionēt tāpat kā parastais avota kods. Var saprast, kā līknes modelis darbotos jaunos vai ekstrēmos apstākļos, garīgi “novērtējot” modeli hipotētiskajos “ko, ja?” scenārijos bez nepieciešamības pēc papildu instrumentiem. Modelu pakļaušana tradicionālajam avota koda pārskatīšanas procesam atvieglo stingrāku modeļa īpašību pārbaudi un lielāku atbildību, nekā tas ir iespējams ar neredzīgiem modeļiem. Patiesībā, veicot “modela pārskatīšanu” ar avota koda pārskatīšanu, tiek nodrošināts, ka pats kandidāta modelis – nevis kāds atsevišķs, potenciāli neatbilstošs modeļa apraksts vai artefakts vai kā tas tika apmācīts – ir pārskatīšanas priekšmets. Gadījumā, ja tiek atklāta nevēlama modeļa uzvedība, modeļa • [ ] apsprieda, kā šāda pieeja apmācībai ar pieķeršanās iezīmēm un pēc tam to noņemšana var būt potenciāli labāka nekā vienkārši apmācība bez pieķeršanās iezīmēm. 1. un al 2 Modelu pārredzamība ir būtiska augstas likmes lēmumu kontekstā [ ] rodas krimināltiesību, finanšu, veselības aprūpes un citās jomās. nodrošinot pilnīgu avotu modeli vienkāršā, pārnēsājamā, cilvēka lasāmā kodā padara modeļus pārredzamu. ], kas tiek izteikti universāli saprotamā valodā, kurvja modeļi upurē piekļūstamību lielākai izteiksmīgumam un vispārējam nolūkam. 21 3 3.4 Sadarbības modeļa izstrāde Kravas destilācija ir saderīga ar jebkuru algoritmu vai modelēšanas paņēmienu, kas rada vienveidīgas funkcijas. Eksperimentu sadaļā mēs izmantojam ierosināto paņēmienu, lai izlemtu meža GAM par vairākiem datu kopumiem. ] pielietojis ierosināto metodi GAM, kas apgūti, izmantojot neironu tīklus, kā arī līdzīgus neironu tīklus ar ierobežotām mijiedarbībām, izmantojot multiplikatīvo pāru. Organizējot sadarbīgo attīstību ap līkumu modeļiem, inženieri var izmantot dažādus dažādus rīkus, paņēmienus vai platformas, lai optimizētu (potenciāli liela mēroga) modeļa sastāvdaļas. Inženieri var brīvi izvēlēties modelēšanas pieeju, kas palielina to produktivitāti, līdzīgi kā inženieri izmanto vairākus IDEs, kodu formatētājus vai linterus, lai sadarbīgi izstrādātu programmatūru. 32 3.5 Tiešā izvietošana Krūmu modeļi ir ātri novērtējami un viegli ievietojami. Tā kā novērtēšanai ir vajadzīgs minimāls aprēķins - tikai nedaudz plūstošo punktu operāciju uz krūmu - krūmu modeļi ir piemēroti darbības kritiskām lietojumprogrammām. Krūmi ir pārnēsājams, platformas agnostikas attēlojums, ko var natīvi atbalstīt dažādās valodās vai sistēmās ar nelielu piepūli. shows a C++ implementation of a COMPAS model with 2 segments. In general, curve models are straightforward to deploy because they offer a multitude of integration options. Curves can be embedded in configuration files, passed via CGI parameters, manu-ally embedded into complex applications in a piecemeal fashion, systematically translated to a target representation, or evaluated by existing runtime systems with a few incremental extensions. 2 4 Lokalizēta destilācija Mūsu destilācijas process aizņem divus ienākumus: skolotāja modeli, kas satur vienu vai vairākas vienveidīgas funkcijas, un reprezentatīvu datu kopu (parasti apmācības datus). Mūsu metode atšķiras no parastajām destilācijas metodēm, jo mēs (1) izolēti destilējam katru vienveidīgo funkciju un (2) optimizējam vidējo kvadrātveida kļūdu (MSE) katras vienveidīgās funkcijas aptuveni. Konkrēti, katra vienveidīgā funkcija skolotāja modelī tiek novērtēta uz datu kopas, lai iegūtu reprezentatīvu (x, y) paraugu pāru. izmantojot aptuvenu algoritmu, kas aprakstīts sadaļā Ja skolotāja modelī ir vienveidīgas funkcijas, kas iekļautas citās vienveidīgās funkcijās, mēs aizstājam avota funkcijas no apakšas uz augšu. PWLCurve 5. Galīgais modelis tiek izveidots, aizstājot katru sākotnējo vienveidīgo funkciju ar Tātad tuvināšanās. PWLCurve Konvencionāli, modeļa destilācija ietver globālu optimizāciju, izmantojot to pašu (vai vismaz līdzīgu) mērķi kā sākotnējā skolotāja modeļa apmācība. Šis mērķis var atšķirties no punktveida MSE mērķa. Piemēram, rangu mērķiem bieži ir pāru definīcijas. Kāpēc tad mēs atbalstām lokalizētu optimizāciju, izmantojot MSE mērķi visos apstākļos? Galvenā atbilde ir tāda, ka interpretējamu modeļu kontekstā ir ievērojama vērtība, saglabājot spēcīgu viens pret vienu atbilstību starp katru avota funkciju un mērķa funkciju. Ievērojami, tas ļauj mums vizualizēt katru formas funkciju skolotāja modelī pret atbilstošo līknes nomaiņu. Turklāt mēs varam piešķirt destilācijas neveiksmes - datu gadījumus, kur we can immediately tell that the shape function of 𝑥1 was not well-approximated by a curve. In the experiments section we show that the meaningful behavior of nearly all shape functions can be accurately captured by curves with three to five segments. Furthermore, when the meaningful behavior is not captured, it is generally due to inherently non-interpretable behavior being lost. 5 Lai gan globālā optimizācijas pieeja ( ., optimizējot visu līkumu parametrus mērķa modelī vienlaicīgi), izmantojot problēmu specifisko metriku, varētu radīt precīzāku rezultātu, tas ir aprēķināmi dārgāks un trūktu tāda paša viens pret vienu atbilstība ar skolotāju modeli, padarot destilācijas neveiksmes grūtāk diagnosticēt. turklāt, ja ir vēlams augstāks precizitātes līmenis, ierosinātā destilācijas procesa iznākumu var izmantot, lai sāktu globālu optimizāciju par līkuma modeļa parametriem. I.E 5 lineārās līknes tuvināšana Ņemot vērā vienveidīgo skaitlisko funkciju f (x) → y, mūsu mērķis ir radīt c (x) → y, kas ticami aptuveni f (x), samazinot MSE (c(x), f (x)) pār parauga datiem. Cik daudz metrikas zaudējumi rodas, ja katrs c (x) tiek aizstāts ar atbilstošo f (x) apmācītajā modelī. PWLCurve I.E Turklāt metodes praktiskais panākums arī de- pends on the robustness and efficiency of the approximation algorithm. To enable systematic use of curve distillation in model training pipelines, the approximation algorithm must run with minimal configuration. Complex hyperparameters pose a significant barrier to entry. We have designed , our piecewise linear approximation algorithm, so that in practice users only need to consider the un (Monotonitāte) parametri, kamēr = 5 segmenti un =False ir pietiekami, lai iegūtu augstu precizitāti (kā pierādīts mūsu eksperimentos), ir vēlams izpētīt, vai modeli var vēl vairāk vienkāršot ar mazāk segmentiem vai ar monotonitātes ierobežojumiem. . mazāk nekā 1 sekundi uz funkciju), kas ļauj interaktīvu analīzi, izmantojot Jupyter piezīmju grāmatiņas [ ] vai citus instrumentus.Šie praktiskie apsvērumi ir informējuši dažādus lēmumus Jo īpaši mēs dodam priekšroku algoritmam, kas ātri un uzticami sniedz augstas precizitātes rezultātus ar minimālu konfigurāciju, nevis algoritmam, kas upurē jebkuru no šiem praktiskajiem apsvērumiem, lai iegūtu ierobežotu precizitāti. pwlfit num_segments mono num_segments mono e.g 15 pwlfit Šajā sadaļā mēs aprakstīsim galvenās iezīmes un ievērojamās iezīmes . We invite interested readers to consult the publicly-available source code of [Lasīt ], lai iegūtu papildu detaļas. pwlfit pwlfit 22 5.1 Algoritms Ņemot vērā (x, y, svars) punktu sarakstu un vēlamo segmentu skaitu k, mēs meklējam to minimize mean squared error, MSE. A ar k segmentiem ir raksturīgi tā k + 1 kontrolpunkti – x mezglu kopums un to attiecīgie y mezgli. Ņemot vērā tikai x mezgli, mēs varam atrisināt lineāru vismazāko kvadrātu izteiksmi optimālajiem y mezgliem un iegūto kļūdu. Tā kā mēs nezinām pareizos x mezgliņus, mēs meklējam iespējamo x mezglu telpu un katrā posmā atrisinām vismazāko kvadrātu izteiksmi, lai aprēķinātu kļūdu.2 PWLCurve PWLCurve Par veiktspēju mēs izlases veidā lejupielādējam lielus datu kopumus līdz aptuveni vienam miljonam punktu, pirms tos pielāgojam. Mēs lejupielādējam paraugus, lai samazinātu šķirošanas izmaksas, kas dominē lielu datu izpildes laikā. Šī lejupielāde rada nenozīmīgu kvalitātes zudumu. Lai vēl vairāk samazinātu izpildes laiku, mēs diskretizējam meklēšanas telpu x mezgliem. x-vērtības no datiem, kas vienādi atstarotas ar kumulatīvo svaru, un meklēt kombinācijas x-nodus no minētā paraugu ņemto kandidātu kopuma. Izmantojot noklusējuma 100 paraugus, mūsu kandidāti ir x-vērtības (0%, 1.01%, . . . , 98.9%, 100%) no kumulatīvā svara. 5.1.1 Sākotnējā paraugu ņemšana. num_samples Piemēram, 55% no COMPAS datu kopas ilguma_of_stay funkcijas vērtībām ir 0 vai 1. Šādos gadījumos mēs iteratīvi atkārtojam paraugu ar augstākiem rādītājiem (piemēram, 0%, 0.505%, 1.01%, utt.), līdz mēs vācam piemērotu atsevišķu kandidātu skaitu, nekad nepārsniedzot norādīto Parametrs ir. 5.1.2 Nodaļas diskrētības noteikšana num_samples Lai samazinātu izmaksas par katru lineāro vismazāko kvadrātmetru soli, mēs kondensējam datus, izmantojot jaunu metodi, kas atšifrēta pielikumā Dāvana Iespējams, ka tas nozīmē, ka katrs kandidāts var saņemt divus kandidātu sarakstus, un katrs kandidāts var saņemt divus sarakstus ( - 1) sintētiskie punkti. par jebkuru funkciju, kas ir lineāra starp katru blakus esošo kandidāta x mezglu pāri, ko garantē mūsu izvēle par diskrētu kandidātu 5.1 Kondicionēšana B ir num_samples num_samples 𝑥-knots, these condensed points perfectly recreate the loss of that function over the full data set. We run our linear least squares solver on the condensed points instead of the full data set, which reduces our cost per solve from O(num_points) to O( ). This is purely a performance optimization, with no quality implications. num_samples After discretization, the solution space consists of num_samples num_segments+1 𝑥-knot combinations, which is still too large for an exhaustive search. To make the search tractable we use a greedy search heuristic that optimizes one 𝑥-knot at a time. Specifically, at each step of the process we evaluate the error associated with each candidate 𝑥-knot, and keep the candidate that yields the least error. With this approach, we optimize in two stages. We begin with a single 𝑥-knot as our solution, and greedily add the best remaining candidate 𝑥-knot until our solution consists of (num_segments + 1) 𝑥-knots. Then we cycle through our solution, removing one 𝑥- knot at a time and replacing that 𝑥-knot with the best remaining candidate 𝑥-knot, which could be the same 𝑥-knot that we just removed. We continue this cycle of iterative improvements until our solution converges, or until we’ve exceeded the maximum number of iterations (defaulting to 10 iterations). 5.1.4 Global Optimization via Greedy Search . pwlfit can impose a minimum and/or maximum slope on the solution via bounded least squares. Instead of solving the least squares expression directly for the 𝑦-knots, we solve it for the deltas between adjacent 𝑦-knots. 5.1.5 Slope Constraints & Monotonicity. Then we impose a min/max slope by bounding the deltas. Slope restrictions can be used to limit the spikiness of curves, but we primarily use them to impose monotonicity. For example, specifying =0 restricts to monotonically non-decreasing functions while =0 ierobežo monotoniski neaugošas funkcijas. greater than 0 or a less than 0 restricts to strictly increasing or decreasing functions, respectively. can deduce the direction of monotonicity by applying iso-tonic regression [ ] to the condensed points. We fit an increasing and a decreasing isotonic regression, and use the direction that minimizes mean squared error. The user can override this behavior by specifying the direction explicitly or by disabling monotonicity entirely. min_slope max_slope min_slope max_slope pwlfit 26 can also interpolate in a transform of feature engineering. transforms the 𝑥-values before learning the curve. Specifically, tiks izvēlēta kandidāta x-transformācija, , among , , or based on the range of the 𝑥-values and then proceed with that transformation if it increases the Pearson correlation between Alternatīvi, lietotājs var norādīt jebkuru stingri palielinošu 1D transformāciju vai norādīt identitātes transformāciju, lai atspējot transformāciju. 5.1.6 Ienākumu pārveidošana pwlfit pwlfit pwlfit fx log log1p symlog1p fx 6 EXPERIMENTS 6.1 Distillation Accuracy Galdiņš un figūra show the results obtained from experiments on the different datasets. A complete set of results can be found in Table in Appendix Mūsu destilācijas tehnikas piemērošanas rezultāti ar mūsu daļēji lineāro tuvināšanas algoritmu ir prezentēti kā: . We present results from using various numbers of segments with and without a monotonicity restriction and otherwise default parameters. In all cases we truncated the control points to four significant digits. We also present several additional reference points to provide context. 1 4a 2 A. pwlfit • Mēs tieši mācāmies līknes ar Adadelta[ ] optimizer. We initialize the 𝑦 values of the control points as zeros. For the 𝑥 values of the control points we use the quantiles for numerical features ( 0%, 50%, 100% trīs punktu, divu segmentu līknes gadījumā) vai visas unikālās vērtības kategoriskām funkcijām. Mēs pēc tam piemērojam Adadelta, lai optimizētu y vērtības. Vienlaikus tika mēģināts optimizēt x un y vērtības, bet rezultāti vienmēr bija sliktāki nekā optimizēšana SGD: 31 e.g Un vērtības vienatnē. • Neural Additive Models (NAMs) [ ] is another method for learning interpretable models proposed by Agarwal . We present their result for reference where applicable. NAM: 2 et al • Mēs apmācām bagāžas, pastiprinātu lēmumu mežu, kas ļauj funkciju mijiedarbībai pierādīt neinterpretējama, augstas sarežģītības "melnās kastes" modeļa precizitāti. Interacting forest: • : We train a bagged boosted decision forest GAM by restricting each tree to use only one feature. This model is also the source model for our distillation technique. GAM forest • We apply our distillation technique using an alternative piecewise-linear approximation algorithm pwlf: pwlf [13]. Katrā datu kopā mēs izmantojām piecus pārklājumus, lai pārbaudītu metrikas vidējo un parauga standarta novirzi. Mēs izmantojām trīs dažādus rādītājus, lai novērtētu precizitāti: AUC-ROC, RMSE un NDCG@5 trīs dažādiem klasifikācijas, regresijas un klasifikācijas uzdevumiem. and further details on the datasets, labels, and metrics can be found in Preliminaries A 2.1 Tātad Our results show that applying our distillation technique with 4-5 segments with produces models which are as accurate as both the source GAM forest and NAM models for all datasets except CWS where a small gap remains. We investigate this accuracy gap in detail in Section below. In the case of the COMPAS dataset these models are as accurate as full complexity models. Applying our technique with produces competitive results, albeit less accurate on the MSLR-WEB30K dataset. By contrast, the results show that learning curves directly via SGD is less general. On the FICO and CWS datasets more segments are required to achieve accuracy comparable to the GAM forest models. On the MSLR-WEB30K dataset the accuracy is inferior even with many more segments. pwlfit 6.2 pwlf The consistent accuracy of applying our distillation approach with on these four datasets and three separate tasks (classification, regression, learning to rank) demonstrates that the process is not sensitive to either the specific data or the top level objective being used. pwlfit 6.2 Destilācijas neveiksmes In Section Mēs izskaidrojām, kā destilācija, kas nodrošina modeli ar zemāku precizitāti, atļauj turpmāku izmeklēšanu, jo iespējamo "neveiksmi" bieži var attiecināt uz svarīgām, bet neinterpretējamām skolotāja modeļa īpašībām, kas netiek pārnestas uz studentu modeli. shows the worst two fits from the CWS dataset. The plots have been redacted to maintain the privacy of the dataset. For each plot it is clear that the original teacher submodel had some non-interpretable behavior which was lost during distillation. This is most evident for feature 𝑥1, the worst offender, where the output is highly erratic. If the original teacher submodel is not distilled for these two features then the accuracy gap between the original teacher model and 5 segment non-monotonic distillation drops from 0.0059 to 0.003 ( . ~50% of the gap is recovered). 3.1 5 I.E To identify the above two failures we applied the following method. • Begin with the original teacher model. For each submodel compute the metric delta against the teacher model from distilling only that submodel and no others. • Perform the above on each cross validation fold using the validation set and average the metric deltas across folds. • Sort the features by their associated metric delta to determine the worst distillations. 6.3 Efficiency & Robustness Iepriekšējās nodaļas eksperimenti parādīja, ka more accurately distills the source model across datsets than Mēs arī atklājām MSLR-WEB30K datu kopu, kas is more efficient and robust than . Figure shows per fit metrics from the first fold of the MSLR-WEB30K dataset as the number of segments varies without monotonicity. The top plot shows the time in seconds, as measured on a ThinkStation P520, to fit each of the 136 submodels of the source GAM forest. We find that is faster in the average case as the number of segments increases, and has a narrower distribution. The bottom plot shows the RMSE of each fit against the 136 submodels of the source GAM forest. We again find that performs favorably in the average case with a narrower runtime distribution. pwlfit pwlf pwlfit pwlf 4b pwlfit pwlfit It’s worth noting that by default does not perform any down-sampling. For the MSLR-WEB30K dataset running without any downsampling was prohibitively expensive. For all of our experi-ments we ran with a pre-processing downsample to a random 1000 examples. We found this to be a fair point for balancing speed and quality when comparing to . It is of course possible with both algorithms to modify the number of samples used to strike a different trade-off between run time and accuracy. pwlf pwlf pwlf pwlfit 6.4 Monotonicity As discussed in Section can fit monotonic curves with automatic direction detection. Figure compares curve models fit with and without monotonicity constraints (automatically inferring the direction) across datasets. For the COMPAS dataset monotonic and non monotonic models are comparably accurate, while for FICO, MSLR-WEB30K, and CWS, non-monotonic models are more accurate. 5, pwlfit 4a Monotonicity with respect to appropriate features is desirable for interpretable models. In these cases a monotonic model may be preferable to a non-monotonic one, even if it is less accurate. For example, Figure compares monotonic and non-monotonic 5-segment curve models on the FICO dataset for the MSinceMostRecentDelq and PercentTradesWBalance features. Given the semantic meaning of these features, it is desirable from a transparency and incentives standpoint for the model output to be monotonic with respect to each of them. 6 7 Secinājumi We have introduced a novel method for distilling interpretable models into human-readable code using piecewise-linear curves and demonstrated its efficacy on four datasets. We have shown that curve models match or outperform the accuracy achieved by other additive models. On smaller datasets, curve models match the accuracy of more complex models, like interacting decision forests. Our localized distillation methodology is applicable to any model containing univariate numerical functions and is straightforward to implement using the publicly-available library. pwlfit [22] We have explained how curve model distillation reinforces interpretability and addresses a variety of real-world engineering challenges. Curve models are 1) transparent, 2) well-regularized, 3) easy to analyze for presence of biases or other fairness issues, and 4) can be directly edited or improved outside the context of machine learn-ing to fix the aforementioned fairness issues. Distilling models into human-readable code allows one to address novel machine learning problems using well-established software engineering methods. Curve models can be improved by multiple contributors in parallel, reviewed, and made to systematically follow best practices. Curve models are well-suited for production applications, since they can be natively supported in many languages, are easy to deploy, and fast to evaluate. ACKNOWLEDGMENTS We thank Vytenis Sakenas, Jaime Fernandez del Rio, Benoit Zhong, and Petr Mitrichev for their support and providing the algorithms and optimization infrastructure used in our experiments. We also thank Paul Heymann, Diego Federici, Mike Bendersky, Paul Haahr, and Petr Mitrichev for their helpful feedback and detailed reviews. Lastly, we thank Xinyu Qian, Janelle Lee, Po Hu, and Chary Chen for preparing the CWS data set for our experiments. REFERENCES [1] 2018. gada FICO Explainable Machine Learning Challenge. https://community.fico. com/s/explainable-machine-learning-challenge. [2] Rishabh Agarwal, Nicholas Frosst, Xuezhou Zhang, Rich Caruana un Geoffrey E. Hinton. :cs.LG/2004.13912 [3] Elaine Angelino, Nicholas Larus-Stone, Daniel Alabi, Margo Seltzer, and Cynthia Rudin. 2017. Learning Certifiably Optimal Rule Lists. In . Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17) [4] Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner. 2016. Machine bias: There’s software used across the country to predict future criminals. 23 (2016). And it’s biased against blacks. ProPublica [5] Cristian Buciluundefined, Rich Caruana un Alexandru Niculescu-Mizil. 2006. . 535–541. Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’06) [6] Rich Caruana, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, and Noemie Elhadad. 2015. Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-Day Readmission. In 1721 līdz 1730. gadam 21.ACM SIGKDD starptautiskā konference par zināšanu atklāšanu un datu iegūšanu (KDD ’15) [7] Chaofan Chen, Kangcheng Lin, Cynthia Rudin, Yaron Shaposhnik, Sijia Wang, and Tong Wang. 2018. An Interpretable Model with Globally Consistent Explanations for Credit Risk. arXiv :cs.LG/1811.12615 [8] Alexandra Chouldechova. 2017. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. 5, 2 (Jun 2017), 153–163. Big Data https://doi.org/10.1089/big.2016.0047 [9] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image063.gif)Julia Dressel un Hany Farid. 2018. precizitāte, taisnīgums un ierobežojumi paredzēt recidivisms. 4, 1 (2018). Science Advances https://doi.org/10.1126/sciadv.aao5580 [10] Mengnan Du, Ninghao Liu, and Xia Hu. 2019. Techniques for interpretable machine learning. 63, 1 (Dec 2019), 68–77. Commun. ACM https://doi.org/10. 1145/3359786 [11] Trevor Hastie and Robert Tibshirani. 1986. Generalized Additive Models. 1, 3 (08 1986), 297–310. Statist. Sci. [12] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. 2015. Distilling the Knowledge in a Neural Network. arXiv :stat.ML/1503.02531 [13] Charles F. Jekel and Gerhard Venter. 2019. . pwlf: A Python Library for Fitting 1D Continuous Piecewise Linear Functions https://github.com/cjekel/piecewise_ linear_fit_py [14] Jon Kleinberg. 2018. Inherent Trade-Offs in Algorithmic Fairness. In . 2018. gada ACM Starptautiskā datorsistēmu mērīšanas un modelēšanas konference (SIGMETRICS ’18) [15] Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Pérez, Brian Granger, Matthias Bussonnier, Jonathan Frederic, Kyle Kelley, Jessica Hamrick, Jason Grout, Sylvain Corlay, Paul Ivanov, Damián Avila, Safia Abdalla, and Carol Willing. 2016. Jupyter Notebooks – a publishing format for reproducible computational workflows. In , F. Loizides un B. Schmidt (Eds.). IOS Press, 87 – 90. Positioning and Power in Academic Publishing: Players, Agents and Agendas [16] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image072.gif)A. K. Kolmogorov. 1957. On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition. 114 (1957), 369–373. Doklady Akademii Nauk SSSR [17] Yin Lou, Rich Caruana un Johannes Gehrke. 2012. gads Inteliģenti modeļi klasifikācijai un regresijai. 150 līdz 158. Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’12) [18] Yin Lou, Rich Caruana, Johannes Gehrke un Giles Hooker. 2013. Precīzi saprātīgi modeļi ar pāru mijiedarbību. . 623–631. Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’13) [19] Tao Qin and Tie-Yan Liu. 2013. Introducing LETOR 4.0 Datasets. abs/1306.2597 (2013). Kārlis http://arxiv.org/abs/1306.2597 [20] Tao Qin, Tie-Yan Liu un Hang Li. 2010. gads Vispārīga pieeja informācijas iegūšanas pasākumu tiešai optimizācijai. 13, 4 (2010), 375–397. Information retrieval [21] Cynthia Rudin. 2018. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. arXiv :stat.ML/1811.10154 [22] Ethan Sterling un Walker Ravina. . pwlfit: Piecewise-Linear Curve Fitting bibliotēka https://github.com/google/pwlfit [23] Sarah Tan, Rich Caruana, Giles Hooker un Yin Lou. 2018. Distill-and-Compare: Auditing Black-Box modeļi, izmantojot caurspīdīgu modeļu destilāciju. . 303–310. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society (AIES ’18) [24] Berk Ustun and Cynthia Rudin. 2014. Methods and Models for Interpretable Linear Classification. arXiv :stat.ME/1405.4047 [25] Wikipedia. 2020. Bhatia–Davis inequality. [Online; accessed 03-September-2020]. http://en.wikipedia.org/w/index.php? nosaukums=Bhatia%E2%80%93Davis%20nevienlīdzība&oladh=875899600. [26] Wikipedia. 2020. Isotonic regression. [Online; pieejams 2020. gada 30. novembrī ] http://en.wikipedia.org/w/index.php?title= Isotonic%20regression&oldid=989717822. [27] Wikipedia. 2020. Kolmogorov–Arnold representation theorem. [Tiešsaistes; piekļuves datums ir 2020. gada 10. augusts]. http://en.wikipedia.org/w/index.php?title=Kolmogorov%E2%80%93Arnold% 20representation%20theorem&oldid=964097101. [28] Wikipedia. 2020. Minimum description length. [Online; ac-cessed 12-August-2020]. http://en.wikipedia.org/w/index. php?title=Minimum%20description%20length&oldid=965620302. [29] Wikipedia. 2020. Nothing-up-my-sleeve number. [Online; accessed 12-August-2020]. http://en.wikipedia.org/w/ index.php?title=Nothing-up-my-sleeve%20number&oladh=972510276. [30] Wikipedia. 2020. Segmented regression. [Online; accessed 10-August-2020]. http://en.wikipedia.org/w/index.php? title=Segmented%20regression&oldid=910888930. [31] Matthew D. Zeiler. 2012. ADADELTA: An Adaptive Learning Rate Method. abs/1212.5701 (2012). arXiv CoRR :1212.5701 http://arxiv.org/abs/1212.5701 [32] Honglei Zhuang, Xuanhui Wang, Michael Bendersky, Alexander Grushetsky, Yonghui Wu, Petr Mitrichev, Ethan Sterling, Nathan Bell, Walker Ravina, and Hai Qian. 2021. Interpretable Ranking with Generalized Additive Models. In . to appear. 14.ACM starptautiskā konference par tīmekļa meklēšanu un datu iegūšanu (WSDM ’21) Eksperimentālās detaļas A.1 Cross Validation We performed 5-fold cross validation on all datasets. · : Datu kopas tika sadalītas 5 vienādās daļās. Katra daļa tika izmantota vienu reizi kā testa kopa (20%) ar atlikušajām daļām kā apmācības kopa (80%). ]. No validation set was used given the small size of the data. Instead we used out of bag evaluation wherever a validation set would be used (see below). COMPAS & FICO 2 · : Mēs izmantojām iepriekš noteiktos saliekumus un nodalījumus no sākotnējā datu kopuma. par katru salikumu tas piešķir 60% apmācībai 20% validācijai un 20% testēšanai. MSLR-WEB30K • : Mēs izmantojām datu kopu no 60 000 vaicājumiem un 2 690 439 elementiem ar vidēji ~ 44 elementiem uz vaicājumu. Datu kopums tika sadalīts 5 vienādās daļās. Katra daļa tika izmantota vienu reizi kā testa kopa. No atlikušajām daļām 80% tika izmantota kā apmācība un 20% kā validācija. Kopumā tas izraisīja 64% apmācību, 16% validāciju un 20% testu katrai saliekšanai. CWS A.2 Ensemble Learning For both SGD and tree models, we trained ensembles with 56 bags using a bag fraction of 7 to produce the random subsets. For MSLR-WEB30K and CWS, queries were randomly divided into bags. For the other datasets, individual examples were randomly divided into bags. When applying our distillation technique, we distilled the ensembles into a single Mācot līknes tieši caur SGD, mēs vidēji iemācījāmies y-koordinātu vērtības pa maisiņiem, lai iegūtu galīgo modeli. PWLCurve A.3 Loss Functions We trained SGD and tree models using log-loss for the COMPAS dataset, mean squared error (MSE) for the FICO dataset, and ranking loss (ApproxNDCG [ ]) for the MSLR-WEB30K and CWS datasets. 20 A.4 Hyper-parameters COMPAS un FICO datu kopu hiperparametri tika pielāgoti, izmantojot pirmās līknes apmācības komplektā veikto izvērtējumu. • Mēs izgatavojām šos augus, un mēs izmantojām šos augus. ] optimizer and tuned a sufficient maximum number of steps for convergence. No other pa-rameters were tuned. SGD: 31 • Mēs apmācījām dziļumu 5 kokus, izmantojot iekšējo pastiprināto meža algoritmu. Mēs pielāgojām pietiekamu maksimālo pakāpju skaitu konverģencei. Interacting forest: • Mēs apmācījām dziļumu 3 kokus, kas ierobežoti, izmantojot vienu funkciju ar iekšējo pastiprinātu meža algoritmu. Mēs pielāgojām pietiekamu maksimālo soli skaitu konverģencei. GAM forest: In all cases, we trained models for the tuned maximum number of steps and then truncated models after training. Truncation used a confidence-based truncation algorithm which attempts to select the earliest step for which no later step provides a confident win. This algorithm was run on the validation set if present or otherwise utilized out of bag evaluation. A.5 Code GitHub repozitorijas izmantošana [Lasīt ] satur vairākas Jupyter piezīmju grāmatiņas, kas izmanto mūsu destilācijas tehniku un veic šajā dokumentā parādītās analīzes.Lūdzu, atsaucieties uz versiju v0.2.0, lai iegūtu pievienotos datu failus un piemērotu Jupyter piezīmju grāmatiņu versiju. pwlfit 22 B lineārais sods Lineārā kondensācija ir datu optimizācija, kas paredzēta, lai samazinātu mūsu lineārās līknes piestiprināšanas izpildes laika sarežģītību. B.1 Motivācija / pārskats picks a set of candidate 𝑥-knots and searches through combinations of those 𝑥-knots. For each combination considered, it solves a linear least squares expression for the ideal 𝑦-knots, calculates the resulting squared error, and prefers the combination that yields the lowest error. pwlfit Katrs risinājums ir lineārs ievades izmērā, kas ir lēns lieliem datiem. Mēs varētu lejupielādēt paraugu, lai ietaupītu aprēķinus ar precizitātes izmaksām. Tā vietā mēs ieviesām tehniku, lai ietaupītu aprēķinus bez izmaksām precizitātes ziņā. Mēs kondensējam datus sintētiskajos punktos O(#candidates). Šie sintētiskie punkti perfekti atkārto patieso kvadrātveida kļūdu pār pilniem datiem par katru that will be considered. We then optimize over the synthetic points instead of the real points. PWLCurve Tas ir iespējams, jo mēs zinām kandidāta x mezglus pirms laika. definēts šajos x mezgliņos vienmēr būs lineārs starp jebkuriem blakus esošajiem x mezgliņiem kandidātu komplektā. Kā mēs parādām teorēmā, mēs varam patvaļīgi kondensēt daudzus punktus līdz diviem punktiem tā, ka lineārais fit ir tāds pats šajos divos punktos kā pilnā komplektā. Corollary, mēs piemērojam šo procesu atsevišķi starp katru kandidātu x mezgliņu pāri, radot divus punktus starp katru pāri. ir tāds pats par tiem sintētiskajiem punktiem, kā tas ir par pilnu datu kopumu. (līdz konstantei, kuru mēs droši ignorējam, jo tā ir tāda pati katram PWLCurve PWLCurve · PWLCurve B.2 Definīcijas For convenience, we take standard definitions and specialize them for weighted 2D points. Let a ‘point’ refer to a real-valued triple of the form (𝑥, 𝑦, 𝑤𝑒𝑖𝑔ℎ𝑡) with 𝑤𝑒𝑖𝑔ℎ𝑡 0. Definīcija B.1. > Ļaujiet “līnijai” atsaukties uz funkciju formā f (x) =mx + b m, b, x ∈ R. Definīcija B. 2 For any function 𝑓 : R → R and finite point set 𝑃, define the squared error 𝑆𝐸( 𝑓 , 𝑃) as the sum of ( 𝑓 (𝑥) −𝑦)2 · 𝑤𝑒𝑖𝑔ℎ𝑡 for each point in 𝑃. If 𝑃 is empty, we consider the squared error to be 0. Definition B.3. For any finite point set 𝑃, define the ‘best fit line’ 𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃) as the line 𝐿 that minimizes 𝑆𝐸(𝐿, 𝑃). In the degenerate case where multiple lines minimize 𝑆𝐸, let the best fit line be the solution with zero slope, and if multiple solutions have zero slope, let the best fit line be the solution with a zero 𝑦-intercept. Definition B.4. Ja punktu kopums ir tukšs, katrai līnijai ir tāda pati kvadrātveida kļūda, tāpēc mūsu definīcija izvēlas f (x) = 0 kā vislabāko derīgo līniju. B.3 Theorem Teorētiskais B. 5 P P ′ Given a set of points Mēs varam izveidot komplektu divus vai mazākus punktus, kas Šīs īpašības ir vēlamas, jo (2) ļauj mums aprēķināt M līniju kvadrātveida kļūdu pār N punktu datu kopu O(N + M) nevis naivi O(N M), un (1) ļauj mums paplašināt šo īpašību no līnijām uz noderīgu korolārijas daļēji lineāru līkumu klasi. piezīmēm . Note that the points in 𝑃 ′ are constructed, rather than chosen from 𝑃. The construction of 𝑃 ′ is implemented in [Lasīt ] kā pwlfit 22 linear_condense.linear_condense. Pierādījums. Ļaujiet X, Y un W pārstāv x, y un svara vērtības P, attiecīgi. Mēs noraidām triviālo gadījumu, kur P ir tukšs; šajā gadījumā tukšs P ′ atbilst prasībām. Tāpat mēs noraidām gadījumu, kur min(X ) = max (X ) jo P ′ = {Centroid (P)} atbilst mūsu vēlamajām īpašībām. Maksimālais skaits (X < Lai sāktu, mēs pārveidojam koordinātu sistēmu tā, lai izcelsme būtu P centroīds un y = 0 ir vislabāk piemērota līnija. (Tas vienkāršo matemātiku.) B.3.1 Reframe the Coordinate System. Centroid (P) = (X · W /sum(W ), Y · W /sum(W )). Mēs tulkojam koordinātu rāmi ar šo centroid tā, ka, zem jaunajām koordinātiem, Centroid (P) = (0, 0). Pēc tulkošanas, X · W = 0 un Y · W = 0. Turklāt mēs novirzām koordinātu sistēmu no labākās pielāgojamās līnijas slīpuma: mēs aizstājam Y ar Y − X · slīpumu (labākais f itline (P)). ar centroid sākumā, labākās pielāgojamās līnijas slīpums ir Covariance (X, Y, W ) / V ariance (X, W ) = Saskaņā ar jauno koordinātu rāmi, SE(labākais f itline (P), P) = SE(y = 0, P) = Y 2 ·W We will determine 𝑃 ′ under this new coordinate system. Afterwards, we can easily convert 𝑃 ′ back to the original coordinate system by reversing the skew and the translation. Mēs izteiksim SE (līnija, P) kā SE (labākais f itline (P), P) plus atlikušie termini. no tā mēs atradīsim P ′ tā, ka SE (līnija, P ′ ) ir vienāds ar šiem atlikušajiem terminiem. B.3.2 Kvadrātveida kļūda patvaļīgā līnijā. For an arbitrary line 𝑦 = 𝑚𝑥 + 𝑏, 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) = (𝑚𝑋 + 𝑏 − 𝑌) 2 · 𝑊 = (𝑚2𝑋 2 + 2𝑏𝑚𝑋 − 2𝑚𝑋𝑌 + 𝑏 2 − 2𝑏𝑌 + 𝑌 2 ) ·𝑊 . Mūsu koordinātu rāmī X ·W = 0, Y ·W = 0, un XY ·W = 0. Tātad SE(y = mx + b, P) = (m2X 2 + b 2 + Y 2 ) ·W. 𝑌 2 ·𝑊 = 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃). Therefore, SE(y = mx + b, P) = m 2X 2 ·W + b 2 ·W + SE(labākais f itline (P), P). 𝑚 2𝑋 2 ·𝑊 + 𝑏 2 ·𝑊 = 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) − 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃). B.3.3 Kvadrātveida kļūda pār P ′. B.3.3 Squared error over 𝑃 ′ . SE(y = mx + b, P ′ ) = SE(y = mx + b, P) − SE(labākais f itline (P), P) visām līnijām = mx+b ⇐⇒ (mX ′+b−Y ′ ) 2 ·W ′ = m2X 2 ·W +b 2 ·W visām līnijām y = mx + b. The above equation can be viewed as a quadratic polynomial in the two variables 𝑚 and 𝑏. To hold for all values of 𝑚 and 𝑏, the coefficients of each 𝑚𝑐 𝑏 𝑑 must be equal on both sides of the equation. Then the equation holds iff: 1. X ′2 ·W ′ = X 2 ·W, un 2. X ′ ·W ′ = 0, un 3. summa(W ) = summa(W ′ ), un 4. Y ′ ·W ′ = 0, un 5. Y ′2 ·W ′ = 0, un 6. X ′Y ′ ·W ′ = 0. (5) ⇐⇒ Y ′ = 0, kas arī garantē (4) un (6). Mēs izmantosim 1-3, lai iegūtu apmierinošu X ′ un W ′. Mēs esam noteikuši, ka Y ′ = 0. B.3.4 Deriving 𝑋 ′ and 𝑊 ′ . Ļaujiet X ′ := (x1, x2) un W ′ := (w1, w2). Bez vispārības zuduma ļaujiet x1 <= x2. Tā kā mums ir trīs vienādojumi četrās nezināmajās, mēs nevaram tieši atrisināt x1, x2,w1,w2. Lai iegūtu ceturto vienādojumu, mēs izvēlamies ierobežojumu, ka x1/x2 = min(X)/max (X). With this fourth equation, we solve the simultaneous equations to produce: Ņemiet vērā, ka, tā kā centroms ir nulle, min(X) < 0 < max (X), tāpēc visi šie izteiksmes ir definēti. (Dinētāji nekad nav 0 un vērtības zem kvadrāta saknēm nekad nav negatīvas.) 𝑃 ′ = (𝑥1, 0,𝑤1), (𝑥2, 0,𝑤2) satisfies our requirements. <= x1 <= x2 <= max (X). Mēs gribējām, lai P ′ apmierinātu kvadrātveida kļūdas izteiksmi, ko tā dara, un arī tās x-vērtības ir robežojas ar P x-vērtībām, ko mēs tagad pierādām. Ļaujiet μ := E(X,W ), paredzamo X vērtību nosver ar W , kas ir līdzvērtīgs Centroid (P) x-vērtībai. ar Bhatia–Davis nevienlīdzību [25], stddev(X,W ) 2 <= (μ −min(X)) (max (X) − μ). (Šī nevienlīdzība ir līdzvērtīga novērojumam, ka standarta novirze no sadalījuma tiek maksimāli palielināta, kad visi xs ir galējībās – t.i., vienāds ar min(X) vai B.3.5 Pārliecinieties, ka min(X) Tā kā μ ir nulle P gadījumā, stddev(X,W) 2 <= −min(X)max (X) B.4 Korolārija Corollary B.6. Ņemot vērā P punktu kopumu un x mezglu kopumu K, mēs varam konstruēt punktu kopumu P ′ ar IP ′ IP <= 2 ( IPK - 1) tā, ka jebkurai PWLCurve C, kuras x mezgli ir K elementi, SE(C, P) = SE(C, P ′ ) + c, kur c ir pastāvīga, ko nosaka tikai P un K, kas ir vienāda katram C. Note that the points in 𝑃 ′ are constructed, rather than chosen from 𝑃. The construction of 𝑃 ′ is implemented in pwlfit [22] as . linear_condense.condense_around_knots Piezīmju lineāras līknes ir konstantas ievades vērtībām, kas pārsniedz to x mezglu diapazonu, tāpēc C ir konstanta x = max (K) = K[k − 1). B.4.1 Pirmapstrāde P ar saspiešanu. Tādēļ mēs varam piestiprināt P x vērtības līdz [K[0], K[k − 1], nemainot SE(C, P). To construct 𝑃 ′ from 𝑃, we first partition 𝑃 by 𝐾 into 𝑘 + 1 disjoint pieces labeled 𝑃0, 𝑃1, ..., 𝑃𝑘 . B.4.2 Partīcija P ar K. Because we clamped 𝑃, 𝑃0 and 𝑃𝑘 are empty. Therefore Ð𝑘−1 𝑖=1 𝑃𝑖 = 𝑃. PWLCurve ir lineāra starp secīgiem kontrolpunktiem, tāpēc C ir lineāra pār katru Pi. B.4.3 Pārvērst katru nodalījumu divos punktos. no teorēmas, par katru Pi , mēs varam ražot divpunktu kopumu P ′ i ar minx (Pi) <= minx (P ′ i ) <= maxx (P ′ i ) <= maxx (Pi), tā, ka jebkurai līnijai L, This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. Pieejams arhīvā