![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Pradėjus naują mašininio mokymosi projektą, atsiranda entuziazmo ir gali kilti pagunda pereiti tiesiai į giluminį pabaigą. Yra daugybė naujausių pažangiausių modelių ar sudėtingų algoritmų, apie kuriuos galbūt jau skaitėte. Jie žada novatoriškų rezultatų, o išvengti pagundos eksperimentuoti su jais iš karto yra sunki užduotis.
Bet kuris šiuolaikinis verslininkas nori išbandyti naujausius metodus ir parodyti bendruomenei sudėtingus (ir sėkmingus) projektus. Tačiau šis entuziazmas, nors ir geras, kartais gali užtrukti daug laiko, kai tiksliai derinate hiperparametrus ir susiduriate su sudėtingų modelių diegimo sunkumais.
Šiame procese reikia užduoti vieną pagrindinį klausimą: kaip iš tikrųjų išmatuojame savo modelio efektyvumą?
Išsiaiškinti, ar mūsų modelio sudėtingumas yra pagrįstas, ar jo našumas tikrai geresnis, gali būti sudėtinga. Taip atsitinka, kai nėra paprastesnio atskaitos taško. Čia labai svarbu turėti pradinį modelį. Bazinė linija suteikia tą esminį atskaitos tašką – jis yra paprastas, greitai sukuriamas ir savaime suprantamas. Keista, bet dažnai bazinis modelis, kuriam gali prireikti tik 10 % visų kūrimo pastangų, gali pasiekti iki 90 % norimo našumo, todėl labai efektyviai pasiekiami pagrįsti rezultatai.
Idėja pradėti nuo paprasto nėra tik lengvas būdas pradedantiesiems – tai pagrindinė praktika, kuri išlieka aktuali visais duomenų mokslo karjeros etapais. Tai įžeminimo mechanizmas ir puikus priminimas suderinti mūsų sudėtingumo siekius su aiškių, lengvai suprantamų ir valdomų sprendimų praktiniais aspektais.
Bazinis modelis yra pati paprasčiausia versija, naudojama problemai spręsti. Paprastai šie modeliai apima tiesinę regresiją nuolatiniams rezultatams arba logistinę regresiją kategoriškiems rezultatams. Pavyzdžiui, tiesinė regresija gali numatyti akcijų grąžą remiantis istoriniais kainų duomenimis, o logistinė regresija gali priskirti kredito prašytojus kaip didelės arba mažos rizikos.
Šis metodas skiriasi nuo sudėtingesnių modelių, tokių kaip neuroniniai tinklai ar ansamblio metodai, kurie, nors ir galingi, gali apsunkinti problemos suvokimą ir padidinti laiką, reikalingą plėtrai dėl jų sudėtingumo ir didelių skaičiavimo išteklių.
Lyginamoji analizė yra labai svarbus pradinis žingsnis kuriant bet kurį ML modelį. Kai nustatote bazinį modelį, nustatote pagrindinę našumo metriką, kurią turi pranokti visi vėliau pateikti modeliai (kurie paprastai yra sudėtingesni), kad pateisintų jų sudėtingumą ir išteklių suvartojimą. Šis procesas yra ne tik puikus sveiko proto patikrinimas, bet ir pagrindžia jūsų lūkesčius bei aiškiai mato pažangą.
Pavyzdžiui, įsivaizduokite, kaip sukurti modelį, skirtą prognozuoti finansų rinkos tendencijas, naudodamiesi paprastu slankiuoju vidurkiu (SMA). Šis SMA gali naudoti trumpalaikius istorinius duomenis būsimoms akcijų kainoms prognozuoti ir pasiekti pradinį 60 % tikslumą teisingai prognozuojant rinkos pokyčius. Tada šis modelis nustato visų tolesnių pažangių modelių etaloną. Jei vėliau bus sukurtas sudėtingas modelis, pvz., ilgos trumpalaikės atminties (LSTM) tinklas, kurio tikslumas siekia 65%, našumo padidėjimą galima tiksliai išmatuoti, palyginti su pradine 60% bazine linija.
Šis palyginimas yra labai svarbus norint nustatyti, ar 5 % tikslumo pagerėjimas pateisina papildomą LSTM sudėtingumą ir skaičiavimo reikalavimus. Be tokios bazinės linijos, priimti pagrįstus sprendimus dėl sudėtingesnių modelių mastelio ir praktinio taikymo tampa sudėtinga.
Šis požiūris į lyginamąją analizę užtikrina, kad modelio sudėtingumo patobulinimai yra pateisinami ir tikrai pagerins, o kūrimo procesas bus suderintas su veiksmingais rezultatais.
Labai svarbu laikytis ekonomiškai efektyvaus ML metodo. Ypač tada, kai išsikeliate tikslą suderinti savo procesus su principais, pagal kuriuos prioritetas yra maksimaliai padidinti vertę ir sumažinti atliekų kiekį. Kai pradedate nuo bazinio modelio, sumažinate išteklius ir laiką, reikalingą pirminiam modelio kūrimui ir testavimui. Tai reiškia greitą prototipų kūrimą – ir tai būtina norint gauti tiesioginį grįžtamąjį ryšį ir pakartotinius patobulinimus.
Taikant šią bazinę padėtį, dabar galima atidžiai įvertinti bet kokį sudėtingumą, kurį pridėsite.
Pavyzdžiui, jei norite pereiti prie sudėtingesnio algoritmo, pvz., vektoriaus autoregresijos (VAR), ir pastebėsite, kad jis tik nežymiai padidina prognozavimo tikslumą, turite dar kartą pagalvoti, ar šis nedidelis patobulinimas iš tikrųjų pateisina papildomus skaičiavimo reikalavimus ir sudėtingumą. Atsakymas gali būti ne. Tada paprastesnis modelis išlieka ekonomiškesnis pasirinkimas.
Sutelkdami dėmesį į ekonomiškumą užtikrinate, kad ištekliai būtų naudojami efektyviai ir pasieksite ne tik techninius patobulinimus. Be to, ji siūlo praktiškus, pridėtinės vertės sprendimus, kurie yra pateisinami našumo gerinimo ir išteklių paskirstymo požiūriu. Taip pateisinama kiekviena investicija į modelio sudėtingumą, o tai prisideda prie bendrų projekto tikslų be neproporcingų išlaidų.
Tokiuose sektoriuose kaip finansai, kur sprendimai turi atitikti griežtus reguliavimo standartus, modelių skaidrumas nėra tik verslo pranašumas. Tai strateginis požiūris, kuris labai padeda laikytis taisyklių ir palengvina bendravimą su suinteresuotosiomis šalimis, kurios galbūt neturi (gilmingo) techninio išsilavinimo.
Paimkime mūsų SMA modelį. Jis lengvai interpretuojamas, nes jo išėjimai yra tiesiogiai susiję su įvesties duomenimis. Tai leidžia lengvai paaiškinti, kaip kiekviena įvestis įtakoja numatomą rezultatą. Kai modelio prognozėmis pagrįsti sprendimai turi būti pagrįsti išorės reguliuotojams arba viduje netechniniams komandos nariams, šis paprastumas yra labai svarbus jūsų procesams.
Jei kyla abejonių dėl SMA modelio prognozėmis paremto sprendimo, modelio skaidrumas leidžia greitai ir paprastai paaiškinti jo veikimo logiką. Tai gali padėti atlikti reguliavimo peržiūras ir auditus bei pagerinti vartotojų ir sprendimus priimančių asmenų pasitikėjimą ir priimtinumą. Be to, didėjant modelio sudėtingumui, pavyzdžiui, pereinant prie sudėtingesnių algoritmų, pvz., ARIMA ar VAR modelių, siekiant niuansingesnių prognozių, pradinės SMA pagrindinės linijos aiškinamumas tampa etalonu nustatant, kokio lygio paaiškinimą reikia pateikti.
Naudojant regresorius, pvz., funkcijų reikšmingumo balus arba SHAP reikšmes, kartu su sudėtingesniais modeliais, bet kokio tolesnio modelio veikimo eiga išlieka skaidri. Tai padeda išvengti pažangesnių modelių saugos procedūros tikslo. Paprasto bazinio modelio esmė yra visada įgyvendinti sąlygą, kad bendra struktūra ir reikšmingumas išliktų net ir didėjant sudėtingumo lygiui. Tai užtikrina atitikties nuostatas ir komunikaciją, kuri bus veiksminga.
Rizikos valdymas yra dar vienas svarbus mašininio mokymosi modelių kūrimo aspektas, ypač tokiuose sektoriuose kaip finansai, kur tikslios ir patikimos prognozės turi įtakos sprendimų priėmimui. Paprastas bazinis modelis yra puiki strategija šiai rizikai valdyti.
Paprasta bazinė linija suteikia suprantamą atskaitos tašką, leidžiantį palaipsniui (ir saugiai) padidinti modelio sudėtingumą.
Pavyzdžiui, SMA modelis (nors ir pagrindinis) sudaro tvirtą pagrindą ieškant pagrindinių akcijų kainų pokyčių modelių ir galimų anomalijų. Jo naudojimas padeda nustatyti ankstyvus nepastovumo ar neįprasto rinkos elgesio požymius. Tai padaryti labai svarbu, norint išvengti didelės finansinės rizikos prieš diegiant sudėtingesnius nuspėjamuosius algoritmus.
Be to, naudojant bazinį modelį sumažinama permontavimo rizika. Tai dažna finansinio modeliavimo spąsta. Per didelis pritaikymas įvyksta, kai modelis yra pernelyg tiksliai suderintas su istoriniais duomenimis ir užfiksuoja triukšmą, o ne pagrindinį modelį. Dėl šios priežasties galite gauti klaidinančių prognozių ir gauti nepatikimas prekybos strategijas. Paprastesnis modelis su mažiau parametrų yra mažiau linkęs į šią problemą, todėl užtikrina, kad jo siūlomos prognozės paprastai būtų taikomos nematomiems duomenims.
SMA tampa vis sudėtingesnis, o mažo slankiojo vidurkio modelis, pvz., ARIMA ir VAR, tampa sudėtingesnis, todėl paprasta SMA struktūra gali padėti mums sistemingai apsvarstyti kiekvieno papildomo sudėtingumo efektyvumą. Šis laipsniškas sudėtingumo didinimas padeda išlaikyti modelio našumo kontrolę, užtikrinant, kad kiekvienas papildomas sudėtingumo sluoksnis duotų aiškią naudą ir nesukeltų nepagrįstos rizikos.
Šis sistemingas požiūris į modelio sudėtingumo didinimą padeda suprasti, kaip modelio pakeitimai veikia jo elgesį ir patikimumą. Taip pat užtikrinama, kad rizika visada būtų gerai valdoma. Kai pradedate nuo paprasto pagrindo ir atidžiai kontroliuojate kiekvieną kūrimo etapą, užtikrinate, kad prognozavimo modeliai išliks ir galingi, ir saugūs, palaikydami finansinių sprendimų priėmimą.
Norėdami pasirinkti tinkamiausią bazinį modelį, turite suprasti verslo problemą ir duomenų ypatybes. Pavyzdžiui, laiko eilučių prognozės finansų rinkoms gali prasidėti nuo ARIMA modelio kaip pagrindo, kad būtų galima paprastai užfiksuoti laiko dinamiką. Duomenų kokybė ir išankstinis apdorojimas taip pat atlieka pagrindinį vaidmenį; Net ir paprasčiausias modelis gali prastai veikti, jei tiekiami netinkami arba prastai iš anksto apdoroti duomenys.
Ir galiausiai labai svarbu žinoti, kada pereiti nuo pradinio modelio prie sudėtingesnio modelio. Šis sprendimas turėtų būti grindžiamas laipsnišku testavimu ir patvirtinimu, atsižvelgiant į Agile kartotinį metodą.
Mašininio mokymosi projektų pradžia pristatant paprastą bazinį modelį nėra tik preliminarus žingsnis. Tai strategija. Strategija, suderinama su Agile metodikomis, skatinančiomis efektyvumą, efektyvumą ir prisitaikymą. Tokiu būdu priartėjus prie projekto, galima žymiai pagerinti projekto rezultatus, užtikrinant, kad kiekvienas sudėtingumo padidėjimas būtų pagrįstas ir suteiks apčiuopiamos vertės. Pripažinti paprastumą yra galingas dalykas. Tai ypač puiki strategija tokiose srityse kaip finansai, kur sprendimai turi būti priimti greitai.