![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Mashinani o'rganish bo'yicha yangi loyihani boshlash ishtiyoqni oshiradi va to'g'ridan-to'g'ri chuqur oxiriga o'tish juda jozibali bo'lishi mumkin. Siz o'qigan bo'lishingiz mumkin bo'lgan ko'plab so'nggi zamonaviy modellar yoki murakkab algoritmlar mavjud. Ular ajoyib natijalarga va'da berishadi va ular bilan tajriba o'tkazish vasvasasidan qochish juda qiyin vazifadir.
Har qanday zamonaviy tadbirkor zamonaviy texnikani sinab ko'rishga va murakkab (va muvaffaqiyatli) loyihalarni jamiyatga namoyish etishga intiladi. Shunga qaramay, bu ishtiyoq yaxshi bo'lsa-da, ba'zida siz giperparametrlarni aniq sozlashingiz va murakkab modellarni amalga oshirishda qiyinchiliklarga duch kelganingizda sezilarli vaqtni olishi mumkin.
Ushbu jarayonda bitta asosiy savolni berish kerak: modelimiz samaradorligini aslida qanday o'lchaymiz?
Bizning modelimizning murakkabligi oqlanadimi yoki unumdorligi haqiqatan ham yuqori ekanligini aniqlash qiyin bo'lishi mumkin. Bu oddiyroq mos yozuvlar nuqtasi bo'lmaganida sodir bo'ladi. Bu erda asosiy modelga ega bo'lish juda muhim bo'ladi. Asosiy chiziq bu muhim mos yozuvlar nuqtasini beradi - u oddiy, tez quriladi va tabiatan tushuntiriladi. Ajablanarlisi shundaki, ko'pincha umumiy rivojlanish harakatlarining atigi 10 foizini olishi mumkin bo'lgan bazaviy model kerakli natijalarning 90 foizigacha erishishi mumkin, bu esa oqilona natijalarga yuqori samarali yo'l beradi.
Oddiydan boshlash g'oyasi yangi boshlanuvchilar uchun oddiy yondashuv emas - bu ma'lumotlar fanining karerasining barcha bosqichlarida dolzarb bo'lib qoladigan fundamental amaliyotdir. Bu asoslash mexanizmi va murakkablikka bo'lgan intilishlarimizni aniq, tushunarli va boshqariladigan echimlarning amaliy jihatlari bilan muvozanatlash uchun ajoyib eslatmadir.
Asosiy model - muammoni hal qilish uchun ishlatiladigan eng asosiy versiya . Odatda, bu modellar uzluksiz natijalar uchun chiziqli regressiyani yoki kategorik natijalar uchun logistik regressiyani o'z ichiga oladi. Misol uchun, chiziqli regressiya tarixiy narx ma'lumotlari asosida qimmatli qog'ozlarning daromadliligini bashorat qilishi mumkin, logistik regressiya esa kredit talabgorlarini yuqori yoki past riskli deb tasniflashi mumkin.
Ushbu yondashuv neyron tarmoqlar yoki ansambl usullari kabi murakkabroq modellardan farq qiladi, ular kuchli bo'lsa-da, murakkabligi va muhim hisoblash resurslari tufayli muammoni tushunishni qiyinlashtirishi va rivojlanish uchun zarur bo'lgan vaqtni oshirishi mumkin.
Benchmarking har qanday ML modelini ishlab chiqishda juda muhim dastlabki qadamdir. Asosiy modelni o'rnatganingizda, siz asosiy ishlash ko'rsatkichini o'rnatasiz, undan keyin keladigan barcha modellar (odatda murakkabroq) ularning murakkabligi va resurslar sarfini oqlash uchun oshib ketishi kerak. Bu jarayon nafaqat aql-idrokni tekshirish, balki sizning umidlaringizni asoslaydi va taraqqiyotning aniq o'lchovini beradi.
Misol uchun, oddiy harakatlanuvchi o'rtacha (SMA) asos sifatida foydalanib, moliyaviy bozor tendentsiyalarini bashorat qilish uchun modelni ishlab chiqishni tasavvur qiling. Ushbu SMA bozor harakatlarini to'g'ri prognoz qilishda dastlabki 60% aniqlikka erishib, kelajakdagi aktsiya baholarini bashorat qilish uchun qisqa muddatli tarixiy ma'lumotlardan foydalanishi mumkin. Keyinchalik ushbu model keyingi barcha ilg'or modellar uchun benchmarkni belgilaydi. Agar uzoq qisqa muddatli xotira (LSTM) tarmog'i kabi murakkab model keyinchalik ishlab chiqilsa va 65% aniqlikka erishsa, unumdorlik o'sishini dastlabki 60% boshlang'ich chiziqqa nisbatan aniq o'lchash mumkin.
Ushbu taqqoslash aniqlikning 5% yaxshilanishi LSTM ning qo'shimcha murakkabligi va hisoblash talablarini oqlaydimi yoki yo'qligini aniqlash uchun juda muhimdir. Bunday asossiz, yanada murakkab modellarning kengayishi va amaliy qo'llanilishi bo'yicha asosli qarorlar qabul qilish qiyin bo'ladi.
Qiyoslashning bunday yondashuvi modelning murakkabligini yaxshilash asosli ekanligiga ishonch hosil qiladi va haqiqiy yaxshilanishlarga olib keladi, shu bilan birga ishlab chiqish jarayoni samarali natijalarga mos keladi.
MLda tejamkor yondashuvga rioya qilish muhim ahamiyatga ega. Ayniqsa, siz o'z jarayonlaringizni maksimal qiymatga ega bo'lish va chiqindilarni minimallashtirishni ustuvor vazifa sifatida qo'yadigan printsiplarga muvofiqlashtirishni maqsad qilganingizda. Asosiy modeldan boshlaganingizda, siz dastlabki modelni ishlab chiqish va sinovdan o'tkazish uchun zarur bo'lgan resurslar va vaqtni qisqartirasiz. Bu tezkor prototiplashni anglatadi va bu tezkor fikr-mulohaza va takroriy takomillashtirish uchun zarurdir.
Ushbu asosiy chiziq yordamida siz qo'shgan har qanday murakkablik endi diqqat bilan baholanishi mumkin.
Misol uchun, agar siz vektor avtoregressiyasi (VAR) kabi murakkabroq algoritmga o'tmoqchi bo'lsangiz va bu prognozlashning aniqligini biroz oshirishini aniqlasangiz, bu biroz yaxshilanish haqiqatda qo'shimcha hisoblash talablari va murakkabligini oqlaydimi yoki yo'qligini qayta ko'rib chiqishingiz kerak. Javob yo'q bo'lishi mumkin. Keyin oddiyroq model arzonroq variant bo'lib qoladi.
Iqtisodiy samaradorlikka e'tibor qaratib, siz resurslardan samarali foydalanishni ta'minlaysiz va texnik yaxshilanishlardan ko'proq narsaga erishasiz. Shuningdek, u samaradorlikni oshirish va resurslarni taqsimlash nuqtai nazaridan oqlangan amaliy, qo'shimcha qiymatli yechimlarni taqdim etadi. Shunday qilib, model murakkabligiga har bir sarmoya kafolatlanadi, bu esa loyihaning umumiy maqsadlariga mutanosib bo'lmagan xarajatlarsiz hissa qo'shadi.
Qarorlar qat'iy tartibga soluvchi standartlarga muvofiq bo'lishi kerak bo'lgan moliya kabi sohalarda modellarning shaffofligi shunchaki biznesning afzalligi emas. Bu strategik yondashuv bo'lib, qoidalarga rioya qilish jarayonida sezilarli darajada yordam beradi va (chuqur) texnik ma'lumotga ega bo'lmagan manfaatdor tomonlar bilan oson muloqotni osonlashtiradi.
Keling, SMA modelimizni olaylik. Buni oson izohlash mumkin, chunki uning chiqishi bevosita kirish ma'lumotlariga bog'liq. Bu har bir kiritish taxmin qilingan natijaga qanday ta'sir qilishini tushuntirishni osonlashtiradi. Modelning prognozlariga asoslangan qarorlar tashqi regulyatorlar yoki ichki texnik bo'lmagan jamoa a'zolari tomonidan oqlanishi kerak bo'lganda, bu soddalik jarayonlaringiz uchun kalit hisoblanadi.
Agar SMA modelining prognozlariga asoslangan qaror shubha ostiga olinsa, modelning shaffofligi uning ishining mantiqini tez va sodda tushuntirish imkonini beradi. Bu me'yoriy-huquqiy hujjatlarni ko'rib chiqish va tekshirishda yordam berishi va foydalanuvchilar va qaror qabul qiluvchilar o'rtasida ishonch va qabul qilishni yaxshilashga yordam beradi. Bundan tashqari, modelning murakkabligi oshgani sayin, masalan, yanada nozik bashorat qilish uchun ARIMA yoki VAR modellari kabi murakkabroq algoritmlarga o'tish, SMA boshlang'ich chizig'ining talqin qilinishi siz qanday tushuntirish darajasini ko'rsatishingiz kerakligi uchun mezon bo'lib qoladi.
Xususiyat ahamiyati ballari yoki SHAP qiymatlari kabi regressorlardan murakkabroq modellar bilan birgalikda foydalanish orqali har qanday keyingi modelning ishlashi shaffof bo'lib qoladi. Bu ilg'or modellar uchun xavfsizlik protsedurasining maqsadini bekor qilmaslikka yordam beradi. Oddiy bazaviy modelning maqsadi har doim murakkablik darajasi oshgan taqdirda ham umumiy tuzilma va ahamiyat saqlanib qolishi shartini amalga oshirishdir. Bu muvofiqlik qoidalarini va samarali bo'ladigan aloqalarni ta'minlaydi.
Risklarni boshqarish - bu mashinani o'rganish modellarini ishlab chiqishning yana bir muhim jihati, ayniqsa to'g'ri va ishonchli prognozlar qaror qabul qilishga ta'sir qiladigan moliya kabi sohalarda. Oddiy bazaviy modelga ega bo'lish - bu xavflarni boshqarish uchun ajoyib strategiya.
To'g'ridan-to'g'ri asosiy chiziq tushunarli boshlang'ich nuqtani ta'minlaydi, bu sizga model murakkabligiga bosqichma-bosqich (va xavfsiz) qo'shimchalar kiritish imkonini beradi.
Misol uchun, SMA modeli (asosiy bo'lsa-da) aktsiya bahosi harakatida asosiy naqshlarni va potentsial anomaliyalarni topish uchun mustahkam poydevor yaratadi. Undan foydalanish o'zgaruvchanlikning dastlabki belgilarini yoki g'ayritabiiy bozor xatti-harakatlarini aniqlashga yordam beradi. Buni qilish juda muhim, murakkabroq bashoratli algoritmlarni qo'llashdan oldin jiddiy moliyaviy xavflardan qochishdir.
Bundan tashqari, asosiy modeldan foydalanish ortiqcha moslashish xavfini kamaytiradi. Bu moliyaviy modellashtirishda keng tarqalgan xato. Model tarixiy ma'lumotlarga juda nozik sozlangan va asosiy naqshdan ko'ra shovqinni ushlaganida haddan tashqari moslashish sodir bo'ladi. Shu sababli, siz noto'g'ri bashoratlarni olishingiz va natijada ishonchsiz savdo strategiyalarini olishingiz mumkin. Kamroq parametrlarga ega oddiyroq model bu muammoga kamroq moyil bo'lib, u taklif qilayotgan bashoratlarning odatda ko'rinmas ma'lumotlarga nisbatan qo'llanilishini ta'minlaydi.
ARIMA va VAR kabi kichik harakatlanuvchi o'rtacha modeldagi SMA rivojlanishi murakkablashishi bilan murakkablik ortib bormoqda, SMA ning oddiy tuzilishi har bir qo'shilgan murakkablikning samaradorligini tizimli ravishda ko'rib chiqishga yordam beradi. Murakkablikni bosqichma-bosqich yaxshilash har bir qo'shimcha murakkablik qatlami aniq foyda keltirishi va asossiz xavf tug'dirmasligiga ishonch hosil qilib, modelning ishlashi ustidan nazoratni saqlashga yordam beradi.
Modelning murakkabligini oshirishning ushbu tizimli yondashuvi modeldagi o'zgarishlar uning xatti-harakati va ishonchliligiga qanday ta'sir qilishini tushunishga yordam beradi. Bu, shuningdek, xavflarning har doim yaxshi boshqarilishini ta'minlaydi. Oddiy boshlang'ich chiziqdan boshlaganingizda va rivojlanishning har bir bosqichini diqqat bilan nazorat qilsangiz, siz prognozlash modellari moliyaviy qarorlarni qabul qilishni qo'llab-quvvatlovchi kuchli va xavfsiz bo'lishini ta'minlaysiz.
Eng mos asosiy modelni tanlash uchun siz biznes muammosi va ma'lumotlar xususiyatlarini tushunishingiz kerak. Misol uchun, moliyaviy bozorlar uchun vaqt qatori bashoratlari vaqtinchalik dinamikani sodda tarzda qo'lga kiritish uchun ARIMA modelidan boshlanishi mumkin. Ma'lumotlar sifati va oldindan ishlov berish ham asosiy rol o'ynaydi; Agar noto'g'ri yoki yomon qayta ishlangan ma'lumotlar bilan oziqlangan bo'lsa, hatto eng oddiy model ham yomon ishlashi mumkin.
Va nihoyat, boshlang'ich chiziqdan murakkabroq modelga qachon o'tish kerakligini bilish juda muhimdir. Ushbu qaror Agile-ning iterativ yondashuviga muvofiq, bosqichma-bosqich sinov va tasdiqlash bilan boshqarilishi kerak.
Oddiy bazaviy modelni joriy qilish orqali mashinani o'rganish loyihalarini boshlash shunchaki dastlabki qadam emas. Bu strategiya. Samaradorlik, samaradorlik va moslashuvchanlikni targ'ib qiluvchi Agile metodologiyalariga mos keladigan strategiya. Loyihangizga shu tarzda yondashsangiz, har bir murakkablik o'sishi asosli bo'lishini ta'minlash va sezilarli qiymatni qo'shish orqali loyiha natijalarini sezilarli darajada oshirishi mumkin. Oddiylikni qabul qilish kuchli narsadir. Bu qarorlar tez bo'lishi kerak bo'lgan moliya kabi sohalarda ayniqsa ajoyib strategiya.