Градиенттин түшүүсү - машинаны үйрөнүүдө (ML) моделдөөдөгү эң популярдуу оптималдаштыруу ыкмасы. Алгоритм болжолдонгон маанилер менен негизги чындыктын ортосундагы катаны азайтат. Техника катаны түшүнүү жана азайтуу үчүн ар бир маалымат чекитин карап чыккандыктан, анын иштеши машыгуу маалыматтарынын өлчөмүнө жараша болот. Stochastic Gradient Descent (SGD) сыяктуу техникалар эсептөөнүн натыйжалуулугун жакшыртуу үчүн иштелип чыккан, бирок конвергенциянын тактыгына жараша.   Стохастикалык орточо градиент Full Gradient Descent жана SGD деп аталган классикалык ыкманы тең салмактап, эки артыкчылыкты тең сунуштайт. Бирок биз алгоритмди колдонуудан мурун, анын моделди оптималдаштыруу үчүн маанисин түшүнүшүбүз керек.   Градиенттин түшүүсү менен машинаны үйрөнүү максаттарын оптималдаштыруу  Ар бир ML алгоритминде моделдин иштешин азайтууга же жакшыртууга багытталган жоготуу функциясы бар. Математикалык жактан, жоготуу төмөнкүчө аныкталышы мүмкүн: Бул жөн гана иш жүзүндөгү жана болжолдонгон өндүрүштүн ортосундагы айырма жана бул айырманы азайтуу биздин моделибиздин негизги чындык баалуулуктарына жакындайт дегенди билдирет.  Минимизациялоо алгоритми жоготуу функциясын басып өтүү жана глобалдык минимумду табуу үчүн градиенттин түшүүсүн колдонот. Ар бир өтүү кадамы чыгарууну оптималдаштыруу үчүн алгоритмдин салмагын жаңыртууну камтыйт.   Жөнөкөй градиенттүү түшүү  Кадимки градиенттин түшүү алгоритми бүт маалымат топтому боюнча эсептелген бардык градиенттердин орточо маанисин колдонот. Жалгыз окутуу мисалынын жашоо цикли төмөнкүдөй көрүнөт:   Салмакты жаңыртуу теңдемеси төмөнкүдөй көрүнөт: Бул жерде   моделдин салмагын билдирет, ал эми   моделдин салмагына карата жоготуу функциясынын туундусу. Кадимки ыкма жогорку конвергенция ылдамдыгына ээ, бирок миллиондогон маалымат чекиттерин камтыган чоң маалымат топтомдору менен иштөөдө эсептөө кымбат болуп калат. W dJ/dW   Стохастикалык градиенттин түшүүсү (SGD)  SGD методологиясы жөнөкөй GD менен бирдей бойдон калууда, бирок градиенттерди эсептөө үчүн бүт маалымат топтомун колдонуунун ордуна, ал киргизүүлөрдүн кичинекей партиясын колдонот. Метод алда канча эффективдүү, бирок глобалдык минимумга өтө көп секирип кетиши мүмкүн, анткени ар бир итерация үйрөнүү үчүн маалыматтардын бир бөлүгүн гана колдонот.   Стохастикалык орточо градиент  Стохастикалык орточо градиент (SAG) ыкмасы GD жана SGD ортосунда орто жер катары киргизилген. Ал кокус маалымат чекин тандап, анын маанисин ошол чекиттеги градиенттин жана ошол конкреттүү маалымат чекити үчүн сакталган мурунку градиенттердин орточо салмактанып алынганынын негизинде жаңылайт.  SGD сыяктуу, SAG ар бир маселени томпок, дифференциалдалуучу функциялардын чектүү суммасы катары моделдейт. Кайсы бир итерацияда салмакты жаңыртуу үчүн учурдагы градиенттерди жана мурунку градиенттердин орточо маанисин колдонот. Теңдеме төмөнкү форманы алат:    Конвергенция ылдамдыгы  Эки популярдуу алгоритмдердин, толук градиент (FG) жана стохастикалык градиенттик түшүү (SGD) ортосунда, FG алгоритми жакшыраак конвергенция ылдамдыгына ээ, анткени ал эсептөө үчүн ар бир итерация учурунда бүт маалымат топтомун колдонот.  SAG SGDге окшош структурага ээ болсо да, анын конвергенция ылдамдыгы толук градиенттик мамилеге салыштырмалуу жана кээде жакшыраак. Төмөндөгү 1-таблицада эксперименттердин натыйжалары келтирилген  .    Schmidt et. ал   Андан ары өзгөртүүлөр  Анын укмуштуудай иштешине карабастан, баштапкы SGD алгоритмине аткарууну жакшыртууга жардам берүү үчүн бир нече өзгөртүүлөр сунушталды.    SAG конвергенциясы алгачкы бир нече итерацияда жай бойдон калууда, анткени алгоритм багытты n (маалымат пункттарынын жалпы саны) менен нормалдаштырат. Бул так эмес баа берет, анткени алгоритм көптөгөн маалымат чекиттерин көрө элек. Өзгөртүү n ордуна m менен нормалдаштырууну сунуштайт, мында m - ошол итерацияга чейин жок дегенде бир жолу көрүлгөн маалымат чекиттеринин саны. Эрте итерацияларда кайра салмактоо:    Стохастикалык градиент ыкмасы бир эле учурда бир нече маалымат чекиттерин иштетүү үчүн мини-партияларды колдонот. Ошол эле ыкманы SAG үчүн колдонсо болот. Бул компьютердин натыйжалуулугун жогорулатуу үчүн векторизацияга жана параллелизацияга мүмкүндүк берет. Ал ошондой эле эс тутумдун жүгүн азайтат, бул SAG алгоритми үчүн көрүнүктүү көйгөй. Мини партиялар:    Жогоруда айтылган кадам өлчөмү (116L) укмуштуудай натыйжаларды берет, бирок авторлор андан ары 1L кадам өлчөмүн колдонуу менен эксперимент жасашты. Акыркысы дагы жакшы конвергенцияны камсыз кылды. Бирок, авторлор жакшыртылган натыйжаларга формалдуу талдоо бере алышкан жок. Алар кадамдын өлчөмү конкреттүү көйгөй үчүн оптималдуу табуу үчүн эксперимент керек деген тыянакка келишет. Step-Size эксперименти:   Акыркы ойлор  Градиенттин түшүүсү - берилген максаттуу функциялардын глобалдык минимумдарын табуу үчүн колдонулган популярдуу оптималдаштыруу. Алгоритм функциянын эң төмөнкү чекитине жеткенге чейин эңкейиштен өтүү үчүн максат функциясынын градиентин колдонот.  Толук градиенттин түшүүсү (FG) жана стохастикалык градиенттин түшүүсү (SGD) алгоритмдин эки популярдуу варианты. FG ар бир итерация учурунда бүт маалымат топтомун колдонот жана жогорку эсептөө наркы менен жогорку конвергенция ылдамдыгын камсыз кылат. Ар бир итерацияда SGD алгоритмди иштетүү үчүн маалыматтардын бир бөлүгүн колдонот. Бул алда канча натыйжалуу, бирок белгисиз конвергенция менен.  Стохастикалык орточо градиент (SAG) мурунку эки алгоритмдердин артыкчылыктарын камсыз кылган дагы бир вариация. Ал төмөн эсептөө менен жогорку конвергенция ылдамдыгын камсыз кылуу үчүн өткөн градиенттердин орточо маанисин жана маалымат топтомунун бир бөлүгүн колдонот. Алгоритмди векторизацияны жана мини-партияларды колдонуу менен анын натыйжалуулугун жогорулатуу үчүн андан ары өзгөртүүгө болот.

This story contains new, firsthand information uncovered by the writer.

Every

Gradient

Read My Stories

Бул аудио окуянын түпнуска тилинде даярдалган!

Стохастикалык орточо градиентти түшүнүү

About Author

КОММЕНТАРИЙ

ТАГИП АЛУУ

БУЛ МАКАЛА БЕРИЛГЕН

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps