Спуштањето на градиент е најпопуларната техника за оптимизација во моделирањето на машинско учење (ML). Алгоритмот ја минимизира грешката помеѓу предвидените вредности и основната вистина. Бидејќи техниката смета дека секоја податочна точка ја разбира и минимизира грешката, нејзината изведба зависи од големината на податоците за обуката. Техниките како стохастичко спуштање на градиент (SGD) се дизајнирани да ги подобрат перформансите на пресметките, но по цена на точноста на конвергенцијата.   Стохастичкиот просечен градиент го балансира класичниот пристап, познат како целосно спуштање на градиент и SGD, и ги нуди двете придобивки. Но, пред да можеме да го користиме алгоритмот, прво мора да го разбереме неговото значење за оптимизација на моделот.   Оптимизирање на целите за машинско учење со спуштање на градиент  Секој ML алгоритам има поврзана функција на загуба која има за цел да ги минимизира или подобри перформансите на моделот. Математички, загубата може да се дефинира како: Тоа е едноставно разликата помеѓу вистинскиот и предвидениот излез, а минимизирањето на оваа разлика значи дека нашиот модел се приближува до основните вистинитости вредности.  Алгоритмот за минимизирање користи спуштање на градиент за да ја помине функцијата на загуба и да најде глобален минимум. Секој чекор на премин вклучува ажурирање на тежините на алгоритмот за да се оптимизира излезот.   Обичен градиент спуштање  Конвенционалниот алгоритам за спуштање на градиент го користи просекот на сите градиенти пресметани низ целата база на податоци. Животниот циклус на еден пример за обука изгледа вака:   Равенката за ажурирање на тежината изгледа вака: Каде што   ги претставува тежините на моделот, а   е изводот на функцијата за губење во однос на тежината на моделот. Конвенционалниот метод има висока стапка на конвергенција, но станува пресметковно скап кога се работи со големи збирки на податоци што опфаќаат милиони точки на податоци. W dJ/dW   Стохастичко спуштање со градиент (SGD)  Методологијата SGD останува иста како и обичната GD, но наместо да се користи целата база на податоци за пресметување на градиентите, таа користи мала серија од влезовите. Методот е многу поефикасен, но може премногу да скока околу глобалните минимуми бидејќи секоја итерација користи само дел од податоците за учење.   Стохастички просечен градиент  Пристапот на стохастички просечен градиент (SAG) беше воведен како средина помеѓу GD и SGD. Избира случајна податочна точка и ја ажурира нејзината вредност врз основа на градиентот во таа точка и пондериран просек на минатите градиенти складирани за таа одредена податочна точка.  Слично на SGD, SAG го моделира секој проблем како конечен збир на конвексни, диференцијабилни функции. При секое повторување, ги користи сегашните градиенти и просекот од претходните градиенти за ажурирање на тежината. Равенката ја има следната форма:    Стапка на конвергенција  Помеѓу двата популарни алгоритми, целосен градиент (FG) и стохастичко спуштање на градиент (SGD), алгоритмот FG има подобра стапка на конвергенција бидејќи го користи целото множество податоци за време на секоја итерација за пресметка.  Иако SAG има структура слична на SGD, неговата стапка на конвергенција е споредлива и понекогаш подобра од пристапот со целосен градиент. Табелата 1 подолу ги сумира резултатите од експериментите на  .    Шмит и др. ал   Дополнителни измени  И покрај неговите неверојатни перформанси, предложени се неколку модификации на оригиналниот SGD алгоритам за да помогнат во подобрувањето на перформансите.    SAG конвергенцијата останува бавна во текот на првите неколку повторувања бидејќи алгоритмот ја нормализира насоката со n (вкупен број на податочни точки). Ова обезбедува неточна проценка бидејќи алгоритмот допрва треба да види многу точки на податоци. Модификацијата сугерира нормализирање со m наместо n, каде што m е бројот на точки на податоци што се гледаат барем еднаш до таа конкретна итерација. Повторно пондерирање во рани повторувања:    Пристапот на Стохастички градиент користи мини-серии за да обработува повеќе точки на податоци истовремено. Истиот пристап може да се примени и за SAG. Ова овозможува векторизација и паралелизација за подобрена компјутерска ефикасност. Исто така, го намалува оптоварувањето на меморијата, што е истакнат предизвик за алгоритмот SAG. Мини серии:    Големината на чекорот спомената претходно (116L) дава неверојатни резултати, но авторите дополнително експериментирале користејќи ја големината на чекорот од 1L. Вториот обезбеди уште подобра конвергенција. Сепак, авторите не беа во можност да презентираат формална анализа на подобрените резултати. Тие заклучуваат дека треба да се експериментира со големината на чекорот за да се најде оптималната за конкретниот проблем. Експериментирање со чекор-големина:   Завршни мисли  Спуштањето на градиент е популарна оптимизација што се користи за лоцирање на глобалните минимуми на дадените целни функции. Алгоритмот го користи градиентот на целната функција за да го помине наклонот на функцијата додека не ја достигне најниската точка.  Целосно спуштање на градиент (FG) и стохастичко спуштање на градиент (SGD) се две популарни варијации на алгоритмот. FG ја користи целата база на податоци за време на секое повторување и обезбедува висока стапка на конвергенција со високи пресметковни трошоци. При секое повторување, SGD користи подмножество податоци за да го изврши алгоритмот. Тоа е далеку поефикасно, но со несигурна конвергенција.  Стохастички просечен градиент (SAG) е уште една варијација што ги обезбедува придобивките од двата претходни алгоритми. Го користи просекот на минатите градиенти и подмножество од сетот за да обезбеди висока стапка на конвергенција со мала пресметка. Алгоритмот може дополнително да се модифицира за да се подобри неговата ефикасност користејќи векторизација и мини-серии.

This story contains new, firsthand information uncovered by the writer.

Every

Gradient

Read My Stories

Ова аудио е произведено на оригиналниот јазик на приказната!

Разбирање на стохастички просечен градиент

About Author

КОМЕНТАРИ

ВИСЕТЕ ТАГОВИ

ОВОЈ СТАТИЈА БЕШЕ ПРЕТСТАВЕН ВО

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps