![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Пастшавии градиент як усули маъмултарини оптимизатсия дар моделсозии омӯзиши мошинсозӣ (ML) мебошад. Алгоритм хатогии байни арзишҳои пешбинишуда ва ҳақиқати асосиро кам мекунад. Азбаски техника ҳар як нуқтаи маълумотро барои фаҳмидан ва кам кардани хатогӣ баррасӣ мекунад, иҷрои он аз андозаи маълумоти омӯзишӣ вобаста аст. Усулҳо ба монанди Stochastic Gradient Descent (SGD) барои беҳтар кардани нишондиҳандаҳои ҳисоб тарҳрезӣ шудаанд, аммо аз ҳисоби дақиқии конвергенсия.
Gradient Stochastic Average равиши классикиро, ки бо номи Full Gradient Descent ва SGD маъруф аст, мувозинат мекунад ва ҳарду бартариҳоро пешниҳод мекунад. Аммо пеш аз он ки алгоритмро истифода барем, мо бояд аввал аҳамияти онро барои оптимизатсияи модел фаҳмем.
Ҳар як алгоритми ML дорои функсияи марбут ба талафот мебошад, ки ҳадафи он кам кардан ё беҳтар кардани кори модел мебошад. Аз ҷиҳати математикӣ, талафотро чунин муайян кардан мумкин аст:
Ин танҳо фарқияти байни ҳосили воқеӣ ва пешбинишуда аст ва кам кардани ин фарқият маънои онро дорад, ки модели мо ба арзишҳои ҳақиқати заминӣ наздиктар мешавад.
Алгоритми минимизатсия барои гузаштан аз функсияи талафот ва дарёфти ҳадди ақали глобалӣ аз градиент истифода мебарад. Ҳар як қадами гузариш навсозии вазнҳои алгоритмро барои оптимизатсияи натиҷа дар бар мегирад.
Алгоритми анъанавии фаромадани градиент ҳисоби миёнаи ҳамаи градиентҳои дар тамоми маҷмӯи додаҳо ҳисобшударо истифода мебарад. Давраи зиндагии як мисоли омӯзиш чунин ба назар мерасад:
Муодилаи навсозии вазн чунин менамояд:
Дар куҷо W
вазнҳои моделиро ифода мекунад ва dJ/dW
ҳосили функсияи талафот нисбат ба вазни модел мебошад. Усули анъанавӣ суръати баланди конвергенсия дорад, аммо ҳангоми кор бо маҷмӯаҳои бузурги додаҳо, ки миллионҳо нуқтаи додаро дар бар мегиранд, ҳисоббарорӣ гарон мешавад.
Методологияи SGD мисли GD оддӣ боқӣ мемонад, аммо ба ҷои истифодаи тамоми маҷмӯаи додаҳо барои ҳисоб кардани градиентҳо, он як гурӯҳи хурдро аз воридот истифода мебарад. Ин усул хеле самараноктар аст, аммо метавонад дар атрофи минимуми глобалӣ аз ҳад зиёд ҳаракат кунад, зеро ҳар як такрор танҳо як қисми маълумотро барои омӯзиш истифода мебарад.
Равиши градиенти миёнаи стохастикӣ (SAG) ҳамчун заминаи миёна байни GD ва SGD ҷорӣ карда шуд. Он нуқтаи маълумоти тасодуфиро интихоб мекунад ва арзиши онро дар асоси градиент дар он нуқта ва ба ҳисоби миёна вазншудаи градиентҳои гузашта, ки барои ин нуқтаи додаи мушаххас захира шудааст, навсозӣ мекунад.
Монанди SGD, SAG ҳар як мушкилотро ҳамчун маҷмӯи ниҳоии функсияҳои барҷаста ва дифференсиалӣ модел мекунад. Дар ҳама гуна такрори додашуда, он градиентҳои ҳозира ва миёнаи градиентҳои қаблиро барои навсозии вазн истифода мебарад. Муодила шакли зеринро мегирад:
Байни ду алгоритми маъмул, градиенти пурра (FG) ва градиенти стохастикӣ (SGD), алгоритми FG суръати конвергенсияи беҳтар дорад, зеро он тамоми маҷмӯи маълумотро дар давоми ҳар як такрор барои ҳисоб истифода мебарад.
Гарчанде ки SAG сохтори шабеҳи SGD дорад, суръати конвергенсияи он бо равиши пурраи градиентӣ муқоисашаванда ва баъзан беҳтар аст. Љадвали 1 дар поён натиљањои таљрибањои
Сарфи назар аз иҷрои аҷиби он, ба алгоритми аслии SGD якчанд тағирот пешниҳод карда шуданд, то ба беҳтар кардани кор мусоидат кунанд.
Пастшавии градиент як оптимизатсияи маъмулест, ки барои муайян кардани минимумҳои глобалии функсияҳои ҳадафҳои пешниҳодшуда истифода мешавад. Алгоритм градиенти функсияи ҳадафро барои убури нишебии функсия то расидан ба нуқтаи пасттарин истифода мебарад.
Пораиши пурраи градиент (FG) ва градиенти стохастикӣ (SGD) ду варианти маъмули алгоритм мебошанд. FG тамоми маҷмӯаи маълумотро дар давоми ҳар як такрор истифода мебарад ва суръати баланди конвергенсияро бо арзиши баланди ҳисоббарорӣ таъмин мекунад. Дар ҳар як такрор, SGD як зермаҷмӯи маълумотро барои иҷро кардани алгоритм истифода мебарад. Ин хеле самараноктар аст, аммо бо конвергенсияи номуайян.
Градиенти миёнаи Стохастикӣ (SAG) як варианти дигарест, ки бартариҳои ҳарду алгоритмҳои қаблиро таъмин мекунад. Он ба ҳисоби миёна градиентҳои гузашта ва зермаҷмӯи маълумотро истифода мебарад, то суръати баланди конвергенсияро бо ҳисоби паст таъмин кунад. Алгоритмро метавон минбаъд барои баланд бардоштани самаранокии он бо истифода аз векторизатсия ва мини-партияҳо тағир дод.