Фаҳмидани градиенти миёнаи стохастикӣ

Пастшавии градиент як усули маъмултарини оптимизатсия дар моделсозии омӯзиши мошинсозӣ (ML) мебошад. Алгоритм хатогии байни арзишҳои пешбинишуда ва ҳақиқати асосиро кам мекунад. Азбаски техника ҳар як нуқтаи маълумотро барои фаҳмидан ва кам кардани хатогӣ баррасӣ мекунад, иҷрои он аз андозаи маълумоти омӯзишӣ вобаста аст. Усулҳо ба монанди Stochastic Gradient Descent (SGD) барои беҳтар кардани нишондиҳандаҳои ҳисоб тарҳрезӣ шудаанд, аммо аз ҳисоби дақиқии конвергенсия.

Gradient Stochastic Average равиши классикиро, ки бо номи Full Gradient Descent ва SGD маъруф аст, мувозинат мекунад ва ҳарду бартариҳоро пешниҳод мекунад. Аммо пеш аз он ки алгоритмро истифода барем, мо бояд аввал аҳамияти онро барои оптимизатсияи модел фаҳмем.

Оптимизатсияи Ҳадафҳои омӯзиши мошинҳо бо фарорасии градиент

Ҳар як алгоритми ML дорои функсияи марбут ба талафот мебошад, ки ҳадафи он кам кардан ё беҳтар кардани кори модел мебошад. Аз ҷиҳати математикӣ, талафотро чунин муайян кардан мумкин аст:

Ин танҳо фарқияти байни ҳосили воқеӣ ва пешбинишуда аст ва кам кардани ин фарқият маънои онро дорад, ки модели мо ба арзишҳои ҳақиқати заминӣ наздиктар мешавад.

Алгоритми минимизатсия барои гузаштан аз функсияи талафот ва дарёфти ҳадди ақали глобалӣ аз градиент истифода мебарад. Ҳар як қадами гузариш навсозии вазнҳои алгоритмро барои оптимизатсияи натиҷа дар бар мегирад.

Пастшавии градиенти оддӣ

Алгоритми анъанавии фаромадани градиент ҳисоби миёнаи ҳамаи градиентҳои дар тамоми маҷмӯи додаҳо ҳисобшударо истифода мебарад. Давраи зиндагии як мисоли омӯзиш чунин ба назар мерасад:

Муодилаи навсозии вазн чунин менамояд:

Дар куҷо W вазнҳои моделиро ифода мекунад ва dJ/dW ҳосили функсияи талафот нисбат ба вазни модел мебошад. Усули анъанавӣ суръати баланди конвергенсия дорад, аммо ҳангоми кор бо маҷмӯаҳои бузурги додаҳо, ки миллионҳо нуқтаи додаро дар бар мегиранд, ҳисоббарорӣ гарон мешавад.

Пастшавии градиенти стохастикӣ (SGD)

Методологияи SGD мисли GD оддӣ боқӣ мемонад, аммо ба ҷои истифодаи тамоми маҷмӯаи додаҳо барои ҳисоб кардани градиентҳо, он як гурӯҳи хурдро аз воридот истифода мебарад. Ин усул хеле самараноктар аст, аммо метавонад дар атрофи минимуми глобалӣ аз ҳад зиёд ҳаракат кунад, зеро ҳар як такрор танҳо як қисми маълумотро барои омӯзиш истифода мебарад.

Градиенти миёнаи стохастикӣ

Равиши градиенти миёнаи стохастикӣ (SAG) ҳамчун заминаи миёна байни GD ва SGD ҷорӣ карда шуд. Он нуқтаи маълумоти тасодуфиро интихоб мекунад ва арзиши онро дар асоси градиент дар он нуқта ва ба ҳисоби миёна вазншудаи градиентҳои гузашта, ки барои ин нуқтаи додаи мушаххас захира шудааст, навсозӣ мекунад.

Монанди SGD, SAG ҳар як мушкилотро ҳамчун маҷмӯи ниҳоии функсияҳои барҷаста ва дифференсиалӣ модел мекунад. Дар ҳама гуна такрори додашуда, он градиентҳои ҳозира ва миёнаи градиентҳои қаблиро барои навсозии вазн истифода мебарад. Муодила шакли зеринро мегирад:

Меъёри конвергенсия

Байни ду алгоритми маъмул, градиенти пурра (FG) ва градиенти стохастикӣ (SGD), алгоритми FG суръати конвергенсияи беҳтар дорад, зеро он тамоми маҷмӯи маълумотро дар давоми ҳар як такрор барои ҳисоб истифода мебарад.

Гарчанде ки SAG сохтори шабеҳи SGD дорад, суръати конвергенсияи он бо равиши пурраи градиентӣ муқоисашаванда ва баъзан беҳтар аст. Љадвали 1 дар поён натиљањои таљрибањои Шмидт ва. ал .

Тағйироти минбаъда

Сарфи назар аз иҷрои аҷиби он, ба алгоритми аслии SGD якчанд тағирот пешниҳод карда шуданд, то ба беҳтар кардани кор мусоидат кунанд.

• Баррасии дубора дар итератсияҳои барвақт: конвергенсияи SAG дар давоми чанд такрори аввал суст боқӣ мемонад, зеро алгоритм самтро бо n (шумораи умумии нуқтаҳои додаҳо) ба эътидол меорад. Ин баҳодиҳии нодурустро медиҳад, зеро алгоритм то ҳол нуқтаҳои зиёди маълумотро надидааст. Тағирот ба ҷои n муқаррар кардани m пешниҳод мекунад, ки дар он m шумораи нуқтаҳои додаҳо ҳадди аққал як маротиба то ин такрори мушаххас дида мешавад.
• Мини-параметрҳо: Равиши Stochastic Gradient барои коркарди якчанд нуқтаҳои додаҳо ҳамзамон мини-партияҳоро истифода мебарад. Чунин равишро ба SAG низ татбиқ кардан мумкин аст. Ин имкон медиҳад, ки векторизатсия ва параллелизатсия барои баланд бардоштани самаранокии компютер. Он инчунин сарбории хотираро коҳиш медиҳад, ки барои алгоритми SAG як мушкилоти намоён аст.
• Таҷрибаи андозаи қадам: Андозаи қадамҳои дар боло зикршуда (116L) натиҷаҳои аҷиб медиҳад, аммо муаллифон минбаъд бо истифода аз андозаи қадами 1L озмоиш карданд. Охирин конвергенцияи боз ҳам беҳтарро таъмин кард. Бо вуҷуди ин, муаллифон натавонистанд таҳлили расмии натиҷаҳои беҳтаршударо пешниҳод кунанд. Онҳо ба хулосае омаданд, ки андозаи қадам бояд бо озмоиши беҳтарин барои ҳалли мушкилоти мушаххас таҷриба карда шавад.

Фикрҳои ниҳоӣ

Пастшавии градиент як оптимизатсияи маъмулест, ки барои муайян кардани минимумҳои глобалии функсияҳои ҳадафҳои пешниҳодшуда истифода мешавад. Алгоритм градиенти функсияи ҳадафро барои убури нишебии функсия то расидан ба нуқтаи пасттарин истифода мебарад.

Пораиши пурраи градиент (FG) ва градиенти стохастикӣ (SGD) ду варианти маъмули алгоритм мебошанд. FG тамоми маҷмӯаи маълумотро дар давоми ҳар як такрор истифода мебарад ва суръати баланди конвергенсияро бо арзиши баланди ҳисоббарорӣ таъмин мекунад. Дар ҳар як такрор, SGD як зермаҷмӯи маълумотро барои иҷро кардани алгоритм истифода мебарад. Ин хеле самараноктар аст, аммо бо конвергенсияи номуайян.

Градиенти миёнаи Стохастикӣ (SAG) як варианти дигарест, ки бартариҳои ҳарду алгоритмҳои қаблиро таъмин мекунад. Он ба ҳисоби миёна градиентҳои гузашта ва зермаҷмӯи маълумотро истифода мебарад, то суръати баланди конвергенсияро бо ҳисоби паст таъмин кунад. Алгоритмро метавон минбаъд барои баланд бардоштани самаранокии он бо истифода аз векторизатсия ва мини-партияҳо тағир дод.