Gradient descent යනු යන්ත්‍ර ඉගෙනීමේ (ML) ආකෘති නිර්මාණයේ වඩාත් ජනප්‍රිය ප්‍රශස්තිකරණ තාක්‍ෂණයයි. ඇල්ගොරිතමය පුරෝකථනය කළ අගයන් සහ බිම් සත්‍යය අතර දෝෂය අවම කරයි. තාක්‍ෂණය මඟින් එක් එක් දත්ත ලක්ෂ්‍යය තේරුම් ගැනීමට සහ දෝෂය අවම කිරීමට සලකන බැවින්, එහි ක්‍රියාකාරීත්වය පුහුණු දත්ත ප්‍රමාණය මත රඳා පවතී. Stochastic Gradient Descent (SGD) වැනි තාක්ෂණික ක්‍රම සැලසුම් කර ඇත්තේ ගණනය කිරීමේ කාර්ය සාධනය වැඩි දියුණු කිරීමට නමුත් අභිසාරී නිරවද්‍යතාවයේ වියදමෙනි.   Stochastic Average Gradient සම්භාව්‍ය ප්‍රවේශය සමතුලිත කරයි, එය Full Gradient Descent සහ SGD ලෙස හැඳින්වේ, සහ ප්‍රතිලාභ දෙකම ලබා දෙයි. නමුත් අපි ඇල්ගොරිතම භාවිතා කිරීමට පෙර, අපි මුලින්ම ආකෘති ප්රශස්තකරණය සඳහා එහි වැදගත්කම තේරුම් ගත යුතුය.   Gradient Descent සමඟ යන්ත්‍ර ඉගෙනීමේ අරමුණු ප්‍රශස්ත කිරීම  සෑම ML ඇල්ගොරිතමයකටම සම්බන්ධිත අලාභ ශ්‍රිතයක් ඇත, එය ආකෘතියේ ක්‍රියාකාරිත්වය අවම කිරීම හෝ වැඩිදියුණු කිරීම අරමුණු කරයි. ගණිතමය වශයෙන්, පාඩුව මෙසේ අර්ථ දැක්විය හැක: එය හුදෙක් සත්‍ය සහ පුරෝකථනය කරන ලද ප්‍රතිදානය අතර වෙනස වන අතර, මෙම වෙනස අවම කිරීම යනු අපගේ ආකෘතිය භූමි සත්‍ය අගයන් වෙත සමීප වන බවයි.  අවම කිරීමේ ඇල්ගොරිතම අලාභ ශ්‍රිතය හරහා ගමන් කිරීමට සහ ගෝලීය අවම අගයක් සොයා ගැනීමට ශ්‍රේණිගත අවරෝහණ භාවිතා කරයි. සෑම ගමන් පියවරකටම ප්‍රතිදානය ප්‍රශස්ත කිරීම සඳහා ඇල්ගොරිතමයේ බර යාවත්කාලීන කිරීම ඇතුළත් වේ.   සරල ශ්‍රේණිගත බැස්ම  සාම්ප්‍රදායික අනුක්‍රමික අවරෝහණ ඇල්ගොරිතම සමස්ත දත්ත කට්ටලය හරහා ගණනය කරන ලද සියලුම ශ්‍රේණිවල සාමාන්‍යය භාවිතා කරයි. තනි පුහුණු උදාහරණයක ජීවන චක්‍රය පහත පරිදි පෙනේ:   බර යාවත්කාලීන සමීකරණය පහත පරිදි පෙනේ:  යනු ආදර්ශ බර නියෝජනය කරන අතර   යනු ආදර්ශ බරට සාපේක්ෂව පාඩු ශ්‍රිතයේ ව්‍යුත්පන්නය වේ. සාම්ප්‍රදායික ක්‍රමයට ඉහළ අභිසාරී අනුපාතයක් ඇති නමුත් මිලියන ගණනක දත්ත ලක්ෂ්‍ය වලින් සමන්විත විශාල දත්ත කට්ටල සමඟ ගනුදෙනු කිරීමේදී ගණනය කිරීමේ මිල අධික වේ. W dJ/dW   Stochastic Gradient Descent (SGD)  SGD ක්‍රමය සාමාන්‍ය GD ලෙසම පවතී, නමුත් ශ්‍රේණි ගණනය කිරීම සඳහා සම්පූර්ණ දත්ත කට්ටලයම භාවිතා කරනවා වෙනුවට, එය යෙදවුම් වලින් කුඩා කණ්ඩායමක් භාවිතා කරයි. මෙම ක්‍රමය වඩාත් කාර්යක්ෂම වන නමුත් එක් එක් පුනරාවර්තනය ඉගෙනීම සඳහා දත්ත වලින් කොටසක් පමණක් භාවිතා කරන බැවින් ගෝලීය අවම මට්ටම වටා බොහෝ සෙයින් පැන යා හැක.   Stochastic Average Gradient  Stochastic Average Gradient (SAG) ප්‍රවේශය GD සහ SGD අතර මැද බිමක් ලෙස හඳුන්වා දෙන ලදී. එය අහඹු දත්ත ලක්ෂ්‍යයක් තෝරා එම ලක්ෂ්‍යයේ ඇති අනුක්‍රමය සහ එම දත්ත ලක්ෂ්‍යය සඳහා ගබඩා කර ඇති අතීත අනුක්‍රමිකවල බර සාමාන්‍යයක් මත පදනම්ව එහි අගය යාවත්කාලීන කරයි.  SGD හා සමානව, SAG සෑම ගැටලුවක්ම උත්තල, අවකලනය කළ හැකි ශ්‍රිතවල සීමිත එකතුවක් ලෙස ආකෘති කරයි. ඕනෑම පුනරාවර්තනයකදී, එය බර යාවත්කාලීන කිරීම සඳහා වත්මන් අනුක්‍රමය සහ පෙර අනුක්‍රමයේ සාමාන්‍යය භාවිතා කරයි. සමීකරණය පහත ස්වරූපය ගනී:    අභිසාරී අනුපාතය  ජනප්‍රිය ඇල්ගොරිතම දෙක අතර, සම්පූර්ණ අනුක්‍රමය (FG) සහ ස්ටෝචස්ටික් ශ්‍රේණිගත අවරෝහණ (SGD), FG ඇල්ගොරිතමයට වඩා හොඳ අභිසාරී අනුපාතයක් ඇත, මන්ද එය ගණනය කිරීම සඳහා එක් එක් පුනරාවර්තනය අතරතුර සකසා ඇති සම්පූර්ණ දත්ත භාවිතා කරයි.  SAG හි SGD හා සමාන ව්‍යුහයක් ඇතත්, එහි අභිසාරී අනුපාතය සංසන්දනාත්මක වන අතර සමහර විට සම්පූර්ණ අනුක්‍රමණ ප්‍රවේශයට වඩා හොඳය. පහත වගුව 1 හි අත්හදා බැලීම්වල ප්රතිඵල සාරාංශ කරයි  .    Schmidt et. අල්   වැඩිදුර වෙනස් කිරීම්  එහි විශ්මයජනක කාර්ය සාධනය තිබියදීත්, කාර්ය සාධනය වැඩි දියුණු කිරීම සඳහා මුල් SGD ඇල්ගොරිතමයට වෙනස් කිරීම් කිහිපයක් යෝජනා කර ඇත.    ඇල්ගොරිතම n සමඟ දිශාව සාමාන්‍යකරණය කරන බැවින් පළමු පුනරාවර්තන කිහිපය තුළ SAG අභිසාරීතාවය මන්දගාමී වේ (මුළු දත්ත ලක්ෂ්‍ය ගණන). ඇල්ගොරිතමයට තවමත් බොහෝ දත්ත ලක්ෂ්‍ය දැකීමට නොහැකි බැවින් මෙය සාවද්‍ය ඇස්තමේන්තුවක් සපයයි. වෙනස් කිරීම මඟින් n වෙනුවට m මගින් සාමාන්‍යකරණය කිරීම යෝජනා කරයි, m යනු එම නිශ්චිත පුනරාවර්තනය වන තෙක් අවම වශයෙන් එක් වරක්වත් දකින දත්ත ලක්ෂ්‍ය ගණනයි. මුල් පුනරාවර්තන වලදී නැවත බර කිරීම:    Stochastic Gradient ප්‍රවේශය බහු දත්ත ලක්ෂ්‍ය එකවර සැකසීමට කුඩා කණ්ඩායම් භාවිතා කරයි. එම ප්රවේශය SAG සඳහා යෙදිය හැකිය. මෙය වැඩිදියුණු කළ පරිගණක කාර්යක්ෂමතාව සඳහා දෛශිකකරණය සහ සමාන්තරකරණයට ඉඩ සලසයි. එය SAG ඇල්ගොරිතම සඳහා ප්‍රමුඛ අභියෝගයක් වන මතක බර අඩු කරයි. කුඩා කණ්ඩායම්:    කලින් සඳහන් කළ පියවර ප්‍රමාණය (116L) විශ්මයජනක ප්‍රතිඵල සපයයි, නමුත් කතුවරුන් 1L හි පියවර ප්‍රමාණය භාවිතා කරමින් තවදුරටත් අත්හදා බැලීම් කළහ. දෙවැන්න ඊටත් වඩා හොඳ අභිසාරීතාවයක් ලබා දුන්නේය. කෙසේ වෙතත්, වැඩිදියුණු කළ ප්රතිඵල පිළිබඳ විධිමත් විශ්ලේෂණයක් ඉදිරිපත් කිරීමට කතුවරුන්ට නොහැකි විය. නිශ්චිත ගැටළුව සඳහා ප්‍රශස්ත එකක් සොයා ගැනීම සඳහා පියවර ප්‍රමාණය අත්හදා බැලිය යුතු බව ඔවුන් නිගමනය කරයි. පියවර-ප්‍රමාණයේ අත්හදා බැලීම:   අවසාන සිතුවිලි  Gradient descent යනු සපයන ලද වෛෂයික ශ්‍රිතවල ගෝලීය අවම ස්ථානගත කිරීම සඳහා භාවිතා කරන ජනප්‍රිය ප්‍රශස්තකරණයකි. ඇල්ගොරිතම මඟින් වෛෂයික ශ්‍රිතයේ ශ්‍රේණිය භාවිතා කර එය පහළම ස්ථානයට ළඟා වන තෙක් ශ්‍රිත බෑවුම හරහා ගමන් කරයි.  Full Gradient Descent (FG) සහ Stochastic Gradient Descent (SGD) යනු ඇල්ගොරිතමයේ ජනප්‍රිය වෙනස්කම් දෙකකි. FG එක් එක් පුනරාවර්තනය අතරතුර සම්පූර්ණ දත්ත කට්ටලයම භාවිතා කරන අතර ඉහළ ගණනය කිරීමේ පිරිවැයක් යටතේ ඉහළ අභිසාරී අනුපාතයක් සපයයි. එක් එක් පුනරාවර්තනයකදී, ඇල්ගොරිතම ක්‍රියාත්මක කිරීමට SGD දත්ත උප කුලකයක් භාවිතා කරයි. එය වඩා කාර්යක්ෂම නමුත් අවිනිශ්චිත අභිසාරීතාවයක් ඇත.  Stochastic Average Gradient (SAG) යනු පෙර ඇල්ගොරිතම දෙකෙහිම ප්‍රතිලාභ සපයන තවත් විචලනයකි. එය අඩු ගණනය කිරීම් සමඟ ඉහළ අභිසාරී අනුපාතයක් සැපයීම සඳහා අතීත අනුක්‍රමයේ සාමාන්‍යය සහ දත්ත කට්ටලයේ උප කුලකයක් භාවිතා කරයි. දෛශිකකරණය සහ කුඩා කණ්ඩායම් භාවිතයෙන් එහි කාර්යක්ෂමතාව වැඩි දියුණු කිරීම සඳහා ඇල්ගොරිතම තවදුරටත් වෙනස් කළ හැක.

This story contains new, firsthand information uncovered by the writer.

Every

Gradient

Read My Stories

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

Stochastic Average Gradient අවබෝධ කර ගැනීම

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

The #blockchain-api Writing Contest by dRPC & HackerNoon: Results Announcement 🎉

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet PennyFly Entertainment, Startups of the Year Winner (Malibu, CA)

Spring Into New Features: Smarter Notifications, More Writing Stats, Pixel Icon Library & More

The #blockchain-api Writing Contest by dRPC & HackerNoon: Results Announcement 🎉

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet PennyFly Entertainment, Startups of the Year Winner (Malibu, CA)

Spring Into New Features: Smarter Notifications, More Writing Stats, Pixel Icon Library & More

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps