![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
የግራዲየንት መውረድ በማሽን መማሪያ (ኤምኤል) ሞዴሊንግ ውስጥ በጣም ታዋቂው የማመቻቸት ቴክኒክ ነው። ስልተ ቀመር በተተነበዩት እሴቶች እና በመሠረታዊ እውነት መካከል ያለውን ስህተት ይቀንሳል። ቴክኒኩ ስህተቱን ለመረዳት እና ለመቀነስ እያንዳንዱን የመረጃ ነጥብ ግምት ውስጥ ስለሚያስገባ አፈፃፀሙ በስልጠና መረጃ መጠን ላይ የተመሰረተ ነው. እንደ Stochastic Gradient Descent (SGD) ያሉ ቴክኒኮች የስሌቱን አፈጻጸም ለማሻሻል የተነደፉ ናቸው ነገር ግን በመገጣጠሚያ ትክክለኛነት ዋጋ።
ስቶካስቲክ አማካኝ ግሬዲየንት ሙሉ የግራዲየንት መውረድ እና ኤስጂዲ በመባል የሚታወቀውን የጥንታዊ አቀራረብ ሚዛኑን የጠበቀ ሲሆን ሁለቱንም ጥቅሞችን ይሰጣል። ግን አልጎሪዝምን ከመጠቀምዎ በፊት በመጀመሪያ ለሞዴል ማመቻቸት ያለውን ጠቀሜታ መረዳት አለብን።
እያንዳንዱ የኤምኤል አልጎሪዝም የአምሳያው አፈጻጸምን ለመቀነስ ወይም ለማሻሻል ያለመ ተያያዥ የኪሳራ ተግባር አለው። በሂሳብ ፣ ኪሳራው እንደሚከተለው ሊገለፅ ይችላል-
በቀላሉ በተጨባጭ እና በተገመተው ውፅዓት መካከል ያለው ልዩነት ነው፣ እና ይህን ልዩነት መቀነስ ማለት የእኛ ሞዴል ወደ መሬት የእውነት እሴቶች መቅረብ ማለት ነው።
የማሳነስ ስልተ ቀመር የኪሳራ ተግባሩን ለመሻገር እና ዝቅተኛውን አለምአቀፍ ለማግኘት ቀስ በቀስ ቁልቁል ይጠቀማል። እያንዳንዱ የማቋረጫ እርምጃ ውጤቱን ለማመቻቸት የአልጎሪዝምን ክብደት ማዘመንን ያካትታል።
የተለመደው የግራዲየንት ቁልቁል አልጎሪዝም በጠቅላላው የውሂብ ስብስብ ላይ የተሰሉትን ሁሉንም ቅልመት አማካኝ ይጠቀማል። የአንድ ነጠላ የሥልጠና ምሳሌ የሕይወት ዑደት የሚከተለውን ይመስላል።
የክብደት ማዘመኛ እኩልታ የሚከተለውን ይመስላል።
W
የሞዴሉን ክብደቶች የሚወክልበት እና dJ/dW
የአምሳያው ክብደትን በተመለከተ የመጥፋት ተግባር መነሻ ነው። ተለምዷዊው ዘዴ ከፍተኛ የመሰብሰቢያ ፍጥነት አለው ነገር ግን በሚሊዮኖች የሚቆጠሩ የመረጃ ነጥቦችን ካካተቱ ትላልቅ የውሂብ ስብስቦች ጋር ሲገናኝ በስሌት ውድ ይሆናል.
የSGD ዘዴው ከጂዲ ጋር አንድ አይነት ሆኖ ይቆያል፣ ነገር ግን አጠቃላይ ዳታውን ቅልመትን ለማስላት ከመጠቀም ይልቅ ከግብዓቶቹ ትንሽ ባች ይጠቀማል። ዘዴው የበለጠ ቀልጣፋ ነው ነገር ግን እያንዳንዱ ድግግሞሹ ለመማር የመረጃውን የተወሰነ ክፍል ብቻ ስለሚጠቀም በአለምአቀፍ ሚኒማ ዙሪያ በጣም መዝለል ይችላል።
የስቶካስቲክ አማካኝ ግሬዲየንት (SAG) አካሄድ በጂዲ እና በኤስጂዲ መካከል መካከለኛ ቦታ ሆኖ አስተዋወቀ። የዘፈቀደ የውሂብ ነጥብ ይመርጣል እና እሴቱን ያዘምናል በዚያ ነጥብ ላይ ባለው ቅልመት እና ለዚያ የተለየ የውሂብ ነጥብ የተከማቸ ያለፉት ቅልመት አማካኞች።
ከSGD ጋር በሚመሳሰል መልኩ፣ SAG እያንዳንዱን ችግር እንደ ውሱን የኮንቬክስ ድምር፣ ሊለዩ የሚችሉ ተግባራትን ይቀርፃል። በማንኛውም ጊዜ፣ ለክብደት ማሻሻያ አሁን ያለውን ቅልመት እና አማካይ የቀደምት ድግግሞሾችን ይጠቀማል። ቀመር የሚከተለውን ቅጽ ይወስዳል።
በሁለቱ ታዋቂ ስልተ ቀመሮች፣ ሙሉ ቅልመት (ኤፍጂ) እና ስቶካስቲክ ቅልመት ቁልቁል (ኤስጂዲ) መካከል፣ የኤፍጂጂ ስልተ ቀመር በእያንዳንዱ ድግግሞሽ ጊዜ አጠቃላይ የውሂብ ስብስብን ለማስላት ስለሚጠቀም የተሻለ የመገጣጠም መጠን አለው።
ምንም እንኳን SAG ከ SGD ጋር ተመሳሳይነት ያለው መዋቅር ቢኖረውም፣ የመገጣጠም ፍጥነቱ ከሙሉ ቀስ በቀስ አቀራረብ ጋር ሊወዳደር እና አንዳንዴም የተሻለ ነው። ከዚህ በታች ያለው ሠንጠረዥ 1 በሙከራዎች የተገኘውን ውጤት ያጠቃልላል
አስደናቂ አፈጻጸም ቢኖረውም አፈጻጸምን ለማሻሻል ለማገዝ ለዋናው SGD ስልተ ቀመር በርካታ ማሻሻያዎች ቀርበዋል።
የግራዲየንት መውረድ የቀረቡትን የዓላማ ተግባራት ዓለም አቀፍ አነስተኛ ቦታ ለማግኘት የሚያገለግል ታዋቂ ማመቻቸት ነው። ስልተ ቀመር ዝቅተኛው ነጥብ ላይ እስኪደርስ ድረስ የተግባር ቁልቁል ለመሻገር የዓላማ ተግባር ቅልመትን ይጠቀማል።
ሙሉ የግራዲየንት መውረድ (ኤፍጂ) እና ስቶካስቲክ የግራዲየንት መውረድ (SGD) ሁለት ታዋቂ የአልጎሪዝም ልዩነቶች ናቸው። FG በእያንዳንዱ ድግግሞሽ ወቅት ሙሉውን የውሂብ ስብስብ ይጠቀማል እና ከፍተኛ የመገጣጠም ፍጥነት በከፍተኛ ስሌት ዋጋ ያቀርባል። በእያንዳንዱ ድግግሞሽ፣ SGD ስልተ-ቀመርን ለማስኬድ ንዑስ የውሂብ ስብስብ ይጠቀማል። እሱ የበለጠ ቀልጣፋ ነው ነገር ግን እርግጠኛ ባልሆነ ውህደት።
Stochastic Average Gradient (SAG) የሁለቱም የቀደመ ስልተ ቀመሮች ጥቅሞችን የሚሰጥ ሌላ ልዩነት ነው። ከፍተኛ የመሰብሰቢያ ፍጥነትን ከዝቅተኛ ስሌት ጋር ለማቅረብ ያለፉት ቅልመት አማካኝ እና የውሂብ ስብስብ ንዑስ ስብስብ ይጠቀማል። ስልተ ቀመር ቬክተር እና ሚኒ-ባች በመጠቀም ውጤታማነቱን ለማሻሻል የበለጠ ሊሻሻል ይችላል።