![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
ግራድየንት ዲሰንት ኣብ ሞዴሊንግ ማሽን ሌርኒንግ (ML) እቲ ዝበዝሐ ተፈታዊ ናይ ምምሕያሽ ሜላ እዩ። እቲ ኣልጎሪዝም ኣብ መንጎ እቶም ዝተገመቱ ክብርታትን ናይ መሬት ሓቅን ዘሎ ጌጋ የጉድል። እቲ ሜላ ንነፍሲ ወከፍ ነጥቢ ዳታ ኣብ ግምት ብምእታው ነቲ ጌጋ ንምርዳእን ንምንካይን ስለዝኾነ፡ ኣፈጻጽምኡ ኣብ ዓቐን ዳታ ስልጠና ይምርኮስ። ከም ስቶካስቲክ ግራድየንት ዲሰንት (SGD) ዝኣመሰሉ ሜላታት ንኣፈፃፅማ ስሌት ንምምሕያሽ ዝተዳለዉ ኮይኖም ግን ብዋጋ ትኽክለኛነት ምቅርራብ ዝተዳለዉ እዮም።
ስቶካስቲክ ማእከላይ ደረጃ ግራድየንት ነቲ ብሙሉእ ግራድየንት ምውራድን SGDን ዝፍለጥ ክላሲካል ኣገባብ ሚዛን ዝህብ ኮይኑ፡ ንኽልቲኡ ረብሓታት የቕርብ። ቅድሚ ነቲ ኣልጎሪዝም ምጥቃምና ግን መጀመርያ ንሞዴል ኦፕቲማይዜሽን ዘለዎ ትርጉም ክንርዳእ ኣለና።
ኩሉ ML ኣልጎሪዝም ተዛማዲ ናይ ክሳራ ተግባር ኣለዎ እዚ ድማ ነቲ ሞዴል ኣፈፃፅማ ንምንካይ ወይ ንምምሕያሽ ዝዓለመ እዩ። ብሕሳብ እቲ ክሳራ ከምዚ ዝስዕብ ክግለጽ ይከኣል፤
በቃ ኣብ መንጎ ጭቡጥን ዝተገመተን ውጽኢት ዘሎ ፍልልይ እዩ፣ ነዚ ፍልልይ ምጉዳል ማለት ድማ ሞዴልና ናብቲ ናይ መሬት ሓቂ ክብርታት ይቐርብ ማለት እዩ።
እቲ ናይ ምጉዳል ኣልጎሪዝም ነቲ ናይ ክሳራ ተግባር ንምሕላፍን ዓለማዊ ዝተሓተ ንምርካብን ግራድየንት ምውራድ ይጥቀም። ነፍሲ ወከፍ ስጉምቲ ምሕላፍ ነቲ ውጽኢት ንምምሕያሽ ናይቲ ኣልጎሪዝም ክብደት ምዕራፍ ዘጠቓልል እዩ።
እቲ ልሙድ ኣልጎሪዝም ምውራድ ግራድየንት ማእከላይ ደረጃ ናይ ኩሎም ኣብ መላእ ዳታሴት ዝተቖጽሩ ግራድየንት ይጥቀም። ዑደት ህይወት ናይ ሓደ ኣብነት ስልጠና ከምዚ ዝስዕብ ይመስል፤
እቲ ናይ ክብደት ምዕባለ መመዓራረዪ ከምዚ ዝስዕብ ይመስል፤
W
ንሞዴል ሚዛናት ዝውክል ኮይኑ dJ/dW
ድማ ምስቲ ሞዴል ክብደት ኣተሓሒዝካ መውፅኢ ናይቲ ክሳራ ፋንክሽን እዩ። እቲ ልሙድ ኣገባብ ልዑል ናይ ምትእኽኻብ ደረጃ ኣለዎ ግን ምስ ሚልዮናት ዳታ ነጥብታት ዝሓቖፉ ዓበይቲ ዳታሴታት ኣብ ዝራኸበሉ እዋን ብስሌታዊ መንገዲ ክቡር ይኸውን።
ኣገባብ SGD ከምቲ ስሩዕ GD ኮይኑ ይቕጽል፣ እንተኾነ ግን ኣብ ክንዲ ምሉእ ዳታሴት ተጠቒሙ ንግራድየንትስ ምሕሳብ ካብቲ እታዎታት ንእሽቶ ዕስለ ይጥቀም። እቲ ኣገባብ ኣዝዩ ዝያዳ ውጽኢታዊ ኮይኑ ግን ነፍሲ ወከፍ ምድግጋም ንመምሃሪ ክፋል ናይቲ ዳታ ጥራይ ስለ ዝጥቀም ኣብ ዙርያ ዓለማዊ ምናልባሽ ብዙሕ ክዘልል ይኽእል።
ስቶካስቲክ ኣቨረጅ ግራድየንት (SAG) ዝበሃል ኣገባብ ኣብ መንጎ GDን SGDን ከም ማእኸላይ መንገዲ እዩ ተኣታትዩ። ንሓደ ብዘይተሓሰበ መንገዲ ዳታ ነጥቢ ይመርጽ እሞ ኣብቲ ነጥቢ ዝነበረ ምዕባለን ንእቲ ፍሉይ ዳታ ነጥቢ ዝተዓቀበ ሕሉፍ ደረጃታት ዝተመዝነ ማእከላይ ማእከላይ ደረጃን መሰረት ብምግባር ዋጋኡ የዘምኖ።
ምስ SGD ዝመሳሰል፡ SAG ንነፍሲ ወከፍ ጸገም ከም ውሱን ድምር ናይ ቆንጢርካ፡ ፍልልያዊ ፋንክሽን ሞዴል ይገብሮ። ኣብ ዝኾነ ዝተዋህበ ምድግጋም፡ ንናይ ሕጂ ምዕባለታትን ማእከላይ ደረጃ ናይ ዝሓለፉ ምዕባለታትን ንመመሓየሺ ክብደት ይጥቀመሉ። እቲ መመዓራረዪ ከምዚ ዝስዕብ መልክዕ ይሕዝ፤
ኣብ መንጎ እቶም ክልተ ህቡባት ኣልጎሪዝማት፡ ሙሉእ ግራድየንት (FG)ን ስቶካስቲክ ግራድየንት ዲሰንት (SGD)ን፡ ኤፍ.ጂ ኣልጎሪዝም ኣብ ነፍሲ ወከፍ ምድግጋም ምሉእ ስብስብ ዳታ ንሕሳብ ስለ ዝጥቀመሉ ዝሓሸ ናይ ምቅርራብ ደረጃ ኣለዎ።
ዋላ እኳ ሳግ ምስ SGD ዝመሳሰል ኣቃውማ እንተሃለዎ፡ ደረጃ ምቅርራቡ ምስቲ ምሉእ ምዕባለ ኣቀራርባ ዝወዳደርን ሓደ ሓደ ግዜ ድማ ዝሓሸን እዩ። ኣብ ታሕቲ ዘሎ ሰሌዳ ቁጽሪ 1 ካብ ፈተነታት ናይ...
ዋላ እኳ ዘገርም ኣፈፃፅማ እንተሃለዎ ኣብቲ መበቆላዊ ኣልጎሪዝም SGD ኣፈፃፅማ ንምምሕያሽ ዝሕግዙ ሓያሎ ምምሕያሻት ተሓሲቦም እዮም።
ግራድየንት ዲሰንት ዓለምለኻዊ ምናልባሽ ናይቶም ዝቐረቡ ዕላማዊ ተግባራት ንምድላይ ዝጥቀመሉ ህቡብ ምምሕያሽ እዩ። እቲ ኣልጎሪዝም ነቲ ናይ ዕላማ ፋንክሽን ግራድየንት ተጠቒሙ ነቲ ፋንክሽን ቁልቁለት ክሳብ ኣብ ዝተሓተ ነጥቢ ዝበጽሕ ይሓልፎ።
ሙሉእ ግራድየንት ዲሰንት (FG)ን ስቶካስቲክ ግራድየንት ዲሰንት (SGD)ን ክልተ ህቡባት ፍልልያት ናይቲ ኣልጎሪዝም እዮም። FG ኣብ ነፍሲ ወከፍ ምድግጋም ምሉእ ዳታሴት ይጥቀምን ልዑል ናይ ስሌት ወጻኢታት ልዑል ናይ ምቅርራብ ደረጃ ይህብን። ኣብ ነፍሲ ወከፍ ምድግጋም፡ SGD ነቲ ኣልጎሪዝም ንምስራሕ ንኡስ ስብስብ ዳታ ይጥቀም። ኣዝዩ ዝያዳ ውጽኢታዊ ኮይኑ ግን ከኣ ርግጸኛ ዘይኮነ ምቅርራብ ዘለዎ እዩ።
ስቶካስቲክ ኣቨረጅ ግራድየንት (SAG) ካልእ ፍልልይ ኮይኑ ናይ ክልቲኦም ቅድሚ ሕጂ ዝነበሩ ኣልጎሪዝማት ረብሓታት ዝህብ እዩ። ማእከላይ ደረጃ ናይ ዝሓለፉ ምዕባለታትን ንኡስ ስብስብ ናይቲ ዳታሴትን ብምጥቃም ልዑል ስሌት ዘለዎ ልዑል ናይ ምቅርራብ ደረጃ ይህብ። እቲ ኣልጎሪዝም ብዝያዳ ክመሓየሽ ይኽእል እዩ ንብቕዓቱ ንምምሕያሽ ቬክቶራይዘሽንን ሚኒ-ባትችን ተጠቒምካ።