ስቶካስቲክ ማእከላይ ደረጃ ምዕባለ ምርዳእ

ግራድየንት ዲሰንት ኣብ ሞዴሊንግ ማሽን ሌርኒንግ (ML) እቲ ዝበዝሐ ተፈታዊ ናይ ምምሕያሽ ሜላ እዩ። እቲ ኣልጎሪዝም ኣብ መንጎ እቶም ዝተገመቱ ክብርታትን ናይ መሬት ሓቅን ዘሎ ጌጋ የጉድል። እቲ ሜላ ንነፍሲ ወከፍ ነጥቢ ዳታ ኣብ ግምት ብምእታው ነቲ ጌጋ ንምርዳእን ንምንካይን ስለዝኾነ፡ ኣፈጻጽምኡ ኣብ ዓቐን ዳታ ስልጠና ይምርኮስ። ከም ስቶካስቲክ ግራድየንት ዲሰንት (SGD) ዝኣመሰሉ ሜላታት ንኣፈፃፅማ ስሌት ንምምሕያሽ ዝተዳለዉ ኮይኖም ግን ብዋጋ ትኽክለኛነት ምቅርራብ ዝተዳለዉ እዮም።

ስቶካስቲክ ማእከላይ ደረጃ ግራድየንት ነቲ ብሙሉእ ግራድየንት ምውራድን SGDን ዝፍለጥ ክላሲካል ኣገባብ ሚዛን ዝህብ ኮይኑ፡ ንኽልቲኡ ረብሓታት የቕርብ። ቅድሚ ነቲ ኣልጎሪዝም ምጥቃምና ግን መጀመርያ ንሞዴል ኦፕቲማይዜሽን ዘለዎ ትርጉም ክንርዳእ ኣለና።

ዕላማታት ትምህርቲ ማሽን ብግራድየንት ምውራድ ምምሕያሽ

ኩሉ ML ኣልጎሪዝም ተዛማዲ ናይ ክሳራ ተግባር ኣለዎ እዚ ድማ ነቲ ሞዴል ኣፈፃፅማ ንምንካይ ወይ ንምምሕያሽ ዝዓለመ እዩ። ብሕሳብ እቲ ክሳራ ከምዚ ዝስዕብ ክግለጽ ይከኣል፤

በቃ ኣብ መንጎ ጭቡጥን ዝተገመተን ውጽኢት ዘሎ ፍልልይ እዩ፣ ነዚ ፍልልይ ምጉዳል ማለት ድማ ሞዴልና ናብቲ ናይ መሬት ሓቂ ክብርታት ይቐርብ ማለት እዩ።

እቲ ናይ ምጉዳል ኣልጎሪዝም ነቲ ናይ ክሳራ ተግባር ንምሕላፍን ዓለማዊ ዝተሓተ ንምርካብን ግራድየንት ምውራድ ይጥቀም። ነፍሲ ወከፍ ስጉምቲ ምሕላፍ ነቲ ውጽኢት ንምምሕያሽ ናይቲ ኣልጎሪዝም ክብደት ምዕራፍ ዘጠቓልል እዩ።

ስሩዕ ግራድየንት ምውራድ

እቲ ልሙድ ኣልጎሪዝም ምውራድ ግራድየንት ማእከላይ ደረጃ ናይ ኩሎም ኣብ መላእ ዳታሴት ዝተቖጽሩ ግራድየንት ይጥቀም። ዑደት ህይወት ናይ ሓደ ኣብነት ስልጠና ከምዚ ዝስዕብ ይመስል፤

እቲ ናይ ክብደት ምዕባለ መመዓራረዪ ከምዚ ዝስዕብ ይመስል፤

W ንሞዴል ሚዛናት ዝውክል ኮይኑ dJ/dW ድማ ምስቲ ሞዴል ክብደት ኣተሓሒዝካ መውፅኢ ናይቲ ክሳራ ፋንክሽን እዩ። እቲ ልሙድ ኣገባብ ልዑል ናይ ምትእኽኻብ ደረጃ ኣለዎ ግን ምስ ሚልዮናት ዳታ ነጥብታት ዝሓቖፉ ዓበይቲ ዳታሴታት ኣብ ዝራኸበሉ እዋን ብስሌታዊ መንገዲ ክቡር ይኸውን።

ስቶካስቲክ ግራድየንት ዲሰንት (SGD)

ኣገባብ SGD ከምቲ ስሩዕ GD ኮይኑ ይቕጽል፣ እንተኾነ ግን ኣብ ክንዲ ምሉእ ዳታሴት ተጠቒሙ ንግራድየንትስ ምሕሳብ ካብቲ እታዎታት ንእሽቶ ዕስለ ይጥቀም። እቲ ኣገባብ ኣዝዩ ዝያዳ ውጽኢታዊ ኮይኑ ግን ነፍሲ ወከፍ ምድግጋም ንመምሃሪ ክፋል ናይቲ ዳታ ጥራይ ስለ ዝጥቀም ኣብ ዙርያ ዓለማዊ ምናልባሽ ብዙሕ ክዘልል ይኽእል።

ስቶካስቲክ ማእከላይ ደረጃ ምዕባለ

ስቶካስቲክ ኣቨረጅ ግራድየንት (SAG) ዝበሃል ኣገባብ ኣብ መንጎ GDን SGDን ከም ማእኸላይ መንገዲ እዩ ተኣታትዩ። ንሓደ ብዘይተሓሰበ መንገዲ ዳታ ነጥቢ ይመርጽ እሞ ኣብቲ ነጥቢ ዝነበረ ምዕባለን ንእቲ ፍሉይ ዳታ ነጥቢ ዝተዓቀበ ሕሉፍ ደረጃታት ዝተመዝነ ማእከላይ ማእከላይ ደረጃን መሰረት ብምግባር ዋጋኡ የዘምኖ።

ምስ SGD ዝመሳሰል፡ SAG ንነፍሲ ወከፍ ጸገም ከም ውሱን ድምር ናይ ቆንጢርካ፡ ፍልልያዊ ፋንክሽን ሞዴል ይገብሮ። ኣብ ዝኾነ ዝተዋህበ ምድግጋም፡ ንናይ ሕጂ ምዕባለታትን ማእከላይ ደረጃ ናይ ዝሓለፉ ምዕባለታትን ንመመሓየሺ ክብደት ይጥቀመሉ። እቲ መመዓራረዪ ከምዚ ዝስዕብ መልክዕ ይሕዝ፤

ደረጃ ምትእኽኻብ

ኣብ መንጎ እቶም ክልተ ህቡባት ኣልጎሪዝማት፡ ሙሉእ ግራድየንት (FG)ን ስቶካስቲክ ግራድየንት ዲሰንት (SGD)ን፡ ኤፍ.ጂ ኣልጎሪዝም ኣብ ነፍሲ ወከፍ ምድግጋም ምሉእ ስብስብ ዳታ ንሕሳብ ስለ ዝጥቀመሉ ዝሓሸ ናይ ምቅርራብ ደረጃ ኣለዎ።

ዋላ እኳ ሳግ ምስ SGD ዝመሳሰል ኣቃውማ እንተሃለዎ፡ ደረጃ ምቅርራቡ ምስቲ ምሉእ ምዕባለ ኣቀራርባ ዝወዳደርን ሓደ ሓደ ግዜ ድማ ዝሓሸን እዩ። ኣብ ታሕቲ ዘሎ ሰሌዳ ቁጽሪ 1 ካብ ፈተነታት ናይ... ሽሚትን ወዘተ. ኣል .

ተወሳኺ ምምሕያሻት።

ዋላ እኳ ዘገርም ኣፈፃፅማ እንተሃለዎ ኣብቲ መበቆላዊ ኣልጎሪዝም SGD ኣፈፃፅማ ንምምሕያሽ ዝሕግዙ ሓያሎ ምምሕያሻት ተሓሲቦም እዮም።

• ኣብ ቀዳሞት ምድግጋማት ዳግመ-ምምዛን፡- እቲ ኣልጎሪዝም ነቲ ኣንፈት ብ n (ጠቕላላ ቁጽሪ ነጥብታት ዳታ) ንቡር ስለ ዝገብሮ፡ ኣብተን ቀዳሞት ውሑዳት ምድግጋማት ምትእኽኻብ SAG ቀስ ኢሉ ይቕጽል። እዚ ድማ እቲ ኣልጎሪዝም ገና ብዙሓት ነጥብታት ዳታ ስለዘይረኣየ ዘይቅኑዕ ግምት ይህብ። እቲ ምምሕያሽ ኣብ ክንዲ n ብ m ንቡር ምግባር ይእምት፣ ኣብዚ m እንተወሓደ ሓደ ግዜ ክሳብ እቲ ፍሉይ ምድግጋም ዝተራእዩ ብዝሒ ነጥብታት ዳታ እዩ።
• ሚኒ-ባችስ፦ ስቶካስቲክ ግራድየንት ኣገባብ ንብዙሓት ዳታ ነጥብታት ብሓንሳብ ንምስራሕ ሚኒ-ባትች ይጥቀም። ኣብ ሳግ እውን ተመሳሳሊ ኣገባብ ክውዕል ይኽእል እዩ። እዚ ድማ ንዝተመሓየሸ ብቕዓት ኮምፒተር ቬክቶራይዘሽንን ፓራለላይዜሽንን የኽእል። ብተወሳኺ ንጽዕነት መዘክር ይንክዮ፡ እዚ ድማ ንኣልጎሪዝም SAG ጐሊሑ ዝረአ ብድሆ እዩ።
• ስጉምቲ-ዓቐን ፈተነ፦ እቲ ኣቐዲሙ ዝተጠቕሰ ስጉምቲ ስፍሓት (116L) ዘደንቕ ውጽኢት ይህብ፡ እንተኾነ ግን እቶም ጸሓፍቲ ዝያዳ ፈተነታት ስጉምቲ ስፍሓት 1L ብምጥቃም እዩ። እዚ ዳሕረዋይ ድማ ዝያዳ ዝሓሸ ምትእኽኻብ ኣቕሪቡ። ይኹን እምበር እቶም ጸሓፍቲ ብዛዕባ እቲ ዝተመሓየሸ ውጽኢት ወግዓዊ ትንተና ከቕርቡ ኣይከኣሉን። ንፍሉይ ጸገም ዝምችእ ንምርካብ እቲ ስጉምቲ ስፍሓት ክፍተን ከም ዘለዎ ይድምድሙ።

ናይ መወዳእታ ሓሳባት

ግራድየንት ዲሰንት ዓለምለኻዊ ምናልባሽ ናይቶም ዝቐረቡ ዕላማዊ ተግባራት ንምድላይ ዝጥቀመሉ ህቡብ ምምሕያሽ እዩ። እቲ ኣልጎሪዝም ነቲ ናይ ዕላማ ፋንክሽን ግራድየንት ተጠቒሙ ነቲ ፋንክሽን ቁልቁለት ክሳብ ኣብ ዝተሓተ ነጥቢ ዝበጽሕ ይሓልፎ።

ሙሉእ ግራድየንት ዲሰንት (FG)ን ስቶካስቲክ ግራድየንት ዲሰንት (SGD)ን ክልተ ህቡባት ፍልልያት ናይቲ ኣልጎሪዝም እዮም። FG ኣብ ነፍሲ ወከፍ ምድግጋም ምሉእ ዳታሴት ይጥቀምን ልዑል ናይ ስሌት ወጻኢታት ልዑል ናይ ምቅርራብ ደረጃ ይህብን። ኣብ ነፍሲ ወከፍ ምድግጋም፡ SGD ነቲ ኣልጎሪዝም ንምስራሕ ንኡስ ስብስብ ዳታ ይጥቀም። ኣዝዩ ዝያዳ ውጽኢታዊ ኮይኑ ግን ከኣ ርግጸኛ ዘይኮነ ምቅርራብ ዘለዎ እዩ።

ስቶካስቲክ ኣቨረጅ ግራድየንት (SAG) ካልእ ፍልልይ ኮይኑ ናይ ክልቲኦም ቅድሚ ሕጂ ዝነበሩ ኣልጎሪዝማት ረብሓታት ዝህብ እዩ። ማእከላይ ደረጃ ናይ ዝሓለፉ ምዕባለታትን ንኡስ ስብስብ ናይቲ ዳታሴትን ብምጥቃም ልዑል ስሌት ዘለዎ ልዑል ናይ ምቅርራብ ደረጃ ይህብ። እቲ ኣልጎሪዝም ብዝያዳ ክመሓየሽ ይኽእል እዩ ንብቕዓቱ ንምምሕያሽ ቬክቶራይዘሽንን ሚኒ-ባትችን ተጠቒምካ።