சீரற்ற சராசரி சாய்வு புரிந்து கொள்ளுதல்

மெஷின் லேர்னிங் (எம்எல்) மாடலிங்கில் கிரேடியன்ட் டிசென்ட் என்பது மிகவும் பிரபலமான தேர்வுமுறை நுட்பமாகும். அல்காரிதம் கணிக்கப்பட்ட மதிப்புகளுக்கும் நில உண்மைக்கும் இடையிலான பிழையைக் குறைக்கிறது. பிழையைப் புரிந்துகொள்வதற்கும் குறைப்பதற்கும் ஒவ்வொரு தரவுப் புள்ளியையும் நுட்பம் கருதுவதால், அதன் செயல்திறன் பயிற்சி தரவு அளவைப் பொறுத்தது. ஸ்டோகாஸ்டிக் கிரேடியன்ட் டிசென்ட் (SGD) போன்ற நுட்பங்கள் கணக்கீட்டு செயல்திறனை மேம்படுத்த வடிவமைக்கப்பட்டுள்ளன, ஆனால் குவிதல் துல்லியத்தின் விலையில்.

முழு கிரேடியன்ட் டிசென்ட் மற்றும் SGD எனப்படும் உன்னதமான அணுகுமுறையை சீரான சராசரி சாய்வு சமநிலைப்படுத்துகிறது, மேலும் இரண்டு நன்மைகளையும் வழங்குகிறது. ஆனால் அல்காரிதத்தைப் பயன்படுத்துவதற்கு முன், மாதிரி தேர்வுமுறைக்கான அதன் முக்கியத்துவத்தை நாம் முதலில் புரிந்து கொள்ள வேண்டும்.

கிரேடியன்ட் டிசென்ட் மூலம் இயந்திர கற்றல் நோக்கங்களை மேம்படுத்துதல்

ஒவ்வொரு ML அல்காரிதமும் மாடலின் செயல்திறனைக் குறைக்க அல்லது மேம்படுத்துவதை நோக்கமாகக் கொண்ட ஒரு தொடர்புடைய இழப்பு செயல்பாட்டைக் கொண்டுள்ளது. கணித ரீதியாக, இழப்பை பின்வருமாறு வரையறுக்கலாம்:

இது உண்மையான மற்றும் கணிக்கப்பட்ட வெளியீட்டிற்கு இடையே உள்ள வித்தியாசம், மேலும் இந்த வேறுபாட்டைக் குறைப்பது என்பது நமது மாதிரியானது அடிப்படை உண்மை மதிப்புகளுக்கு நெருக்கமாக வருகிறது.

குறைத்தல் அல்காரிதம் இழப்புச் செயல்பாட்டைக் கடந்து உலகளாவிய குறைந்தபட்சத்தைக் கண்டறிய சாய்வு வம்சாவளியைப் பயன்படுத்துகிறது. ஒவ்வொரு பயணப் படியும் வெளியீட்டை மேம்படுத்த அல்காரிதத்தின் எடைகளைப் புதுப்பிப்பதை உள்ளடக்கியது.

வெற்று சாய்வு வம்சாவளி

வழக்கமான சாய்வு வம்சாவளி அல்காரிதம் முழு தரவுத்தொகுப்பிலும் கணக்கிடப்பட்ட அனைத்து சாய்வுகளின் சராசரியைப் பயன்படுத்துகிறது. ஒரு பயிற்சி உதாரணத்தின் வாழ்க்கைச் சுழற்சி பின்வருமாறு தெரிகிறது:

எடை மேம்படுத்தல் சமன்பாடு பின்வருமாறு தெரிகிறது:

W என்பது மாதிரி எடையைக் குறிக்கிறது மற்றும் dJ/dW என்பது மாதிரி எடையைப் பொறுத்து இழப்பு செயல்பாட்டின் வழித்தோன்றலாகும். வழக்கமான முறையானது அதிக ஒருங்கிணைப்பு விகிதத்தைக் கொண்டுள்ளது, ஆனால் மில்லியன் கணக்கான தரவு புள்ளிகளைக் கொண்ட பெரிய தரவுத்தொகுப்புகளைக் கையாளும் போது கணக்கீட்டு ரீதியாக விலை உயர்ந்ததாகிறது.

சீரான சாய்வு வம்சாவளி (SGD)

SGD முறையானது சாதாரண GD போலவே உள்ளது, ஆனால் சாய்வுகளைக் கணக்கிட முழு தரவுத்தொகுப்பையும் பயன்படுத்துவதற்குப் பதிலாக, உள்ளீடுகளிலிருந்து ஒரு சிறிய தொகுதியைப் பயன்படுத்துகிறது. இந்த முறை மிகவும் திறமையானது, ஆனால் ஒவ்வொரு மறு செய்கையும் கற்றலுக்காக தரவின் ஒரு பகுதியை மட்டுமே பயன்படுத்துவதால், உலகளாவிய மினிமாவைச் சுற்றி மிகவும் அதிகமாக இருக்கலாம்.

சீரற்ற சராசரி சாய்வு

சீரற்ற சராசரி சாய்வு (SAG) அணுகுமுறை GD மற்றும் SGD இடையே ஒரு நடுநிலையாக அறிமுகப்படுத்தப்பட்டது. இது ஒரு சீரற்ற தரவுப் புள்ளியைத் தேர்ந்தெடுத்து, அந்த புள்ளியில் உள்ள சாய்வு மற்றும் குறிப்பிட்ட தரவுப் புள்ளியில் சேமிக்கப்பட்ட கடந்த சாய்வுகளின் சராசரியின் அடிப்படையில் அதன் மதிப்பைப் புதுப்பிக்கிறது.

SGD ஐப் போலவே, SAG ஆனது ஒவ்வொரு சிக்கலையும் குவிந்த, வேறுபட்ட செயல்பாடுகளின் வரையறுக்கப்பட்ட தொகையாகக் காட்டுகிறது. கொடுக்கப்பட்ட எந்த மறு செய்கையிலும், இது தற்போதைய சாய்வுகளையும் முந்தைய சாய்வுகளின் சராசரியையும் எடை மேம்படுத்தலுக்குப் பயன்படுத்துகிறது. சமன்பாடு பின்வரும் வடிவத்தை எடுக்கும்:

ஒருங்கிணைப்பு விகிதம்

இரண்டு பிரபலமான வழிமுறைகள், முழு சாய்வு (FG) மற்றும் ஸ்டோகாஸ்டிக் கிரேடியன்ட் டிசென்ட் (SGD) ஆகியவற்றுக்கு இடையே, FG அல்காரிதம் ஒரு சிறந்த ஒருங்கிணைப்பு விகிதத்தைக் கொண்டுள்ளது, ஏனெனில் இது ஒவ்வொரு மறு செய்கையின் போது அமைக்கப்பட்ட முழுத் தரவையும் கணக்கீட்டிற்குப் பயன்படுத்துகிறது.

SAG ஆனது SGD போன்ற அமைப்பைக் கொண்டிருந்தாலும், அதன் ஒருங்கிணைப்பு விகிதம் முழு சாய்வு அணுகுமுறையுடன் ஒப்பிடத்தக்கது மற்றும் சில நேரங்களில் சிறந்தது. கீழே உள்ள அட்டவணை 1 சோதனைகளின் முடிவுகளை சுருக்கமாகக் கூறுகிறது ஷ்மிட் மற்றும். அல் .

மேலும் மாற்றங்கள்

அதன் அற்புதமான செயல்திறன் இருந்தபோதிலும், செயல்திறனை மேம்படுத்த உதவும் அசல் SGD அல்காரிதத்தில் பல மாற்றங்கள் முன்மொழியப்பட்டுள்ளன.

• ஆரம்ப மறு செய்கைகளில் மறு-வெயிட்டிங்: அல்காரிதம் திசையை n உடன் இயல்பாக்குவதால் (தரவு புள்ளிகளின் மொத்த எண்ணிக்கை) முதல் சில மறு செய்கைகளின் போது SAG ஒருங்கிணைப்பு மெதுவாக இருக்கும். அல்காரிதம் இன்னும் பல தரவுப் புள்ளிகளைக் காணாததால் இது ஒரு தவறான மதிப்பீட்டை வழங்குகிறது. மாற்றமானது n க்கு பதிலாக m ஆல் இயல்பாக்க பரிந்துரைக்கிறது, இங்கு m என்பது குறிப்பிட்ட மறு செய்கை வரை குறைந்தது ஒரு முறை பார்த்த தரவு புள்ளிகளின் எண்ணிக்கை.
• மினி-பேட்ச்கள்: ஒரே நேரத்தில் பல தரவுப் புள்ளிகளைச் செயலாக்க ஸ்டோகாஸ்டிக் கிரேடியண்ட் அணுகுமுறை மினி-பேட்ச்களைப் பயன்படுத்துகிறது. இதே அணுகுமுறையை SAG க்கும் பயன்படுத்தலாம். இது மேம்படுத்தப்பட்ட கணினி செயல்திறனுக்காக வெக்டரைசேஷன் மற்றும் இணைப்படுத்தலை அனுமதிக்கிறது. இது நினைவக சுமையையும் குறைக்கிறது, இது SAG அல்காரிதத்திற்கு ஒரு முக்கிய சவாலாகும்.
• படி அளவு பரிசோதனை: முன்னர் குறிப்பிடப்பட்ட படி அளவு (116L) அற்புதமான முடிவுகளை வழங்குகிறது, ஆனால் ஆசிரியர்கள் 1L இன் படி அளவைப் பயன்படுத்தி மேலும் சோதனை செய்தனர். பிந்தையது இன்னும் சிறந்த ஒருங்கிணைப்பை வழங்கியது. இருப்பினும், மேம்படுத்தப்பட்ட முடிவுகளின் முறையான பகுப்பாய்வை ஆசிரியர்களால் முன்வைக்க முடியவில்லை. குறிப்பிட்ட சிக்கலுக்கு உகந்த ஒன்றைக் கண்டறிய, படி அளவைப் பரிசோதிக்க வேண்டும் என்று அவர்கள் முடிவு செய்கிறார்கள்.

இறுதி எண்ணங்கள்

கிரேடியன்ட் டிசென்ட் என்பது வழங்கப்பட்ட புறநிலை செயல்பாடுகளின் உலகளாவிய மினிமாவைக் கண்டறிவதற்குப் பயன்படுத்தப்படும் பிரபலமான தேர்வுமுறை ஆகும். அல்காரிதம் சார்புச் சரிவைக் கடக்க புறநிலை செயல்பாட்டின் சாய்வைப் பயன்படுத்துகிறது, அது மிகக் குறைந்த புள்ளியை அடையும் வரை.

ஃபுல் கிரேடியன்ட் டிசென்ட் (எஃப்ஜி) மற்றும் ஸ்டோகாஸ்டிக் கிரேடியன்ட் டிசென்ட் (எஸ்ஜிடி) ஆகியவை அல்காரிதத்தின் இரண்டு பிரபலமான மாறுபாடுகள். FG ஆனது ஒவ்வொரு மறு செய்கையின் போதும் முழு தரவுத்தொகுப்பையும் பயன்படுத்துகிறது மற்றும் அதிக கணக்கீட்டு செலவில் அதிக ஒருங்கிணைப்பு விகிதத்தை வழங்குகிறது. ஒவ்வொரு மறு செய்கையிலும், அல்காரிதத்தை இயக்க SGD தரவுகளின் துணைக்குழுவைப் பயன்படுத்துகிறது. இது மிகவும் திறமையானது ஆனால் நிச்சயமற்ற ஒருங்கிணைப்புடன் உள்ளது.

ஸ்டோகாஸ்டிக் ஆவரேஜ் கிரேடியன்ட் (எஸ்ஏஜி) என்பது முந்தைய இரண்டு அல்காரிதம்களின் பலன்களை வழங்கும் மற்றொரு மாறுபாடாகும். குறைந்த கணக்கீட்டில் அதிக ஒருங்கிணைப்பு விகிதத்தை வழங்க, கடந்த சாய்வுகளின் சராசரி மற்றும் தரவுத்தொகுப்பின் துணைக்குழுவைப் பயன்படுத்துகிறது. வெக்டரைசேஷன் மற்றும் மினி-பேட்ச்களைப் பயன்படுத்தி அதன் செயல்திறனை மேம்படுத்த அல்காரிதம் மேலும் மாற்றியமைக்கப்படலாம்.