ஜெஃப்ரி ஹிண்டன், பேராசிரியர் டொரொண்டோ பல்கலைக்கழகம் மற்றும் பொறியியல் சக கூகிள் மூளை, சமீபத்தில் ஒரு கட்டுரையை வெளியிட்டது முன்னோக்கி-முன்னோக்கி அல்காரிதம் (FF), நரம்பியல் நெட்வொர்க்குகளைப் பயிற்றுவிப்பதற்கான ஒரு நுட்பமாகும். மீண்டும் பரப்புதல், மாதிரி எடைகளை புதுப்பிக்க.
பயிற்சியின் போது வழித்தோன்றல்களைக் கணக்கிடுவதற்கும், செயல்படுத்தும் மதிப்புகளைச் சேமிப்பதற்கும் முன்னோக்கிச் செல்வதில் உள்ள கணக்கீடு பற்றிய முழு அறிவும் தேவைப்படும் நிலையான பேக் ப்ரோபேகேஷன் பயிற்சியின் சில குறைபாடுகளை நிவர்த்தி செய்வதே அல்காரிதத்திற்கான ஹிண்டனின் உந்துதல். ஹிண்டனின் நுண்ணறிவு இரண்டு முன்னோக்கி உள்ளீட்டுத் தரவைப் பயன்படுத்துவதாகும்-ஒன்று நேர்மறை மற்றும் ஒன்று எதிர்மறை- உகந்ததாக இருக்கும் எதிர் புறநிலை செயல்பாடுகளைக் கொண்டவை. எஃப்எஃப் மூலம் பயிற்றுவிக்கப்பட்ட நெட்வொர்க்குகள் கணினி பார்வை (சிவி) பணிகளைச் செய்ய முடியும் என்று ஹிண்டன் காட்டினார். ஹிண்டனின் கூற்றுப்படி,
ஃபார்வர்டு-ஃபார்வர்டு அல்காரிதம் (எஃப்எஃப்) வேகத்தில் பின் பரப்புதலுடன் ஒப்பிடத்தக்கது, ஆனால் முன்னோக்கி கணக்கீட்டின் துல்லியமான விவரங்கள் தெரியாதபோது அதைப் பயன்படுத்த முடியும். நரம்பியல் செயல்பாடுகளை சேமித்து வைக்காமல் அல்லது பிழை வழித்தோன்றல்களைப் பரப்புவதை நிறுத்தாமல் நரம்பியல் நெட்வொர்க் மூலம் தொடர்ச்சியான தரவை பைப்லைன் செய்யும் போது இது கற்றுக் கொள்ளக்கூடிய நன்மையும் உள்ளது.... முன்னோக்கி-முன்னோக்கி அல்காரிதம் பேக் ப்ரோபேகேஷனை விட சிறந்ததாக இருக்கும் இரண்டு பகுதிகள் ஒரு மாதிரியாக இருக்கும். கார்டெக்ஸில் கற்றல் மற்றும் வலுவூட்டல் கற்றலை நாடாமல் மிகக் குறைந்த சக்தி கொண்ட அனலாக் வன்பொருளைப் பயன்படுத்துவதற்கான ஒரு வழியாகும்.
செயற்கை நரம்பியல் நெட்வொர்க்குகள் (ANN) அடிப்படையாக இருந்தாலும் மூளையின் கணித மாதிரி, இந்த நெட்வொர்க்குகளைப் பயிற்றுவிப்பதற்குப் பயன்படுத்தப்படும் நிலையான பேக் ப்ரோபேகேஷன் அல்காரிதம் எந்த அறியப்பட்ட உயிரியல் செயல்முறையின் அடிப்படையிலும் இல்லை. உயிரியல் ரீதியாக நம்பமுடியாததாக இருப்பதைத் தவிர, மேலே குறிப்பிட்டுள்ளபடி, பின் பரப்புதல் சில கணக்கீட்டு குறைபாடுகளையும் கொண்டுள்ளது. ANN களை பேக் ப்ரோபேகேஷன் இல்லாமல் வலுவூட்டல் கற்றல் (RL) பயன்படுத்தி பயிற்றுவிக்க முடியும் என்று ஹிண்டன் சுட்டிக்காட்டுகிறார், ஆனால் இந்த நுட்பம் "மோசமாக அளவிடுகிறது... பல மில்லியன் அல்லது பில்லியன் அளவுருக்கள் கொண்ட பெரிய நெட்வொர்க்குகளுக்கு." 2021 ஆம் ஆண்டில், InfoQ ஆனது பேக் ப்ரோபேகேஷனுக்கான உயிரியல் ரீதியாக நம்பத்தகுந்த மாற்றீட்டை உள்ளடக்கியது. பூஜ்ஜிய-வேறுபாடு அனுமான கற்றல் (இசட்-ஐஎல்) இது பேக் ப்ரோபேகேஷன் முடிவுகளை துல்லியமாக மீண்டும் உருவாக்க முடியும்.
ஹிண்டனின் எஃப்எஃப் அல்காரிதம், பின்னோக்கிப் பரப்புதல் பயிற்சியின் முன்னோக்கி-பின்னோக்கிய பாஸ்களை "ஒருவருக்கொருவர் ஒரே மாதிரியாகச் செயல்படும்" இரண்டு முன்னோக்கு பாஸ்களைக் கொண்டு மாற்றுகிறது. முதல் ஃபார்வர்டு பாஸ் ஒரு பயிற்சி தொகுப்பிலிருந்து நேர்மறை தரவைச் செயல்படுத்துகிறது, மேலும் இந்த உள்ளீட்டை லேயரை அதிகரிக்க நெட்வொர்க் எடைகள் சரிசெய்யப்படுகின்றன. சிறந்த மதிப்பு. இரண்டாவது ஃபார்வர்ட் பாஸில், தரவுத்தொகுப்பில் இருந்து எடுக்கப்படாத எதிர்மறையான உதாரணம் பிணையத்திற்கு வழங்கப்படுகிறது. இந்த உள்ளீடு ஒரு லேயரின் நன்மையைக் குறைக்கும் வகையில் நெட்வொர்க் எடைகள் சரிசெய்யப்படுகின்றன.
சிவி பணிகளைச் செய்ய பல நரம்பியல் நெட்வொர்க்குகளைப் பயிற்றுவிக்க ஹிண்டன் FF ஐப் பயன்படுத்தினார் MNIST மற்றும் CIFAR தரவுத்தொகுப்புகள். நெட்வொர்க்குகள் ஒப்பீட்டளவில் சிறியதாக இருந்தன, இரண்டு அல்லது மூன்று மறைக்கப்பட்ட கன்வல்யூஷனல் அடுக்குகள் உள்ளன, மேலும் அவை 100 சகாப்தங்களுக்கும் குறைவாகவே பயிற்சியளிக்கப்பட்டன. சோதனை தரவுத்தொகுப்புகளில் மதிப்பிடப்பட்டபோது, FF-பயிற்சி பெற்ற நெட்வொர்க்குகள், பேக் ப்ரோபேகேஷனைப் பயன்படுத்தி பயிற்சி பெற்றதை விட "சற்று மோசமாக" செயல்பட்டன.
டியாகோ ஃபியோரி, நெபுலியின் CTO, ஹிண்டனின் FF அல்காரிதம் மற்றும் அவரது முடிவுகளை விவாதித்தார் ட்விட்டரில்:
ஹிண்டனின் பேப்பர் 2 வெவ்வேறு ஃபார்வர்டு-ஃபார்வர்ட் அல்காரிதம்களை முன்மொழிந்தது, அதை நான் பேஸ் மற்றும் ரெக்கரண்ட் என்று அழைத்தேன். பெயர் இருந்தாலும், பேஸ் உண்மையில் மிகவும் செயல்திறன் மிக்க அல்காரிதம் ஏன் என்று பார்ப்போம்....ஆழ்ந்த நெட்வொர்க்குகளுக்கு 45% நினைவக சேமிப்புடன், கிளாசிக்கல் பேக்ப்ராப்பை விட பேஸ் எஃப்எஃப் அல்காரிதம் அதிக நினைவக திறன் கொண்டதாக இருக்கும்.
