जेफ्री हिंटन, प्रोफेसर टोरंटो विश्वविद्यालय और इंजीनियरिंग साथी गूगल ब्रेन, हाल ही में पर एक पेपर प्रकाशित किया आगे आगे एल्गोरिथम (FF), तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक तकनीक जो नेटवर्क के माध्यम से डेटा के दो फॉरवर्ड पास का उपयोग करती है बैकप्रोगैगेशन, मॉडल वजन अद्यतन करने के लिए।
एल्गोरिथम के लिए हिंटन की प्रेरणा मानक बैकप्रोपैजेशन प्रशिक्षण की कुछ कमियों को दूर करना है, जिसके लिए प्रशिक्षण के दौरान डेरिवेटिव की गणना करने और सक्रियण मूल्यों को संग्रहीत करने के लिए फॉरवर्ड पास में गणना के पूर्ण ज्ञान की आवश्यकता होती है। हिंटन की अंतर्दृष्टि इनपुट डेटा के दो फॉरवर्ड पास का उपयोग करने की थी—एक सकारात्मक और एक नकारात्मक—जिसके विपरीत उद्देश्य कार्यों को अनुकूलित किया जाना है। हिंटन ने दिखाया कि एफएफ के साथ प्रशिक्षित नेटवर्क कंप्यूटर विजन (सीवी) कार्यों के साथ-साथ बैकप्रोपैगेशन का उपयोग करने वाले प्रशिक्षित भी कर सकते हैं। हिंटन के अनुसार,
फ़ॉरवर्ड-फ़ॉरवर्ड एल्गोरिथम (FF) बैकप्रॉपैगैशन की गति के बराबर है, लेकिन इसका लाभ यह है कि इसका उपयोग तब किया जा सकता है जब फ़ॉरवर्ड कम्प्यूटेशन का सटीक विवरण अज्ञात हो। इसका यह भी फायदा है कि यह एक तंत्रिका नेटवर्क के माध्यम से अनुक्रमिक डेटा को पाइपलाइन करते समय सीख सकता है, बिना तंत्रिका गतिविधियों को संग्रहीत किए या त्रुटि डेरिवेटिव को प्रसारित करने के लिए रोक सकता है…। दो क्षेत्र जिनमें फॉरवर्ड-फॉरवर्ड एल्गोरिदम बैकप्रोपैजेशन से बेहतर हो सकता है, एक मॉडल के रूप में हैं। कॉर्टेक्स में सीखने का और सुदृढीकरण सीखने का सहारा लिए बिना बहुत कम-शक्ति वाले एनालॉग हार्डवेयर का उपयोग करने के तरीके के रूप में।
हालांकि कृत्रिम तंत्रिका नेटवर्क (एएनएन) एक पर आधारित हैं मस्तिष्क का गणितीय मॉडल, इन नेटवर्कों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला मानक बैकप्रॉपैगेशन एल्गोरिथम किसी ज्ञात जैविक प्रक्रिया पर आधारित नहीं है। जैविक रूप से अविश्वसनीय होने के अलावा, जैसा कि ऊपर उल्लेख किया गया है, पश्चप्रचार में कुछ कम्प्यूटेशनल कमियां भी हैं। हिंटन बताते हैं कि एएनएन को बैकप्रॉपैगेशन के बिना रीइन्फोर्समेंट लर्निंग (आरएल) का उपयोग करके प्रशिक्षित किया जा सकता है, लेकिन यह तकनीक "लाखों या अरबों मापदंडों वाले बड़े नेटवर्क के लिए बुरी तरह से मापती है।" 2021 में, InfoQ ने बैकप्रॉपैगेशन नामक जैविक रूप से प्रशंसनीय विकल्प को कवर किया शून्य-विचलन निष्कर्ष सीखना (जेड-आईएल) जो वास्तव में पश्चप्रचार के परिणामों को पुन: उत्पन्न कर सकता है।
हिंटन का एफएफ एल्गोरिथ्म बैकप्रॉपैगेशन ट्रेनिंग के फॉरवर्ड-बैकवर्ड पास को दो फॉरवर्ड पास से बदल देता है जो "एक दूसरे के समान काम करते हैं।" पहला फ़ॉरवर्ड पास एक प्रशिक्षण सेट से सकारात्मक डेटा पर संचालित होता है, और इस इनपुट को परत की वृद्धि करने के लिए नेटवर्क भार समायोजित किया जाता है सबसे अच्छा मूल्य। दूसरे फॉरवर्ड पास में, नेटवर्क को एक उत्पन्न नकारात्मक उदाहरण दिया जाता है जो डेटासेट से नहीं लिया जाता है। नेटवर्क भार को इस प्रकार समायोजित किया जाता है कि यह इनपुट परत की अच्छाई को कम कर देता है।
हिंटन ने सीवी कार्यों को करने के लिए कई तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए एफएफ का इस्तेमाल किया Mnist और सिफर डेटासेट। नेटवर्क अपेक्षाकृत छोटे थे, जिनमें दो या तीन छिपी हुई संकरी परतें थीं, और 100 से कम युगों के लिए प्रशिक्षित थे। जब परीक्षण डेटासेट पर मूल्यांकन किया गया, तो एफएफ-प्रशिक्षित नेटवर्क ने बैकप्रोपैजेशन का उपयोग करने वाले प्रशिक्षित नेटवर्क की तुलना में "केवल थोड़ा खराब" प्रदर्शन किया।
डिएगो फियोरी, नेबुली के सीटीओ, ने हिंटन के एफएफ एल्गोरिदम को लागू किया और उसके परिणामों पर चर्चा की : ट्विटर पर
हिंटन के पेपर ने 2 अलग-अलग फॉरवर्ड-फॉरवर्ड एल्गोरिदम प्रस्तावित किए, जिन्हें मैंने बेस और रिकरंट कहा। आइए देखें कि, नाम के बावजूद, आधार वास्तव में सबसे अधिक प्रदर्शन करने वाला एल्गोरिथम क्यों है ... बेस एफएफ एल्गोरिथ्म क्लासिकल बैकप्रॉप की तुलना में बहुत अधिक मेमोरी कुशल हो सकता है, जिसमें गहरे नेटवर्क के लिए 45% तक मेमोरी बचत होती है।
