दिमाग और AIमध्यमपाठ 3005 मिनट का पाठ

दिमाग इतनी कम ऊर्जा क्यों इस्तेमाल करता है

इंसानी दिमाग लगभग 20 वॉट पर चलता है। उन मुख्य विचारों को जानें जो दिमाग को इतना कुशल बनाते हैं: स्पार्स स्पाइक्स, क्लॉक की जगह इवेंट्स, और कम्प्यूटिंग के ठीक बगल में मौजूद मेमोरी।

✦ ट्यूटर से पूछें🧪 लैब · 20 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

दिमाग इतनी कम ऊर्जा क्यों इस्तेमाल करता है

इंसानी दिमाग लगभग 20 वॉट पर चलता है। उन मुख्य विचारों को जानें जो दिमाग को इतना कुशल बनाते हैं: स्पार्स स्पाइक्स, क्लॉक की जगह इवेंट्स, और कम्प्यूटिंग के ठीक बगल में मौजूद मेमोरी।

1/4
आसान शब्दों में
एक ऐसे स्कूल की कल्पना करें जहाँ हर छात्र को हर सेकंड अपना जवाब चिल्लाना पड़ता है, भले ही उनके पास कहने के लिए कुछ नया न हो। यह बहुत शोरगुल वाला और थका देने वाला होगा। अब एक ऐसे स्कूल की कल्पना करें जहाँ छात्र केवल तभी बोलते हैं जब उनके पास कुछ नया हो। वह दूसरा स्कूल कहीं अधिक शांत है और बहुत कम ऊर्जा का उपयोग करता है। दिमाग उस दूसरे स्कूल की तरह होते हैं।
इंसानी दिमाग में लगभग 86 अरब न्यूरॉन्स होते हैं और यह लगभग 20 वॉट बिजली पर चलता है। ये आमतौर पर दिए जाने वाले अनुमान हैं। तुलना के लिए, 20 वॉट एक छोटे LED बल्ब या फोन चार्जर की रेंज में होता है। फिर भी दिमाग देखता है, चलता है, बोलता है, याद रखता है और सीखता है।
इसके विपरीत, बड़े AI सिस्टम आमतौर पर डेटा सेंटरों में कई शक्तिशाली कंप्यूटर चिप्स पर ट्रेन और रन किए जाते हैं, जिन्हें बहुत अधिक बिजली और कूलिंग की आवश्यकता होती है। दिमाग और चिप्स बहुत अलग चीजें हैं, इसलिए इनकी तुलना केवल एक मोटा अनुमान है। लेकिन यह अंतर इतना बड़ा है कि इंजीनियर्स दिमाग से सीखना चाहते हैं।
Python: a rough average, just arithmeticpython
# Commonly cited estimates (rough): about 86 billion neurons, about 20 watts.
neurons = 86e9
watts = 20
per_neuron = watts / neurons
print(f"Average power per neuron: about {per_neuron:.1e} watts")
print(f"That is about {per_neuron * 1e9:.2f} nanowatts")

विचार 1: ज़्यादातर न्यूरॉन्स शांत रहते हैं

दिमाग में, किसी भी पल में केवल कुछ ही न्यूरॉन्स फायर कर रहे होते हैं। प्रत्येक स्पाइक में ऊर्जा खर्च होती है, इसलिए कम स्पाइक्स का मतलब है कम ऊर्जा। इसे स्पार्स एक्टिविटी (sparse activity) कहा जाता है। इसके विपरीत, अधिकांश AI मॉडल्स में, प्रत्येक न्यूरॉन हर इनपुट के लिए गणना करता है।

विचार 2: काम केवल तभी होता है जब कुछ बदलता है

एक सामान्य कंप्यूटर चिप एक क्लॉक (घड़ी) की टिक-टिक पर चलती है, जो हर टिक पर काम करती है। न्यूरॉन्स इवेंट-ड्रिवन होते हैं: एक सिनैप्स मुख्य रूप से तभी काम करता है जब कोई स्पाइक आता है। अगर कुछ नहीं आता, तो बहुत कम हलचल होती है।

विचार 3: मेमोरी कम्प्यूटिंग के ठीक बगल में होती है

ज़्यादातर कंप्यूटरों में, मेमोरी और प्रोसेसर अलग-अलग होते हैं। डेटा हर समय इधर-उधर ले जाया जाता है, और डेटा को मूव करने में बहुत ऊर्जा खर्च होती है, अक्सर खुद कैलकुलेशन से भी ज़्यादा। दिमाग में, "मेमोरी" (सिनैप्स की ताकत) वहीं मौजूद होती है जहाँ "कम्प्यूटिंग" होती है।
विचारAI चलाने वाला सामान्य कंप्यूटरदिमाग
एक्टिविटीडेंस: हर यूनिट हर बार गणना करती हैस्पार्स: एक बार में बहुत कम न्यूरॉन्स फायर करते हैं
टाइमिंगक्लॉक-ड्रिवन: हर टिक पर कामइवेंट-ड्रिवन: स्पाइक्स आने पर काम
मेमोरीअलग; डेटा इधर-उधर मूव करता हैसिनैप्स में स्टोर, ठीक वहीं जहाँ इसका उपयोग होता है
सटीकता (प्रिसिजन)सटीक डिजिटल नंबर्सनॉइज़ी, लेकिन काम चलाने लायक और मजबूत
एक आम गलतफहमी
  • "दिमाग बस एक धीमा कंप्यूटर है"
  • "दिमाग और चिप्स की बिल्कुल वॉट-दर-वॉट बराबरी से तुलना की जा सकती है"
एक बेहतर नज़रिया
  • दिमाग और चिप्स बहुत अलग सिद्धांतों पर बने हैं, दोनों अलग-अलग चीजों में अच्छे हैं
  • तुलनाएँ बस मोटे तौर पर हैं; वे एक बड़ा अंतर दिखाती हैं और ऐसे विचारों की ओर इशारा करती हैं जिन्हें अपनाया जा सकता है
असली उदाहरण
गाँव की एक ऐसी स्ट्रीट लाइट के बारे में सोचें जो पूरी रात जलती रहती है, भले ही कोई वहाँ से न गुज़रे, और दूसरी मोशन सेंसर वाली जो केवल तभी जलती है जब कोई पास से गुज़रता है। दोनों रास्ता दिखाती हैं। दूसरी लाइट बहुत कम बिजली इस्तेमाल करती है। इवेंट-ड्रिवन कम्प्यूटिंग उस मोशन-सेंसर वाली लाइट की तरह है।
सावधान रहें
"दिमाग GPU से दस लाख गुना अधिक कुशल है" जैसे सटीक दावों को लेकर सावधान रहें। ऐसे नंबर इस बात पर बहुत निर्भर करते हैं कि आप क्या और कैसे तुलना कर रहे हैं। जब तक आप किसी गहन अध्ययन का हवाला न दे सकें, तब तक कहें "कई कामों के लिए कहीं अधिक कुशल"।

और देखें और पढ़ें

लैब

काल्पनिक आंकड़ों का उपयोग करके, एक डेंस नेटवर्क बनाम एक इवेंट-ड्रिवन स्पाइकिंग नेटवर्क के लिए ऑपरेशन्स की एक सरल गिनती, और उनके बीच की बचत।

~20 min

समस्या

यह आपके ब्राउज़र में चलता है। विचार को समझाने के लिए सभी नंबर काल्पनिक हैं; ये किसी वास्तविक दिमाग या चिप के माप नहीं हैं।

  1. स्टार्टर चलाएं। यह एक रैंडम स्पाइक रिकॉर्ड बनाता है: spikes[t, i] 1 है यदि न्यूरॉन i ने स्टेप t पर फायर किया। प्रत्येक न्यूरॉन FANOUT कनेक्शन भेजता है।
  2. dense_ops सेट करें: एक डेंस नेटवर्क में, प्रत्येक कनेक्शन हर स्टेप पर एक ऑपरेशन करता है।
  3. event_ops सेट करें: एक इवेंट-ड्रिवन नेटवर्क में, केवल फायर करने वाले न्यूरॉन्स के कनेक्शन ही ऑपरेशन करते हैं।
  4. saving = dense_ops / event_ops सेट करें, और काल्पनिक ENERGY_PER_OP का उपयोग करके dense_energy और event_energy सेट करें।
  5. ACTIVITY को बदलकर 0.2 और फिर 0.5 करें। बचत में किस तरह बदलाव आता है, इस पर दो लाइनें लिखें।

प्रैक्टिस लैब

कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।

आउटपुट

कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1किस एक्टिविटी लेवल पर इवेंट-ड्रिवन नेटवर्क डेंस नेटवर्क जितने ही ऑपरेशन्स करेगा? इससे आपको क्या समझ आता है?दिखाएं

जब हर न्यूरॉन हर स्टेप पर फायर करता है, यानी ACTIVITY = 1.0, तो दोनों काउंट्स बराबर होते हैं। आमतौर पर बचत लगभग 1 / ACTIVITY होती है। इवेंट-ड्रिवन कम्प्यूटिंग का फायदा तभी मिलता है जब एक्टिविटी स्पार्स हो; यदि सब कुछ हर समय सक्रिय है, तो छोड़ने के लिए कुछ नहीं बचता, और इवेंट्स को संभालने में उल्टा अतिरिक्त खर्च (ओवरहेड) जुड़ सकता है।

Q2हमारी यह सरल गिनती केवल ऑपरेशन्स को गिनती है। किसी एक वास्तविक लागत का नाम बताएं जिसे यह छोड़ देती है।दिखाएं

यह डेटा को मूव करने की ऊर्जा को छोड़ देती है, जैसे मेमोरी से वेट्स (weights) लाना, जो कि खुद गणितीय गणना से भी बड़ी हो सकती है। यह चिप पर स्पाइक संदेश भेजने, न्यूरॉन्स के स्टेट को अपडेट रखने और चिप के खाली (idle) रहने पर भी इस्तेमाल होने वाली बिजली की लागत को भी छोड़ देती है। वास्तविक तुलना के लिए इन्हें असली हार्डवेयर पर मापा जाना चाहिए।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या 20 वॉट एक मापा गया तथ्य है?

इंसानी दिमाग की बिजली की खपत के लिए यह एक आमतौर पर दिया जाने वाला अनुमान है, इसलिए हम "लगभग 20 वॉट" कहते हैं। असल वैल्यू अलग-अलग लोगों और अलग-अलग समय पर बदलती रहती है।

अगर दिमाग इतने कुशल हैं, तो दिमाग की तरह AI क्यों नहीं बनाते?

लोग स्पाइकिंग नेटवर्क और न्यूरोमॉर्फिक चिप्स (पाठ 7) के साथ ऐसी कोशिश कर रहे हैं। लेकिन आज के AI तरीके GPUs जैसे सामान्य चिप्स के लिए ट्यून किए गए हैं, और स्पाइकिंग नेटवर्क को ट्रेन करना अधिक कठिन है। दोनों रास्तों पर खोज जारी है।

क्या स्पार्स एक्टिविटी सामान्य AI की भी मदद करती है?

हाँ। कुछ AI मॉडल स्पार्सिटी का उपयोग करते हैं, उदाहरण के लिए प्रत्येक इनपुट के लिए नेटवर्क के केवल एक हिस्से का उपयोग करके, या शून्यों (zeros) को छोड़कर। यह सामान्य विचार "जिसकी ज़रूरत न हो उसकी गणना मत करो" हर जगह काम आता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें