AGI की ओरएडवांस्डपाठ 545 मिनट का पाठ

एक बड़ा LLM आपको क्या नहीं दे सकता

अब आपने एक मॉडल बना लिया है। तो ईमानदारी से इंजीनियरिंग का यह सवाल उठता है: कौन सी कमियाँ स्केल की समस्याएँ हैं, और कौन सी आर्किटेक्चर की?

✦ ट्यूटर से पूछें🧪 लैब · 15 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

एक बड़ा LLM आपको क्या नहीं दे सकता

अब आपने एक मॉडल बना लिया है। तो ईमानदारी से इंजीनियरिंग का यह सवाल उठता है: कौन सी कमियाँ स्केल की समस्याएँ हैं, और कौन सी आर्किटेक्चर की?

1/7
आसान शब्दों में
दिमाग को बड़ा करना कुछ चीज़ों में मदद करता है और कुछ में बिल्कुल काम नहीं आता। जिस इंसान को हर किताब मुँह-ज़बानी याद हो, वह भी ऐसी साइकिल नहीं चला सकता जिसे उसने कभी छुआ तक न हो।
Module 30 में बाहर से दिखने वाली कमियों की सूची दी गई थी। अब आप जानते हैं कि अंदर क्या है, इसलिए हम सटीक रूप से बता सकते हैं कि स्टैक में कहाँ कौन सी कमी मौजूद है — और इससे आपको पता चलता है कि क्या ज़्यादा कंप्यूट इसे ठीक कर सकता है।
कमी (Gap)यह कहाँ मौजूद हैक्या स्केल इसे ठीक करता है?
लगातार सीखते रहना (Continual learning)ट्रेनिंग के बाद weights फ़्रीज़ (स्थिर) हो जाते हैंनहीं। यह ट्रेनिंग प्रक्रिया की समस्या है, क्षमता (कैपेसिटी) की नहीं
ग्राउंडिंग (Grounding)विवरणों पर ट्रेन किया गया है, परिणामों पर कभी नहींआंशिक रूप से — मल्टीमॉडल और एम्बॉडीड (सजीव) डेटा धीरे-धीरे मदद करते हैं
कैलिब्रेशन (Calibration)अगले tokens पर Softmax में "मुझे नहीं पता" का कोई भाव नहीं होतास्केल के साथ सुधरता है, पर पूरी तरह हल नहीं होता
लंबे समय तक विश्वसनीयता (Long-horizon reliability)सैंपलिंग लूप में गलतियाँ जुड़ती चली जाती हैंनहीं। यह सिस्टम की समस्या है — चेकपॉइंट्स और वेरिफिकेशन
कारण-प्रभाव मॉडल (Causal models)टेक्स्ट में मौजूद सह-संबंध (कोरिलेशन) से सीखा गयाविवादास्पद। कुछ का तर्क है कि यह अपने आप उभरता है; किसी ने इसे ठोस रूप से साबित नहीं किया है
लगातार बने रहने वाले लक्ष्य (Persistent goals)फ़ॉरवर्ड पास के बीच कोई स्थिति (state) नहीं बचतीयह बिल्कुल भी क्षमता का मुद्दा नहीं है — यह आर्किटेक्चर का चुनाव है
यह करें
दाईं ओर वाले कॉलम को ध्यान से पढ़ें। छह में से चार समस्याएँ कंप्यूट की नहीं हैं। ये ऐसी चीज़ें हैं जिन्हें आप मॉडल के आस-पास बनाते हैं, जिसका मतलब है कि ये इंजीनियरिंग के फ़ैसले हैं जो आपको लेने होते हैं — और जिनके साथ Track B के सुरक्षा परिणाम जुड़े होते हैं।

दो विचारधाराएँ, निष्पक्ष रूप से

स्केल लगभग काफ़ी है
  • अब तक की हर "बुनियादी" रुकावट ज़्यादा कंप्यूट और बेहतर डेटा के आगे टिक नहीं पाई है।
  • रीज़निंग ट्रेनिंग ने पहले ही ऐसी रणनीतियाँ पैदा कर दी हैं जो किसी ने पहले नहीं दिखाई थीं।
  • टूल्स और मेमोरी बची हुई कमियों को व्यवहार में काफ़ी हद तक भर देते हैं।
  • पिछले रिकॉर्ड को देखते हुए, साबित करने की ज़िम्मेदारी उनकी है जो यह दावा करते हैं कि आगे एक मज़बूत दीवार है।
कुछ बुनियादी ढाँचे की कमी है
  • फ़्रीज़ किए गए weights अनुभव से नहीं सीख सकते, चाहे साइज़ कुछ भी हो।
  • अगले token का अंदाज़ा लगाने वाले सैंपलर के पास लगातार बने रहने वाले लक्ष्यों या कई दिनों की प्लानिंग के लिए कोई तंत्र नहीं होता।
  • टेक्स्ट दुनिया की परछाई है, असली दुनिया नहीं।
  • बेंचमार्क में हुए सुधार वास्तविक, उलझे हुए कामों में विश्वसनीयता में नहीं बदल पाए हैं।
फ़िलहाल कोई भी इसका फ़ैसला नहीं कर सकता, और आपको ऐसे किसी भी व्यक्ति पर शक होना चाहिए जो इसके उलट दावा करता है। आप जो कर सकते हैं वह यह देखना है कि दोनों पक्ष तुरंत करने वाले इंजीनियरिंग एजेंडे पर सहमत हैं: मेमोरी, ग्राउंडिंग, वेरिफिकेशन, और कंट्रोल।

बाकी ट्रैक का निर्माण (बिल्ड) नज़रिया

  1. 1

    Module 55 · मेमोरी

    सिस्टम को बिना दोबारा ट्रेन किए अनुभव जमा करने और दोबारा इस्तेमाल करने लायक बनाएँ।
  2. 2

    Module 56 · ग्राउंडिंग

    भविष्यवाणियों को परिणामों से जोड़ें, ताकि सिस्टम को पता चल सके कि वह कब गलत था।
  3. 3

    Module 57 · खुद में सुधार (Self-improvement)

    लूप को पूरा करें ताकि सिस्टम अपनी परफ़ॉर्मेंस खुद सुधार सके — और ठीक से समझें कि वह लूप ख़तरनाक क्यों है।
  4. 4

    Module 58 · संदर्भ स्टैक (Reference stack)

    सब कुछ एक साथ जोड़ दिया गया, कंट्रोल पॉइंट्स को मार्क करते हुए।
ख़तरा
इन चारों के दौरान एक बात ध्यान में रखनी है। आप जिस भी कमी को पूरा करते हैं, वह सिस्टम को और अधिक सक्षम और अधिक स्वायत्त (autonomous) बनाती है। मेमोरी हमलों को टिके रहने देती है। ग्राउंडिंग इसे वास्तविक दुनिया में असर डालने की ताक़त देती है। खुद में सुधार इंसान को लूप से बाहर कर देता है। क्षमता पर काम और जोखिम पर काम एक ही काम हैं, बस दो अलग-अलग नज़रियों से देखे गए हैं।

और देखें और पढ़ें

What is missing from current AIYouTube searchRob Miles on AI safetyRobert Miles · channel

लैब

सबूतों के साथ, स्केल या आर्किटेक्चर के रूप में वर्गीकृत छह कमियों में से प्रत्येक।

~15 min

समस्या

Module 54 की प्रत्येक कमी के लिए, एक प्रकाशित परिणाम खोजें या एक प्रयोग चलाएँ जो यह बताए कि क्या अधिक कंप्यूट इसे ठीक करता है। प्रत्येक को स्केल या आर्किटेक्चर के रूप में मार्क करें और बताएं कि आपकी राय किस बात से बदल सकती है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1कोई कहता है कि लगातार सीखते रहना (continual learning) स्केल की समस्या है क्योंकि काफ़ी बड़ा कॉन्टेक्स्ट सीखने के बराबर होता है। सटीक रूप से खंडन करें।दिखाएं
कॉन्टेक्स्ट को हर फ़ॉरवर्ड पास में शुरू से दोबारा पढ़ा जाता है और फिर हटा दिया जाता है; weights में कोई बदलाव नहीं होता, इसलिए कुछ भी सीखा नहीं जाता — सिस्टम बस नोट्स को दोबारा पढ़ रहा होता है, बेहतर नहीं बन रहा होता। व्यावहारिक रूप से: हर जमा हुए अनुभव के साथ लागत बढ़ती है, स्टोर बड़ा होने पर खोजने (retrieval) की गुणवत्ता गिरती है, और कुछ भी सामान्यीकृत नहीं होता — एक कॉन्टेक्स्ट में सीखा गया सबक उससे जुड़े दूसरे कॉन्टेक्स्ट में उस तरह ट्रांसफ़र नहीं होता जैसे weights अपडेट होने पर होता है। बड़ा कॉन्टेक्स्ट मेमोरी के लिए एक बहुत अच्छा कृत्रिम सहारा (prosthesis) है। यह सीखना नहीं है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या यह सिर्फ़ मेरी राय है या पूरे फ़ील्ड का नज़रिया है?

कमियों की सूची पर आम सहमति है। क्या स्केल इन्हें भर सकता है, इस पर गंभीर रिसर्चर्स के बीच सचमुच विवाद है, यही वजह है कि इसे किसी एक जवाब के बजाय दो कॉलम के रूप में पेश किया गया है।

अगर चार कमियाँ इंजीनियरिंग से जुड़ी हैं, तो क्या कोई छोटी टीम प्रगति कर सकती है?

मेमोरी आर्किटेक्चर, वेरिफिकेशन लूप और इवैल्यूएशन पर, हाँ — मामूली हार्डवेयर पर भी काफ़ी कुछ किया जा सकता है। वे सिस्टम की समस्याएँ हैं, और सिस्टम की समस्याओं में कंप्यूट से ज़्यादा सावधानीपूर्वक की गई इंजीनियरिंग का फ़ायदा मिलता है।

क्या इन सभी छह को हल करने से हमें AGI मिल जाएगा?

अज्ञात है। इससे कुछ ऐसा मिलेगा जो साफ़ तौर पर बहुत अधिक सक्षम होगा और जिस पर नज़र रखना काफ़ी कठिन होगा। क्या वह "जनरल" होगा, यह इस बात पर निर्भर करता है कि आपने Module 26 से कौन सी परिभाषा चुनी है।

यह ट्रैक किसी सुरक्षा गाइड में क्यों मौजूद है?

क्योंकि अगले चार मॉड्यूल के आर्किटेक्चर अभी बनाए जा रहे हैं, और इनमें से हर एक ख़तरे के मॉडल (threat model) को बदल देता है। उन्हें समझना ही वह तरीक़ा है जिससे आप पिछले साल के सिस्टम को सुरक्षित करने से बचते हैं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें