AGIमध्यमपाठ 305 मिनट का पाठ

अभी भी क्या कमी है

कमियों की ईमानदार लिस्ट। ये वो चीज़ें हैं जो आज के सिस्टम नहीं कर सकते, और इनमें से हर एक वजह है कि इंसानों को फ़ैसलों में शामिल रखा जाए।

✦ ट्यूटर से पूछें🧪 लैब · 10 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

अभी भी क्या कमी है

कमियों की ईमानदार लिस्ट। ये वो चीज़ें हैं जो आज के सिस्टम नहीं कर सकते, और इनमें से हर एक वजह है कि इंसानों को फ़ैसलों में शामिल रखा जाए।

1/5
आसान शब्दों में
आज का AI एक ऐसे होशियार इंसान जैसा है जिसे कल की कोई बात याद नहीं रहती, जिसने कभी किसी चीज़ को छुआ नहीं है, और जिसे यह भी नहीं पता चलता कि वह कब सिर्फ़ तुक्का लगा रहा है।
  1. 1

    लगातार सीखना (Continual learning)

    यह काम करके बेहतर नहीं होता। हर सेशन उन्हीं जमे हुए (frozen) weights के साथ शुरू होता है। एक इंसानी प्लंबर हर काम से कुछ सीखता है; यह मॉडल किसी से भी कुछ नहीं सीखता।
  2. 2

    दुनिया से ज़मीनी जुड़ाव (Grounding)

    इसने फ़िज़िक्स के बारे में फ़िज़िक्स पर लिखी किताबों से सीखा है। इसने कभी कोई कांच का गिलास नहीं गिराया। यही वजह है कि यह किसी ऐसी चीज़ के बारे में बहुत खूबसूरती से लिख सकता है जिसे असल में करने में यह फ़ेल हो जाएगा।
  3. 3

    यह जानना कि उसे क्या नहीं पता

    कैलिब्रेशन कमज़ोर है। ग़लत होने पर भी यह अक्सर उतना ही कॉन्फ़िडेंट होता है। इस मामले में इंसान भी पूरी तरह सही नहीं हैं, लेकिन हमारे पास अनिश्चितता का एक काम आने वाला एहसास होता है, जबकि इसके पास वह भी नहीं है।
  4. 4

    लंबे समय तक भरोसेमंद रहना

    यह सौ कदम उठा सकता है; गलतियाँ जुड़ती जाती हैं (compounding error)। हर कदम पर 99% सफलता दर सौ कदमों के बाद घटकर सिर्फ़ 37% रह जाती है, और इसे शायद ही कभी पता चलता है कि यह रास्ते से भटक गया है।
  5. 5

    कारण और असर की समझ

    यह इस बात को समझने में बहुत अच्छा है कि कौन-सी चीज़ें साथ आती हैं, लेकिन किस चीज़ से क्या होता है, इसे समझने में बहुत कमज़ोर है। जब भी इसे किसी बदलाव या दखल की योजना बनानी होती है, तो यह कमी साफ़ दिखने लगती है।
  6. 6

    असली लक्ष्य

    बातचीत के बीच इसकी अपनी कोई चाहत नहीं होती। जो कुछ भी लगन जैसा दिखता है, वह सिर्फ़ उस काम का रूप है जो आपने उसे दिया था। जैसे-जैसे सिस्टम ज़्यादा agentic होते जाएंगे, क्या यह बात तब भी सच रहेगी, यह एक खुला सवाल है।

हर कमी सुरक्षा का एक तर्क क्यों है

कमीसुरक्षा पर असर
लगातार सीखने की क्षमता न होनायह हमेशा वही ग़लती दोहराता रहता है — लेकिन यह अपने आप चुपके से भटक भी नहीं सकता
ज़मीनी जुड़ाव न होनाकॉन्फ़िडेंस से भरे प्लान जो असलियत से टकराते ही फ़ेल हो जाते हैं
कमज़ोर कैलिब्रेशनआप इसके कॉन्फ़िडेंस को देखकर यह तय नहीं कर सकते कि इसकी जांच कब करनी है
गलतियों का जुड़ते जानालंबे ऑटोनॉमस काम बिना किसी अलार्म के चुपचाप ख़राब होते चले जाते हैं
कमज़ोर कारण-असर समझयह सिर्फ़ पैमाने को सुधारने में लग जाता है और असली लक्ष्य चूक जाता है — मॉड्यूल 32
कोई तय लक्ष्य न होनाआज के लिए तो यह राहत की बात है; लेकिन जैसे-जैसे एजेंट्स लंबे समय के काम करने लगेंगे, इस पर नज़र रखनी होगी
सावधान रहें
गौर करें कि इनमें से कितनी कमियाँ एक ही समाधान की ओर इशारा करती हैं: ज़्यादा checkpoints के साथ छोटे रन। यह अकेला डिज़ाइन विकल्प छह में से चार कमियों के असर को कम कर देता है।

वो कमियाँ जिन्हें लोग दूर करने में जुटे हैं

  • Memory systems सीखने की कमी को बाहर से सुधारते हैं — और अपने साथ मॉड्यूल 16 का poisoning ख़तरा भी लाते हैं।
  • Robotics और multimodal ट्रेनिंग धीरे-धीरे और भारी ख़र्च के साथ ग्राउंडिंग की कमी को कम कर रहे हैं।
  • Verifier मॉडल्स और सेल्फ़-चेकिंग लंबे रनों में विश्वसनीयता को सुधारते हैं, हालांकि पूरी तरह नहीं।
  • Tool use उन चीज़ों को बाहर सौंप देता है जिनमें मॉडल कमज़ोर है — जैसे हिसाब-किताब, ताज़ा जानकारियाँ, सटीक खोज — और यह काम उन चीज़ों को देता है जो इसमें माहिर हैं।
यह करें
इनमें से हर एक समाधान मॉडल में बदलाव करने के बजाय उसके चारों तरफ बनाया गया एक सिस्टम है। इसका मतलब है कि पूरे सिस्टम की सुरक्षा एक इंजीनियरिंग फ़ैसला है जो आप लेते हैं — कोई ऐसी ख़ासियत नहीं जो आपको लैब से अपने आप मिली हो।

और देखें और पढ़ें

What LLMs still cannot doYouTube searchContinual learning problemYouTube search

लैब

जुड़ती गलतियों (compounding error) का गणित, सिर्फ़ पढ़ने के बजाय खुद महसूस करके देखें।

~10 min

समस्या

एक ऐसा एजेंट बनाएं जिसे N कदम सही-सही पूरे करने हों। हर कदम की सफलता दर नापें, फिर N = 5, 20, 100 के लिए शुरू से अंत तक की सफलता नापें। इसकी तुलना 0.99^N से करें। फिर हर 5 कदमों के बाद एक checkpoint जोड़ें और दोबारा नापें।
शुरुआती कोडpython
for n in (5, 20, 100):
    print(f"n={n:3}  predicted {0.99**n:.1%}  measured {run_trials(n):.1%}")
Google Colab खोलें ↗इस कोड के लिए आपके अपने सेटअप की ज़रूरत है (एक मॉडल, एक GPU या अतिरिक्त पैकेज)। इसे Google Colab में चलाएं: File → Upload notebook।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1Checkpoints ने गिरावट को ठीक कर दिया। लेकिन इसकी क्या कीमत चुकानी पड़ी, और यह सौदा कब ग़लत साबित होता है?दिखाएं
हर checkpoint जांच का एक कदम है: लेटेंसी, tokens और अक्सर इंसान की ज़रूरत। यह सौदा तब ग़लत होता है जब जांच का ख़र्च काम को दोबारा करने से ज़्यादा हो — सस्ते और बदले जा सकने वाले कदमों की जांच करने से बेहतर है कि उन्हें दोबारा आज़मा लिया जाए। यह तब सही होता है जब कोई कदम महंगा हो, जिसे बदला न जा सके, या जिससे आगे के कई कदम जुड़े हों। व्यवहार में: लिखने (writes) से पहले checkpoint लगाएं, पढ़ने (reads) से पहले नहीं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या ये कमियाँ बुनियादी हैं या सिर्फ़ कुछ समय की?

कोई नहीं जानता। 2019 की कई "बुनियादी" सीमाएँ बड़े मॉडल्स के आने से ख़त्म हो गईं। वहीं कुछ सीमाएँ बिल्कुल नहीं बदलीं। किसी भी तरफ़ के बहुत कॉन्फ़िडेंट दावों पर शक की नज़र से देखें।

क्या मेमोरी जोड़ने से लगातार सीखने की कमी दूर हो जाती है?

यह समस्या के लक्षण को कामचलाऊ ढंग से ठीक कर देता है — सिस्टम ऐसा बर्ताव करता है जैसे उसे सब याद है। लेकिन अंदरूनी weights अभी भी नहीं बदलते, यही वजह है कि मेमोरी असल में एक डेटाबेस समस्या है जिसमें डेटाबेस वाली कमज़ोरियाँ होती हैं।

गलतियों का जुड़ते जाना इतना मायने क्यों रखता है?

क्योंकि एजेंट्स की पहचान ही कई सारे कदम उठाने से होती है। हर कदम पर जो विश्वसनीयता बहुत बढ़िया दिखती है, वह पूरे काम के स्तर पर बहुत ख़राब हो जाती है। यही मुख्य व्यावहारिक वजह है कि लंबे ऑटोनॉमस काम उम्मीदों पर खरे नहीं उतरते।

अगर मॉडल्स का कोई लक्ष्य ही नहीं है, तो alignment की चिंता क्यों करें?

क्योंकि मॉडल्स के चारों तरफ बने सिस्टम लक्ष्यों को पूरा करने में जुटते हैं — आपने ही उन्हें वह लक्ष्य दिया था — और किसी मक़सद को हासिल करने की कोशिश से लक्ष्य जैसा व्यवहार पैदा होता है, चाहे अंदर से कोई कुछ चाहता हो या नहीं। मॉड्यूल 31।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें