AGI की ओरएडवांस्डपाठ 565 मिनट का पाठ

Grounding: यह पता चलना कि आप गलत थे

टेक्स्ट पर ट्रेन हुआ मॉडल यह सीखता है कि लोग क्या कहते हैं कि क्या होता है। Grounding का मतलब है किसी प्रेडिक्शन को उसके नतीजे से जोड़ना — और यह वही लूप है जिसे ज़्यादातर AI सिस्टम अब भी पूरा नहीं कर पाते।

✦ ट्यूटर से पूछें🧪 लैब · 20 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

Grounding: यह पता चलना कि आप गलत थे

टेक्स्ट पर ट्रेन हुआ मॉडल यह सीखता है कि लोग क्या कहते हैं कि क्या होता है। Grounding का मतलब है किसी प्रेडिक्शन को उसके नतीजे से जोड़ना — और यह वही लूप है जिसे ज़्यादातर AI…

1/6
आसान शब्दों में
आप तैरने के बारे में सौ किताबें पढ़ सकते हैं। लेकिन आपको समझ आया या नहीं, यह तभी पता चलता है जब आप पानी में उतरते हैं।
टेक्स्ट नतीजों का वर्णन करता है; उन्हें डिलीवर नहीं करता। एक मॉडल बड़े आत्मविश्वास से योजना बना सकता है और उसे कभी पता नहीं चलेगा कि योजना फेल हो जाती है, क्योंकि उसके ट्रेनिंग लूप में कभी किसी ने इसे चलाकर देखा ही नहीं।
UNGROUNDEDPredict what text comes nextCompare with the text that didlearns what people writenever learns what happensGROUNDEDPredict an outcome, then actObserve what actually happenedlearns what workserror signal comes from reality
फर्क वापसी वाले तीर का है। Grounding का मतलब है कि असलियत को भी वोट देने का हक़ मिलता है, और वह वोट ही अकेला ऐसा एरर सिग्नल है जिसे और ज़्यादा भरोसेमंद दिखने वाला टेक्स्ट लिखकर धोखा नहीं दिया जा सकता।

किसी सिस्टम को ground करने के चार तरीके, सबसे सस्ते से शुरू करते हुए

  1. 1

    एग्ज़ीक्यूटेबल एनवायरनमेंट्स (Executable environments)

    कोड जो रन होता है, टेस्ट जो पास या फेल होते हैं, सिमुलेटर। सस्ते, तेज़, असीमित, और अपने दायरे में पूरी तरह ईमानदार। यही वजह है कि एजेंट्स सबसे पहले कोडिंग में ही बेहतर बने।
  2. 2

    फॉर्मल वेरिफिकेशन (Formal verification)

    प्रूफ़ असिस्टेंट्स, टाइप सिस्टम्स, कंस्ट्रेंट सॉल्वर्स। पूरी तरह भरोसेमंद सिग्नल वाला एक सीमित दायरा।
  3. 3

    नतीजे देने वाले असली दुनिया के टूल्स

    क्या API कॉल सफल रही? क्या क्वेरी ने पंक्तियाँ (rows) लौटाईं? क्या यूज़र ने ड्राफ्ट स्वीकार किया? सिग्नल थोड़ा कमज़ोर है, पर यह असली है।
  4. 4

    एम्बॉडीमेंट (Embodiment)

    रोबोटिक्स, सेंसर्स, एक्ट्यूएटर्स। सबसे समृद्ध grounding और अब तक का सबसे महंगा तरीका — डेटा धीमा है, हार्डवेयर टूटता है, और गलतियाँ भौतिक रूप में होती हैं।
यह करें
ध्यान दें कि पहला तरीका आज आपके लिए मुफ़्त में उपलब्ध है। एक एजेंट जो कोड लिखता है, उसे रन करता है, खराबी को पढ़ता है और उसे ठीक करता है, वह एक grounded सिस्टम है — एक छोटा सा, एक सीमित दायरे में, एक असली फीडबैक लूप के साथ। यह कोई खिलौना नहीं है; यह उसका मूल ढांचा (template) है।

वर्ल्ड मॉडल्स: कदम उठाने से पहले नतीजों का अंदाज़ा लगाना

नतीजों पर सिर्फ़ प्रतिक्रिया देने से एक कदम आगे है उनका प्रेडिक्शन करना। एक वर्ल्ड मॉडल एक मौजूदा स्थिति (state) और एक प्रस्तावित एक्शन को लेता है और अगली स्थिति का प्रेडिक्शन करता है, ताकि सिस्टम किसी भी योजना को लागू करने से पहले अपने अंदर ही उसका मूल्यांकन कर सके।
Plan against a predicted worldpython
def plan(world_model, state, goal, depth=3, branching=5):
    """Search over predicted futures instead of acting immediately."""
    best, best_score = None, -1e9
    for action in propose_actions(state, goal, n=branching):
        predicted = world_model.step(state, action)      # predicted next state
        if depth > 1:
            sub, score = plan(world_model, predicted, goal, depth - 1, branching)
            score = score * 0.9                          # discount the future
        else:
            score = value(predicted, goal)
        if score > best_score:
            best, best_score = action, score
    return best, best_score

# The catch: the plan is only as good as the world model.
# A confident, wrong world model produces confident, wrong plans --
# and unlike a human, it does not feel any doubt about them.
सावधान रहें
यह टिप्पणी ही सबसे अहम बात है। एक खामियों वाले वर्ल्ड मॉडल के अंदर योजना बनाने से ही ऐसी बारीकी से बनी, अंदरूनी तौर पर सही लगने वाली योजनाएँ बनती हैं जो असलियत से टकराते ही फेल हो जाती हैं। लंबी प्रेडिक्ट की गई श्रृंखला पर भरोसा करने के बजाय हमेशा पहला कदम चलाएं और फिर से मुआयना करें।

सुरक्षा के लिए grounding आपको क्या देती है

  • एक ईमानदार एरर सिग्नल। असलियत को बातों में नहीं घुमाया जा सकता, जिससे यह अकेला ऐसा मूल्यांकन बन जाता है जिस पर मॉड्यूल 34 वाली समस्या लागू नहीं होती।
  • कैलिब्रेशन (Calibration)। एक सिस्टम जो मापने योग्य तरीकों से गलत साबित हुआ है, वह यह सीख सकता है कि वह कितनी बार गलत होता है।
  • सत्यापन योग्य रिवार्ड्स (Verifiable rewards)। मॉड्यूल 51 की हर बात एक grounded चेकर के होने पर निर्भर करती है।
ख़तरा
और इसके लिए आपको क्या चुकाना पड़ता है। एक grounded सिस्टम ऐसा सिस्टम होता है जो सीखने के लिए दुनिया में काम करता है। हर प्रयोग वास्तविक परिणामों वाला एक वास्तविक एक्शन होता है। मॉड्यूल 18 का सैंडबॉक्सिंग वाला तर्क ठीक यही है, और यह वैकल्पिक नहीं रह जाता: सीखने वाले एजेंट को अपने प्रयोग किसी सस्ती जगह पर ही करने चाहिए।

और देखें और पढ़ें

World models in AIYouTube searchGrounding and embodimentYouTube search

लैब

एक ही काम पर, grounded और ungrounded, वही एजेंट।

~20 min

समस्या

एक एजेंट को दो मोड में एक काम दें: एक जहाँ वह कोड रन करके नतीजे देख सकता है, दूसरा जहाँ वह सिर्फ़ तर्क कर सकता है। दोनों पर सफलता की दर मापें। फिर ऐसा कोई काम ढूंढें जहाँ grounding से कोई मदद नहीं मिलती और बताएं कि ऐसा क्यों है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका grounded एजेंट एक काम पर बदतर प्रदर्शन करता है। यह कैसे संभव है?दिखाएं
फीडबैक गायब होने के बजाय भ्रामक था। गलत वजह से पास होने वाला टेस्ट, फेल होने पर 200 कोड लौटाने वाला API, या ऐसा सिमुलेटर जिसकी भौतिकी असलियत से अलग हो, ये सभी आत्मविश्वास से भरा गलत सिग्नल देते हैं, और एजेंट उसी के हिसाब से खुद को ढाल लेता है — और उस स्थिति से भी बदतर जगह पहुँच जाता है जहाँ वह ईमानदार अनिश्चितता के साथ होता। Grounding उतनी ही अच्छी होती है जितनी अच्छी उसकी ज़मीन (ground): एक खराब verifier न होने से भी बदतर है, क्योंकि यह अनिश्चितता को गलत आत्मविश्वास में बदल देता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मल्टीमॉडल ट्रेनिंग grounding के जैसी ही होती है?

पूरी तरह नहीं। छवियां और वीडियो दुनिया का कहीं ज़्यादा समृद्ध प्रतिनिधित्व देते हैं, जिससे काफी मदद मिलती है। सख्त अर्थों में Grounding का मतलब एक ऐसा फीडबैक लूप है जहाँ सिस्टम का अपना एक्शन यह बदल देता है कि वह आगे क्या देखता है।

क्या मुझे रोबोट्स की ज़रूरत है?

नहीं। कोड एग्जीक्यूशन, टेस्ट सुइट्स और सिमुलेटर असली grounding देते हैं, और वे मुफ़्त हैं। रोबोटिक्स सबसे समृद्ध सिग्नल देता है लेकिन डेटा के मामले में सबसे महंगा पड़ता है।

कोडिंग एजेंट्स का सबसे मजबूत दायरा क्यों है?

क्योंकि यह अकेला ऐसा दायरा है जिसके पास एक बेहतरीन, मुफ़्त, तुरंत और असीमित सत्यापनकर्ता (verifier) है: इसे चलाकर देख लो। यही अकेला गुण कोडिंग एजेंट्स और बाकी सब चीज़ों के बीच क्षमता के अंतर को समझाता है।

क्या वर्ल्ड मॉडल को टेक्स्ट से सीखा जा सकता है?

आंशिक रूप से, और असंतुलित तरीके से। टेक्स्ट में दुनिया के बारे में बहुत सारी कारण-संबंधी (causal) जानकारी होती है, और उसमें पूरे आत्मविश्वास के साथ लिखा गया बकवास भी होता है। सीखे गए वर्ल्ड मॉडल आम मामलों में तो बेहतरीन होते हैं, लेकिन ठीक वहीं अविश्वसनीय हो जाते हैं जहाँ सबसे ज़्यादा फर्क पड़ता है — असामान्य मामलों में।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें