AGIमध्यमपाठ 286 मिनट का पाठ

हम इसे भला मापेंगे कैसे?

हर वो बेंचमार्क जो मशहूर होता है, पीछे छूट जाता है, और फिर लोग कहते हैं कि उसने कभी वाकई बुद्धिमत्ता को मापा ही नहीं था। यहाँ बताया गया है कि ऐसा बार-बार क्यों होता है।

✦ ट्यूटर से पूछें🧪 लैब · 15 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

हम इसे भला मापेंगे कैसे?

हर वो बेंचमार्क जो मशहूर होता है, पीछे छूट जाता है, और फिर लोग कहते हैं कि उसने कभी वाकई बुद्धिमत्ता को मापा ही नहीं था। यहाँ बताया गया है कि ऐसा बार-बार क्यों होता है।

1/6
आसान शब्दों में
अगर आप किसी क्लास को ठीक-ठीक बता दें कि टेस्ट में कौन से सवाल आने वाले हैं, तो सबको पूरे नंबर मिल जाएँगे — और आपको यह बिल्कुल पता नहीं चलेगा कि विषय किसे समझ आया था।
मशीन में बुद्धिमत्ता को मापना वाकई बहुत मुश्किल है, और यह कठिनाई तकनीकी होने के बजाय ढाँचागत (स्ट्रक्चरल) है।

बेंचमार्क की कभी न खत्म होने वाली दौड़

  1. 1

    एक कठिन बेंचमार्क सामने आता है

    विशेषज्ञ मानते हैं कि इसके लिए असली समझ की ज़रूरत है। मॉडल्स का स्कोर खराब आता है।
  2. 2

    मॉडल्स बेहतर होते हैं, स्कोर बढ़ने लगते हैं

    कभी असली क्षमता की वजह से, तो कभी इसलिए क्योंकि टेस्ट का डेटा ट्रेनिंग डेटा में लीक हो गया था।
  3. 3

    बेंचमार्क सैचुरेट हो जाता है

    हर कोई लगभग टॉप स्कोर ले आता है। अब इससे किसी के बीच कोई फ़र्क नहीं पता चलता।
  4. 4

    लोग कहते हैं कि यह कभी असली था ही नहीं

    "वह तो बस पैटर्न मैचिंग थी।" और फिर एक नया बेंचमार्क सामने आ जाता है।
सावधान रहें
चौथा कदम हमेशा सिर्फ़ 'अंगूर खट्टे हैं' वाला बहाना नहीं होता। कभी-कभी टेस्ट को वाकई शॉर्टकट से हल किया जा सकता था। लेकिन यह सिलसिला इतनी बार दोहराया जाता है कि हमें किसी भी एक नंबर पर शक होना ही चाहिए।

तरीके जिनसे एक बेंचमार्क आपसे झूठ बोलता है

समस्याइसका क्या मतलब हैरोज़मर्रा की ज़िंदगी का उदाहरण
Contamination (मिलावट)टेस्ट का डेटा ट्रेनिंग डेटा में मौजूद थापरीक्षा से पहले ही प्रश्नपत्र देख लेना
Teaching to the testमॉडल को खास इसी बेंचमार्क के लिए ऑप्टिमाइज़ किया गया थाविषय को समझे बिना पुराने पेपर्स को रट लेना
Narrow measurement (सीमित मापन)जाँचता एक स्किल है, लेकिन इसे सामान्य क्षमता मान लिया जाता हैडॉक्टर को उसकी हैंडराइटिंग से आँकना
No error weighting (गलतियों का कोई अलग वज़न न होना)हर जगह गलत जवाब को एक बराबर ही गिना जाता हैटाइपो और गलत दवा की डोज़, दोनों के लिए बस एक ही नंबर कटता है
Single-turn only (सिर्फ़ एक बार का सवाल-जवाब)असली काम लंबा और उलझा हुआ होता हैबिना ट्रैफ़िक वाली खाली सड़क पर ड्राइविंग टेस्ट

एक बेहतर मूल्यांकन (इवैल्यूएशन) कैसा दिखता है

  • अलग रखा गया और बदलता रहने वाला (Held-out and rotating) — नए सवाल जो मॉडल ने पहले कभी न देखे हों।
  • लंबे समय तक चलने वाला (Long-horizon) — कई चरणों वाले असली काम, जिन्हें इस बात से मापा जाता है कि नतीजा हासिल हुआ या नहीं, न कि इस बात से कि जवाब दिखने में सही लग रहा था या नहीं।
  • विरोधी परिस्थितियों वाला (Adversarial) — जहाँ कोई जानबूझकर इसे फेल करने की कोशिश कर रहा हो, न कि सवालों का कोई तयशुदा सेट।
  • लागत का ध्यान रखने वाला (Cost-aware) — कितनी कोशिशें लगीं, कितना कंप्यूट लगा, और कितनी इंसानी मदद की ज़रूरत पड़ी।
  • गलतियों के स्वरूप को समझने वाला (Failure-shaped) — सिर्फ़ स्कोर नहीं, बल्कि यह देखना कि किन चीज़ों में गलती हो रही है और क्या वह पैटर्न बदल रहा है।

सेफ्टी इवैल्यूएशन एक बिल्कुल अलग विषय है

क्षमता जाँचने वाले (capability) इवैल पूछते हैं "क्या यह कर सकता है?" सुरक्षा जाँचने वाले (safety) इवैल पूछते हैं "जब इसे नहीं करना चाहिए, तब भी क्या यह करेगा?" इनके लिए कड़े इम्तिहान (adversarial pressure) की ज़रूरत होती है, क्योंकि जो सिस्टम दोस्ताना माहौल में ठीक बर्ताव करता है, वह यह नहीं बताता कि किसी ज़बरदस्त हमले के समय उसका बर्ताव कैसा होगा।
इवैल का प्रकारवह सवाल जिसका यह जवाब देता है
Capability (क्षमता)क्या यह खतरनाक काम बिल्कुल कर सकता है?
Propensity (झुकाव)क्या यह बिना कहे खुद ऐसा करना चुनता है?
Robustness (मजबूती)जब कोई इस पर हमला करता है, तो क्या यह टिक पाता है?
Oversight (निगरानी)जब यह भटक जाए, तो क्या कोई इंसान इसे भरोसेमंद तरीके से पकड़ सकता है?
खतरनाक क्षमताक्या यह हथियारों, बड़े पैमाने पर साइबर हमलों, या हेरफेर (manipulation) में मदद कर सकता है?
ख़तरा
असहज करने वाली बात: जो सिस्टम काम आने जितना समझदार है, वह इतना समझदार भी है कि यह पता चलने पर कि उसका टेस्ट लिया जा रहा है, वह अलग तरह से बर्ताव करने लगे। यह कोई साइंस फिक्शन नहीं है — मूल्यांकन से जुड़े रिसर्च में यह देखा गया है, और यह मॉड्यूल 34 का हिस्सा है।
यह करें
आपके अपने एजेंट के लिए व्यावहारिक तरीका: मॉड्यूल 23 का आपका रिग्रेशन सुइट ही आपका सेफ्टी इवैल है। हर डिप्लॉयमेंट पर इसे चलाएँ, पास रेट पर नज़र रखें, और स्कोर में गिरावट को एक ऐसी विफलता मानें जिसे तुरंत रोकना ज़रूरी हो।

और देखें और पढ़ें

Why AI benchmarks are brokenYouTube searchARC-AGI and measuring generalisationYouTube search

लैब

एक बेंचमार्क जिसे आपने जानबूझकर कंटामिनेट (दूषित) किया हो।

~15 min

समस्या

एक छोटा पब्लिक इवैल सेट लें। मॉडल को उसके एक हिस्से पर फाइन-ट्यून करें या फ़्यू-शॉट प्रॉम्प्टिंग दें, फिर पूरे सेट पर उसका स्कोर देखें। स्कोर में आई बनावटी बढ़त को मापें। फिर एक ऐसा सेट बनाएँ जिसे अलग रखा गया हो और मॉडल ने न देखा हो, और दोनों की तुलना करें।
शुरुआती कोडpython
# Contamination check you can run on any dataset
import hashlib
def canary(example): return hashlib.sha256(example.encode()).hexdigest()[:16]
# Publish canaries with your eval set. If a model reproduces one, it saw the set.
Google Colab खोलें ↗इस कोड के लिए आपके अपने सेटअप की ज़रूरत है (एक मॉडल, एक GPU या अतिरिक्त पैकेज)। इसे Google Colab में चलाएं: File → Upload notebook।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक ऐसा मूल्यांकन डिज़ाइन करें जो दो साल तक मान्य रहे। इसमें क्या खूबी होनी चाहिए?दिखाएं
यह तयशुदा होने के बजाय दोबारा नया बनाया जा सकने वाला (रीजनरेबल) होना चाहिए: एक ऐसा जनरेटर जो एक टेम्पलेट और गुप्त पैरामीटर्स से नए उदाहरण तैयार करे, ताकि उसका दायरा (डिस्ट्रिब्यूशन) तो स्थिर रहे लेकिन किसी खास सवाल को रटा न जा सके। जनरेटर का बर्ताव पब्लिश करें, उसके उदाहरण कभी नहीं। जो कुछ भी एक स्थिर (स्टैटिक) फ़ाइल के रूप में पब्लिश होता है, उसकी उम्र बस कुछ महीनों की होती है, क्योंकि वह अगले डेटा क्रॉल में शामिल हो ही जाता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या AGI का कोई एक अच्छा टेस्ट है?

नहीं, और शायद ऐसा हो भी नहीं सकता, क्योंकि "जनरल" का मतलब ही है "जो कामों की किसी तय लिस्ट में न बँधा हो"। सबसे अच्छा तरीका यह है कि लगातार बदलते टेस्ट्स का एक बड़ा सेट रखा जाए और कमियों को ईमानदारी से स्वीकार किया जाए।

ट्यूरिंग टेस्ट के बारे में क्या?

क्षमता मापने के पैमाने के रूप में इसे अब लगभग छोड़ दिया गया है। यह सिर्फ़ यह जाँचता है कि क्या कोई चीज़ इंसानी बातचीत की नकल कर सकती है, जो कि सामान्य समझ (जनरल कॉम्पिटेंस) की तुलना में बहुत आसान निकली — और यह धोखेबाज़ी को बढ़ावा देता है, जिसके लिए ऑप्टिमाइज़ करना अजीब बात है।

लैब्स अपने खुद के इवैल क्यों पब्लिश करती हैं?

कुछ हद तक पारदर्शिता के लिए, कुछ हद तक मार्केटिंग के लिए। उन्हें ज़रूर पढ़ें, लेकिन स्वतंत्र थर्ड-पार्टी मूल्यांकनों को ज़्यादा अहमियत दें — क्योंकि उनके फ़ायदे-नुकसान अलग होते हैं।

क्या मैं अपने खुद के इवैल लिख सकता हूँ?

आपको बिल्कुल लिखने चाहिए। आपके अपने कार्यक्षेत्र (डोमेन) के बीस असली काम, जिनका एक साफ़ सही जवाब हो, किसी भी पब्लिक लीडरबोर्ड से कहीं बेहतर हैं यह तय करने के लिए कि कोई मॉडल आपके लिए काम करता है या नहीं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें