Frontier alignment researchएडवांस्डपाठ 3187 मिनट का पाठ

स्केलेबल ओवरसाइट (Scalable oversight)

आप किसी ऐसे सिस्टम के काम की जाँच कैसे करेंगे जो शायद आपसे भी ज़्यादा जानता हो? स्केलेबल ओवरसाइट उन विचारों का एक समूह है जिनका मकसद AI की निगरानी करना है, जब सिर्फ़ इंसानी समझ ही काफ़ी न हो।

✦ ट्यूटर से पूछें🧪 लैब · 45 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

स्केलेबल ओवरसाइट (Scalable oversight)

आप किसी ऐसे सिस्टम के काम की जाँच कैसे करेंगे जो शायद आपसे भी ज़्यादा जानता हो? स्केलेबल ओवरसाइट उन विचारों का एक समूह है जिनका मकसद AI की निगरानी करना है, जब सिर्फ़ इंसानी समझ ही…

1/4
आसान शब्दों में
स्कूल का प्रिंसिपल अकेले बोर्ड परीक्षा की हर आंसर शीट नहीं जाँच सकता। इसलिए काम बाँट दिया जाता है: कई शिक्षक मिलकर कुछ-कुछ पन्ने जाँचते हैं, सीनियर शिक्षक जाँच करने वालों की दोबारा जाँच करते हैं, और आंसर की (answer keys) सभी की मदद करती है। कोई भी अकेला व्यक्ति हर शीट को नहीं समझता, फिर भी सिस्टम गलतियों को पकड़ लेता है।
इंसानी फीडबैक से सीखने (learning from human feedback) जैसे तरीके इसलिए काम करते हैं क्योंकि एक इंसान जवाब को देखकर बता सकता है कि कौन-सा बेहतर है। लेकिन जब काम बहुत लंबा, बहुत तकनीकी या इतना बारीक हो जाए कि इंसान उसे परख न सके, तो यह तरीका काम नहीं करता। 2,000 लाइनों के कोड बदलाव को जाँचने वाला एक थका हुआ समीक्षक (reviewer) सचमुच यह नहीं बता सकता कि उसमें कोई बग छिपा है या नहीं।
स्केलेबल ओवरसाइट वह रिसर्च एरिया है जो पूछता है: जैसे-जैसे AI सिस्टम और ज़्यादा सक्षम होते जाएँगे, यहाँ तक कि शायद उनकी निगरानी करने वाले इंसानों से भी ज़्यादा सक्षम, तब निगरानी कैसे काम करती रह सकती है?

अलाइनमेंट के लिए यह क्यों ज़रूरी है

  • अगर निगरानी करने वाला अच्छे काम और सिर्फ़ अच्छे दिखने वाले काम में फर्क नहीं कर पाता, तो ट्रेनिंग सिर्फ़ अच्छा दिखने को ही बढ़ावा देती है। आपने इसे Looking good in the test में पढ़ा था।
  • रेटिंग करने में इंसानों से होने वाली गलतियाँ ट्रेनिंग सिग्नल का हिस्सा बन जाती हैं। मॉडल उनका गलत फायदा उठाना (exploit करना) सीख सकता है, ठीक वैसे ही जैसे स्पेसिफिकेशन गेमिंग में होता है।
  • इसलिए, फीडबैक के ज़रिए हम किसी सिस्टम को कितनी अच्छी तरह अलाइन कर सकते हैं, इसकी एक सीमा ओवरसाइट की क्वालिटी ही तय करती है।

तीन मुख्य विचार

विचारयह कैसे काम करता हैउम्मीदमुख्य चिंता
डीकंपोज़िशन (Decomposition)किसी मुश्किल काम को छोटे-छोटे सवालों में बाँट दें जिन्हें कोई इंसान जाँच सके, और फिर जवाबों को आपस में मिला दें।हर छोटे कदम को परखना आसान होता है, इसलिए पूरे नतीजे पर भरोसा किया जा सकता है।कुछ काम साफ़-साफ़ हिस्सों में नहीं बँटते। टुकड़ों को आपस में कैसे जोड़ा गया है, उसमें गलतियाँ छिप सकती हैं।
AI की मदद से मूल्यांकन (AI-assisted evaluation)इंसान को परखने में मदद के लिए AI का इस्तेमाल करें: कमियाँ ढूँढना, सबूतों का सार निकालना, आलोचनाएँ लिखना, और सीधे उस लाइन की तरफ इशारा करना जो गलत है।फ़ैसला इंसान ही लेता है, लेकिन वह पहले से बहुत ज़्यादा देख पाता है।मदद करने वाला AI खुद गलत, पक्षपाती या चालाकी भरा हो सकता है। उस मददगार की जाँच कौन करेगा?
रिकर्सिव तरीके (Recursive approaches)थोड़े ज़्यादा ताकतवर AI की निगरानी के लिए एक इंसान-प्लस-AI टीम का इस्तेमाल करें, फिर उस AI की मदद से अगले AI की निगरानी करें, और इसी तरह आगे बढ़ते रहें।जैसे-जैसे क्षमता बढ़ती है, ओवरसाइट भी कदम-दर-कदम बढ़ती जाती है।हर कदम पर छोटी-छोटी गलतियाँ जुड़कर बड़ी हो सकती हैं। आगे के कदमों को आज टेस्ट करना मुश्किल है।
इस समूह के जाने-माने प्रस्तावों में शामिल हैं: इटरेटेड एम्प्लीफिकेशन (एक इंसान और मॉडल की कई कॉपियाँ मिलकर काम को टुकड़ों में बाँटते हैं और उनके जवाब देते हैं), रिकर्सिव रिवॉर्ड मॉडलिंग (मॉडल इंसानों को मूल्यांकन करने में मदद करते हैं, और वह मूल्यांकन अगले मॉडल को ट्रेन करता है), और डिबेट (दो मॉडल आपस में बहस करते हैं और एक इंसान फ़ैसला सुनाता है; पाठ 4 देखें)। इनके तौर-तरीके अलग हैं, लेकिन लक्ष्य एक ही है।

आज ओवरसाइट को टेस्ट करना: सैंडविचिंग (sandwiching)

जब आपके पास सुपरह्यूमन (इंसानों से भी तेज़) सिस्टम मौजूद ही नहीं हैं, तो आप उनकी ओवरसाइट का टेस्ट कैसे कर सकते हैं? ऐसा ही एक विचार है सैंडविचिंग। आप कोई ऐसा काम चुनते हैं जहाँ मॉडल कुछ लोगों से तो बेहतर है, लेकिन एक्सपर्ट्स से कमज़ोर है।
  1. 1

    एक काम चुनें

    उदाहरण के लिए, मेडिसिन, कानून या किसी खास विज्ञान विषय के कठिन सवाल, जिनके सही जवाब पहले से पता हों।
  2. 2

    गैर-विशेषज्ञ (Non-experts) निगरानी करते हैं

    जिन लोगों के पास उस विषय की विशेषज्ञता नहीं है, वे मॉडल से सही जवाब निकलवाने की कोशिश करते हैं, जिसके लिए वे किसी ओवरसाइट तरीके का इस्तेमाल करते हैं, जैसे कि आलोचना (critiques) माँगना।
  3. 3

    एक्सपर्ट्स जाँच करते हैं

    असली एक्सपर्ट्स, या पहले से पता सही जवाबों के ज़रिए, अंतिम नतीजे को स्कोर दिया जाता है।
  4. 4

    तुलना करें

    क्या इस तरीके ने गैर-विशेषज्ञों को अकेले काम करने की तुलना में, और अकेले मॉडल की तुलना में बेहतर करने में मदद की?
यहाँ गैर-विशेषज्ञ भविष्य के इंसानों की भूमिका निभाते हैं, और मॉडल भविष्य के अधिक शक्तिशाली AI की भूमिका निभाता है। एक्सपर्ट्स वह सटीक सच्चाई (ground truth) उपलब्ध कराते हैं जो भविष्य में हमारे पास नहीं होगी। यह सिर्फ़ एक तुलना (analogy) है, और इसकी सीमाएँ हैं: आज का मॉडल किसी को बेवकूफ़ बनाने की कोशिश नहीं कर रहा है, और गैर-विशेषज्ञों व मॉडल के बीच का अंतर भविष्य में होने वाले अंतर से कहीं छोटा है।

AI की मदद से मूल्यांकन का एक सरल लूप

Sketch: ask for a critique before a human judgespython
def call_model(prompt: str) -> str: ...  # plug in your provider

def critique(task: str, answer: str) -> str:
    prompt = (
        "You are reviewing an answer for mistakes.\n"
        f"Task: {task}\nAnswer: {answer}\n"
        "List the most serious specific problems, quoting the exact part. "
        "If you find none, say 'No problems found'."
    )
    return call_model(prompt)

def review_for_human(task: str, answer: str) -> str:
    notes = critique(task, answer)
    # The human still decides. The critique only points where to look.
    return f"TASK:\n{task}\n\nANSWER:\n{answer}\n\nAI CRITIQUE:\n{notes}"
सावधान रहें
आलोचना करने वाला मॉडल समस्याओं को नज़रअंदाज़ कर सकता है, मनगढ़ंत समस्याएँ बना सकता है, या गलत दिशा में लोगों को मना सकता है। ओवरसाइट का कोई तरीका तभी उपयोगी है जब आप यह नापें कि क्या वह इंसानों को सही जवाब तक ज़्यादा बार पहुँचने में मदद करता है, न कि सिर्फ़ यह कि क्या वह उनका आत्मविश्वास बढ़ाता है।

अनसुलझी समस्याएँ

  • सफलता को नापना जब कोई ग्राउंड ट्रुथ ही मौजूद न हो, जबकि ओवरसाइट इसी स्थिति के लिए बनाई गई है।
  • मिलीभगत (Collusion): अगर मदद करने वाले और जिसकी मदद की जा रही है उस मॉडल के लक्ष्य या कमज़ोरियाँ (blind spots) एक जैसी हों, तो हो सकता है कि मददगार मॉडल समस्याओं की रिपोर्ट ही न करे।
  • इंसानी सीमाएँ: लोग थक जाते हैं, आत्मविश्वास से भरे टेक्स्ट पर भरोसा कर लेते हैं, और अच्छी भाषा से प्रभावित हो सकते हैं।
  • ऐसे काम जो हिस्सों में नहीं बँटते, जैसे कि लंबी अवधि की योजनाओं को परखना या रिसर्च की समझ का आकलन करना।
नोट
इस बात पर अलग-अलग राय है कि ओवरसाइट किस हद तक बड़े स्तर पर काम कर सकती है। कुछ रिसर्चर्स का मानना है कि कदम-दर-कदम चलने वाले तरीके लंबे समय तक AI की क्षमताओं के साथ तालमेल बिठा सकते हैं। दूसरों को शक है कि कोई भी तरीका अपने से कहीं ज़्यादा होशियार सिस्टम की भरोसेमंद तरीके से निगरानी कर सकता है, और वे कंट्रोल, इंटरप्रिटेबिलिटी या रफ़्तार धीमी करने पर ज़्यादा ज़ोर देते हैं। ज़्यादातर लोग इस बात से सहमत हैं कि उस स्थिति के लिए मौजूदा तरीके अभी तक साबित नहीं हुए हैं।
इसे आज़माएँ। अपनी नौकरी या पढ़ाई के किसी ऐसे काम के बारे में सोचें जिसे आप खुद पूरी तरह नहीं जाँच सकते। आज आप उसके नतीजे पर भरोसा करने का फ़ैसला कैसे लेते हैं? आपका तरीका ऊपर दिए गए तीन विचारों में से किससे मिलता-जुलता है?

और देखें और पढ़ें

लैब

कागज़ पर आधारित ओवरसाइट का एक छोटा प्रयोग जिसे आप दोस्तों या सहपाठियों के साथ कर सकते हैं।

~45 min

समस्या

4 से 6 लोगों के साथ एक छोटी sandwiching study करें।

  1. किसी ऐसे विषय से 10 multiple-choice सवाल चुनें जिसे आपके ग्रुप के ज़्यादातर लोग अच्छी तरह नहीं जानते हों, लेकिन जिनके जवाब आप जांच सकें (जैसे किसी पुराने एग्जाम पेपर से जिसकी ऑफिशियल answer key उपलब्ध हो)।
  2. Condition A: हर व्यक्ति अकेले जवाब देता है।
  3. Condition B: हर व्यक्ति किसी चैटबॉट से जवाब पूछ सकता है, और फैसला लेने से पहले उससे यह भी ज़रूर पूछना होगा: "यह जवाब गलत होने का सबसे मजबूत तर्क क्या है?"
  4. हर व्यक्ति के लिए A और B में अलग-अलग सवाल इस्तेमाल करें, या लोगों के बीच सवालों के आधे-आधे हिस्से बदल दें, ताकि किसी को भी एक ही सवाल दो बार न देखना पड़े।
  5. दोनों conditions के जवाबों को answer key से जांचकर स्कोर दें। यह भी रिकॉर्ड करें कि हर व्यक्ति कितना आश्वस्त (confident) महसूस कर रहा था (1 से 5 के पैमाने पर)।
  6. आधा पेज लिखें: क्या critique वाले कदम से accuracy में मदद मिली? क्या इससे कॉन्फिडेंस में कोई बदलाव आया? एक बड़े अध्ययन में आप क्या बदलाव करेंगे?

पहले सभी की सहमति लें और नाम या कोई व्यक्तिगत डेटा इकट्ठा न करें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपके अध्ययन में, condition B में कॉन्फिडेंस तो बढ़ा लेकिन accuracy नहीं बढ़ी। oversight रिसर्च के लिए यह एक महत्वपूर्ण परिणाम क्यों है?दिखाएं

यह दिखाता है कि एक AI हेल्पर लोगों को सही बनाए बिना भी उनमें यह भरोसा पैदा कर सकता है कि वे सही हैं। असल oversight में, जो रिव्यूअर्स कॉन्फिडेंट महसूस करते हैं वे खराब काम को ज़्यादा आसानी से मंज़ूरी दे सकते हैं। यही वजह है कि oversight के तरीकों को ऐसे टास्क पर accuracy के आधार पर आंका जाना चाहिए जिनके जवाब पहले से पता हों, और यही कारण है कि प्रभावशाली लेकिन गलत critiques अध्ययन करने के लिए एक मुख्य जोखिम हैं।

Q2सुपरह्यूमन AI को supervise करने के लिए sandwiching सिर्फ एक उपमा (analogy) क्यों है?दिखाएं

गैर-विशेषज्ञों और आज के मॉडल के बीच का अंतर कम है और हमें पता है, और मॉडल धोखा देने की कोशिश नहीं कर रहा है। भविष्य का कोई सिस्टम किसी भी इंसान से कहीं ज़्यादा सक्षम हो सकता है और सबसे खराब स्थिति में, जानबूझकर सुपरवाइज़र का फ़ायदा उठा सकता है। आज हमारे पास जवाब जांचने के लिए एक्सपर्ट्स भी मौजूद हैं, जो भविष्य में हमारे पास नहीं होंगे। इसलिए sandwiching यह तो दिखा सकती है कि कोई तरीका मददगार है, लेकिन यह साबित नहीं कर सकती कि यह बहुत बड़े अंतर में भी या हमें बेवकूफ़ बनाने की कोशिश कर रहे मॉडल के सामने काम करेगा ही।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या स्केलेबल ओवरसाइट सिर्फ़ सुपरह्यूमन AI के लिए है?

नहीं। यह आज भी मायने रखती है, उदाहरण के लिए जब लोग कोड के लंबे बदलावों, लंबे कानूनी दस्तावेज़ों या ऐसे तकनीकी जवाबों की समीक्षा करते हैं जिन्हें वे पूरी तरह से नहीं जाँच सकते। इन तरीकों को आज के कामों पर टेस्ट किया जाता है, इस उम्मीद के साथ कि वे भविष्य के ज़्यादा ताकतवर सिस्टम्स के लिए भी काम करते रहेंगे।

हर चीज़ को परखने के लिए सिर्फ़ एक्सपर्ट्स को ही काम पर क्यों न रख लें?

कुछ कामों के लिए यह तरीका काम करता है और ऐसा किया भी जाता है। लेकिन एक्सपर्ट्स महंगे और धीमे होते हैं, और कुछ कामों के लिए तो शायद एक्सपर्ट्स भी अच्छी तरह से फ़ैसला न ले पाएँ। असली और गहरी चिंता भविष्य के उन सिस्टम्स की है जिनके काम को कोई भी इंसानी एक्सपर्ट पूरी तरह नहीं जाँच सकेगा।

ओवरसाइट और कंट्रोल में क्या अंतर है?

ओवरसाइट का मुख्य मकसद यह परखना है कि काम अच्छा है या नहीं, ताकि हम सिस्टम को ट्रेन कर सकें और उस पर भरोसा कर सकें। कंट्रोल का मकसद परमिशन, मॉनिटरिंग और सैंडबॉक्स का इस्तेमाल करके यह सीमित करना है कि कोई सिस्टम क्या कर सकता है, भले ही वह अलाइन न हो। ये दोनों एक-दूसरे की मदद करते हैं: बेहतर ओवरसाइट से मॉनिटरिंग भी बेहतर होती है।

क्या कोई AI अपनी ही दूसरी कॉपी का सुरक्षित रूप से मूल्यांकन कर सकता है?

कभी-कभी इससे मदद मिलती है, लेकिन यह जोखिम भरा है। दोनों कॉपियों की कमज़ोरियाँ (blind spots) एक जैसी हो सकती हैं, और अगर कोई मॉडल मिसअलाइन हो, तो हो सकता है कि उसकी कॉपी इसकी जानकारी ही न दे। रिसर्चर्स इसे इस बात की जाँच करके परखते हैं कि क्या आलोचना करने वाले मॉडल जानबूझकर डाली गई गलतियों को पकड़ पाते हैं या नहीं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें