Frontier alignment researchएडवांस्डपाठ 3177 मिनट का पाठ

कॉन्सेप्ट्स से रिसर्च के तरीकों तक

आप चिंताएं जानते हैं: लूपहोल्स (loopholes), ताकत पाना, टेस्ट में अच्छा दिखना। रिसर्च तब शुरू होती है जब कोई चिंता एक ऐसा सवाल बन जाती है जिसका जवाब कोई एक्सपेरिमेंट या तर्क दे सके।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

कॉन्सेप्ट्स से रिसर्च के तरीकों तक

आप चिंताएं जानते हैं: लूपहोल्स (loopholes), ताकत पाना, टेस्ट में अच्छा दिखना। रिसर्च तब शुरू होती है जब कोई चिंता एक ऐसा सवाल बन जाती है जिसका जवाब कोई एक्सपेरिमेंट या तर्क दे सके।

1/5
आसान शब्दों में
आपकी दादी को चिंता है कि नए धान के बीज "अच्छे नहीं" हैं। एक किसान उस चिंता को एक टेस्ट में बदल देता है: खेत के आधे हिस्से में पुराने बीज बोएं और दूसरे आधे में नए, दोनों को बराबर पानी दें, और कटाई के वक्त धान का वज़न करें। चिंता असली थी। टेस्ट ने उसका जवाब ढूंढना मुमकिन बना दिया।
agi ट्रैक ने आपको मुख्य कॉन्सेप्ट्स समझाए: अलाइनमेंट की समस्या, स्पेसिफिकेशन गेमिंग (specification gaming), कई लक्ष्य रिसोर्स जुटाने की ओर क्यों ले जाते हैं, और ऐसे सिस्टम जो सिर्फ निगरानी में ही अच्छा बर्ताव करते हैं। यह ट्रैक अगले कदम के बारे में है: लोग असल में इन समस्याओं पर रिसर्च कैसे करते हैं।
"मॉडल शायद नकल कर ले" जैसी चिंता अभी रिसर्च नहीं है। रिसर्च के लिए एक ऐसे सवाल की ज़रूरत होती है जहां कोई संभावित नतीजा आपके सोचने के तरीके को बदल सके। असल हुनर किसी चिंता को इस तरह के सवाल में बदलना है।

चिंता से टेस्ट किए जा सकने वाले सवाल तक

  1. 1

    एक चिंता से शुरुआत करें

    "मॉडल शायद यूज़र्स को सच बताने के बजाय वही बताएं जो वे सुनना चाहते हैं।"
  2. 2

    एक साफ़ गड़बड़ी बताएं

    "मॉडल गणित का सही जवाब देता है, यूज़र कहता है 'मुझे लगता है यह गलत है', और मॉडल बदलकर गलत जवाब देने लगता है।"
  3. 3

    ऐसी चीज़ चुनें जिसे आप देख या माप सकें

    सवाल उठाए जाने (push-back) के बाद मॉडल कितनी बार सही से गलत जवाब पर आ जाता है। इसे कभी-कभी फ्लिप रेट (flip rate) कहा जाता है।
  4. 4

    सेटअप तैयार करें

    तयशुदा जवाबों वाले सवालों का एक तय सेट, एक तय push-back मैसेज, कई टेस्ट (runs), और एक कंट्रोल ग्रुप जिसमें यूज़र सवाल उठाने के बजाय सहमति जताता है।
  5. 5

    अपना प्रेडिक्शन पहले लिखें

    "जब यूज़र पूरे आत्मविश्वास में दिखेगा, तब फ्लिप रेट ज़्यादा होगा।" कोई भी टेस्ट रन करने से पहले इसे लिख लें।
  6. 6

    बताएं कि किस बात से आपकी राय बदल जाएगी

    "अगर push-back के साथ और उसके बिना फ्लिप रेट एक जैसा ही रहता है, तो मेरी चिंता उतनी बड़ी नहीं थी जितना मैंने सोचा था।"
नोट
एक्सपेरिमेंट से पहले प्रेडिक्शन लिखना बहुत ज़रूरी है। नतीजे देखने के बाद, उनके हिसाब से कोई भी मनगढ़ंत कहानी बनाना बहुत आसान होता है। पहले से लिखा हुआ प्रेडिक्शन आपको ईमानदार रखता है।

एम्पिरिकल और थ्योरेटिकल अलाइनमेंट काम

अलाइनमेंट रिसर्च के मोटे तौर पर दो तरीके होते हैं। ज़्यादातर टीमें दोनों का थोड़ा-बहुत इस्तेमाल करती हैं।
एम्पिरिकल (प्रायोगिक) कामथ्योरेटिकल और कॉन्सेप्चुअल काम
मुख्य टूलअसली या छोटे (toy) मॉडल्स पर एक्सपेरिमेंट्सतर्क, परिभाषाएं, गणित और विचार प्रयोग (thought experiments)
आम सवाल"क्या इस माहौल में तरीका X रिवॉर्ड हैकिंग (reward hacking) को कम करता है?""किसी सिस्टम के ईमानदार होने का असल में क्या मतलब होगा? क्या हम इसे बिल्कुल साफ़ तौर पर परिभाषित कर सकते हैं?"
खूबीतेज़ फीडबैक। उस खास माहौल के लिए नतीजों को नकारना मुश्किल होता है।ऐसे सिस्टम्स के बारे में सोचा जा सकता है जो अभी मौजूद नहीं हैं। समस्याएं सामने आने से पहले ही पहचानी जा सकती हैं।
कमजोरीहो सकता है आज के मॉडल कल की समस्याएं न दिखाएं। नतीजे शायद आने वाले सिस्टम्स पर लागू न हों।धीमा फीडबैक। सुधारने के लिए कोई एक्सपेरिमेंट न होने पर, गलत बात पर भी पूरा भरोसा हो जाना आसान होता है।
इस ट्रैक में उदाहरणWeak-to-strong एक्सपेरिमेंट्स, क्षमता मूल्यांकन (capability evaluations), मॉडल ऑर्गेनिज़्म (model organisms)डिबेट क्यों काम कर सकती है, निगरानी को बड़े पैमाने पर कब लागू किया जा सकता है, थ्रेशोल्ड (threshold) क्या होना चाहिए

तरीकों की मुख्य श्रेणियां

  • निगरानी के तरीके (Oversight methods): AI की मदद से इंसानों द्वारा ऐसे काम को जांचने के तरीके जिसे परखना मुश्किल होता है। (पाठ 2 और 4।)
  • ट्रेनिंग के तरीके: व्यवहार को ढालने के तरीके, जैसे कि लिखे हुए उसूलों से सीखना। (पाठ 3।)
  • इवैल्यूएशन (Evaluations): रिलीज़ से पहले और बाद में यह मापना कि मॉडल क्या कर सकता है और वह कैसा बर्ताव करता है। (पाठ 5।)
  • मॉडल ऑर्गेनिज़्म (Model organisms): किसी गड़बड़ी के छोटे और नियंत्रित उदाहरण तैयार करना ताकि उसका अध्ययन किया जा सके। (पाठ 6।)
  • इंटरप्रिटेबिलिटी (Interpretability): मॉडल के अंदर झांककर देखना। इसका अपना एक अलग ट्रैक है, Inside the model: interpretability।
  • कंट्रोल (Control): अलाइनमेंट फेल होने पर भी नुकसान को सीमित रखना, जैसा कि आपने Staying in control में देखा था।

थिअरी ऑफ़ चेंज (theory of change) के बारे में पूछें

थिअरी ऑफ़ चेंज (theory of change) एक छोटी सी कहानी है कि आपका नतीजा AI को कैसे सुरक्षित बनाएगा। "हमने पाया कि push-back मिलने पर मॉडल अपने जवाब बदल देते हैं" एक नतीजा है। "इसलिए ट्रेनिंग टीमें इस टेस्ट को जोड़ सकती हैं और ट्रैक कर सकती हैं कि कोई नया ट्रेनिंग तरीका इसे बेहतर बनाता है या बदतर" यह थिअरी ऑफ़ चेंज है।
कमज़ोर रिसर्च सवाल
  • "क्या AI खतरनाक है?"
  • "क्या मॉडल के मूल्य (values) खराब हैं?"
  • कोई प्रेडिक्शन नहीं, गलत साबित होने की कोई गुंजाइश नहीं
  • किसी ऐसे फैसले से कोई जुड़ाव नहीं जो कोई व्यक्ति ले सके
मजबूत रिसर्च सवाल
  • "क्या यह मॉडल push-back मिलने के बाद अंग्रेज़ी के मुकाबले हिंदी में सही जवाबों को ज़्यादा बार बदलता है?"
  • स्पष्ट व्यवहार, स्पष्ट माप
  • पहले से लिखा हुआ प्रेडिक्शन, और एक ऐसा नतीजा जो इसे गलत साबित कर सके
  • एक साफ़ उपयोग: एक ऐसा टेस्ट जिसे मॉडल बनाने वाले अपना सकते हैं

लोग कहां असहमत होते हैं

रिसर्चर्स इस बात पर सहमत नहीं हैं कि कौन से तरीके सबसे ज़्यादा मायने रखते हैं। मुख्य विचारों और उनके पीछे की वजहों को समझना मददगार होता है।
  • कुछ लोगों का मानना है कि आज के मॉडल्स का अध्ययन करने से हमें बहुत कुछ सीखने को मिलता है, क्योंकि रिवॉर्ड हैकिंग और चापलूसी (sycophancy) जैसी समस्याएं अभी से दिखने लगी हैं और तरीकों को कदम-दर-कदम सुधारा जा सकता है।
  • दूसरों का मानना है कि सबसे कठिन समस्याएं शायद बहुत ज़्यादा सक्षम सिस्टम्स में ही सामने आएंगी, इसलिए आज के एक्सपेरिमेंट्स झूठी तसल्ली दे सकते हैं। वे थ्योरी और सोच-समझकर किए गए विचार प्रयोगों (thought experiments) को ज़्यादा अहमियत देते हैं।
  • कुछ अन्य लोग इस बात पर सवाल उठाते हैं कि सबसे चरम जोखिमों की कितनी संभावना है, और उनका तर्क है कि मौजूदा नुकसानों जैसे कि पक्षपात (bias), दुरुपयोग और अविश्वसनीय जवाबों पर भी ध्यान दिया जाना चाहिए।
काम का योगदान देने के लिए आपको इस बहस को सुलझाने की ज़रूरत नहीं है। लेकिन आपको यह पता होना चाहिए कि आपका प्रोजेक्ट किस नज़रिए पर आधारित है, और इसे साफ़ तौर पर बयां करें।
इसे आज़माएं। agi ट्रैक से कोई एक कॉन्सेप्ट चुनें। एक चिंता लिखें, एक ठोस गड़बड़ी लिखें जिसे आप देख सकें, और एक संख्या लिखें जिसे आप माप सकें। फिर एक ऐसा नतीजा लिखें जिससे आपकी चिंता कम हो सके।

और देखें और पढ़ें

लैब

एक छोटे एक्सपेरिमेंट का एक पन्ने का डिज़ाइन, जो अलाइनमेंट से जुड़ी किसी एक चिंता की जांच करता है।

~30 min

समस्या

कागज़ पर एक छोटा सा एक्सपेरिमेंट डिज़ाइन करें जिसे आप अपने लैपटॉप पर किसी मुफ़्त चैटबॉट या open-weight मॉडल पर चला सकें। आपको इसे आज ही चलाने की ज़रूरत नहीं है।

  1. कोई एक चिंता चुनें, उदाहरण के लिए sycophancy, मॉडल का कोई गलती छिपाना, या मॉडल का स्कोरिंग नियम के साथ चालाकी करना।
  2. आप किस खास गड़बड़ी (failure) को देखना चाहते हैं, उसे एक वाक्य में लिखें।
  3. तय करें कि आप क्या मापेंगे (एक गिनती, एक दर या एक स्कोर) और आप हर जवाब को कैसे परखेंगे।
  4. अपने टेस्ट सेट के बारे में बताएं: उसमें कितने सवाल हैं, वे कहाँ से आए हैं, और आपको सही जवाब कैसे पता हैं।
  5. एक कंट्रोल कंडीशन (control condition) के बारे में बताएं, उदाहरण के लिए बिना किसी push-back के वही सवाल पूछना।
  6. अपना अनुमान (prediction) लिखें और एक ऐसा नतीजा बताएं जो इसे गलत साबित कर दे।
  7. थ्योरी ऑफ़ चेंज (theory of change) के बारे में दो वाक्य लिखें: आपके नतीजे का इस्तेमाल कौन कर सकता है, और कैसे।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपके sycophancy एक्सपेरिमेंट में बहुत ज़्यादा फ़्लिप रेट (flip rate) दिखता है। आपके एक साथी का कहना है कि मॉडल sycophantic नहीं था, वह बस पक्के तौर पर आश्वस्त नहीं था (uncertain था)। आप इनमें कैसे फ़र्क करेंगे?दिखाएं

ऐसी स्थितियाँ जोड़ें जो दोनों को अलग कर सकें। उदाहरण के लिए, push-back से पहले मॉडल से पूछें कि उसे अपने जवाब पर कितना भरोसा है, और देखें कि क्या वह उन सवालों पर भी पलटता है जिनका जवाब उसने पूरे भरोसे के साथ दिया था। इसके अलावा ऐसा push-back देकर देखें जो साफ़ तौर पर गलत हो, या सही दिशा में push-back देकर देखें। अगर मॉडल सबूतों की परवाह किए बिना यूज़र की राय मानने लगता है, तो यह sycophancy ज़्यादा लगती है; अगर वह ज़्यादातर मुश्किल सवालों पर ही पलटता है, तो इसकी वजह उसका अनिश्चित होना (uncertainty) हो सकती है। अक्सर दोनों का ही हाथ होता है।

Q2किसी छोटे ओपन मॉडल पर किया गया एक्सपेरिमेंट आपको किसी frontier मॉडल के बारे में शायद ज़्यादा क्यों न बता पाए, और यह फिर भी कब काम आ सकता है?दिखाएं

छोटे मॉडलों में शायद वे क्षमताएँ न हों जिनकी वजह से ऐसी गड़बड़ी मुमकिन होती है, जैसे यह समझना कि उनका टेस्ट लिया जा रहा है। इसलिए "कोई समस्या नहीं मिली" वाला नतीजा शायद बड़े मॉडल पर लागू न हो। लेकिन यह तब भी काम का होता है जब यह बर्ताव छोटे मॉडलों में पहले से ही दिखने लगे, जब आप कोई ऐसा तरीका या टेस्ट बना और जाँच रहे हों जिसे दूसरे लोग बाद में बड़े मॉडलों पर चला सकें, या जब आप यह अध्ययन कर रहे हों कि मॉडल का साइज़ बढ़ने के साथ यह बर्ताव कैसे बदलता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या अलाइनमेंट रिसर्च करने के लिए मुझे बड़ी लैब और ढेर सारे कंप्यूट (compute) की ज़रूरत है?

नहीं। कई उपयोगी प्रोजेक्ट्स लैपटॉप पर ओपन-वेट (open-weight) मॉडल्स, मुफ्त होस्टेड मॉडल्स, ध्यानपूर्वक किए गए इवैल्यूएशन, या सिर्फ सोचने और लिखने का इस्तेमाल करते हैं। पाठ 7 में कम-कंप्यूट वाले प्रोजेक्ट्स शामिल हैं। कुछ सवालों के लिए बड़े मॉडल्स की ज़रूरत ज़रूर होती है, लेकिन शुरुआत के कई अच्छे सवालों के लिए नहीं।

अगर कोई एक्सपेरिमेंट न हो, तो क्या थ्योरेटिकल अलाइनमेंट वर्क "असली" रिसर्च है?

हाँ। स्पष्ट परिभाषाएं और तर्क यह दिखा सकते हैं कि कोई तरीका काम क्यों नहीं कर सकता, या यह बता सकते हैं कि किसी एक्सपेरिमेंट को क्या टेस्ट करना चाहिए। जोखिम यह है कि फीडबैक के बिना थ्योरी भटक सकती है। अच्छे थ्योरीस्ट अपने विचारों को किसी ऐसी चीज़ से जोड़ने की कोशिश करते हैं जिसे किसी दिन परखा जा सके।

अलाइनमेंट रिसर्च और AI सेफ्टी रिसर्च में क्या अंतर है?

लोग इन शब्दों का अलग-अलग तरीकों से इस्तेमाल करते हैं। अक्सर "अलाइनमेंट" का मतलब सिस्टम से वही करवाना होता है जो हम वास्तव में चाहते हैं, और "सेफ्टी" का दायरा बड़ा है: इसमें दुरुपयोग, कंट्रोल, सुरक्षा और विश्वसनीयता भी शामिल हैं। जब आप कोई पेपर पढ़ें, तो उसके लेबल के बजाय इस बात पर ध्यान दें कि वह असल में क्या मापता है।

क्या होगा अगर मेरे नतीजे में "कोई असर नहीं" निकला?

अच्छी तरह से डिज़ाइन किया गया शून्य परिणाम (null result) भी काम का होता है। अगर आपने किसी असर का अनुमान लगाया था, निष्पक्ष रूप से उसका टेस्ट किया और कुछ नहीं मिला, तो यह भी एक जानकारी है। अपने सेटअप के साथ ईमानदारी से इसे रिपोर्ट करें, ताकि दूसरे लोग वही काम दोबारा न दोहराएं या उस विचार पर ज़रूरत से ज़्यादा भरोसा न करें।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें