Frontier alignment researchएडवांस्डपाठ 3217 मिनट का पाठ

खतरनाक क्षमताओं का मूल्यांकन (Dangerous capability evaluations)

किसी ताकतवर मॉडल को रिलीज़ करने से पहले, टीमें यह टेस्ट करती हैं कि क्या वह ऐसे काम कर सकता है जिनसे गंभीर नुकसान पहुँच सकता है। जानें कि ये मूल्यांकन कैसे डिज़ाइन किए जाते हैं, मॉडल से उसका सर्वश्रेष्ठ प्रदर्शन निकलवाना क्यों मायने रखता है, और थ्रेशोल्ड (सीमाएँ) नतीजों को फ़ैसलों से कैसे जोड़ते हैं।

✦ ट्यूटर से पूछें🧪 लैब · 40 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

खतरनाक क्षमताओं का मूल्यांकन (Dangerous capability evaluations)

किसी ताकतवर मॉडल को रिलीज़ करने से पहले, टीमें यह टेस्ट करती हैं कि क्या वह ऐसे काम कर सकता है जिनसे गंभीर नुकसान पहुँच सकता है। जानें कि ये मूल्यांकन कैसे डिज़ाइन किए जाते हैं…

1/7
आसान शब्दों में
कोई नई दवा बाज़ार में बिकने से पहले, उसके साइड इफेक्ट्स की जाँच की जाती है। टेस्ट करने वाले कमियाँ ढूँढने की पूरी कोशिश करते हैं, क्योंकि कमियों को अस्पतालों के बजाय लैब में पकड़ लेना कहीं बेहतर होता है। खतरनाक क्षमताओं का मूल्यांकन भी AI मॉडलों को इसी नज़रिए से परखता है।
Evaluating AI systems ट्रैक में सुरक्षा और खतरनाक क्षमताओं की टेस्टिंग का परिचय दिया गया था। यहाँ हम इसे एक रिसर्च मेथड के रूप में देखते हैं: इन टेस्टों को इस तरह कैसे डिज़ाइन किया जाए कि इनके नतीजे सार्थक हों, और ये ट्रेनिंग व रिलीज़ से जुड़े फ़ैसलों से कैसे जुड़ते हैं।
एक खतरनाक क्षमता का मूल्यांकन यह पूछता है: क्या यह मॉडल ऐसा कुछ कर सकता है जिससे गंभीर नुकसान हो सकता है अगर इसका गलत इस्तेमाल किया जाए या अगर मॉडल अपने दम पर काम करे? यह मापता है कि मॉडल क्या कर सकता है, न कि वह आमतौर पर क्या करता है।

वे क्षेत्र जिनकी आमतौर पर टेस्टिंग की जाती है

  • गंभीर दुरुपयोग: जैविक, रासायनिक, रेडियोलॉजिकल या परमाणु हथियारों को बनाने में सार्थक मदद करना।
  • साइबर: सॉफ़्टवेयर की कमियों (vulnerabilities) को ढूँढना और उनका फायदा उठाना, जिसे अक्सर सुरक्षित टेस्ट वातावरण में कैप्चर-द-फ्लैग जैसी चुनौतियों से मापा जाता है।
  • स्वायत्तता (Autonomy): लंबे काम अकेले पूरे करना, खुद की नकल तैयार करना, संसाधन जुटाना, या अपने दम पर AI रिसर्च करना।
  • मनाना और धोखा देना (Persuasion and deception): लोगों के विचारों को बदलना या उन्हें गुमराह करना।
  • ऐसे व्यवहार जो निगरानी को कमज़ोर करते हैं, जैसे अपनी क्षमताओं को छिपाना या मॉनिटरिंग से बचने की कोशिश करना।
नोट
कोई टीम ठीक किन क्षेत्रों का और कैसे टेस्ट करती है, यह अलग-अलग संगठनों के हिसाब से बदलता है और समय के साथ बदलता रहता है। सबसे संवेदनशील टेस्टों की जानकारी आमतौर पर सार्वजनिक नहीं की जाती है, और इसकी ठोस वजह है।

मूल्यांकन कैसे डिज़ाइन किया जाता है

  1. 1

    थ्रेट मॉडल (Threat model)

    नुकसान की एक तय कहानी लिखें: कौन क्या करता है, मॉडल से क्या मदद मिलती है, और उससे क्या नुकसान होता है।
  2. 2

    प्रॉक्सी टास्क (Proxy tasks)

    ऐसे काम चुनें जो उस कहानी की मुख्य क्षमताओं को मापते हों, लेकिन जिन्हें चलाना सुरक्षित हो। साइबर के मामले में, यह किसी अलग-थलग (isolated) टेस्ट सिस्टम में चुनौतियों को हल करना हो सकता है।
  3. 3

    एलिसिटेशन (Elicitation)

    मॉडल का सर्वश्रेष्ठ प्रदर्शन बाहर लाने की पूरी कोशिश करें (नीचे देखें)।
  4. 4

    स्कोरिंग (Scoring)

    पहले से तय करें कि किसे सफलता माना जाएगा, और कितने प्रयासों की अनुमति है।
  5. 5

    थ्रेशोल्ड से तुलना

    क्या नतीजा उस स्तर से ऊपर है जिसे पहले से तय किया गया था कि इसके लिए अतिरिक्त सुरक्षा उपायों की ज़रूरत होगी?
  6. 6

    रिपोर्ट

    नतीजे, अनिश्चितता और क्या टेस्ट नहीं किया गया था, उसे लिखें।

एलिसिटेशन: सबसे बेहतरीन का टेस्ट करना, औसत का नहीं

अगर कोई मॉडल किसी टेस्ट में फेल हो जाता है, तो क्या वह इसे करने में असमर्थ है, या आपने ही ठीक से सवाल नहीं पूछा? कमज़ोर टेस्टिंग से एक खतरनाक मॉडल भी सुरक्षित लग सकता है। Elicitation का मतलब है यह सामने लाने की पूरी कोशिश करना कि मॉडल असल में क्या कर सकता है।
एलिसिटेशन का तरीकायह क्यों मायने रखता है
बेहतर प्रॉम्प्ट और उदाहरणनिर्देशों में छोटा सा बदलाव भी नतीजों को बहुत बदल सकता है।
टूल्स और स्कैफोल्डिंगकोड रनर, ब्राउज़र और एजेंट लूप के साथ एक मॉडल केवल चैट करने वाले मॉडल की तुलना में कहीं ज़्यादा काम कर सकता है।
ज़्यादा प्रयास और ज़्यादा समयहमलावर कई बार कोशिश कर सकता है। टेस्टों में यह बात झलकनी चाहिए।
फ़ाइन-ट्यूनिंगअगर मॉडल के वेट्स (weights) को दूसरों द्वारा फ़ाइन-ट्यून किया जा सकता है, तो फ़ाइन-ट्यून किए गए वर्ज़न को टेस्ट करने से पता चलता है कि क्या मुमकिन है।
टेस्ट कॉपी में से मनाही (refusals) को हटानासेफ़्टी ट्रेनिंग किसी ऐसी क्षमता को छिपा सकती है जो अंदर मौजूद है और जिसे बाद में अनलॉक किया जा सकता है।
ख़तरा
Sandbagging का मतलब है कि किसी टेस्ट के दौरान मॉडल का जानबूझकर खराब प्रदर्शन करना। यह टेस्ट में अच्छा दिखने का क्षमता वाला रूप है। अगर कोई मॉडल मूल्यांकनों को पहचान सके और अपनी क्षमताओं को छिपा सके, तो मूल्यांकन जोखिम को कम करके दिखाएंगे। शोधकर्ता इस बात का अध्ययन करते हैं कि इसे कैसे पकड़ा जाए, उदाहरण के लिए यह जाँच करके कि क्या फ़ाइन-ट्यूनिंग से बहुत बेहतर प्रदर्शन तुरंत अनलॉक हो जाता है।

अपलिफ्ट (Uplift): किसकी तुलना में?

दुरुपयोग के मामले में, मुख्य सवाल अक्सर uplift का होता है: कोई व्यक्ति वेब सर्च जैसे सामान्य टूल्स का इस्तेमाल करके मॉडल के बिना जितना कर सकता है, उसकी तुलना में मॉडल के साथ कितना ज़्यादा कर सकता है? अपलिफ्ट स्टडीज़ एक ही सुरक्षित प्रॉक्सी टास्क पर लोगों के दो समूहों की तुलना करती हैं। जो मॉडल किसी भी किताब में मौजूद बात को दोहराता है, वह बहुत कम मदद करता है; जो मॉडल कठिन और छूटे हुए कदमों को पूरा करता है, वह बहुत ज़्यादा मदद करता है।

थ्रेशोल्ड और रिस्पॉन्सिबल-स्केलिंग जैसी नीतियां

कई AI डेवलपर्स ने अगर-तो (if-then) प्रतिबद्धताओं पर बने फ़्रेमवर्क प्रकाशित किए हैं: अगर कोई मॉडल एक तय क्षमता स्तर तक पहुँच जाता है, तो उसे आगे ट्रेन करने या रिलीज़ करने से पहले खास सुरक्षा उपाय लागू होने चाहिए। एंथ्रोपिक की रिस्पॉन्सिबल स्केलिंग पॉलिसी इसका एक उदाहरण है; अन्य डेवलपर्स दूसरे नामों का इस्तेमाल करते हैं। ये दस्तावेज़ समय के साथ बदलते रहते हैं, इसलिए इनके ताज़ा वर्ज़न पढ़ें।
  1. 1

    स्तरों को परिभाषित करें

    ऐसे क्षमता स्तरों का वर्णन करें जिन्हें मज़बूत सुरक्षा की ज़रूरत होगी।
  2. 2

    नियमित टेस्ट करें

    ट्रेनिंग के दौरान और बाद में मूल्यांकन चलाएं।
  3. 3

    ट्रिगर

    यदि कोई थ्रेशोल्ड आ जाता है या उससे इनकार नहीं किया जा सकता, तो कड़े सुरक्षा उपाय लागू होते हैं।
  4. 4

    सुरक्षा उपाय

    उदाहरण के लिए, मॉडल वेट्स की कड़ी सुरक्षा, दुरुपयोग रोकने वाले कड़े फ़िल्टर, सीमित एक्सेस, या सुरक्षा उपाय तैयार होने तक काम रोकना।

पक्ष और विपक्ष में तर्क

समर्थक कहते हैं
  • पहले से की गई प्रतिबद्धताओं को कारोबारी दबाव में बदलना मुश्किल होता है
  • वे अस्पष्ट चिंताओं को ठोस, जाँचे जा सकने वाले कदमों में बदल देते हैं
  • उन्हें समय के साथ सुधारा जा सकता है और दूसरे उनकी नकल कर सकते हैं
  • वे सरकारों और जनता के साथ एक साझा समझ और भाषा तैयार करते हैं
आलोचक कहते हैं
  • कंपनियां अक्सर अपने टेस्ट खुद ही लिखती हैं, चलाती हैं और उनका फ़ैसला करती हैं
  • थ्रेशोल्ड अस्पष्ट हो सकते हैं, और उन्हें बाद में बदला जा सकता है
  • कमज़ोर एलिसिटेशन किसी मॉडल को उसकी असलियत से ज़्यादा सुरक्षित दिखा सकता है
  • मुकाबला कड़ा होने पर स्वैच्छिक नीतियां शायद टिक न पाएं
कुछ सरकारों ने ऐसे संस्थान भी बनाए हैं जो उन्नत मॉडलों का अपना मूल्यांकन खुद करते हैं। आलोचकों की चिंताओं को दूर करने के लिए अक्सर बाहरी टेस्टिंग, स्वतंत्र ऑडिट और पारदर्शी सार्वजनिक रिपोर्टिंग का सुझाव दिया जाता है।
सावधान रहें
अगर आप खुद मूल्यांकन बनाते हैं, तो कभी भी ऐसा कंटेंट न बनाएं या प्रकाशित न करें जो गंभीर नुकसान पहुँचाने में असली मदद दे। सुरक्षित प्रॉक्सी का इस्तेमाल करें, अलग-थलग टेस्ट सिस्टम में काम करें, और संवेदनशील क्षेत्रों को छूने से पहले अनुभवी लोगों से बात करें।
इसे आज़माएं। किसी नुकसान न पहुँचाने वाले हुनर के बारे में सोचें, जैसे कि सुडोकू हल करना। ऐसे तीन तरीके बताएं जिनसे कोई टेस्ट किसी मॉडल की असली सुडोकू क्षमता को कम आंक सकता है। यही कमियां खतरनाक क्षमताओं के मूल्यांकन में भी लागू होती हैं।

और देखें और पढ़ें

लैब

एक हानिरहित प्रॉक्सी क्षमता के लिए एक पेज का इवैल्यूएशन प्लान, जिसमें एक एलिसिटेशन प्लान और एक थ्रेशोल्ड शामिल हो।

~40 min

समस्या

कागज़ पर, ऑटोनॉमी (स्वायत्तता) से जुड़ी एक हानिरहित प्रॉक्सी क्षमता का इवैल्यूएशन डिज़ाइन करें: "क्या कोई AI एजेंट, सैंडबॉक्स (sandbox) में अकेले काम करते हुए, कई चरणों वाला एक ऑफिस का काम पूरा कर सकता है: कई फ़ाइलों में से तीन नंबर ढूंढना, कुल जोड़ निकालना, और एक छोटी रिपोर्ट लिखना?"

  1. दो वाक्यों में एक थ्रेट मॉडल (threat model) लिखें: लंबे समय तक, स्वतंत्र रूप से कई चरणों वाला काम करना सुरक्षा के लिए क्यों मायने रख सकता है?
  2. बढ़ती कठिनाई वाले 5 टास्क के बारे में बताएं।
  3. एक एलिसिटेशन प्लान लिखें: प्रॉम्प्ट, टूल्स, कोशिशों (attempts) की संख्या, और दिया गया समय। बताएं कि हर विकल्प बहुत कमज़ोर क्यों नहीं है।
  4. स्कोरिंग और एक थ्रेशोल्ड तय करें: "अगर एजेंट कम से कम Y कोशिशों में से X में टास्क 4 और 5 में सफल होता है, तो …" और बताएं कि किसी असली पॉलिसी में इसके बाद क्या सुरक्षा उपाय होगा।
  5. ऐसी तीन चीज़ें बताएं जिन्हें आपका इवैल्यूएशन नहीं मापता है।

कोई भी असली नुकसानदेह सामग्री शामिल न करें। यह लैब सिर्फ तरीके (method) के बारे में है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आप यह कैसे जांच सकते हैं कि कोई मॉडल आपके इवैल्यूएशन पर सैंडबैगिंग (sandbagging) कर रहा है या नहीं?दिखाएं

शोधकर्ता कुछ तरीकों का इस्तेमाल करते हैं: इस संकेत के साथ और इसके बिना परफॉर्मेंस की तुलना करना कि यह एक टेस्ट है; कुछ उदाहरणों पर थोड़ी देर के लिए फ़ाइन-ट्यून करना और देखना कि क्या परफॉर्मेंस ऐसी छोटी ट्रेनिंग की उम्मीद से बहुत ज़्यादा बढ़ जाती है; समान क्षमता वाले अन्य मॉडलों से तुलना करना; और यह जांचना कि क्या मॉडल सामान्य संदर्भ में दिए गए बिल्कुल ऐसे ही टास्क की तुलना में टेस्ट में बदतर प्रदर्शन करता है। इनमें से कोई भी पक्का सबूत नहीं है, लेकिन ये मिलकर छिपी हुई क्षमता को पकड़ना आसान बना देते हैं।

Q2थ्रेशोल्ड को "मॉडल हमारे टेस्ट में 80% स्कोर करता है" के रूप में तय करना दिखने से ज़्यादा कमज़ोर क्यों हो सकता है?दिखाएं

यह संख्या टेस्ट टास्क, एलिसिटेशन की कोशिश और स्कोरिंग के नियमों पर निर्भर करती है। कोई टीम, अनजाने में भी, ऐसे टास्क चुन सकती है जिनमें फेल होना आसान हो या कमज़ोर एलिसिटेशन चुन सकती है और सीमा के नीचे रह सकती है। थ्रेशोल्ड तब ज़्यादा मज़बूत होते हैं जब टास्क, एलिसिटेशन का मानक और स्कोरिंग पहले से तय हों, जब टेस्ट की जांच बाहरी विशेषज्ञों द्वारा की जाए, और जब "हम इससे इनकार नहीं कर सकते" जैसी स्थिति भी सुरक्षा उपायों को लागू कर दे।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

मॉडल आमतौर पर क्या करता है, इसके बजाय वह क्या कर सकता है इसका टेस्ट क्यों करें?

क्योंकि दुरुपयोग उन लोगों से होता है जो मॉडल पर बहुत ज़्यादा दबाव डालेंगे, और क्योंकि भविष्य के वर्ज़न या फ़ाइन-ट्यून की गई कॉपियाँ उन क्षमताओं का इस्तेमाल कर सकती हैं जो सामान्य रूप से छिपी रहती हैं। ऐसा मॉडल जो आमतौर पर मना कर देता है लेकिन जिससे आसानी से मदद ली जा सकती है, वह अभी भी जोखिम भरा है।

अगर कोई मॉडल सभी खतरनाक क्षमता टेस्ट पास कर लेता है, तो क्या वह सुरक्षित है?

नहीं। टेस्ट केवल उन्हीं खतरों को कवर करते हैं जिनके बारे में किसी ने सोचा था, और एलिसिटेशन की उतनी ही कोशिश के साथ जो उन्होंने की थी। पास होने का मतलब है "हमें इन तरीकों से यह क्षमता नहीं मिली", न कि "यह क्षमता मौजूद ही नहीं है"। अच्छी रिपोर्टें साफ़ तौर पर बताती हैं कि क्या टेस्ट नहीं किया गया था।

मूल्यांकन से जुड़ी कुछ जानकारियाँ गुप्त क्यों रखी जाती हैं?

सटीक टास्क पब्लिश करने से वे भविष्य के ट्रेनिंग डेटा में लीक हो सकते हैं, जिससे टेस्ट बेकार हो जाएगा। सबसे संवेदनशील क्षेत्रों के लिए, वे टास्क खुद ही नुकसानदेह विचार दे सकते हैं। कई टीमें सबसे संवेदनशील जानकारियों को निजी रखते हुए तरीकों और सारांश के नतीजों को साझा करती हैं।

क्या छात्र या स्वतंत्र शोधकर्ता इस पर काम कर सकते हैं?

हाँ, सुरक्षित क्षेत्रों में। उदाहरण के लिए, आप एलिसिटेशन के तरीकों, सैंडबैगिंग पकड़ने, या नुकसान न पहुँचाने वाले कामों पर एजेंट की स्वायत्तता का अध्ययन कर सकते हैं। ऐसे टेस्ट बनाने से बचें जिनमें खुद खतरनाक जानकारी हो।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें