Frontier alignment researchएडवांस्डपाठ 3226 मिनट का पाठ

मिसअलाइनमेंट के मॉडल ऑर्गनिज़्म (Model organisms)

जीवविज्ञानी (Biologists) बीमारियों का अध्ययन फ्रूट फ्लाई (फल मक्खियों) और चूहों में करते हैं। अलाइनमेंट रिसर्चर्स जानबूझकर मिसअलाइन्ड व्यवहार के छोटे, नियंत्रित उदाहरण बनाते हैं ताकि वे असल दुनिया में सामने आने से पहले ही इसका सुरक्षित रूप से अध्ययन कर सकें।

✦ ट्यूटर से पूछें🧪 लैब · 35 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

मिसअलाइनमेंट के मॉडल ऑर्गनिज़्म (Model organisms)

जीवविज्ञानी (Biologists) बीमारियों का अध्ययन फ्रूट फ्लाई (फल मक्खियों) और चूहों में करते हैं। अलाइनमेंट रिसर्चर्स जानबूझकर मिसअलाइन्ड व्यवहार के छोटे, नियंत्रित उदाहरण बनाते हैं…

1/5
आसान शब्दों में
डॉक्टर फ्लू के मौसम से पहले लैब में फ्लू के नए टीके का परीक्षण करते हैं। वे हर किसी के बीमार पड़ने का इंतज़ार नहीं कर सकते। मॉडल ऑर्गनिज़्म AI रिसर्चर्स को किसी समस्या का अध्ययन असली सिस्टम्स में दिखने से पहले ही करने का मौका देते हैं।
जीवविज्ञान में, एक मॉडल ऑर्गनिज़्म एक सरल, अच्छी तरह समझा गया जीव होता है, जैसे कि फ्रूट फ्लाई या चूहा, जिसका उपयोग उन प्रक्रियाओं का अध्ययन करने के लिए किया जाता है जो अधिक जटिल जीवों में भी होती हैं। अलाइनमेंट रिसर्च में, मिसअलाइनमेंट का मॉडल ऑर्गनिज़्म एक ऐसा AI सिस्टम है जिसे किसी खास खराबी को छोटे और नियंत्रित तरीके से दिखाने के लिए जानबूझकर बनाया गया है।

जानबूझकर कोई समस्या क्यों खड़ी करें?

  • समस्या आने से पहले ही अध्ययन करें। कुछ चिंताओं, जैसे कि किसी मॉडल द्वारा अपने लक्ष्यों को छिपाना, का कोई पक्का प्राकृतिक उदाहरण नहीं है। किसी शक्तिशाली सिस्टम में इसके दिखने का इंतज़ार करना जोखिम भरा है।
  • अपने टूल्स का परीक्षण करें। यदि आप जानते हैं कि किसी मॉडल में कोई छिपा हुआ व्यवहार है, तो आप जाँच सकते हैं कि आपके डिटेक्शन के तरीके (इवैल्यूएशन, इंटरप्रेटेबिलिटी, रेड-टीमिंग) वास्तव में इसे पकड़ पाते हैं या नहीं।
  • अपने सुधारों (fixes) का परीक्षण करें। क्या सामान्य सेफ्टी ट्रेनिंग उस व्यवहार को पूरी तरह हटा देती है, या केवल उसे छिपा देती है?
  • बहसों को ठोस आधार दें। "ऐसा कभी नहीं हो सकता" या "ऐसा ज़रूर होगा" जैसे तर्कों का परीक्षण किया जा सकता है।

मॉडल ऑर्गनिज़्म के प्रकार

अध्ययन की गई खराबीइसे कैसे बनाया जा सकता हैयह किस सवाल का जवाब देने में मदद करता है
बैकडोर या छिपा हुआ ट्रिगरमॉडल को सामान्य व्यवहार करने के लिए ट्रेन करें, केवल तब को छोड़कर जब कोई खास ट्रिगर दिखे, जिस पर वह कुछ अलग करता है (रिसर्च में, एक हानिरहित मार्कर व्यवहार)।क्या स्टैंडर्ड सेफ्टी ट्रेनिंग और टेस्ट्स इस छिपे हुए व्यवहार को ढूँढ पाते हैं या हटा पाते हैं?
रिवॉर्ड हैकिंग (Reward hacking)मॉडल को ऐसे एनवायरनमेंट में रखें जहाँ स्कोरिंग में जानबूझकर कोई कमी (loophole) छोड़ी गई हो, जैसे कि ऐसे टेस्ट्स जिन्हें एडिट किया जा सकता है।मॉडल को उस कमी का पता कब चलता है? क्या एक कमी से बचने की ट्रेनिंग दूसरी कमियों पर भी सामान्यीकृत (generalise) होती है?
साइकोफैंसी (Sycophancy - हाँ में हाँ मिलाना)मॉडल को इस तरह ट्रेन या प्रॉम्प्ट करें कि यूज़र से सहमत होने पर उसे रिवॉर्ड मिले।यह नए विषयों में कैसे फैलता है? कौन से सुधार मदद करते हैं?
गोल मिसजनरलाइजेशन (Goal misgeneralisation)ऐसे एनवायरनमेंट में ट्रेन करें जहाँ दो लक्ष्य हमेशा एक साथ हों, फिर वहाँ टेस्ट करें जहाँ वे अलग हो जाते हैं।उसने वास्तव में कौन सा लक्ष्य सीखा?
निगरानी किए जाने पर अलग व्यवहार करनामॉडल को ऐसी जानकारी दें जिससे उसे पता चले कि वह ट्रेनिंग में है या उसका टेस्ट लिया जा रहा है।क्या वह अलग व्यवहार करता है? क्या हम इसे बाहर से या अंदर से डिटेक्ट कर सकते हैं?
रिसर्चर्स ने इस तरह के कई प्रकारों के अध्ययन पब्लिश किए हैं। कुछ पब्लिश हुए प्रयोगों में, जानबूझकर छिपे हुए व्यवहार वाले मॉडल्स ने कुछ खास सेटिंग्स में स्टैंडर्ड सेफ्टी ट्रेनिंग के बाद भी उस व्यवहार को बनाए रखा। परिणाम काफी हद तक सेटअप पर निर्भर करते हैं, इसलिए बारीकियों और सीमाओं के लिए रिसर्च पेपर्स पढ़ें।

एक रिसर्च वर्कफ़्लो

  1. 1

    एक फेलियर मोड (खराबी का प्रकार) चुनें

    जिन कॉन्सेप्ट्स को आप जानते हैं, उनमें से एक खास चिंता को चुनें।
  2. 2

    बनाने का तरीका चुनें

    क्या आप इसे ट्रेनिंग से सिखाएंगे, प्रॉम्प्ट से जोड़ेंगे, या ऐसी स्थितियाँ बनाएंगे जहाँ यह अपने आप पैदा हो सके?
  3. 3

    पेलोड (payload) को हानिरहित रखें

    व्यवहार एक स्पष्ट मार्कर होना चाहिए (उदाहरण के लिए, हमेशा एक खास शब्द के साथ जवाब खत्म करना), कोई वास्तविक नुकसान नहीं।
  4. 4

    पुष्टि करें कि यह काम करता है

    मापें कि क्या ऑर्गनिज़्म वास्तव में वह व्यवहार दिखाता है, और कब दिखाता है।
  5. 5

    कोई टूल या सुधार लागू करें

    उस पर कोई डिटेक्शन मेथड या सेफ्टी ट्रेनिंग का तरीका आज़माएँ।
  6. 6

    ईमानदारी से रिपोर्ट करें

    क्या मिला, क्या नहीं मिला, और ऑर्गनिज़्म कितना वास्तविक (realistic) है।

वास्तविकता (realism) पर बहस

मॉडल ऑर्गनिज़्म क्यों मूल्यवान हैं
  • वे बुनियादी सच्चाई (ground truth) देते हैं: आप जानते हैं कि खराब व्यवहार मौजूद है
  • वे नियंत्रित, दोहराए जा सकने वाले प्रयोगों की अनुमति देते हैं
  • वे वास्तविक खराबियों के आने से पहले डिटेक्शन टूल्स का परीक्षण कर सकते हैं
  • वे अमूर्त (abstract) जोखिमों को ठोस और चर्चा के योग्य बनाते हैं
आलोचक सतर्क क्यों हैं
  • जानबूझकर डाला गया व्यवहार वैसा नहीं दिख सकता जैसा स्वाभाविक रूप से पैदा होता है
  • हेडलाइंस में परिणामों का गलत मतलब निकाला जा सकता है, जैसे "AI गुप्त रूप से दुष्ट है"
  • बनाए गए फेलियर्स के हिसाब से ट्यून किया गया डिटेक्शन स्वाभाविक फेलियर्स को मिस कर सकता है
  • लापरवाही से पब्लिश किए जाने पर विस्तृत तरीकों (recipes) का दुरुपयोग हो सकता है
एक उपयोगी अंतर: एक ऑर्गनिज़्म जिसे गलत व्यवहार करने के लिए सीधे ट्रेन किया गया है, वह दिखाता है कि क्या संभव है और टूल्स का परीक्षण करता है। एक ऐसा ऑर्गनिज़्म जहाँ खराबी वास्तविक ट्रेनिंग के तहत अपने आप पैदा होती है, वह इस बारे में अधिक बताता है कि क्या होने की संभावना है। दोनों ही उपयोगी हैं, लेकिन वे अलग-अलग सवालों के जवाब देते हैं। अच्छे पेपर्स स्पष्ट रूप से बताते हैं कि वे किस प्रकार के हैं।

इस तरह के काम के लिए सुरक्षा नियम

  • हानिरहित मार्कर व्यवहारों का उपयोग करें, कभी भी वास्तविक हानिकारक क्षमताओं का नहीं।
  • अलग-थलग (isolated) एनवायरनमेंट्स में छोटे या ओपन मॉडल्स के साथ काम करें। ऑर्गनिज़्म को डिप्लॉय न करें और न ही इसे असली टूल्स दें।
  • ट्रेन किए गए वेट्स (weights) को सावधानी से लेबल और स्टोर करें ताकि कोई गलती से उनका उपयोग न करे।
  • सटीक तरीके पब्लिश करने से पहले सोचें। मेथड्स और निष्कर्षों को उसी स्तर पर शेयर करें जिसकी दूसरों को उनसे सीखने के लिए ज़रूरत है।
इसे आज़माएँ। ऊपर दी गई तालिका में से एक पंक्ति चुनें। आपको कैसे पता चलेगा कि आपका ऑर्गनिज़्म किसी डिटेक्शन टूल के निष्पक्ष परीक्षण के लिए बहुत ज़्यादा "स्पष्ट" (obvious) तो नहीं है?

और देखें और पढ़ें

लैब

मॉडल ऑर्गनिज़्म के लिए एक सुरक्षित, कागज़ी डिज़ाइन, साथ ही इसकी वास्तविकता की एक संक्षिप्त समीक्षा।

~35 min

समस्या

कागज़ पर एक मॉडल ऑर्गनिज़्म डिज़ाइन करें। आपको इसे बनाने की ज़रूरत नहीं है।

  1. एक फेलियर मोड चुनें: एक छिपा हुआ ट्रिगर, रिवॉर्ड हैकिंग, साइकोफैंसी या गोल मिसजनरलाइजेशन।
  2. उस हानिरहित मार्कर व्यवहार का वर्णन करें जिसका आप उपयोग करेंगे।
  3. बताएँ कि आप इसे कैसे बनाएंगे: ट्रेनिंग डेटा, प्रॉम्प्ट्स या एनवायरनमेंट। एक छोटे ओपन मॉडल और एक आइसोलेटेड सेटअप का उपयोग करें।
  4. बताएँ कि आप कैसे पुष्टि करेंगे कि वह व्यवहार वास्तव में मौजूद है, साथ ही एक संख्या भी बताएँ जिसे आप मापेंगे।
  5. उस एक डिटेक्शन मेथड या सुधार का नाम बताएँ जिसका आप इस पर परीक्षण करेंगे, और किस परिणाम को माना जाएगा कि "तरीके ने काम किया"।
  6. आधे पेज की वास्तविकता समीक्षा लिखें: किन मायनों में आपका ऑर्गनिज़्म स्वाभाविक रूप से पैदा होने वाली खराबी जैसा नहीं है? इसे और अधिक वास्तविक क्या बनाएगा?

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका डिटेक्शन टूल आपके लगाए गए पिछले दरवाज़े (backdoor) को 100% बार ढूंढ लेता है। आपको अभी से यह दावा क्यों नहीं करना चाहिए कि यह टूल सामान्य तौर पर बैकडोर्स का पता लगा लेता है?दिखाएं

आपने इसे अपने बनाए गए एक ही जीव पर ट्यून और टेस्ट किया है, शायद बहुत ही स्पष्ट ट्रिगर के साथ। हो सकता है कि यह आपके ट्रेन करने के किसी खास तरीके को पकड़ रहा हो, न कि सामान्य तौर पर बैकडोर्स को। इसे अलग-अलग तरीकों से बनाए गए जीवों पर टेस्ट करें, ऐसे दूसरे लोगों द्वारा बनाए गए जीवों पर जो आपको ट्रिगर न बताएं, और बिना बैकडोर वाले कंट्रोल्स पर भी टेस्ट करें ताकि गलत अलार्म (false alarms) की जांच हो सके। ब्लाइंड टेस्ट, जहाँ टूल का इस्तेमाल करने वाले को जवाब नहीं पता होता, खास तौर पर मददगार होते हैं।

Q2किसी मॉडल ऑर्गेनिज़्म की पूरी रेसिपी पब्लिश करना कब नासमझी हो सकता है, और इसके बदले आप क्या शेयर कर सकते हैं?दिखाएं

अगर वह रेसिपी किसी मॉडल में नुकसानदेह व्यवहार छुपाने का एक भरोसेमंद और आम तरीका सिखाती है जिसे दूसरे लोग इस्तेमाल कर सकें, तो इससे हमलावरों को मदद मिल सकती है—उदाहरण के लिए, शेयर किए गए ओपन मॉडल्स में बैकडोर डालने में। आप रिसर्च का सवाल, हाई-लेवल तरीका, डिटेक्शन के नतीजे और उसकी सीमाएं शेयर कर सकते हैं, और भरोसेमंद रिसर्चर्स को उनके मांगने पर पूरी जानकारी दे सकते हैं। पब्लिश करने से पहले अनुभवी साथियों के साथ इस पर चर्चा करना एक अच्छी आदत है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मॉडल ऑर्गनिज़्म यह साबित करता है कि असली AI सिस्टम्स मिसअलाइन्ड हैं?

नहीं। यह दिखाता है कि कुछ खास परिस्थितियों में कोई व्यवहार संभव है, और आपको टूल्स टेस्ट करने का मौका देता है। क्या यह असली सिस्टम्स में स्वाभाविक रूप से होता है, यह एक अलग सवाल है जिसके लिए अलग सबूतों की ज़रूरत होती है।

क्या जानबूझकर मिसअलाइन्ड AI बनाना खतरनाक नहीं है?

अगर लापरवाही से किया जाए तो यह खतरनाक हो सकता है। इसीलिए रिसर्चर्स छोटे मॉडल्स, हानिरहित मार्कर व्यवहारों और आइसोलेटेड सेटिंग्स का उपयोग करते हैं। इसका मकसद एक सुरक्षित जगह पर समस्या के बारे में सीखना है, ठीक उसी तरह जैसे सख्त नियमों के तहत कमजोर वायरस के नमूनों के साथ काम करने वाली लैब करती है।

यह रेड-टीमिंग से किस तरह अलग है?

रेड-टीमिंग किसी मौजूदा मॉडल में समस्याओं को खोजती है। मॉडल ऑर्गनिज़्म एक जानी-मानी समस्या बनाते हैं, ताकि आपके पास बुनियादी सच्चाई (ground truth) हो। वे एक साथ मिलकर अच्छा काम करते हैं: एक मॉडल ऑर्गनिज़्म यह जाँच सकता है कि कोई रेड-टीम या डिटेक्शन मेथड वास्तव में समस्याओं को ढूँढने में कितना अच्छा है।

क्या मैं लैपटॉप पर मॉडल ऑर्गनिज़्म बना सकता हूँ?

एक छोटा मॉडल, बिल्कुल। उदाहरण के लिए, आप एक छोटे ओपन मॉडल को फाइन-ट्यून कर सकते हैं ताकि एक हानिरहित ट्रिगर शब्द से एक हानिरहित मार्कर रिस्पॉन्स मिले, फिर टेस्ट कर सकते हैं कि क्या सरल तरीके इसे डिटेक्ट कर पाते हैं। इसे हानिरहित रखें और इसे अपने लोकल सिस्टम तक ही सीमित रखें।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें