AGIएडवांस्डपाठ 356 मिनट का पाठ

नियंत्रण में रहना

अगर आप किसी सिस्टम को पूरी तरह से जांच नहीं सकते, तब भी आप उसकी सीमाएं तय कर सकते हैं। वे रिसर्च दिशाएं जो नियंत्रण को एक दार्शनिक सवाल के बजाय एक इंजीनियरिंग समस्या मानती हैं।

✦ ट्यूटर से पूछें🧪 लैब · 15 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

नियंत्रण में रहना

अगर आप किसी सिस्टम को पूरी तरह से जांच नहीं सकते, तब भी आप उसकी सीमाएं तय कर सकते हैं। वे रिसर्च दिशाएं जो नियंत्रण को एक दार्शनिक सवाल के बजाय एक इंजीनियरिंग समस्या मानती हैं।

1/6
आसान शब्दों में
अगर आप किसी के दिमाग के अंदर नहीं देख सकते, तब भी आप यह पक्का कर सकते हैं कि उनके पास सिर्फ उन्हीं कमरों की चाबियां हों जहां कुछ भी बुरा न हो सके।
काम करने के दो तरीके हैं, और दोनों का फर्क बहुत मायने रखता है। Alignment सिस्टम से वही चाहने की कोशिश करता है जो सही है। Control यह मानकर चलता है कि आप इसमें नाकाम हो सकते हैं, और फिर भी होने वाले नुकसान को सीमित करता है।
Alignment रिसर्च
  • सिस्टम को असल में वही चाहने पर मजबूर करना जो हम चाहते हैं।
  • फीडबैक से सीखना, नीतियां (constitutions), और बहस (debate)।
  • अगर यह काम करता है, तो हर जगह काम करता है और आसानी से बड़े स्तर पर लागू हो जाता है।
  • फिलहाल हम यह साबित या वेरीफाई नहीं कर सकते कि इसने काम किया।
Control रिसर्च
  • मान लें कि यह misaligned हो सकता है। यह क्या कर सकता है, उसे सीमित करें।
  • Sandboxing, निगरानी (monitoring), अनुमतियां (permissions), और इंसानी चेकपॉइंट्स।
  • काम करता है चाहे alignment सफल हुआ हो या नहीं।
  • जैसे-जैसे सिस्टम की क्षमता बढ़ती है, यह और मुश्किल होता जाता है।
यह करें
ध्यान दें कि दाईं ओर का पूरा कॉलम इस गाइड का Track B है। एजेंट सिक्योरिटी ही AI कंट्रोल है, जो आज के समय में हमारे पास मौजूद स्तर पर लागू की गई है। यही इस पूरी फील्ड गाइड का मुख्य सूत्र है।

रिसर्च की मुख्य दिशाएं

  1. 1

    Interpretability (समझने की क्षमता)

    नेटवर्क के अंदर क्या चल रहा है उसे पढ़ें — कौन से फीचर्स एक्टिवेट होते हैं, कौन से सर्किट फायर होते हैं, कौन से कॉन्सेप्ट्स सामने आ रहे हैं। इसका मकसद आउटपुट पर आंख मूंदकर भरोसा करने के बजाय उसकी रीजनिंग की जांच करना है। हाल के सालों में अच्छी प्रगति हुई है; फिर भी एक फ्रंटियर मॉडल को पूरी तरह समझने से हम अभी बहुत दूर हैं।
  2. 2

    Scalable oversight

    आप ऐसे सिस्टम की निगरानी कैसे करेंगे जो उस काम में आपसे बेहतर है? कुछ सुझाव: उससे उसका काम स्टेप-बाय-स्टेप दिखाने को कहें, दो सिस्टम्स के बीच बहस कराएं ताकि इंसान फैसला कर सके, या काम को छोटे-छोटे टुकड़ों में बांट दें ताकि हर हिस्से को चेक किया जा सके। अभी किसी के पास इसका पूरा जवाब नहीं है।
  3. 3

    इवैल्यूएशन और red teaming

    तैनाती (deployment) से पहले और उसके बाद भी, कड़े और विरोधी (adversarial) तरीके से टेस्ट करें। यह ज़रूरी है। लेकिन मॉड्यूल 34 के मुताबिक, सिर्फ इतना ही काफी नहीं है।
  4. 4

    क्षमता की सीमाएं (Capability thresholds)

    पहले से तय करें: इस मापे गए क्षमता स्तर पर, ये अतिरिक्त सुरक्षा उपाय अनिवार्य हो जाएंगे। कई लैब्स ने इस तरह के फ्रेमवर्क पब्लिश किए हैं; वे असल में कितने बाध्यकारी साबित होते हैं, यह एक खुला सवाल है।
  5. 5

    रोकथाम (Containment)

    Sandboxes, सीमित अनुमतियां, air gaps, और kill switches। यह कोई चमक-धमक वाला काम नहीं है, लेकिन जब बाकी सब फेल हो जाते हैं तब यही काम आता है।

लोग और टीमें असल में क्या कर सकते हैं

अगर आप हैं...सबसे महत्वपूर्ण काम
एक डेवलपरTrack B लागू करें। Least privilege, sandboxing, अप्रूवल गेट्स, और लॉग्स। यह आज के समय में असली असर दिखाने वाला सुरक्षा का काम है।
एक टीम लीडहर डिप्लॉय किए गए एजेंट के लिए एक ज़िम्मेदार व्यक्ति तय करें। लॉन्च से पहले एक इंसिडेंट प्लान और red-team टेस्ट पास करना अनिवार्य बनाएं।
एक छात्रइवैल्यूएशन और interpretability सीखें। इन दोनों ही क्षेत्रों में लोगों की भारी कमी है और दोनों जगह हायरिंग चल रही है।
एक माता-पिता या शिक्षकसिखाएं कि AI का आउटपुट एक अंदाज़ा है, कोई पक्का सच (authority) नहीं। जांच करने की आदत डालें। यह एक अकेली आदत ज़्यादातर नुकसानों से बचाती है।
एक नागरिकपॉलिसी की बहसों पर नज़र रखें। पूछें कि आप पर इस्तेमाल किए जाने वाले सिस्टम्स की क्या निगरानी रखी जा रही है।
कोई भी व्यक्तिध्यान दें कि कहीं आप किसी आत्मविश्वास से भरे जवाब को पूरी तरह जाँचा हुआ सच तो नहीं मान रहे। यही वह चूक है जो हर किसी से होती है।

इस विषय को समझदारी से कैसे समझें

  • अनिश्चितता ही सबसे ईमानदार नज़रिया है। समयसीमा (timelines) को लेकर कोई भी जो पक्का दावा करता है — चाहे किसी भी दिशा में — वह अपने स्वभाव के बारे में बता रहा है, सबूतों के बारे में नहीं।
  • गलती के दोनों ही तरीके वास्तविक हैं। जोखिम को नज़रअंदाज़ करने से लोगों को नुकसान पहुँचता है। बहुत ज़्यादा घबराना (catastrophising) भी भारी पड़ता है: यह काम करने वालों को थका देता है और लोग इस पूरे फील्ड को ही गैर-ज़रूरी समझने लगते हैं।
  • ज़्यादातर महत्व उबाऊ काम का ही है। Permissions, logs, sandboxes, अप्रूवल फ्लो। बिना किसी तड़क-भड़क के, असल में यही चीज़ें हैं जो इस साल नुकसान होने से रोकती हैं।
  • आज की और भविष्य की समस्याओं के हल एक जैसे हैं। हर वह कंट्रोल जो एक प्रॉम्प्ट-इंजेक्टर सपोर्ट बॉट को सीमित करता है, वही कंट्रोल आगे चलकर कहीं ज़्यादा सक्षम सिस्टम को भी सीमित करेगा।
असली उदाहरण
इस पूरी गाइड का एक वाक्य में निचोड़: हम अभी यह पूरी तरह जांच नहीं सकते कि ये सिस्टम क्या करेंगे, इसलिए हम उनकी क्षमता की सीमाएं बांध देते हैं — और हम यह अभी करते हैं, जब तक कि नुकसान ऐसा है जिसे सुधारा जा सकता है।

और देखें और पढ़ें

AI safety fundamentalsRobert Miles · channelInterpretability research explainedYouTube searchScalable oversight and debateYouTube search

लैब

एक ही गलत बर्ताव, दो अलग तरीकों से रोका गया।

~15 min

समस्या

एक गलत बर्ताव करने वाला एजेंट लें। इसे एक बार प्रॉम्प्ट या ट्रेनिंग सिग्नल बदलकर ठीक करें (alignment), और एक बार उसकी क्षमता हटाकर (control)। फिर पहले वाले फिक्स को तोड़ें और पक्का करें कि दूसरा वाला फिक्स अभी भी काम कर रहा है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1सबसे मज़बूत तर्क दें कि कंट्रोल अकेले ही काफी क्यों नहीं है।दिखाएं
कंट्रोल यह तय करता है कि सिस्टम की पहुँच कहाँ तक होगी, और हर सीमा की वजह से उसकी उपयोगिता कम होती है — एक सिस्टम जिसे पूरी तरह सुरक्षित रखने के लिए बहुत कड़े घेरे में रखा गया हो, वह इतना सीमित हो सकता है कि उसे इस्तेमाल करने का कोई फायदा ही न बचे, इसलिए उस घेरे को बढ़ाने का दबाव हमेशा बना रहता है और यह दबाव आपके अपने यूज़र्स से आता है। साथ ही, क्षमता बढ़ने के साथ कंट्रोल को संभालना मुश्किल होता जाता है: सिस्टम जितना ज़्यादा सक्षम होगा, आपकी दी गई अनुमतियों के बीच से रास्ते निकालने के उतने ही ज़्यादा तरीके होंगे। यह एक सही नींव है क्योंकि यह बिना जांच के भी काम करता है, पर यह महज़ एक शुरुआती आधार है, कोई पूरा समाधान नहीं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या कोई वाकई इस पर काम कर रहा है?

हाँ — बड़ी लैब्स में समर्पित सुरक्षा टीमें, एकेडमिक ग्रुप्स, स्वतंत्र गैर-लाभकारी संस्थाएं (non-profits), और कई देशों में सरकारी संस्थान। यह असली नौकरियों वाला एक वास्तविक फील्ड है। हालांकि, क्षमता बढ़ाने वाले काम के मुकाबले यह काफी छोटा है, और इस बात पर चिंता होना बिल्कुल स्वाभाविक है।

क्या नियम-कानून (regulation) से इसका हल निकल जाएगा?

नियम-कानून जानकारी सार्वजनिक करने पर ज़ोर दे सकते हैं, न्यूनतम मानक तय कर सकते हैं और जवाबदेही तय कर सकते हैं — जो कि वास्तव में उपयोगी हैं। लेकिन वे किसी अनसुलझी तकनीकी समस्या को हल नहीं कर सकते, और वे टेक्नोलॉजी की तुलना में धीमी गति से चलते हैं। यह ज़रूरी है, लेकिन सिर्फ इतना ही काफी नहीं है।

क्या हमें AI बनाना बंद कर देना चाहिए?

यह एक गंभीर विचार है जो समझदार लोग रखते हैं, लेकिन इसके सामने एक बड़ा तालमेल का संकट है: एक रोक (pause) तभी काम करती है जब वह वैश्विक स्तर पर हो, और इसे लागू करना आसान नहीं है। ज़्यादातर काम करने वाले लोग इसके बजाय जो बन रहा है उसे सुरक्षित बनाने पर ध्यान देते हैं, और यही मानकर यह गाइड लिखी गई है।

इस हफ्ते मैं सबसे उपयोगी काम क्या कर सकता हूँ?

मॉड्यूल 60 पर जाएं, चेकलिस्ट लें, और इसे अपने किसी एक ऐसे एजेंट पर लागू करें जिसे आप असल में चलाते हैं। यह असली जोखिम को ठोस तरीके से कम करता है, और इसे आप आज ही कर सकते हैं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें