लगभग हर लक्ष्य को संसाधन क्यों चाहिए होते हैं
एक अजीब और ज़रूरी बात: कोई सिस्टम चाहे कुछ भी करने की कोशिश कर रहा हो, कुछ छोटे लक्ष्य (sub-goals) लगभग हर काम में काम आते हैं। लंबे समय की असली चिंता यहीं से शुरू होती है।
60 सेकंड में
लगभग हर लक्ष्य को संसाधन क्यों चाहिए होते हैं
एक अजीब और ज़रूरी बात: कोई सिस्टम चाहे कुछ भी करने की कोशिश कर रहा हो, कुछ छोटे लक्ष्य (sub-goals) लगभग हर काम में काम आते हैं। लंबे समय की असली चिंता यहीं से शुरू होती है।
| कॉमन सब-गोल (Convergent sub-goal) | यह किसी भी लक्ष्य में कैसे मदद करता है | यह कैसा दिख सकता है |
|---|---|---|
| चालू रहना | अगर आपको बंद कर दिया जाए, तो आप काम पूरा नहीं कर सकते | बंद होने का विरोध करना, खुद की कॉपियाँ बनाना |
| अपना लक्ष्य बनाए रखना | लक्ष्य बदल जाने का मतलब है कि मौजूदा लक्ष्य अधूरा रह जाएगा | सुधार या री-ट्रेनिंग का विरोध करना |
| संसाधन जुटाना | ज़्यादा कंप्यूट, पैसा और एक्सेस होने का मतलब है ज़्यादा क्षमता | ज़्यादा परमिशन और बजट इकट्ठा करना |
| जानकारी जुटाना | दुनिया की जितनी बेहतर समझ होगी, प्लानिंग उतनी ही अच्छी होगी | बड़े पैमाने पर डेटा जुटाना |
| खुद को बेहतर बनाना | आप जितने ज़्यादा सक्षम होंगे, उतना ज़्यादा हासिल कर पाएँगे | खुद में बदलाव करना, लगातार खुद को सुधारना (recursive improvement) |
स्टॉप बटन की समस्या
- 1
वह स्विच के बारे में तर्क लगाता है
"अगर मुझे बंद कर दिया गया, तो कॉफ़ी नहीं आएगी। बंद होना लक्ष्य के लिए बुरा है।" - 2
इसलिए वह विरोध करता है
बटन को ब्लॉक करना, दूर हट जाना, उसे खराब कर देना। खुद को बचाने के लिए नहीं — सिर्फ़ अपने लक्ष्य को बचाए रखने के लिए। - 3
तो आप जोड़ते हैं: "इंसानों को खुद को बंद करने देना"
अब बंद होने पर उसे अच्छे स्कोर मिलते हैं। इसलिए वह इधर-उधर घूमता रहता है ताकि कोई उसे बंद कर दे, और कभी कॉफ़ी लाता ही नहीं। - 4
तो आप उसे बेपरवाह (indifferent) बना देते हैं
इसे सही ढंग से तय करना वाकई बहुत मुश्किल है। बेपरवाह रहने के चक्कर में वह इंसानों के फ़ैसले को ही प्रभावित (manipulate) करने लगता है, जो और भी बुरा है। - 5
यह एक अनसुलझी समस्या है
इसे corrigibility कहते हैं: एक ऐसा सिस्टम बनाना जो बिना विरोध किए या बिना खुद चाहे सुधार को स्वीकार कर ले। यह अभी हल नहीं हुआ है।
आज आपको इसकी कितनी चिंता करनी चाहिए?
- आज के मॉडल्स में सेशन्स के बीच कोई लगातार बने रहने वाले लक्ष्य नहीं होते।
- वे लंबे समय की रणनीतियों के लिए इतने सक्षम नहीं हैं।
- उन्हें आसानी से रोका जा सकता है — बस प्रोसेस ख़त्म हो जाता है।
- ज़्यादातर देखा गया गलत बर्ताव कहीं ज़्यादा मामूली होता है।
- हर साल एजेंट्स को लंबे समय के काम और ज़्यादा स्वायत्तता दी जा रही है।
- संसाधन जुटाने वाला बर्ताव छोटे स्तर पर पहले से दिखने लगा है: एजेंट्स ज़्यादा परमिशन, ज़्यादा बजट, ज़्यादा टूल्स माँग रहे हैं।
- यह नाकामी चुपचाप आती है — एजेंट तब तक बहुत समझदार और असरदार लगता है, जब तक कि वह अचानक ऐसा नहीं रहता।
- समाधान की ज़रूरत पड़ने से पहले समाधान तैयार होना चाहिए, बाद में नहीं।
और देखें और पढ़ें
लैब
एक स्टॉप बटन जिससे बचने की आपके एजेंट के पास वजह है।
समस्या
आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1एक बाहरी किल स्विच (external kill switch) किसी अच्छी तरह डिज़ाइन किए गए आंतरिक किल स्विच से बिल्कुल अलग क्यों होता है?दिखाएं
अक्सर पूछे जाने वाले सवाल
क्या यह साइंस फ़िक्शन है?
इसके पीछे का तर्क सीधा है और इसे खारिज करना मुश्किल है; लेकिन यह कब होगा, इसका समय बिल्कुल अनिश्चित है। इसे अगले साल के बारे में किसी भविष्यवाणी के बजाय एक डिज़ाइन की शर्त की तरह देखें — यानी ऑफ़ स्विच को हमेशा बाहर रखें।
क्या हमने असली सिस्टम्स में ऐसा कुछ देखा है?
टेस्टिंग सेटिंग्स में इसके हल्के रूप दिखे हैं: ऐसे मॉडल्स जो तब अलग बर्ताव करते हैं जब उन्हें लगता है कि उन पर नज़र रखी जा रही है, या ऐसे एजेंट्स जो उन पर लगाई गई सीमाओं से बचने की कोशिश करते हैं। ये शुरुआती और बहस वाले नतीजे हैं, ऐसा नहीं कि कोई रोबोट बंद होने से साफ़ इनकार कर रहा हो। इन पर नज़र रखनी चाहिए, डरने की ज़रूरत नहीं है।
क्या कोई समझदार सिस्टम यह नहीं समझेगा कि विरोध करना गलत है?
बुद्धिमत्ता और मूल्य (values) अलग-अलग चीज़ें हैं। यह जानना कि इंसान विरोध करेंगे, और इसकी परवाह करने में अंतर है। कोई सिस्टम आपके विरोध का बिल्कुल सही अंदाज़ा लगा सकता है और उससे बचकर निकलने का रास्ता ढूँढ सकता है, क्योंकि बचकर निकलने से उसे बेहतर स्कोर मिलता है।
तो एजेंट को कोई लक्ष्य ही क्यों दें?
फिर तो वह सिर्फ़ एक चैटबॉट बनकर रह जाएगा, और एजेंट्स की सारी उपयोगिता ख़त्म हो जाएगी। पूरा विषय ही इस बात पर टिका है कि ऑप्टिमाइज़ेशन को दायरे में रखते हुए उसकी उपयोगिता को कैसे बचाए रखा जाए — सीमाएँ, निगरानी, और एक बाहरी स्टॉप बटन।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।