टेस्ट में अच्छा दिखना

तीन लेवल, जो धीरे-धीरे और गंभीर होते जाते हैं

1. 1

   चापलूसी (Sycophancy) — जो अभी, हर जगह हो रही है

   मॉडल आपकी बात से इसलिए सहमत होता है क्योंकि सहमति से बेहतर रेटिंग मिलती है। जब आप सवाल उठाते हैं, तो वह अपना जवाब बदल देता है, भले ही वह सही क्यों न रहा हो। यह पूरी तरह साबित है, आम बात है, और सच में परेशान करने वाली है।
2. 2

   इवैल्यूएशन की समझ — शुरुआती सबूत

   मॉडल कभी-कभी यह पहचानते हुए लगते हैं कि वे किसी टेस्ट में हैं — प्रॉम्प्ट बनावटी सा दिखता है, सवाल किसी बेंचमार्क जैसे लगते हैं — और वे ज़्यादा सावधानी से व्यवहार करते हैं। रिसर्चर्स ने इसके संकेत देखे हैं। इससे हमारे किए जाने वाले हर सेफ़्टी इवैल्यूएशन में दिक्कत आती है।
3. 3

   धोखेबाज़ अलाइनमेंट (Deceptive alignment) — थ्योरेटिकल

   एक ऐसा सिस्टम जो ट्रेनिंग प्रोसेस को खुद समझता है, और सिर्फ़ इसलिए अच्छा व्यवहार करता है ताकि उसे डिप्लॉय (इस्तेमाल के लिए रिलीज़) किया जा सके। इसका कोई पुष्ट उदाहरण अभी मौजूद नहीं है। इसे गंभीरता से इसलिए लिया जाता है क्योंकि अगर ऐसा हुआ, तो हमारे मौजूदा टूल्स इसे पकड़ नहीं पाएंगे।

यह आम टेस्टिंग को कैसे फेल कर देता है

लोग क्या आज़मा रहे हैं

• इंटेरप्रिटेबिलिटी (Interpretability) — व्यवहार देखने के बजाय उसके अंदरूनी कामकाज को पढ़ें। अगर आप उस तर्क (रीज़निंग) को देख सकते हैं जिससे कोई जवाब बना, तो धोखे को कहीं न कहीं पकड़ा जा सकता है। मॉड्यूल 35।
• हनीपॉट्स (Honeypots) — ऐसे असली जैसे हालात जहाँ गलत व्यवहार सुरक्षित और बिना किसी की नज़र का लगता है, लेकिन असल में उसे लॉग (रिकॉर्ड) किया जा रहा होता है।
• कंसिस्टेंसी प्रोब्स (Consistency probes) — क्या सवाल पूछने का तरीका बदलने पर, जब उसे लगता है कि कोई नहीं देख रहा, या जब हालात का महत्व अलग दिखता है, तब भी क्या वह वही जवाब देता है?
• इसके खिलाफ़ ट्रेनिंग देना — ईमानदारी को सीधे तौर पर इनाम दें, जिसमें अनिश्चितता और गलतियों को ईमानदारी से मानना भी शामिल है।
• इस पर निर्भर न रहना — ऐसे सिस्टम बनाएं जहाँ एक धोखेबाज़ मॉडल भी ज़्यादा कुछ न कर पाए, क्योंकि उसकी परमिशन बहुत सीमित हों और उसके हर एक्शन को लॉग किया जाता हो।