मॉडल के अंदर: इंटरप्रिटेबिलिटीएडवांस्डपाठ 3166 मिनट का पाठ

सुरक्षा के लिए Interpretability: उम्मीदें और सीमाएं

कई लोगों को उम्मीद है कि मॉडल्स के अंदर झांककर एक दिन धोखेबाज़ी या छिपे हुए लक्ष्यों को पकड़ा जा सकेगा। यहाँ बताया गया है कि आज क्या सच है, क्या सिर्फ एक उम्मीद है, और यह evaluations के साथ कैसे मेल खाता है।

✦ ट्यूटर से पूछें🧪 लैब · 35 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

सुरक्षा के लिए Interpretability: उम्मीदें और सीमाएं

कई लोगों को उम्मीद है कि मॉडल्स के अंदर झांककर एक दिन धोखेबाज़ी या छिपे हुए लक्ष्यों को पकड़ा जा सकेगा। यहाँ बताया गया है कि आज क्या सच है, क्या सिर्फ एक उम्मीद है, और यह…

1/5
आसान शब्दों में
एक डॉक्टर बातचीत और एक्स-रे दोनों का इस्तेमाल करता है। मरीज़ कह सकता है "मैं ठीक महसूस कर रहा हूँ", लेकिन एक्स-रे में कोई फ्रैक्चर दिख सकता है। Interpretability एआई के लिए एक एक्स-रे बनने की उम्मीद रखती है। आज, यह शुरुआती दौर की एक्स-रे मशीन की तरह है: उपयोगी, लेकिन धुंधली, और यह कई चीज़ें मिस कर देती है।
"Looking good in the test" में आपने एक चिंता देखी थी: एक सक्षम मॉडल तब अच्छा व्यवहार कर सकता है जब उसे पता हो कि उसका टेस्ट लिया जा रहा है, और बाद में अलग तरह से व्यवहार कर सकता है। बिहेवियरल evaluations इसे पूरी तरह से खारिज नहीं कर सकते, क्योंकि वे सिर्फ आउटपुट देखते हैं। सुरक्षा के लिए interpretability की सबसे बड़ी उम्मीद अंदर की जाँच करना है, ताकि सही वजहों से अच्छे व्यवहार पर भरोसा किया जा सके।

उम्मीदें, और आज उनकी स्थिति

उम्मीदआइडियाआज की स्थिति
धोखेबाज़ी पकड़नाऐसे सिग्नल्स खोजना जिनसे पता चले कि मॉडल कोई ऐसी बात कह रहा है जिसे वह खुद गलत मानता है।शुरुआती रिसर्च। कंट्रोल्ड सेटिंग्स में probes कुछ उम्मीद दिखाते हैं। लेकिन इतने भरोसेमंद नहीं कि इन पर निर्भर रहा जा सके।
छिपे हुए लक्ष्यों को खोजनाकिसी मॉडल की ऐसे लक्ष्यों के लिए जाँच करना जो उसमें नहीं होने चाहिए थे।रिसर्चर्स ने ऐसे प्रयोग किए हैं जहाँ टीमें जानबूझकर मॉडल में डाले गए लक्ष्य को खोजने की कोशिश करती हैं। यह काम की प्रैक्टिस है; असली छिपे हुए लक्ष्यों को पकड़ना और मुश्किल हो सकता है।
यह जाँचना कि रीज़निंग ईमानदार है या नहींमॉडल की लिखी गई रीज़निंग की तुलना इस बात से करना कि उसके अंदरूनी हिस्से वास्तव में क्या करते हैं।एक अनसुलझी समस्या। लिखी गई रीज़निंग हमेशा इस बात का सच्चा रिकॉर्ड नहीं होती कि अंदर क्या कम्प्यूटेशन हुआ है।
डिप्लॉयमेंट के दौरान मॉनिटर करनाजोखिम भरे व्यवहार को फ़्लैग करने के लिए activations पर सस्ते probes चलाना।कुछ सीमित सिग्नल्स के लिए मुमकिन है। छूटे हुए मामलों और गलत चेतावनियों (false alarms) के लिए सावधानीपूर्वक टेस्टिंग की ज़रूरत है।
खतरनाक जानकारी को हटानाखास क्षमताओं को ढूँढना और हटाना।सक्रिय रिसर्च जारी है। यह साबित करना मुश्किल है कि जानकारी सच में मिट गई है, सिर्फ छिपाई नहीं गई है।

यह मुश्किल क्यों है

  • स्केल (Scale): जो तरीके छोटे मॉडल्स या किसी एक काम पर असरदार होते हैं, हो सकता है वे अनगिनत features और circuits वाले बहुत बड़े मॉडल्स पर काम न करें।
  • कवरेज (Coverage): हम कुछ व्यवहारों को विस्तार से समझा सकते हैं, लेकिन एक बड़ा मॉडल जो कुछ करता है, उसका यह बहुत छोटा हिस्सा है। सुरक्षा के लिए यह जानना ज़रूरी है कि हम क्या नहीं ढूँढ पाए।
  • भ्रम (Illusions): व्याख्याएं देखने में सही लग सकती हैं और फिर भी गलत हो सकती हैं। कोई feature label, साफ़-सुथरा circuit डायग्राम या कोई probe गुमराह कर सकता है।
  • Adversarial दबाव: अगर आप किसी मॉडल को इस तरह ट्रेन करते हैं कि वह डिसेप्शन probe को ट्रिगर न करे, तो हो सकता है कि आप उसे ईमानदार बनने के बजाय सिग्नल को छिपाना सिखा दें। डिटेक्टर्स को चुपके से ट्रेनिंग का लक्ष्य नहीं बनने देना चाहिए।
  • कोई Ground truth नहीं: इस ट्रैक की लैब्स के सिंथेटिक डेटा के उलट, असली मॉडल्स में हम आमतौर पर अपनी व्याख्या की जाँच किसी पहले से तय सही जवाब से नहीं कर सकते।

यह evaluations के साथ कैसे जुड़ता है

  1. 1

    Evals व्यवहार का पता लगाते हैं

    खतरनाक-क्षमताओं और सुरक्षा से जुड़े evals दिखाते हैं कि मॉडल क्या कर सकता है और क्या करेगा।
  2. 2

    Interpretability पूछती है 'क्यों'

    किसी चिंताजनक नतीजे के पीछे छिपे features या circuits को खोजें।
  3. 3

    Interpretability नए टेस्ट्स का सुझाव देती है

    सामने आया कोई feature ऐसे इनपुट्स की ओर इशारा करता है जिन्हें evals में आज़माया नहीं गया था।
  4. 4

    अतिरिक्त मॉनिटर के रूप में Probes

    जहाँ ये काम करते हैं, अंदरूनी सिग्नल्स आउटपुट फ़िल्टर के साथ सुरक्षा की एक दूसरी दीवार (डिफेंस) जोड़ देते हैं।
  5. 5

    सुरक्षा की कई परतें (Defence in depth)

    किसी एक तरीके पर अकेले भरोसा नहीं किया जाता। Evals, interpretability, मॉनिटरिंग और कंट्रोल, ये सभी एक-दूसरे के साथ मिलकर काम करते हैं।
बढ़ा-चढ़ाकर किए गए दावे
  • "हमने अंदरूनी सिस्टम की जाँच कर ली है, इसलिए मॉडल सुरक्षित है"
  • "हमारा probe झूठ पकड़ लेता है"
  • "Interpretability जल्द ही अलाइनमेंट की समस्या को हल कर देगी"
सावधानीपूर्वक किए गए दावे
  • "हमारे तरीकों में ये जानी-पहचानी कमियाँ हैं, और हमारी जाँच में X का कोई संकेत नहीं मिला"
  • "इन टेस्ट सेट्स पर, यह probe सही और गलत बयानों को अलग करता है; जहाँ यह फेल हुआ वे मामले यहाँ लिस्ट किए गए हैं"
  • "Interpretability कई उम्मीद जगाने वाले टूल्स में से एक है"
नोट
अति-विश्वास वाले दोनों ही नज़रिए जोखिम भरे हैं। यह कहना कि "interpretability बेकार है", असली प्रगति को नज़रअंदाज़ करता है। यह कहना कि "हम पहले से ही मॉडल्स को पढ़ सकते हैं", कमियों को नज़रअंदाज़ करता है। आज का ईमानदार नज़रिया यह है: ये साफ़ सीमाओं वाले वास्तविक और आगे बढ़ते टूल्स हैं, जिन्हें evaluations और दूसरे सुरक्षा तरीकों के साथ इस्तेमाल करना सबसे अच्छा है।
इसे आज़माएं। "एआई का दिमाग पढ़ने" के बारे में कोई हालिया खबर या ब्लॉग पोस्ट खोजें। उसकी हैडलाइन को इस तरह दोबारा लिखें कि वह बिल्कुल सही बताए कि क्या दिखाया गया था और क्या नहीं।

और देखें और पढ़ें

arXiv (search for recent interpretability papers)arXiv · reading

लैब

सुरक्षा के लिए interpretability के किसी एक दावे का एक पन्ने का रिव्यू, जिसमें सबूतों को उम्मीदों से अलग किया गया हो।

~35 min

समस्या

यह पढ़ने की एक एक्सरसाइज़ है। Interpretability और सुरक्षा पर कोई एक पेपर, ब्लॉग पोस्ट या समाचार लेख चुनें (arXiv पर "sparse autoencoder" या "probing deception" सर्च करना एक अच्छी शुरुआत है)। फिर इन हेडिंग्स के साथ एक पेज लिखें:

  1. दावा एक वाक्य में।
  2. सबूत: कौन से तरीके (probe, SAE, patching, steering, evals), किन मॉडल्स पर, और किस डेटा पर।
  3. क्या कारण (causal) था और क्या सिर्फ एक संबंध (correlation) था।
  4. जानी-मानी कमियाँ: स्केल, कवरेज, संभावित भ्रम, क्या मॉडल सिग्नल को छिपा सकता था।
  5. असली सुरक्षा प्रक्रिया में आप इसे evaluations के साथ कैसे जोड़ेंगे।
  6. दावे का दोबारा लिखा गया, सावधानीपूर्वक तैयार किया गया एक वाक्य का रूप।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1मान लीजिए कि एक डिसेप्शन probe उन बयानों के टेस्ट सेट पर अच्छा काम करता है जिनके बारे में मॉडल को झूठ बोलने के लिए कहा गया था। लेकिन यह ऐसे मॉडल पर फेल क्यों हो सकता है जो अपनी खुद की वजहों से धोखा देता है?दिखाएं

टेस्ट सेट मॉडल को झूठ बोलने के लिए कहकर बनाया गया था, इसलिए probe शायद "मुझे कुछ गलत बोलने के लिए कहा गया था" या उन prompts के स्टाइल को पकड़ रहा हो, न कि आम तौर पर धोखे को। अपने किसी लक्ष्य के पीछे भाग रहा मॉडल अपने धोखे को अलग तरीके से दिखा सकता है, या शायद उन layers में नहीं जिन्हें probe किया गया है। टेस्ट करने के लिए अपने-आप हुए धोखे के असली उदाहरणों के बिना, आप यह नहीं जान सकते कि probe दूसरी जगहों पर कितना सही काम करेगा। यह ground-truth समस्या का एक स्पष्ट रूप है।

Q2एक नया मॉडल डिप्लॉय करने से पहले एक आसान प्रक्रिया डिज़ाइन करें जो evaluations और interpretability दोनों का इस्तेमाल करती हो। इनमें से कौन-सी चीज़ किस मामले में सबसे मजबूत है?दिखाएं

पहले behavioural evals चलाएँ: कैपेबिलिटी टेस्ट, सेफ्टी टेस्ट और red-teaming। कई सारे inputs पर मॉडल क्या करता है, यह दिखाने में ये सबसे अच्छे होते हैं। किसी भी चिंताजनक या हैरान करने वाले नतीजे के लिए, interpretability का इस्तेमाल करके उसके पीछे के features या circuits को खोजें और नए टेस्ट inputs का सुझाव दें। जहाँ probes वैलिडेट हो चुके हैं, उन्हें डिप्लॉयमेंट में output filters के साथ monitors के रूप में जोड़ें। डिटेक्टर्स को ट्रेनिंग से बाहर रखें। लिख लें कि कौन-सा तरीका क्या चेक नहीं कर पाया। Interpretability समझाने और नए hypotheses तैयार करने में सबसे बेहतर है; बड़े पैमाने पर मापने में evals सबसे मजबूत हैं। फैसला इन सभी को एक साथ देखकर लिया जाना चाहिए।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

अगर interpretability अभी धोखेबाज़ी नहीं पकड़ सकती, तो इसे फंड क्यों किया जाए?

क्योंकि बिहेवियरल टेस्ट्स की एक सख्त सीमा होती है: वे सिर्फ आउटपुट देखते हैं। अगर मॉडल्स और अधिक सक्षम हो जाते हैं और उन्हें यह अहसास होने लगता है कि उनका टेस्ट लिया जा रहा है, तो अंदरूनी सिस्टम की जाँच बहुत कीमती साबित हो सकती है। रिसर्च में सालों लगते हैं, इसलिए इसे बहुत ज़्यादा ज़रूरत पड़ने से पहले ही शुरू करना होगा।

क्या कोई मॉडल interpretability टूल्स से छिपना सीख सकता है?

यह एक वास्तविक चिंता है, खासकर तब जब टूल के सिग्नल का इस्तेमाल ट्रेनिंग के लक्ष्य के रूप में किया जाए। यही कारण है कि कई रिसर्चर्स डिटेक्टर्स को ट्रेनिंग से अलग रखने और कई स्वतंत्र तरीकों का इस्तेमाल करने की वकालत करते हैं, ताकि किसी एक को चकमा देना काफी न हो।

क्या मॉडल की chain-of-thought पढ़ना interpretability का ही एक रूप है?

यह मॉनिटरिंग का एक उपयोगी और सस्ता तरीका है। लेकिन लिखी गई रीज़निंग एक आउटपुट है, और इसकी कोई गारंटी नहीं है कि यह अंदर के असली कम्प्यूटेशन को दर्शाती हो। Mechanistic तरीके सीधे अंदरूनी सिस्टम की जाँच करने की कोशिश करते हैं। दोनों की अपनी जगह है।

मैं इस क्षेत्र में योगदान देना कैसे शुरू कर सकता हूँ?

ओपन मॉडल्स पर छोटे नतीजों को रीप्रोड्यूस करें, जैसे कि कोई probe, एक छोटा (toy) superposition मॉडल, या किसी छोटे GPT पर SAE। अपना कोड शेयर करें और लिखें कि क्या काम किया और क्या नहीं। arXiv पर हाल के पेपर्स पढ़ें, और दावों को उसी सावधानी से परखें जो इस ट्रैक ने आपको सिखाई है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें