Frontier alignment researchएडवांस्डपाठ 3237 मिनट का पाठ

अलाइनमेंट रिसर्च के लिए समस्या चुनना

अच्छी रिसर्च एक अच्छी समस्या से शुरू होती है। जानें कि रिसर्च की समझ (taste), सुगमता (tractability) और फीडबैक लूप को कैसे परखें, पेपर्स कैसे खोजें और पढ़ें, कम compute में काम कैसे करें, दूसरों के साथ मिलकर काम करें, और रिसर्च पब्लिश करने की सुरक्षा के बारे में सोचें।

✦ ट्यूटर से पूछें 🧪 लैब · 60 min 📝 पाठ का टेस्ट

स्पीड

पाठ वीडियो में

60 सेकंड में

अलाइनमेंट रिसर्च के लिए समस्या चुनना

अच्छी रिसर्च एक अच्छी समस्या से शुरू होती है। जानें कि रिसर्च की समझ (taste), सुगमता (tractability) और फीडबैक लूप को कैसे परखें, पेपर्स कैसे खोजें और पढ़ें, कम compute में काम…

1/5

आसान शब्दों में

अगर आप क्रिकेट सीखना चाहते हैं, तो शुरुआत वर्ल्ड कप फाइनल में गेंदबाज़ी करने से नहीं करते। आप नेट्स में शुरुआत करते हैं, किसी एक हुनर के साथ, और एक कोच के साथ जो तुरंत बता देता है कि क्या गलती हुई। पहली रिसर्च की अच्छी समस्याएं नेट्स की तरह होती हैं।

अब आप मुख्य तरीके जानते हैं: oversight, rule-based training, debate, weak-to-strong, evaluations और model organisms। अगला कदम है काम करने के लिए कोई समस्या चुनना। यह चुनाव अक्सर इस बात से ज़्यादा मायने रखता है कि आप कितनी मेहनत करते हैं।

किसी भी समस्या के बारे में पूछने के लिए चार सवाल

सवाल	इसका क्या मतलब है	खतरे का संकेत
क्या यह महत्वपूर्ण है?	अगर आपने इसे सुलझा लिया, तो क्या इससे वह बदल जाएगा जो लोग बनाते हैं या सुरक्षा के बारे में मानते हैं?	आप दो वाक्यों में यह नहीं समझा सकते कि यह क्यों मायने रखता है।
क्या यह tractable (सुलझाने योग्य) है?	क्या आप अपने समय, स्किल्स और compute के साथ इस पर वाकई आगे बढ़ सकते हैं?	पहले ही कदम के लिए एक बहुत बड़े मॉडल या सालों के काम की ज़रूरत है।
क्या फीडबैक लूप तेज़ है?	क्या आप महीनों के बजाय कुछ ही दिनों में जान सकते हैं कि आप सही रास्ते पर हैं या नहीं?	आपको बिल्कुल आखिर में ही पता चलेगा कि काम बना या नहीं।
क्या इस पर कम ध्यान दिया गया है (neglected)?	क्या इस ठीक सवाल पर पहले से ही बहुत कम लोग काम कर रहे हैं?	कई बेहतरीन टीमें पहले से ही वही काम कर रही हैं।

Research taste ऐसी समस्याएं चुनने का हुनर है जो इन सवालों पर खरी उतरती हैं। यह अभ्यास से और ज़्यादा अनुभवी लोगों के फीडबैक से बढ़ता है। शुरुआत में यह किसी के पास नहीं होता।

प्रोजेक्ट्स के प्रकार जो पहली कोशिश के लिए सही रहते हैं

किसी छोटे नतीजे को दोहराएं (Replicate)। किसी छोटे ओपन मॉडल पर किसी पब्लिश किए गए प्रयोग को दोबारा चलाएं। क्या नतीजे वैसे ही रहते हैं? कई शोधकर्ता ऐसे ही शुरुआत करते हैं। How to do AI research ट्रैक में Reproducing a result देखें।
नए माहौल में परखें। किसी जाने-माने तरीके को भारतीय भाषाओं में, किसी नए काम पर, या किसी अलग मॉडल साइज़ के साथ टेस्ट करें।
एक evaluation बनाएं। किसी खास व्यवहार के लिए एक सावधानी से तैयार किया गया और अच्छी तरह समझाया गया टेस्ट सेट, जैसे हिंदी या तमिल में sycophancy।
किसी दावे का स्ट्रेस-टेस्ट करें। ऐसे हालात खोजें जहां पब्लिश किया गया तरीका काम करना बंद कर देता है, और समझाएं कि ऐसा क्यों हुआ।
वैचारिक लेखन (Conceptual writing)। किसी असहमति का साफ-साफ स्पष्टीकरण, या इस बारे में ठोस तर्क कि कोई तरीका कब काम करेगा और कब नहीं।

पेपर्स खोजना और पढ़ना

अलाइनमेंट की ज़्यादातर रिसर्च को arXiv पर preprints के तौर पर शेयर किया जाता है, जो रिसर्च पेपर्स का एक मुफ्त आर्काइव है। काम की कैटेगरीज़ में कंप्यूटर साइंस आर्टिफिशियल इंटेलिजेंस (cs.AI), मशीन लर्निंग (cs.LG) और कंप्यूटेशन एंड लैंग्वेज (cs.CL) शामिल हैं। कई लैब्स और रिसर्च ग्रुप्स अपने ब्लॉग्स और रिसर्च पेजों पर भी पब्लिश करते हैं।

1
किसी सर्वे या ओवरव्यू पेपर से शुरुआत करें
अपने टॉपिक पर किसी ओवरव्यू पेपर के लिए arXiv पर सर्च करें, जैसे scalable oversight या AI evaluations।
2
रेफरेंस को देखें
संबंधित काम (related-work) वाला सेक्शन पढ़ें और उन पेपर्स को चुनें जिनका सबसे ज़्यादा ज़िक्र (cite) किया गया है।
3
आगे भी देखें
ऐसे नए पेपर्स खोजें जो उस मुख्य पेपर का हवाला (cite) देते हैं।
4
पढ़ने का एक लॉग (रिकॉर्ड) रखें
हर पेपर के लिए: सवाल, तरीका, मुख्य नतीजा, कमियां, और आगे के काम के लिए एक आइडिया।
5
अपनी पढ़ने की लिस्ट बनाएं
सरसरी तौर पर पढ़े गए पचास पेपर्स से दस अच्छी तरह समझे गए पेपर्स कहीं बेहतर होते हैं।

नोट

arXiv पर मौजूद preprints का हमेशा पीयर रिव्यू नहीं होता। नतीजों को समझदारी और परख के साथ पढ़ें: सैंपल साइज़, baselines और यह जांचें कि क्या कोड उपलब्ध है।

कम compute बजट में रिसर्च करना

Hugging Face से छोटे open-weight मॉडल्स का इस्तेमाल करें जो लैपटॉप पर या मुफ्त नोटबुक सर्विसेज़ पर चल जाते हैं।
कई evaluation और व्यवहार से जुड़े अध्ययनों के लिए सिर्फ किसी होस्टेड मॉडल के API कॉल्स और सोच-समझकर की गई प्लानिंग की ज़रूरत होती है।
टॉय मॉडल्स (Toy models), जैसे पाठ 4 में दिया गया Python का उदाहरण, कुछ ही मिनटों में आइडियाज़ की जांच कर सकते हैं।
अपने प्रयोग के सबसे छोटे वर्शन से शुरुआत करें जो कोई संकेत दे सके। बड़ा रूप तभी दें जब वह काम करने लगे।

दूसरों के साथ मिलकर काम करना

कोई मेंटर या रीडिंग ग्रुप खोजें। किसी ज़्यादा अनुभवी व्यक्ति के साथ महीने में सिर्फ एक छोटी सी बातचीत भी आपके हफ़्तों बचा सकती है।
शुरुआती ड्राफ्ट शेयर करें। काम शुरू करने से पहले यह पूछना कि "इस प्लान में क्या कमी है?", बाद में पछताने से कहीं आसान और सस्ता है।
ऑनलाइन अलाइनमेंट कम्युनिटीज़, यूनिवर्सिटी ग्रुप्स और रिसर्च फेलोशिप्स कई देशों में मौजूद हैं। मौजूदा अवसरों को खोजें, क्योंकि प्रोग्राम्स अक्सर खुलते और बंद होते रहते हैं।
मदद करने वाले हर व्यक्ति को क्रेडिट दें, और ऑथरशिप पर पहले ही सहमति बना लें।

पब्लिश करने की सुरक्षा

ज़्यादातर अलाइनमेंट रिसर्च पब्लिश करने के लिए सुरक्षित और मददगार होती है। लेकिन कुछ नतीजों पर पहले सोचने की ज़रूरत होती है। पब्लिश करने से पहले पूछें:

क्या यह सेफ्टी ट्रेनिंग हटाने, मॉडल के व्यवहार को छिपाने, या मॉडल्स से गंभीर नुकसान पहुंचाने वाली मदद पाने का कोई नया और पक्का तरीका दिखाता है?
क्या इससे मुख्य रूप से लोगों को बिना किसी सुरक्षा लाभ के, और ज़्यादा सक्षम सिस्टम तेज़ी से बनाने में मदद मिलेगी?
अगर इससे कोई मॉडल डेवलपर प्रभावित होता है, तो क्या मैंने उन्हें पहले ही बता दिया है और इसे ठीक करने का समय दिया है?

इस बात पर शोधकर्ताओं की राय अलग-अलग है कि कितनी सावधानी बरती जाए। खुलापन दूसरों को काम की जांच करने और उस पर आगे काम करने में मदद करता है; बहुत ज़्यादा सावधानी इस क्षेत्र को धीमा कर देती है। बहुत कम सावधानी नुकसानदेह टूल्स गलत हाथों में दे सकती है। जब भी कोई संदेह हो, पोस्ट करने से पहले अनुभवी साथियों से पूछें।

पहला प्रोजेक्ट जो अक्सर अटक जाता है

"Deceptive alignment को सुलझाना"
इसके लिए ऐसे frontier model की ज़रूरत है जिस तक आपकी पहुंच नहीं है
छह महीने तक कोई नतीजा नहीं
बिना किसी फीडबैक के अकेले काम करना

पहला प्रोजेक्ट जो अक्सर सफल रहता है

"क्या कोई जाना-माना sycophancy टेस्ट हिंदी में भी वही नतीजे देता है जो अंग्रेज़ी में देता है?"
छोटे ओपन मॉडल्स या मुफ्त API टियर पर चल जाता है
एक हफ्ते में पहला संकेत मिल जाता है
कोई मेंटर या रीडिंग ग्रुप प्लान की जांच कर लेता है

इसे आज़माएं। ऐसी तीन समस्याएं लिखें जिन्हें लेकर आप उत्सुक हैं। हर एक को महत्व, सुगमता (tractability), फीडबैक की तेज़ी और उपेक्षा (neglectedness) के आधार पर 1 से 5 तक स्कोर दें। कौन सी समस्या जीतती है, और क्या यह जवाब आपको हैरान करता है?

और देखें और पढ़ें

arXiv: free preprints in cs.AI, cs.LG and cs.CLarXiv · reading

लैब

एक छोटे alignment प्रोजेक्ट के लिए एक पेज का research proposal, साथ में शुरुआत के लिए एक reading list।

~60 min

समस्या

एक पेज का research proposal लिखें। इन हेडिंग्स का इस्तेमाल करें:

Question: एक वाक्य, सटीक और जिसे टेस्ट किया जा सके।
Why it matters: दो या तीन वाक्य, जिसमें आपकी theory of change भी शामिल हो।
Method: मॉडल्स, डेटा, माप और एक control condition। यह इस ट्रैक के किस परिवार से संबंधित है?
Prediction: आप क्या उम्मीद करते हैं, और कौन सा नतीजा आपको गलत साबित कर देगा।
Resources: compute, समय और लागत। दिखाएं कि यह लैपटॉप या मुफ़्त टूल्स पर फिट बैठता है।
First milestone: एक हफ़्ते के बाद आपके पास क्या तैयार होगा।
Risks: रिसर्च में क्या गड़बड़ हो सकती है, और पब्लिश करने को लेकर कोई safety concern।
Reading list: arXiv पर मिले 5 पेपर्स, हर एक के साथ एक लाइन कि वह क्यों प्रासंगिक है।

फिर अपने proposal को importance, tractability, feedback speed और neglectedness पर 1 से 5 तक स्कोर दें, और किसी दूसरे व्यक्ति से इसकी कमियां बताने को कहें।

आपका काम तब पूरा होगा जब

सवाल सटीक है और इसमें एक ऐसा prediction है जो गलत भी साबित हो सकता है
Method में एक control शामिल है और यह बताए गए resources में फिट बैठता है
पहला milestone छोटा है और लगभग एक हफ़्ते में हासिल किया जा सकता है
पब्लिश करने से जुड़े safety concerns पर विचार किया गया है, और reading list में कारणों के साथ असली पेपर्स मौजूद हैं

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका proposal tractability और feedback speed पर तो अच्छा स्कोर करता है लेकिन importance पर कम। क्या आपको फिर भी यह करना चाहिए?दिखाएं

पहले प्रोजेक्ट के लिए अक्सर हाँ, बशर्ते यह वो स्किल्स सिखाता हो जिनकी ज़रूरत आपको बाद में ज़्यादा ज़रूरी काम के लिए होगी और फिर भी कुछ काम की चीज़ जोड़ता हो। लेकिन यह देखें कि क्या कोई छोटा बदलाव इसकी importance को बढ़ा सकता है, जैसे कि किसी ऐसे method को टेस्ट करना जिस पर लोग सचमुच भरोसा करते हैं, या भारतीय भाषाओं जैसी कोई ऐसी स्थिति चुनना जहाँ नतीजों से कामकाज का तरीका बदल सके। मक़सद ऐसे प्रोजेक्ट से बचना है जो सिर्फ इसलिए आसान है क्योंकि उसका कोई महत्व ही नहीं है।

Q2दो जाने-माने रिसर्चर्स आपके proposal पर बिल्कुल उलट सलाह देते हैं। आपको कैसे फ़ैसला करना चाहिए?दिखाएं

पता लगाएं कि वे असहमत क्यों हैं। अक्सर उनकी इस बात पर अलग-अलग राय होती है कि कौन से methods आगे चलकर भविष्य के सिस्टम्स पर भी काम करेंगे, या फिर कौन सी चीज़ सबसे ज़्यादा मायने रखती है। दोनों से दूसरे के नज़रिए के ख़िलाफ़ सबसे मज़बूत तर्क पूछें। फिर देखें कि क्या कोई सस्ता पहला एक्सपेरिमेंट उनके बीच का फ़र्क साफ़ कर सकता है। अगर नहीं, तो वह दिशा चुनें जिसके assumptions आप सबसे अच्छी तरह समझते हैं और अपने write-up में उन assumptions को साफ़-साफ़ लिखें। इस फ़ील्ड में असहमति होना आम बात है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे सबसे महत्वपूर्ण समस्या पर काम करना चाहिए या जो सबसे ज़्यादा tractable है उस पर?

पहले प्रोजेक्ट के लिए, tractable समस्या की तरफ झुकना बेहतर है। आप प्रोजेक्ट पूरे करके और फीडबैक पाकर रिसर्च स्किल्स सीखते हैं। एक बार जब आपके पास वे स्किल्स आ जाएं, तो आप सफलता की बेहतर उम्मीद के साथ ज़्यादा कठिन और महत्वपूर्ण समस्याएं हाथ में ले सकते हैं।

क्या मैं किसी बड़ी लैब से जुड़े बिना भारत से अलाइनमेंट रिसर्च कर सकता हूं?

हां। रिसर्च पेपर्स, ओपन मॉडल्स और कई टूल्स मुफ्त हैं। आप नतीजों को दोहरा सकते हैं (replicate), evaluations बना सकते हैं—खासकर भारतीय भाषाओं के लिए जहां कम लोग काम कर रहे हैं—और अपने काम को सार्वजनिक रूप से शेयर कर सकते हैं। ऑनलाइन कम्युनिटीज़ और फेलोशिप्स कई देशों के लोगों को स्वीकार करती हैं; उनके मौजूदा नियम और शर्तें देख लें।

मुझे कैसे पता चलेगा कि मेरे आइडिया पर पहले ही काम हो चुका है या नहीं?

arXiv और आम सर्च इंजनों पर अलग-अलग तरीकों से लिखकर खोजें। किसी रिसर्च कम्युनिटी में पूछें। अगर आपको उससे मिलता-जुलता काम मिल जाता है, तो यह अच्छी खबर है: आप उसे दोहरा सकते हैं, आगे बढ़ा सकते हैं, या किसी नए माहौल में टेस्ट कर सकते हैं।

क्या होगा अगर मेरी रिसर्च से मॉडल्स को और ज़्यादा सक्षम बनाने में मदद मिल जाए?

कई तरीके क्षमता (capability) और सुरक्षा दोनों में मदद करते हैं। इस संतुलन के बारे में सोचें: क्या सुरक्षा का फायदा क्षमता में होने वाली बढ़ोतरी से कहीं ज़्यादा है? अनुभवी लोगों के साथ इस पर चर्चा करें, और सोचें कि आप जानकारियों को कैसे और कब शेयर करते हैं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें

अलाइनमेंट रिसर्च के लिए समस्या चुनना

अलाइनमेंट रिसर्च के लिए समस्या चुनना

किसी भी समस्या के बारे में पूछने के लिए चार सवाल

प्रोजेक्ट्स के प्रकार जो पहली कोशिश के लिए सही रहते हैं

पेपर्स खोजना और पढ़ना

किसी सर्वे या ओवरव्यू पेपर से शुरुआत करें

रेफरेंस को देखें

आगे भी देखें

पढ़ने का एक लॉग (रिकॉर्ड) रखें

अपनी पढ़ने की लिस्ट बनाएं

कम compute बजट में रिसर्च करना

दूसरों के साथ मिलकर काम करना

पब्लिश करने की सुरक्षा

और देखें और पढ़ें

समस्या

आपका काम तब पूरा होगा जब

कठिन सवाल

अक्सर पूछे जाने वाले सवाल