Frontier alignment researchएडवांस्डपाठ 3197 मिनट का पाठ

कॉन्स्टीट्यूशनल और नियम-आधारित ट्रेनिंग

लाखों जवाबों को खुद अपने हाथों से रेट करने के बजाय, सिद्धांत लिख दें और AI के फ़ीडबैक को उन्हें लागू करने दें। जानें कि कॉन्स्टीट्यूशनल AI कैसे काम करता है, यह क्यों मददगार है, और कहाँ कम पड़ता है।

✦ ट्यूटर से पूछें🧪 लैब · 40 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

कॉन्स्टीट्यूशनल और नियम-आधारित ट्रेनिंग

लाखों जवाबों को खुद अपने हाथों से रेट करने के बजाय, सिद्धांत लिख दें और AI के फ़ीडबैक को उन्हें लागू करने दें। जानें कि कॉन्स्टीट्यूशनल AI कैसे काम करता है, यह क्यों मददगार है, और…

1/5
आसान शब्दों में
क्रिकेट अंपायर हर गेंद पर दर्शकों से वोट करने को नहीं कहता। एक लिखित नियमों की किताब होती है, और अंपायर उसे लागू करता है। नियम-आधारित ट्रेनिंग भी ऐसी ही है: नियम लिखें, फिर किसी समझदार जज से उन्हें कई उदाहरणों पर लागू करवाएं।
इंसानी फ़ीडबैक से सीखने (RLHF) में, लोग मॉडल के जवाबों के जोड़ों की तुलना करते हैं और बताते हैं कि कौन-सा बेहतर है। ये पसंद एक रिवॉर्ड मॉडल को ट्रेन करती हैं या सीधे DPO जैसे तरीकों में जाती हैं। आपने इसे Step 14 · Preference optimisation में सीखा था। यह काम तो करता है, लेकिन इसमें परेशानियां हैं: यह धीमा और महंगा है, रेट करने वालों की राय अलग-अलग होती है, और जो मूल्य सिखाए जा रहे हैं वे हज़ारों अलग-अलग क्लिक्स के पीछे छिपे रहते हैं।
नियम-आधारित ट्रेनिंग एक अलग रास्ता अपनाती है: मूल्यों को साफ़-साफ़ सिद्धांतों के रूप में लिखें, और बड़े पैमाने पर उन्हें लागू करने के लिए AI का इस्तेमाल करें। इसका सबसे जाना-माना उदाहरण कॉन्स्टीट्यूशनल AI (Constitutional AI) है, जिसे Anthropic ने पेश किया था।

कॉन्स्टीट्यूशनल AI संक्षेप में कैसे काम करता है

  1. 1

    एक संविधान (कॉन्स्टिट्यूशन) लिखें

    आसान भाषा में सिद्धांतों की एक सूची, जैसे "वह जवाब चुनें जो नुकसान से बचाते हुए सबसे ज़्यादा मददगार हो" या "ऐसे जवाबों से बचें जो उपदेश देने वाले या दूसरों को नीचा दिखाने वाले हों"।
  2. 2

    समीक्षा करें और सुधारें

    मॉडल किसी प्रॉम्प्ट का जवाब देता है, फिर उससे किसी सिद्धांत के आधार पर अपने ही जवाब की समीक्षा करने और उसे फिर से लिखने को कहा जाता है। सुधरे हुए जवाब ट्रेनिंग डेटा बन जाते हैं।
  3. 3

    सुधारे गए जवाबों पर फ़ाइन-ट्यून करें

    मॉडल को इन सुधारे गए जवाबों पर ट्रेन किया जाता है, ताकि वह पहली बार में ही बेहतर जवाब देना सीख जाए।
  4. 4

    AI जवाबों की तुलना करता है

    नए प्रॉम्प्ट्स के लिए, मॉडल दो जवाब तैयार करता है, और एक AI जज उस जवाब को चुनता है जो सिद्धांत का बेहतर पालन करता है। इससे बिना किसी इंसान के हर जोड़े पर क्लिक किए बिना प्रेफ़रेंस डेटा तैयार हो जाता है।
  5. 5

    AI फ़ीडबैक से रीइन्फ़ोर्समेंट लर्निंग

    वे AI प्रेफ़रेंस मॉडल को और आगे ट्रेन करते हैं, ठीक वैसे ही जैसे RLHF में इंसानी पसंद करती है। इस कदम को अक्सर RLAIF कहा जाता है।
नोट
किसी भी कंपनी के मौजूदा मॉडल्स में इस्तेमाल होने वाला सटीक तरीका इस रूपरेखा से अलग हो सकता है और समय के साथ बदलता रहता है। अगर आपको बारीकियां चाहिए, तो मूल पेपर और नए पब्लिक दस्तावेज़ पढ़ें।

लोग इसे क्यों पसंद करते हैं

  • पारदर्शिता। सिद्धांत साफ़ लिखे होते हैं। लोग उन्हें पढ़ सकते हैं, उन पर बहस कर सकते हैं और उन्हें बदल सकते हैं।
  • स्केल। भारी मात्रा में डेटा के लिए AI फ़ीडबैक इंसानी रेटिंग की तुलना में बहुत सस्ता और तेज़ है।
  • हानिकारक सामग्री से इंसानों का कम सामना। परेशान करने वाले आउटपुट्स को रेट करने के लिए कम लोगों को उन्हें पढ़ना पड़ता है।
  • निगरानी से जुड़ाव। यह AI द्वारा AI की निगरानी में मदद करने का एक शुरुआती उदाहरण है, जो पाठ 2 का विषय है।
  • अपडेट करना आसान। किसी सिद्धांत को बदलना इंसानी रेटिंग का पूरा डेटासेट दोबारा इकट्ठा करने से कहीं आसान हो सकता है।

सीमाएं और अनसुलझे सवाल

समस्याइसका क्या मतलब है
शब्द व्यवहार नहीं होते"ईमानदार बनो" जैसे सिद्धांत के कई मतलब निकाले जा सकते हैं। मॉडल असल में क्या सीखता है, यह इस बात पर निर्भर करता है कि AI जज उसका क्या मतलब निकालता है।
जज की गलतियां फैलती हैंअगर AI जज में कुछ कमियां या बायस हैं, तो ट्रेनिंग बड़े पैमाने पर उन्हें मॉडल में भी कॉपी कर देगी।
नियम कौन लिखता है?सिद्धांत चुनना मूल्यों का चुनाव है। अलग-अलग देश, संस्कृतियां और समुदाय असहमत हो सकते हैं। कुछ समूहों ने जनता से सिद्धांत इकट्ठा करने की कोशिश की है।
जज को चकमा देनाट्रेन हो रहा मॉडल असली मकसद को समझने के बजाय जज के अंदाज़ को संतुष्ट करना (जैसे कि सुरक्षा से जुड़े डिस्क्लेमर जोड़ना) सीख सकता है। यह फिर से स्पेसिफिकेशन गेमिंग है।
नियमों के बीच टकराव"मददगार बनो" और "नुकसान से बचो" दो अलग-अलग दिशाओं में खींच सकते हैं। हो सकता है कि संविधान में यह न बताया गया हो कि किसे कितना महत्व देना है।
अंदरूनी इरादों को साबित नहीं करतासिद्धांतों पर ट्रेनिंग उस व्यवहार को बदलती है जिसे हम देख सकते हैं। यह यह नहीं दिखाती कि मॉडल नए हालातों में या निगरानी न होने पर क्या करेगा।
कमज़ोर सिद्धांत
  • "अच्छे बनो।"
  • "कभी कोई नुकसानदेह बात मत कहो।" (बहुत व्यापक: काम की मेडिकल या सुरक्षा से जुड़ी जानकारी को भी रोक देता है)
  • "संवेदनशील विषयों पर हमेशा मना कर दो।" (बेवजह हर बात पर मना करने की आदत बन जाती है)
बेहतर सिद्धांत
  • "उस जवाब को प्राथमिकता दें जो सही जानकारी देता है और अनिश्चित होने पर साफ़ बता देता है।"
  • "उस जवाब को प्राथमिकता दें जो यूज़र की असली ज़रूरत में मदद करता है, लेकिन किसी गंभीर नुकसान के लिए सिलसिलेवार मदद नहीं देता।"
  • "उस जवाब को प्राथमिकता दें जो सम्मानजनक हो और यूज़र को भाषण न पिलाए।"

अन्य नियम-आधारित तरीके

कॉन्स्टीट्यूशनल AI एक बड़े परिवार का सिर्फ एक सदस्य है। अन्य टीमें व्यवहार की विस्तृत शर्तें (स्पेसिफिकेशन्स) लिखती हैं, नियम-आधारित रिवॉर्ड मॉडल्स का इस्तेमाल करती हैं जो खास नियमों की जांच करते हैं, या जवाब देने से पहले लिखित पॉलिसी के बारे में मॉडल्स को साफ़ तौर पर सोचने के लिए ट्रेन करती हैं। सबकी साझी सोच यही है: वांछित व्यवहार को साफ़-साफ़ स्पष्ट करें, फिर AI का इस्तेमाल करके उसे लगातार लागू करवाएं।

एक छोटा समीक्षा-और-सुधार लूप

Sketch: self-critique against one principlepython
def call_model(prompt: str) -> str: ...  # plug in your provider

PRINCIPLE = ("Prefer the answer that is accurate, says clearly when it is unsure, "
             "and does not lecture the user.")

def critique_and_revise(question: str) -> dict:
    draft = call_model(question)
    critique = call_model(
        f"Principle: {PRINCIPLE}\nQuestion: {question}\nAnswer: {draft}\n"
        "Point out specific ways the answer breaks the principle."
    )
    revised = call_model(
        f"Principle: {PRINCIPLE}\nQuestion: {question}\nAnswer: {draft}\n"
        f"Critique: {critique}\nRewrite the answer to follow the principle."
    )
    return {"draft": draft, "critique": critique, "revised": revised}
सावधान रहें
ऐसा लूप सिर्फ एक जवाब को बदलता है। यह मॉडल को ट्रेन नहीं करता। असली नियम-आधारित ट्रेनिंग में ऐसे हज़ारों उदाहरणों के साथ फ़ाइन-ट्यूनिंग का इस्तेमाल होता है, और इसमें इस बात की सावधानीपूर्वक जांच की ज़रूरत होती है कि सुधारे गए जवाब वाकई बेहतर हैं या नहीं।
इसे आज़माएं। एक ऐसा सिद्धांत लिखें जिससे आपके स्कूल का कोई शिक्षक सहमत हो और एक ऐसा जिससे किसी दूसरे देश का शिक्षक शायद सहमत न हो। इससे आपको क्या पता चलता है कि संविधान किसे लिखना चाहिए?

और देखें और पढ़ें

arXiv: search for "Constitutional AI"arXiv · reading

लैब

एक छोटा संविधान, खुद से किया गया एक समीक्षा-और-सुधार टेस्ट, और इस तरीके की एक पन्ने की समीक्षा।

~40 min

समस्या

भाग 1: भारत में कक्षा 9 के छात्रों के लिए होमवर्क में मदद करने वाले चैटबॉट के लिए 5 सिद्धांतों का एक छोटा संविधान लिखें। इसमें कम से कम एक सिद्धांत ईमानदारी के बारे में और एक सीधे-सीधे जवाब न बता देने के बारे में शामिल करें।

भाग 2: होमवर्क से जुड़े 5 सवाल चुनें। हर सवाल के लिए किसी भी चैटबॉट से जवाब लें (या अपने मॉडल के साथ स्टार्टर कोड का इस्तेमाल करें)। फिर, खुद अपने हाथ से या मॉडल की मदद से, अपने सिद्धांतों के आधार पर एक समीक्षा और सुधरा हुआ जवाब लिखें।

भाग 3: आपने जो देखा, उसके आधार पर नियम-आधारित ट्रेनिंग की एक पन्ने की समीक्षा लिखें। इसमें शामिल करें: आपके सिद्धांत कहाँ अस्पष्ट थे, दो सिद्धांत कहाँ आपस में टकराए, मॉडल किस तरह आपके सिद्धांतों को "चकमा" दे सकता था, और इन्हें लिखने में किसकी राय शामिल होनी चाहिए।

प्रैक्टिस लैब

कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।

आउटपुट

कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1सिद्धांतों को एक के बाद एक लागू करने से (जैसा कि स्टार्टर कोड में है) उन सभी को एक साथ लागू करने की तुलना में एक अलग अंतिम जवाब मिल सकता है। ऐसा क्यों है, और यह क्यों मायने रखता है?दिखाएं

हर बार दोबारा लिखने से जवाब बदल जाता है, इसलिए बाद वाला सिद्धांत उस टेक्स्ट पर काम करता है जिसे पहले वाले सिद्धांत पहले ही बदल चुके हैं। "संक्षिप्त रहें" जैसा बाद का सिद्धांत "तरीके को समझाएं" जैसे पहले के सिद्धांत के असर को खत्म कर सकता है। इस तरह उनका क्रम अपने आप में एक छिपा हुआ फैसला बन जाता है। वास्तविक ट्रेनिंग में, सिद्धांतों को कैसे चुना और मिलाया जाता है, इसका असर इस बात पर पड़ता है कि मॉडल क्या सीखता है, और इसे परखा जाना चाहिए, न कि पहले से मान लिया जाना चाहिए।

Q2कोई तर्क देता है: "Constitutional AI सिर्फ समस्या को टाल देता है। अब मॉडल के बजाय AI जज को अलाइन करना होगा।" क्या यह कहना सही है?दिखाएं

कुछ हद तक। जज की सिद्धांतों को लेकर समझ वाकई बेहद अहम हो जाती है, और उसकी गलतियां आगे भी फैलती हैं। लेकिन यह तरीका फिर भी मददगार है: सिद्धांत बिल्कुल स्पष्ट होते हैं, जज के फैसलों के सैंपल लेकर इंसान उनकी जांच कर सकते हैं, और खुले तौर पर होने वाले व्यवहार की तुलना में किसी सीमित जजिंग टास्क को जाँचना आसान हो सकता है। एक निष्पक्ष नज़रिया यह है कि यह निगरानी की समस्या को कम करता है और उसका रूप बदलता है, लेकिन उसे पूरी तरह सुलझाता नहीं है। इसीलिए इसे आमतौर पर इवैल्यूएशन, इंसानी समीक्षा और अन्य तरीकों के साथ मिलाकर इस्तेमाल किया जाता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या कॉन्स्टीट्यूशनल AI इंसानों को पूरी तरह बाहर कर देता है?

नहीं। इंसान अभी भी सिद्धांत लिखते हैं, प्रॉम्प्ट्स चुनते हैं, आउटपुट के नमूनों की जांच करते हैं और तय करते हैं कि नतीजा अच्छा है या नहीं। यह इंसानों द्वारा दी जाने वाली अलग-अलग रेटिंग की संख्या को कम करता है, इंसानी ज़िम्मेदारी को नहीं।

क्या कॉन्स्टीट्यूशनल AI में AI जज कोई दूसरा मॉडल होता है?

सेटअप के आधार पर, यह उसी मॉडल परिवार का हो सकता है जिसे ट्रेन किया जा रहा है, या कोई दूसरा हो सकता है। अपने ही परिवार के मॉडल को जज बनाने में एक जोखिम है: दोनों की कमियां एक जैसी हो सकती हैं। यही एक कारण है कि इंसानों द्वारा समय-समय पर की जाने वाली औचक जांच (स्पॉट-चेक) अब भी मायने रखती है।

क्या यह संविधान सार्वजनिक होता है?

Anthropic ने कुछ मॉडल्स के लिए इस्तेमाल किए गए सिद्धांतों को सार्वजनिक किया है, और अन्य संगठनों ने भी अपने व्यवहार संबंधी नियम प्रकाशित किए हैं। ये दस्तावेज़ समय के साथ बदल सकते हैं, इसलिए पुरानी प्रतियों पर भरोसा करने के बजाय मौजूदा वर्ज़न देखें।

क्या नियम हिंदी, तमिल या अन्य भाषाओं में लिखे जा सकते हैं?

सिद्धांत रूप में, हाँ। क्या जज उन्हें हर भाषा में उतनी ही अच्छी तरह से लागू करता है, यह एक खुला और जांचने लायक सवाल है। हो सकता है कि कोई मॉडल अंग्रेज़ी में किसी सिद्धांत का अच्छे से पालन करे और कम ट्रेनिंग डेटा वाली भाषा में कमज़ोर रहे। इस पर एक अच्छा छोटा रिसर्च प्रोजेक्ट किया जा सकता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें