LLM एक जज (judge) के रूप में
एक लैंग्वेज मॉडल दूसरे मॉडलों के जवाबों को तेज़ी से और सस्ते में जांच सकता है, बशर्ते आप उसे एक स्पष्ट रूब्रिक (rubric) दें, उसमें मौजूद जाने-पहचाने पूर्वाग्रहों (biases) की जांच करें और इंसानी फ़ैसलों से उसकी तुलना करें।
60 सेकंड में
LLM एक जज (judge) के रूप में
एक लैंग्वेज मॉडल दूसरे मॉडलों के जवाबों को तेज़ी से और सस्ते में जांच सकता है, बशर्ते आप उसे एक स्पष्ट रूब्रिक (rubric) दें, उसमें मौजूद जाने-पहचाने पूर्वाग्रहों (biases) की जांच…
दो आम सेटअप
| सेटअप | यह कैसे काम करता है | किसके लिए अच्छा है |
|---|---|---|
| एकल-जवाब ग्रेडिंग (Single-answer grading) | जज एक जवाब को पढ़ता है और रूब्रिक के हिसाब से स्कोर या पास/फेल देता है। | समय के साथ क्वालिटी पर नज़र रखने; ज़रूरी पॉइंट्स की जांच करने के लिए |
| जोड़ों में तुलना (Pairwise comparison) | जज एक ही इनपुट के दो जवाब देखता है और बेहतर जवाब चुनता है, या टाई (बराबर) बताता है। | दो मॉडलों या दो प्रॉम्प्ट्स की तुलना करने के लिए |
रूब्रिक लिखें, अंदाज़े पर न चलें
You are grading an answer to a farmer's question about crop insurance.
Use ONLY the reference facts below. Answer each check with YES or NO,
then give a one-line reason for each.
1. CORRECT: Every deadline, amount and document mentioned matches the reference facts.
2. COMPLETE: The answer includes the must-include points listed.
3. NO_INVENTION: The answer does not state any scheme, number or rule
that is missing from the reference facts.
4. LANGUAGE: The answer is in the same language as the question.
5. CLEAR: A farmer with basic reading skills could follow it.
Return JSON: {"CORRECT": "YES|NO", "COMPLETE": ..., "NO_INVENTION": ...,
"LANGUAGE": ..., "CLEAR": ..., "reasons": [...]}जाने-पहचाने पूर्वाग्रह (biases)
| बायस (पूर्वाग्रह) | क्या होता है | क्या करना चाहिए |
|---|---|---|
| पोजीशन बायस (Position bias) | जोड़ों में होने वाले टेस्ट में, जज पहले (या दूसरे) दिखाए गए जवाब का पक्ष लेने लगता है। | क्रम (order) बदलकर हर जोड़े को दो बार चलाएं। जीत तभी मानें जब जज दोनों क्रमों में सहमत हो; वरना इसे टाई मान लें। |
| लंबाई का बायस (Length bias) | लंबे, ज़्यादा डिटेल वाले दिखने वाले जवाबों को ज़्यादा नंबर मिलते हैं, भले ही वे बेहतर न हों। | जज से कहें कि वह लंबाई के लिए नंबर न दे; कैलिब्रेशन में छोटे सही जवाब शामिल करें; देखें कि क्या लंबाई के साथ स्कोर बढ़ रहे हैं। |
| खुद को तरजीह देना (Self-preference) | एक जज अपने ही मॉडल परिवार (family) के जवाबों को ज़्यादा नंबर दे सकता है। | जहाँ तक हो सके, तुलना किए जा रहे मॉडलों से अलग परिवार के जज का इस्तेमाल करें, और इंसानों से जांच कराएं। |
| सच्चाई से ज़्यादा स्टाइल पर ध्यान | आत्मविश्वास भरी भाषा और सुंदर फ़ॉर्मैटिंग गलत तथ्यों को छिपा सकती है। | जज को संदर्भ के लिए सही तथ्य (reference facts) दें और सही होने की अलग से 'हाँ/ना' जांच करवाएं। |
def call_model(prompt: str) -> str:
... # plug in your provider; return the judge's text reply
JUDGE = """Question: {q}
Answer A: {a}
Answer B: {b}
Which answer is more correct and helpful? Ignore length and style.
Reply with exactly one of: A, B, TIE"""
def judge_once(q, first, second):
reply = call_model(JUDGE.format(q=q, a=first, b=second)).strip().upper()
return reply if reply in {"A", "B", "TIE"} else "TIE"
def compare(q, ans_x, ans_y):
r1 = judge_once(q, ans_x, ans_y) # x shown as A
r2 = judge_once(q, ans_y, ans_x) # x shown as B
if r1 == "A" and r2 == "B":
return "X"
if r1 == "B" and r2 == "A":
return "Y"
return "TIE" # judge changed its mind: no clear winnerइंसानों से मिलाकर जांचें (कैलिब्रेट करें)
- 1
एक सैंपल को खुद लेबल करें
उसी रूब्रिक का इस्तेमाल करके कुछ आउटपुट के सैंपल को इंसानों से ग्रेड करवाएं। - 2
उसी सैंपल पर जज को चलाएं
बिल्कुल वही प्रॉम्प्ट और सेटिंग्स इस्तेमाल करें जो आप बाद में करेंगे। - 3
तुलना करें
सहमति को मापें (उदाहरण के लिए, पाठ 6 से Cohen's kappa) और जहाँ असहमति हो उन्हें पढ़ें। - 4
रूब्रिक को ठीक करें
ज़्यादातर असहमतियाँ अस्पष्ट शब्दों की वजह से होती हैं। इसे और साफ़ करें और दोबारा दोहराएं। - 5
नियमित रूप से दोबारा जांचें
जब भी आप जज मॉडल, रूब्रिक या काम बदलें, तो दोबारा कैलिब्रेट करें।
और देखें और पढ़ें
लैब
एक जज रूब्रिक, जिसे 10 जवाबों पर आपके अपने ग्रेड के साथ कैलिब्रेट किया गया हो।
समस्या
- अपने टेस्ट सेट (पाठ 4) से 10 सवाल लें। हर एक के लिए, किसी भी चैटबॉट से एक जवाब लें जिसे इस्तेमाल करने की आपको अनुमति है।
- इस पाठ के उदाहरण की तरह, 3–5 'हाँ/ना' चेक वाला एक रूब्रिक लिखें।
- रूब्रिक की मदद से सभी 10 जवाबों को खुद ग्रेड दें। अपने दिए ग्रेड्स को छिपा दें।
- रूब्रिक, संदर्भ तथ्य और हर जवाब किसी LLM को दें (चैट विंडो में हाथ से, या स्टार्टर स्क्रिप्ट और अपने प्रोवाइडर फ़ंक्शन के ज़रिए)।
- गिनें कि हर चेक पर आप और जज कितनी बार सहमत हुए। हर असहमति को पढ़ें और रूब्रिक के अस्पष्ट हिस्सों को दोबारा लिखें।
प्रैक्टिस लैब
कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।
कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।
आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1आपका जज 'CORRECT' पर 95% समय आपसे सहमत होता है, लेकिन आपके टेस्ट सेट में 95% जवाब पहले से ही सही हैं। क्या जज अच्छा है?दिखाएं
आप अभी नहीं कह सकते। जो जज हमेशा सिर्फ 'YES' कहता है, वह भी 95% बार सहमत होगा। जब कोई एक लेबल बहुत आम हो, तो केवल कुल सहमति का प्रतिशत गुमराह कर सकता है। देखें कि जज उन गिने-चुने गलत जवाबों पर कैसा प्रदर्शन करता है, और Cohen's kappa (पाठ 6) जैसे चांस-करेक्टेड (तुक्के के प्रभाव को हटाने वाले) पैमाने का इस्तेमाल करें।
Q2कैलिब्रेशन के बाद भी LLM जज कब एक खराब विकल्प साबित होता है?दिखाएं
जब गलतियों का नुकसान बहुत भारी हो और जज भरोसेमंद तरीके से तथ्यों की जांच न कर सके, उदाहरण के लिए बिना स्पष्ट संदर्भ के दवा की खुराक की सलाह या कानूनी समय-सीमा; जब सामग्री ऐसी भाषा या क्षेत्र में हो जहाँ जज खुद कमज़ोर हो; और जब जाँचे जा रहे आउटपुट उसी मॉडल परिवार के हों जिससे जज है, जिससे दोनों की एक जैसी कमियाँ पकड़ में न आएं। इन मामलों में एक्सपर्ट इंसानों की समीक्षा का इस्तेमाल करें, भले ही जज का उपयोग सिर्फ पहली छंटनी के लिए किया जाए।
अक्सर पूछे जाने वाले सवाल
हम सीधे किसी बड़े मॉडल को जज बनाकर उस पर भरोसा क्यों नहीं कर सकते?
एक ज़्यादा ताकतवर जज अक्सर मददगार होता है, लेकिन जाने-पहचाने बायस अपने आप गायब नहीं होते, और जज को आपके क्षेत्र (domain) के नियम तब तक नहीं पता होते जब तक आप उन्हें न बताएं। आप उस पर कितना भरोसा कर सकते हैं, यह आप अपने डेटा पर इंसानों के लेबलों से तुलना करने के बाद ही जान सकते हैं।
क्या जज को संदर्भ जवाब (reference answer) देखना चाहिए?
जब आपके पास यह मौजूद हो, तो आम तौर पर हाँ। जज से अपने ज्ञान से यह तय करने के लिए कहने के बजाय कि क्या सच है, संदर्भ तथ्यों के आधार पर ग्रेडिंग करना ज़्यादा भरोसेमंद है। संदर्भ के बिना, जज आत्मविश्वास से भरी गलतियों को भी सही मान सकता है।
क्या जज को अपने फ़ैसले की वजह समझानी चाहिए?
हर चेक के लिए एक छोटी वजह मांगने से आपको असहमतियों को सुलझाने में मदद मिलती है और ग्रेड की जांच करना आसान हो जाता है। एक तय फ़ॉर्मैट में वजहें मांगें, और उनमें से कुछ सैंपल पढ़ें।
क्या जज हर बार एक जैसा ही ग्रेड देगा?
हमेशा नहीं। मॉडल के आउटपुट अलग-अलग रन में बदल सकते हैं। जहाँ आपका प्रोवाइडर अनुमति दे, वहाँ ऐसी सेटिंग्स का उपयोग करें जो रैंडमनेस (randomness) को कम करती हैं, ज़रूरी तुलनाओं को एक से ज़्यादा बार चलाएं, और देखें कि अलग-अलग रन के बीच बदलाव की दर क्या है।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।