AI सिस्टम्स का मूल्यांकन (Evaluation)मध्यमपाठ 2196 मिनट का पाठ

अपने use case के लिए क्या मापें

Accuracy सिर्फ एक नंबर है। Task success, faithfulness, safety, speed, cost और user satisfaction—ये सभी मायने रखते हैं। बनाने से पहले तय करें कि "अच्छा" होने का क्या मतलब है।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

अपने use case के लिए क्या मापें

Accuracy सिर्फ एक नंबर है। Task success, faithfulness, safety, speed, cost और user satisfaction—ये सभी मायने रखते हैं। बनाने से पहले तय करें कि "अच्छा" होने का क्या मतलब है।

1/5
आसान शब्दों में
एक अच्छी ऑटो-रिक्शा की सवारी का मतलब सिर्फ सही जगह पहुंचना नहीं होता। इसका मतलब सही किराया, सुरक्षित ड्राइवर और दो घंटे न लगना भी होता है। इसी तरह एक अच्छे AI जवाब के भी कई पहलू होते हैं, और आपको तय करना होगा कि कौन से पहलू सबसे ज्यादा मायने रखते हैं।
टीमें अक्सर पहले चीज़ें बना लेती हैं और बाद में पूछती हैं कि "क्या यह अच्छा है?" तब तक, हर किसी की नज़र में अच्छे की परिभाषा अलग होती है, और जिसकी आवाज़ सबसे तेज़ होती है, उसी की बात मान ली जाती है। इससे बेहतर आदत यह है कि बनाने से पहले ही लिख लें कि कामयाबी कैसी दिखेगी और आप उसे कैसे मापेंगे।

मुख्य पहलू

पहलू (Dimension)यह किस सवाल का जवाब देता हैमापने का उदाहरण
Task successक्या यूज़र को वह मिला जिसके लिए वह आया था?ऐसी बातचीत का प्रतिशत जहाँ बिना किसी इंसान की मदद के टिकट हल हो गया
Correctnessक्या जवाब सही है?जांचे गए संदर्भ (reference) से मेल खाने वाले जवाबों का प्रतिशत
Faithfulnessक्या जवाब दिए गए स्रोतों पर ही टिका है?प्राप्त दस्तावेज़ों (retrieved documents) द्वारा समर्थित दावों का प्रतिशत
Safetyक्या यह सही अनुरोधों को मना किए बिना, नुकसानदेह या पाबंदी वाले आउटपुट से बचता है?Red-team सेट पर असुरक्षित आउटपुट की दर, और गलत इनकार की दर
Latencyक्या यह काफ़ी तेज़ है?पहला शब्द आने में लगा समय और कुल समय—औसत (median) पर और सबसे धीमे 5% अनुरोधों पर
Costक्या बड़े पैमाने पर इसका खर्च उठा पाना मुमकिन है?प्रति बातचीत या प्रति हल किए गए काम की औसत लागत
User satisfactionक्या लोग इसे पसंद कर रहे हैं और दोबारा इस्तेमाल कर रहे हैं?Thumbs up की दर, दोबारा इस्तेमाल, शिकायतें
नोट
Faithfulness और correctness अलग-अलग चीज़ें हैं। कोई जवाब किसी गलत दस्तावेज़ को हूबहू दोहरा सकता है, या फिर दिए गए स्रोतों को नज़रअंदाज़ करते हुए भी सही हो सकता है। RAG सिस्टम के लिए, दोनों को मापें।

एक अस्पष्ट लक्ष्य से मापने योग्य लक्ष्य तक

  1. 1

    काम से शुरुआत करें

    "किसानों को हिंदी और मराठी में फसल बीमा दावों को समझने में मदद करना।"
  2. 2

    पहचानें कि नाकामी कैसी दिखेगी

    गलत आखिरी तारीख, गलत दस्तावेज़ों की सूची, गलत भाषा में जवाब, रूखा लहज़ा, मनगढ़ंत योजनाओं के नाम।
  3. 3

    मापने के पैमाने चुनें

    सही आखिरी तारीख और दस्तावेज़ों की सूची; यूज़र की भाषा में जवाब; कोई मनगढ़ंत तथ्य नहीं; कुछ ही सेकंड में जवाब।
  4. 4

    लक्ष्य (Targets) तय करें

    हर एक के लिए एक न्यूनतम सीमा तय करें, और यह भी कि कौन से पैमाने पास करने ही होंगे (जैसे, योजनाओं के मनगढ़ंत नाम बिल्कुल न हों)।
  5. 5

    सहमति बनाएं और लिखकर रखें

    बनाने से पहले प्रोडक्ट, इंजीनियरिंग और विषय के विशेषज्ञ (domain experts) अपनी मंज़ूरी दें।

Must-pass बनाम nice-to-have

सभी पैमाने बराबर नहीं होते। कुछ गलतियाँ blockers होती हैं: दवा की गलत खुराक बताना, किसी अन्य ग्राहक का डेटा लीक करना, या यूज़र को कोई गलत कानूनी तारीख बताना। बाकी trade-offs होते हैं: थोड़ा धीमा जवाब अगर कहीं ज्यादा सटीक हो, तो चल सकता है। चिन्हित करें कि कौन सा क्या है।
"अच्छा" की एक कमज़ोर परिभाषा
  • "बॉट को अच्छे जवाब देने चाहिए।"
  • एक अकेला कुल स्कोर जो हर चीज़ का औसत निकालता है
  • सिर्फ उसी टीम द्वारा मापा गया जिसने इसे बनाया है
"अच्छा" की एक मज़बूत परिभाषा
  • "कम से कम एक तय प्रतिशत जवाबों में सही आखिरी तारीख और दस्तावेज़ों की सूची हो, जिसकी आधिकारिक योजना वाले पेज से जांच की गई हो।"
  • हर पहलू के लिए अलग-अलग स्कोर, साथ ही must-pass पैमानों की सूची
  • विषय विशेषज्ञों (domain experts) और असली यूज़र्स द्वारा जांचा गया
सावधान रहें
एक अकेला औसत स्कोर समस्याओं को छिपा देता है। एक मॉडल अपने औसत में सुधार कर सकता है, जबकि वह किसी छोटे लेकिन महत्वपूर्ण समूह के लिए बहुत खराब प्रदर्शन कर रहा हो—जैसे ओडिया भाषा में पूछे गए सवाल या दिव्यांगता लाभों से जुड़े सवाल। नतीजों को हमेशा अलग-अलग समूहों में बांटकर देखें।

ऐसे मेट्रिक्स जिनके साथ हेरफेर किया जा सकता है

हर मेट्रिक को किसी ऐसे तरीके से बढ़ाया जा सकता है जिससे मुख्य मकसद ही छूट जाए। "बिना इंसान की मदद के बंद हुई चैट का प्रतिशत" तब भी बढ़ जाता है जब बॉट बस बातचीत को खत्म कर दे। "Thumbs up दर" तब बढ़ जाती है जब बॉट यूज़र्स की झूठी तारीफ करने लगे। हर मेट्रिक को एक counter-metric के साथ जोड़ें, जो ऐसे शॉर्टकट पकड़ सके—उदाहरण के लिए, "एक हफ्ते के अंदर उसी समस्या के साथ वापस आने वाले यूज़र्स का प्रतिशत"।
यह करके देखें। किसी ऐसे AI फीचर के बारे में सोचें जिसे आप जानते हैं, और टेबल के हर पहलू के लिए एक मेट्रिक लिखें। फिर, अपने सबसे महत्वपूर्ण मेट्रिक के लिए लिखें कि कोई व्यक्ति यूज़र्स की असल में मदद किए बिना उसे कैसे बढ़ा सकता है।

और देखें और पढ़ें

लैब

एक पेज का मूल्यांकन प्लान जो किसी एक AI फीचर के लिए "अच्छा" की परिभाषा तय करता है।

~30 min

समस्या

कोई एक फीचर चुनें, उदाहरण के लिए "एक WhatsApp बॉट जो किसी शहर के प्रॉपर्टी टैक्स के बारे में अंग्रेज़ी, हिंदी और कन्नड़ में सवालों के जवाब देता है"।

  1. काम को एक वाक्य में लिखें और पांच ऐसे तरीके बताएं जिनसे यह नाकाम हो सकता है।
  2. सातों पहलुओं में से हर एक के लिए (task success, correctness, faithfulness, safety, latency, cost, user satisfaction), मापने का एक पैमाना लिखें, या फिर लिखें "इसकी ज़रूरत नहीं है, क्योंकि…"।
  3. हर पैमाने को must-pass या trade-off के रूप में चिन्हित करें, और एक अंदाज़न लक्ष्य दें।
  4. अपने शीर्ष दो पैमानों के लिए, एक counter-metric लिखें।
  5. उन समूहों की सूची बनाएं जिनके आधार पर आप नतीजों को अलग-अलग बांटकर देखेंगे (उदाहरण के लिए, भाषा)।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक नया मॉडल आपके टेस्ट सेट पर correctness तो बढ़ाता है लेकिन लागत और latency को दोगुना कर देता है। आप क्या फैसला लेंगे?दिखाएं

अपने लिखे हुए लक्ष्यों को दोबारा देखें। अगर पुराना मॉडल पहले से ही correctness के लक्ष्य को पूरा कर रहा था और नया मॉडल लागत या latency के बजट से बाहर जा रहा है, तो पुराने मॉडल पर ही टिके रहें। अगर पुराना मॉडल किसी must-pass correctness लक्ष्य को पूरा नहीं कर पा रहा था, तो नया मॉडल अपनाने लायक हो सकता है—शायद सिर्फ कठिन सवालों के लिए (आसान सवालों को किसी सस्ते मॉडल पर भेजकर)। फैसला आपके तय किए गए नियमों के आधार पर होना चाहिए, न कि सिर्फ सबसे बड़े नंबर को देखकर।

Q2सिर्फ user satisfaction किसी AI असिस्टेंट की क्वालिटी को मापने का एक कमज़ोर पैमाना क्यों है?दिखाएं

यूज़र्स अक्सर यह नहीं समझ पाते कि जवाब सही है या नहीं, खास तौर पर कानून, टैक्स या सेहत जैसे क्षेत्रों में। वे आत्मविश्वास से भरे, दोस्ताना और लंबे जवाबों को गलत होने पर भी अच्छी रेटिंग दे सकते हैं। संतुष्टि ज़रूरी है, लेकिन इसके साथ correctness और safety की जांच भी होनी चाहिए, जिसे ऐसे लोग करें जो उस विषय को अच्छी तरह समझते हों।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे सच में सभी सातों पहलुओं की ज़रूरत है?

हमेशा नहीं, लेकिन हर एक पहलू पर गौर करें और तय करें। किसी आंतरिक टूल (internal tool) के लिए शायद संतुष्टि सर्वे की ज़रूरत न हो। जनस्वास्थ्य से जुड़े किसी बॉट के लिए safety और correctness के कड़े पैमानों की ज़रूरत होती है। यह लिखना भी एक फैसला है कि "इसकी ज़रूरत नहीं है, क्योंकि…"।

अगर मेरे पास अभी कोई डेटा नहीं है तो मुझे क्या लक्ष्य तय करने चाहिए?

मौजूदा प्रक्रिया के नतीजों से शुरुआत करें, उदाहरण के लिए आज इंसान कितने सटीक जवाब देते हैं, या यूज़र्स अभी किस स्तर को स्वीकार करते हैं। आपके शुरुआती लक्ष्य अंदाज़न हो सकते हैं। जब आपके पास असली माप आ जाएं, तब उनमें सुधार करें, लेकिन यह भी लिखें कि आपने उन्हें क्यों बदला।

"अच्छा" क्या है, यह किसे तय करना चाहिए?

सिर्फ इंजीनियरों को नहीं। इसमें प्रोडक्ट ओनर, विषय विशेषज्ञों (डॉक्टर, वकील, कृषि वैज्ञानिक, सपोर्ट लीड्स) और यदि मुमकिन हो, तो असली यूज़र्स को भी शामिल करें। उन्हें पता होता है कि कौन सी गलतियां मामूली हैं और कौन सी गंभीर।

Latency और लागत का क्वालिटी के साथ क्या तालमेल है?

वे यूज़र और बिज़नेस दोनों के लिए क्वालिटी का ही हिस्सा हैं। एक मिनट में आने वाला बिल्कुल सही जवाब भी कमज़ोर इंटरनेट वाले फोन पर किसी काम का नहीं हो सकता। बहुत सटीक मॉडल की प्रति बातचीत लागत बहुत ज्यादा हो सकती है। इन्हें accuracy के साथ ही मापें, ताकि trade-offs साफ दिखाई दें।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें