AI सिस्टम्स का मूल्यांकन (Evaluation)मध्यमपाठ 2176 मिनट का पाठ

Benchmarks और उनकी सीमाएँ

MMLU, HumanEval, SWE-bench और LMArena जैसे जाने-माने benchmarks असल में क्या मापते हैं, वे पुराने क्यों पड़ जाते हैं, और ज़्यादा स्कोर का यह मतलब क्यों नहीं है कि मॉडल आपका काम कर ही देगा।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

Benchmarks और उनकी सीमाएँ

MMLU, HumanEval, SWE-bench और LMArena जैसे जाने-माने benchmarks असल में क्या मापते हैं, वे पुराने क्यों पड़ जाते हैं, और ज़्यादा स्कोर का यह मतलब क्यों नहीं है कि मॉडल आपका काम कर…

1/5
आसान शब्दों में
गणित के ओलंपियाड में टॉप करने वाले छात्र को भी रेलवे रिज़र्वेशन का फॉर्म भरने में दिक्कत हो सकती है। ओलंपियाड किसी एक चीज़ को बहुत अच्छे से मापता है। वह हर चीज़ नहीं मापता। AI benchmarks भी ऐसे ही हैं: हर benchmark किसी एक तरह की स्किल की परीक्षा लेता है।
एक benchmark तयशुदा सवालों का एक सेट होता है, जिसमें उत्तरों को स्कोर करने का तरीका भी तय होता है। हर कोई वही टेस्ट चलाता है, इसलिए अलग-अलग मॉडल्स के स्कोर्स की आपस में तुलना की जा सकती है। यह काम की चीज़ है। लेकिन कोई benchmark एक सीमित सवाल का जवाब देता है: इस तरीके से स्कोर किए जाने पर यह मॉडल इन सवालों पर कितना खरा उतरता है? यह इस बात का जवाब नहीं देता कि क्या यह मेरे यूज़र्स के लिए काम करेगा?

चार जाने-माने benchmarks, आसान शब्दों में

Benchmarkमॉडल क्या करता हैइसे कैसे स्कोर किया जाता हैयह आपको क्या नहीं बताता
MMLUस्कूल, यूनिवर्सिटी और अलग-अलग प्रोफेशन्स से जुड़े कई विषयों के बहुविकल्पीय (multiple-choice) सवालों के जवाब देता है।सही जवाब दिए गए सवालों का प्रतिशत।क्या यह समझा सकता है, लिख सकता है, या खुले सवालों को संभाल सकता है। A–D में से सही विकल्प चुनना और असल काम करने में फर्क होता है।
HumanEvalदिए गए विवरण से छोटे Python फंक्शन्स लिखता है।कोड को unit tests पर चलाकर देखा जाता है। इसे अक्सर pass@k के रूप में दिखाया जाता है: यानी k कोशिशों में से कम से कम एक के पास होने की संभावना।क्या यह किसी बड़े और उलझे हुए कोडबेस में काम कर सकता है, या ऐसा कोड लिख सकता है जो सुरक्षित हो और जिसे संभालना आसान हो।
SWE-benchGitHub के ओपन-सोर्स Python प्रोजेक्ट्स से ली गई असली समस्याओं (issues) को ठीक करता है।मॉडल द्वारा बदले गए कोड से प्रोजेक्ट के टेस्ट्स पास होने चाहिए। इसके कई प्रकार भी हैं, जैसे इंसानों द्वारा जाँचा गया सबसेट।क्या यह आपकी टीम का काम, आपकी भाषा में, आपके टूल्स और रिव्यू मानकों के अनुसार कर सकता है।
LMArena (पहले Chatbot Arena)लोग एक प्रॉम्प्ट टाइप करते हैं, दो अनाम (anonymous) जवाब देखते हैं और जो पसंद आए उसे वोट देते हैं।शतरंज की रेटिंग्स की तरह, वोटों के आधार पर एक रैंकिंग बनाई जाती है।यह कि जवाब सही हैं या नहीं। वोट अक्सर लिखने के अंदाज़, लंबाई और टोन पर भी निर्भर करते हैं, और यह इस बात को भी दर्शाते हैं कि वोट कौन दे रहा है और वे क्या पूछ रहे हैं।
नोट
हम यहाँ जानबूझकर कोई स्कोर नहीं दे रहे हैं। हर नए मॉडल के साथ स्कोर बदल जाते हैं, और एक ही benchmark को अलग-अलग तरीकों से चलाया जा सकता है (प्रॉम्प्ट में उदाहरणों की संख्या, सटीक शब्द, जवाबों को पार्स करने का तरीका)। दो अलग-अलग स्कोर्स की तुलना तभी की जा सकती है जब टेस्ट का पूरा सेटअप एक जैसा रहा हो।

Saturation: जब कोई टेस्ट काम का नहीं रह जाता

जब कोई नया benchmark आता है, तो मॉडल्स का स्कोर खराब होता है और उनमें बड़ा अंतर दिखता है। समय के साथ, स्कोर बढ़ने लगते हैं। जब ज़्यादातर बड़े मॉडल्स टॉप स्कोर के करीब पहुँच जाते हैं, तो वह benchmark saturated हो जाता है: यानी वह अब उनमें फर्क नहीं बता पाता। टॉप पर दिखने वाला थोड़ा-सा अंतर महज़ संयोग (noise) हो सकता है, या उन कुछ सवालों की वजह से हो सकता है जिनकी आंसर-की (answer keys) ही गलत थी। रिसर्चर्स को कुछ जाने-माने benchmarks में लेबलिंग की गलतियाँ मिली हैं, इसलिए 100% स्कोर लाना हमेशा मुमकिन भी नहीं होता।
  1. 1

    नया benchmark

    मौजूदा मॉडल्स के लिए मुश्किल। स्कोर्स में काफी अंतर होता है और उनसे अच्छी जानकारी मिलती है।
  2. 2

    स्कोर्स बढ़ते हैं

    असली सुधार से, खास उस टेस्ट के हिसाब से मॉडल को ट्यून करने से, और कभी-कभी टेस्ट के सवाल लीक हो जाने से।
  3. 3

    Saturation

    टॉप मॉडल्स बिल्कुल ऊपरी सीमा के पास जमा हो जाते हैं। उनमें दिखने वाला अंतर ज़्यादातर महज़ इत्तेफ़ाक (noise) होता है।
  4. 4

    नया टेस्ट आना

    एक ज़्यादा मुश्किल benchmark आता है, और यह चक्र फिर से शुरू हो जाता है।

Benchmark बनाम आपका काम

लीडरबोर्ड को गलत तरीके से समझना
  • "यह पहले नंबर पर है, इसलिए हमारे हिंदी कस्टमर-सपोर्ट बॉट के लिए सबसे अच्छा है।"
  • अलग-अलग सेटअप वाले अलग-अलग पेपर्स के नंबरों की तुलना करना
  • सिर्फ एक नंबर को हर तरह की समझदारी (general intelligence) मान लेना
लीडरबोर्ड को सही तरीके से समझना
  • अपने डेटा पर टेस्ट करने के लिए मॉडल्स की एक शॉर्टलिस्ट बनाने में इसका इस्तेमाल करना
  • सटीक सेटअप की जाँच करना: प्रॉम्प्ट, उदाहरणों की संख्या, स्कोरिंग स्क्रिप्ट
  • यह देखना कि benchmark किस स्किल की परीक्षा ले रहा है, और क्या आपको सच में उस स्किल की ज़रूरत है
पब्लिक benchmarks ज़्यादातर अंग्रेज़ी में होते हैं और आम स्किल्स की परीक्षा लेते हैं। हो सकता है आपका काम मराठी में कोर्ट के फैसलों की समरी बनाना हो, फसल बीमा पर किसानों के सवालों के जवाब देना हो, या GST इनवॉइस से ज़रूरी जानकारी निकालना हो। कोई भी पब्लिक benchmark इसे ठीक-ठीक नहीं मापता। इस ट्रैक का बाकी हिस्सा आपको सिखाएगा कि इस काम के लिए अपना टेस्ट कैसे तैयार करें।
सावधान रहें
एक लीडरबोर्ड एक लक्ष्य भी बन जाता है। जब कई टीमें किसी एक लीडरबोर्ड पर ऊपर चढ़ने के लिए अपने मॉडल्स को ट्यून करती हैं, तो स्कोर असली काबिलियत से ज़्यादा तेज़ी से बढ़ सकता है। यह गुडहार्ट का नियम (Goodhart's law) है: जब कोई पैमाना एक लक्ष्य बन जाता है, तो वह एक अच्छा पैमाना नहीं रह जाता।
यह करके देखें। ऐसा कोई AI फीचर चुनें जिसे आप इस्तेमाल करते हैं या बना रहे हैं। लिखें कि कौन-सा पब्लिक benchmark इसके सबसे करीब है, और आपका असली काम उस benchmark से किन तीन तरीकों से अलग है।

और देखें और पढ़ें

Datasets on Hugging Face (search for a benchmark by name)Hugging Face · reading

लैब

अपने किसी असली काम के लिए एक पेज का "benchmark fit" नोट।

~30 min

समस्या

कोई एक काम चुनें, उदाहरण के लिए "हिंदी और अंग्रेज़ी में बस टिकट रिफंड से जुड़े ग्राहकों के सवालों के जवाब देना"।

  1. कोई एक ऐसा पब्लिक benchmark चुनें जो आपको इसके सबसे करीब लगे। उसका डेटासेट कार्ड या रिसर्च पेपर ढूंढें और कम से कम पाँच असली टेस्ट सवाल पढ़ें।
  2. लिखें: यह किस स्किल का टेस्ट लेता है, जवाब का फॉर्मेट क्या है, भाषा कौन-सी है, और इसे कैसे स्कोर किया जाता है।
  3. दो कॉलम वाली एक टेबल बनाएँ: Benchmark क्या टेस्ट करता है और मेरे काम को किस चीज़ की ज़रूरत है। इसमें कम से कम पाँच पंक्तियाँ (rows) जोड़ें (भाषा, जवाब की लंबाई, टूल्स, डोमेन की जानकारी, सुरक्षा, टोन)।
  4. आखिर में एक वाक्य लिखें: "यह benchmark मुझे … में मदद कर सकता है लेकिन यह मुझे यह नहीं बता सकता कि …"।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक नया मॉडल MMLU पर आपके मौजूदा मॉडल से कुछ पॉइंट्स ज़्यादा स्कोर करता है। आपका काम तमिल इनवॉइस से फ़ील्ड्स निकालना है। क्या आपको नया मॉडल अपनाना चाहिए?दिखाएं

सिर्फ इस सबूत के आधार पर तो नहीं। MMLU अंग्रेज़ी में बहुविकल्पीय जानकारी का टेस्ट लेता है, जिससे तमिल टेक्स्ट, इनवॉइस लेआउट या फ़ील्ड एक्सट्रैक्शन के बारे में शायद ही कुछ पता चलता है। टॉप पर कुछ पॉइंट्स का अंतर महज़ संयोग (noise) भी हो सकता है। कोई भी फैसला लेने से पहले दोनों मॉडल्स को अपने इनवॉइस टेस्ट सेट पर चलाकर देखें, और एक्यूरेसी, खर्च और लेटेंसी की तुलना करें।

Q2पाँच साल पहले बहुत बेहतरीन रहा कोई benchmark आज भ्रामक क्यों साबित हो सकता है, भले ही उसमें कुछ भी न बदला हो?दिखाएं

तीन वजहें हैं। हो सकता है मॉडल्स ने इसे सैचुरेट कर दिया हो, इसलिए यह अब उनमें फर्क नहीं कर पाता। इसके सवाल पूरे वेब पर ट्रेनिंग डेटा में लीक हो गए हों, इसलिए स्कोर सिर्फ याददाश्त दिखाते हैं। और टीमों ने मॉडल्स को इसके हिसाब से ट्यून कर दिया हो, इसलिए स्कोर असली काबिलियत की तुलना में ज़्यादा तेज़ी से बढ़ते हैं। टेस्ट वही रहा, लेकिन असली काबिलियत के साथ इसका रिश्ता बदल गया।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

अगर benchmarks इतने सीमित हैं, तो हर कोई इनके बारे में क्यों बताता है?

क्योंकि ये सस्ते, सार्वजनिक (public) और दोहराने में आसान (repeatable) होते हैं। शुरुआती शॉर्टलिस्ट बनाने और आम प्रगति पर नज़र रखने के लिए ये अच्छे हैं। गलती तब होती है जब किसी खास प्रोडक्ट के लिए आखिरी फैसला लेने में सिर्फ इन्हीं पर भरोसा किया जाए।

क्या LMArena तयशुदा benchmarks से बेहतर है क्योंकि इसमें असली लोग वोट करते हैं?

यह कुछ अलग मापता है: आमने-सामने रखकर देखने पर लोगों को कौन-सा जवाब ज़्यादा पसंद आता है। यह काम का तो है, लेकिन हो सकता है कि वोट करने वाले तथ्यों की जाँच न करें, लंबे या दिखने में सुंदर जवाबों को पसंद करें, और आपके यूज़र्स से बिल्कुल अलग तरह के सवाल पूछें। इसे कई संकेतों में से केवल एक संकेत मानें।

मुझे किसी benchmark के असली सवाल कहाँ मिल सकते हैं?

कई benchmarks अपना डेटा और स्कोरिंग कोड पब्लिश करते हैं, अक्सर Hugging Face या GitHub पर, साथ में arXiv पर उनका रिसर्च पेपर भी होता है। किसी स्कोर पर भरोसा करने से पहले उसके कुछ असली सवाल ज़रूर पढ़ें। आप अक्सर यह देखकर हैरान रह जाएँगे कि असल में किस चीज़ का टेस्ट लिया जा रहा है।

क्या मुझे इसके बजाय अपना खुद का benchmark बनाना चाहिए?

किसी प्रोडक्ट के लिए, हाँ: अपने असली काम से बनाया गया एक प्राइवेट टेस्ट सेट (पाठ 4)। मॉडल्स की लिस्ट छोटी करने के लिए पब्लिक benchmarks का इस्तेमाल करें, फिर आखिरी फैसला अपने टेस्ट्स के आधार पर लें।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें