भारतीय भाषाओं के लिए AIमध्यमपाठ 2396 मिनट का पाठ

मशीन ट्रांसलेशन और उसे कैसे परखें

मशीन ट्रांसलेशन उपयोगी भी है और अधूरा भी। इसे इंसानों की मदद से, बैक-ट्रांसलेशन से और BLEU व chrF जैसे मेट्रिक्स से परखना सीखें, और हर एक की सीमाएं भी समझें।

✦ ट्यूटर से पूछें🧪 लैब · 40 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

मशीन ट्रांसलेशन और उसे कैसे परखें

मशीन ट्रांसलेशन उपयोगी भी है और अधूरा भी। इसे इंसानों की मदद से, बैक-ट्रांसलेशन से और BLEU व chrF जैसे मेट्रिक्स से परखना सीखें, और हर एक की सीमाएं भी समझें।

1/4
आसान शब्दों में
अगर आप दो अच्छे शिक्षकों से अंग्रेज़ी के एक ही पैराग्राफ का बंगाली में अनुवाद करने को कहें, तो वे दोनों बिल्कुल एक जैसे शब्द नहीं लिखेंगे। दोनों सही हो सकते हैं। इसलिए किसी अनुवाद को जांचना गणित का कोई सवाल जांचने जैसा नहीं होता। यह तय करने के लिए कि अनुवाद अच्छा है या नहीं, हमें इंसानों और कुछ समझदार टूल्स की ज़रूरत होती है।
मशीन ट्रांसलेशन (MT) टेक्स्ट को एक भाषा से दूसरी भाषा में बदलता है। आज यह काम न्यूरल मॉडल्स द्वारा किया जाता है, जिनमें लार्ज लैंग्वेज मॉडल्स और IndicTrans2 जैसे खास ट्रांसलेशन मॉडल्स शामिल हैं। इससे एक ही टीम कई भाषाओं में काम कर सकती है। लेकिन इसमें ऐसी गलतियां भी होती हैं जो पढ़ने में बिल्कुल स्वाभाविक लगती हैं, और यही सबसे खतरनाक होती हैं।

क्या गड़बड़ हो सकती है

  • अर्थ की गलतियां। कोई नकारात्मक बात छूट जाती है ("do not" बन जाता है "do"), या कोई संख्या बदल जाती है।
  • विशेष क्षेत्र के शब्द (Domain terms)। किसी कानूनी, मेडिकल या खेती-किसानी के शब्द का अनुवाद रोज़मर्रा के ऐसे शब्द के रूप में हो जाता है जिसका मतलब ही अलग होता है।
  • नाम। किसी व्यक्ति या जगह के नाम का अनुवाद ऐसे कर दिया जाता है जैसे वह कोई आम शब्द हो।
  • बातचीत का लहज़ा और टोन। बहुत ज़्यादा औपचारिक, बहुत ज़्यादा अनौपचारिक, या पाठक के लिए "you" का गलत रूप चुन लेना।
  • साफ-सुथरी बेतुकी बात। एक ऐसा सहज दिखने वाला वाक्य, जो कुछ ऐसा कह रहा हो जो मूल टेक्स्ट में था ही नहीं।

अनुवाद को परखने के तीन तरीके

तरीकायह कैसे काम करता हैखूबियांसीमाएं
इंसानों द्वारा मूल्यांकनदो भाषाएं जानने वाले समीक्षक एक रूब्रिक का इस्तेमाल करके अनुवाद को रेट करते हैं या सुधारते हैंअर्थ, टोन और खास शब्दों को परखने का सबसे बेहतरीन तरीकाधीमा है और इसमें पैसे खर्च होते हैं; समीक्षकों को साफ़ दिशा-निर्देशों की ज़रूरत होती है और उनकी राय अलग-अलग हो सकती है
बैक-ट्रांसलेशन जांचमिले अनुवाद को वापस मूल भाषा में ट्रांसलेट करें और तुलना करेंजब आप अनुवाद वाली भाषा नहीं जानते हों, तब अर्थ की बड़ी गलतियां पकड़ने का सस्ता तरीकाहो सकता है कि दोनों तरफ एक ही गलती दोहराई जाए; एक अच्छा बैक-ट्रांसलेशन यह साबित नहीं करता कि अनुवाद स्वाभाविक लग रहा है
ऑटोमैटिक मेट्रिक्सअनुवाद की तुलना इंसानों द्वारा किए गए एक या अधिक रेफरेंस अनुवादों से करेंतेज़ और दोहराने योग्य; किसी सिस्टम के अलग-अलग वर्ज़न की तुलना करने के लिए बढ़ियाइसके लिए अच्छे रेफरेंस अनुवाद चाहिए; अर्थ गलत होने पर भी सिर्फ़ शब्दों के मिलने पर यह अच्छे अंक दे सकता है

BLEU और chrF, आसान शब्दों में

BLEU यह गिनता है कि अनुवाद में कितने छोटे शब्द-क्रम (n-grams) इंसानी रेफरेंस अनुवाद में भी मौजूद हैं। chrF यही काम अक्षरों (कैरेक्टर) के क्रम के साथ करता है। अक्षरों के स्तर पर मिलान उन भाषाओं के लिए बेहतर हो सकता है जहां एक ही शब्द के कई रूप होते हैं, जो कई भारतीय भाषाओं में आम है। sacrebleu Python पैकेज इन दोनों की गणना स्टैंडर्ड तरीके से करता है।
सावधान रहें
BLEU या chrF का ज़्यादा स्कोर हमेशा यह नहीं बताता कि अनुवाद बेहतर है। एक सही अनुवाद जिसमें रेफरेंस से अलग शब्दों का इस्तेमाल किया गया हो, उसे कम स्कोर मिल सकता है। एक गलत अनुवाद जिसमें रेफरेंस के कई शब्दों की नकल हो, उसे ज़्यादा स्कोर मिल सकता है। एक ही टेस्ट सेट पर अलग-अलग सिस्टम्स की तुलना करने के लिए मेट्रिक्स का इस्तेमाल करें, और हमेशा कुछ सैंपल्स की जांच इंसानों से कराएं।

इंसानों द्वारा जांचने का एक आसान रूब्रिक

स्कोरपर्याप्तता (अर्थ)प्रवाह (स्वाभाविक भाषा)शब्दावली
4पूरा अर्थ बना रहापढ़ने में ऐसा लगता है जैसे किसी मूल वक्ता ने लिखा होसभी मुख्य शब्द सही हैं
3छोटी-मोटी बातें छूट गईंसमझने योग्य, थोड़ा अस्वाभाविककिसी शब्द से जुड़ी एक छोटी समस्या
2ज़रूरी अर्थ छूट गया या कुछ नया जुड़ गयाकहीं-कहीं पढ़ने में मुश्किलएक मुख्य शब्द गलत है
1गलत या खतरनाक अर्थसमझ से बाहरकई मुख्य शब्द गलत हैं
कम से कम दो समीक्षकों से एक-दूसरे के स्कोर देखे बिना एक ही सामग्री को स्कोर करने के लिए कहें। फिर उनकी तुलना करें। जहां उनमें बहुत असहमति हो, वहां उस पर चर्चा करें और अपने दिशा-निर्देशों में सुधार करें। Cohen's kappa जैसे पैमाने इस सहमति को अधिक औपचारिक रूप से माप सकते हैं।

एक उदाहरण: OmniLingo ट्रांसलेशन को कैसे संभालता है

इस कोर्स का मशीन ट्रांसलेशन कई भाषाओं में किया गया है। यह तरीका किसी भी प्रोडक्ट के लिए एक उपयोगी पैटर्न है:
  1. 1

    एक बार ट्रांसलेट करें, कैश करें

    हर ट्रांसलेट किए गए हिस्से को स्टोर कर लिया जाता है, ताकि उसी टेक्स्ट का दोबारा अनुवाद न करना पड़े और न ही दोबारा पैसे देने पड़ें।
  2. 2

    इंसानों द्वारा समीक्षा

    लोग अनुवाद को सुधार सकते हैं। सुधारे गए हिस्सों को समीक्षित (reviewed) के रूप में मार्क किया जाता है।
  3. 3

    समीक्षित काम को सुरक्षित रखें

    समीक्षित अनुवादों को कभी भी नए मशीन ट्रांसलेशन से ओवरराइट नहीं किया जाता।
  4. 4

    ईमानदारी से विफलता स्वीकार करें

    अगर मशीन ट्रांसलेशन उपलब्ध नहीं है, तो कोर्स मनगढ़ंत अनुवाद दिखाने के बजाय अंग्रेज़ी का मूल रूप दिखाता है।
  5. 5

    कोड को कोड ही रहने दें

    कोड के नमूनों का अनुवाद नहीं किया जाता, क्योंकि कोड का अनुवाद करने से वह काम करना बंद कर देगा।
नोट
खास शब्दों के लिए, एक ग्लोसॉरी (glossary) रखें: महत्वपूर्ण शब्दों और उनके स्वीकृत अनुवादों की एक सूची, जिसे विशेषज्ञों ने परखा हो। इसे समीक्षकों को दें, और जहां आपके टूल्स अनुमति दें, इसे ट्रांसलेशन के चरण में भी इस्तेमाल करें।
यह करके देखें। किसी सरकारी नोटिस या स्कूल के सर्कुलर से एक छोटा पैराग्राफ लें। अपनी जानी-पहचानी भाषा में इसका मशीन ट्रांसलेशन करें। आपको जो भी अर्थ की गलती, नाम की गलती और शब्द की गलती दिखे, उसे मार्क करें।

और देखें और पढ़ें

IndicTrans2 on GitHubAI4Bharat · reading

लैब

एक रूब्रिक के साथ दो समीक्षकों द्वारा स्कोर किए गए दस अनुवाद, एक सहमति जांच, और गलती के प्रकारों की एक सूची।

~40 min

समस्या

किसी ऐसे दोस्त के साथ काम करें जो अनुवाद वाली भाषा भी पढ़ना जानता हो।

  1. असल ज़िंदगी से अंग्रेज़ी के 10 वाक्य चुनें: किसी बैंक का SMS, ट्रेन का नोटिस, स्कूल का सर्कुलर, किसी दवा का लेबल (उस पर अमल न करें), खेती से जुड़ी सलाह। इनमें कम से कम 3 ऐसे रखें जिनमें संख्याएं या नाम हों।
  2. किसी ऐसी भारतीय भाषा में उनका मशीन ट्रांसलेशन करें जिसे आप दोनों अच्छी तरह पढ़ सकते हों।
  3. आप दोनों पाठ में दिए गए रूब्रिक का इस्तेमाल करके हर अनुवाद को पर्याप्तता, प्रवाह और शब्दावली के लिए 1 से 4 तक स्कोर दें। एक-दूसरे के स्कोर न देखें।
  4. अपने स्कोर को स्टार्टर कोड में डालें और उसे चलाएं।
  5. कोड द्वारा फ़्लैग किए गए हर आइटम पर चर्चा करें। गलती का प्रकार (अर्थ, नाम, संख्या, शब्द, टोन) और सुधरा हुआ अनुवाद लिखें।

प्रैक्टिस लैब

कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।

आउटपुट

कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपके दो रिव्यूअर fluency पर तो सहमत हैं लेकिन adequacy पर अक्सर असहमत होते हैं। इससे क्या संकेत मिलता है, और आप क्या करेंगे?दिखाएं

हो सकता है कि वे "meaning kept" को अलग तरह से समझते हों, उदाहरण के लिए कोई छोटी सी छूटी हुई जानकारी 3 है या 2। हर स्कोर के लिए उदाहरणों के साथ और साफ़ नियम लिखें, उनसे कुछ प्रैक्टिस आइटम पर एक साथ स्कोरिंग करवाएं, फिर नए आइटम पर दोबारा अलग-अलग स्कोर करने को कहें। अगर किसी एक रिव्यूअर को डोमेन की समझ नहीं है, तो एक glossary जोड़ें या किसी डोमेन एक्सपर्ट की मदद लें।

Q2एक नया ट्रांसलेशन मॉडल आपके टेस्ट सेट पर chrF तो बढ़ा देता है, लेकिन आपकी सपोर्ट टीम को ज़्यादा शिकायतें मिलने लगती हैं। आप यह कैसे पता लगा सकते हैं कि क्या हुआ?दिखाएं

शिकायतों को देखें और उनमें इस्तेमाल हुए वाक्यों को ढूंढें। जांचें कि क्या आपका टेस्ट सेट असली यूज़र टेक्स्ट जैसा दिखता है, क्या मॉडल ज़्यादा शब्द मैच करने के बावजूद अब नाम, नंबर या negation में गलतियां कर रहा है, और क्या टेस्ट सेट ट्रेनिंग में लीक हो गया था। उन समस्या वाले असली वाक्यों को अपने टेस्ट सेट में जोड़ें और बदलाव से पहले और बाद में उन पर human review करवाएं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मेरे ऐप के ट्रांसलेशन जांचने के लिए बैक-ट्रांसलेशन काफी है?

नहीं। यह अर्थ की बड़ी गलतियों को तुरंत पकड़ने का एक तरीका भर है। यह आपको यह नहीं बता सकता कि अनुवाद स्वाभाविक लग रहा है या नहीं, और वापस अनुवाद करते समय गलतियां छिप भी सकती हैं। किसी भी ज़रूरी काम के लिए, दो भाषाएं जानने वाले इंसानी समीक्षकों का इस्तेमाल करें।

मुझे कौन सा मेट्रिक रिपोर्ट करना चाहिए, BLEU या chrF?

कई टीमें एक से ज़्यादा मेट्रिक्स रिपोर्ट करती हैं, जिनकी गणना किसी स्टैंडर्ड टूल से की जाती है ताकि दूसरे भी तुलना कर सकें। जिन भाषाओं में शब्दों के कई रूप होते हैं, उनके लिए अक्सर chrF को प्राथमिकता दी जाती है। आप जो भी रिपोर्ट करें, कुछ सैंपल्स पर इंसानों द्वारा किया गया मूल्यांकन ज़रूर जोड़ें और बताएं कि आपने कौन सा टेस्ट सेट इस्तेमाल किया था।

क्या कोई LLM ट्रांसलेशन की क्वालिटी को परख सकता है?

यह बड़े पैमाने पर संभावित समस्याओं को चिह्नित करने में मदद कर सकता है, लेकिन यह गलत भी हो सकता है, खासकर उन भाषाओं में जिनका डेटा उसने कम देखा हो। उस पर भरोसा करने से पहले उसके फैसलों की तुलना दो भाषाएं जानने वाले इंसानी समीक्षकों से करें, और ज़रूरी टेक्स्ट के लिए इसे कभी भी एकमात्र जांच के तौर पर इस्तेमाल न करें।

बिना समीक्षा के कभी भी किसका मशीन ट्रांसलेशन नहीं करना चाहिए?

ऐसी कोई भी चीज़ जहां गलती से नुकसान हो सकता है: मेडिकल निर्देश, कानूनी नोटिस, सुरक्षा चेतावनियां, वित्तीय शर्तें और आधिकारिक फॉर्म। किसी योग्य व्यक्ति से इनकी समीक्षा ज़रूर कराएं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें