AI के लिए भारतीय भाषाएं कठिन क्यों हैं
भारत में 22 अनुसूचित भाषाएं हैं और कुल मिलाकर सैकड़ों भाषाएं और बोलियां हैं। यहाँ बताया गया है कि AI अक्सर इनमें कम अच्छी तरह से काम क्यों करता है, और इसे बनाने वाले क्या कर सकते हैं।
60 सेकंड में
AI के लिए भारतीय भाषाएं कठिन क्यों हैं
भारत में 22 अनुसूचित भाषाएं हैं और कुल मिलाकर सैकड़ों भाषाएं और बोलियां हैं। यहाँ बताया गया है कि AI अक्सर इनमें कम अच्छी तरह से काम क्यों करता है, और इसे बनाने वाले क्या कर सकते…
छह कारण जिनकी वजह से AI के लिए यह मुश्किल होता है
| कारण | इसका क्या मतलब है | रोज़मर्रा का एक उदाहरण |
|---|---|---|
| कम डिजिटल टेक्स्ट | कई भाषाओं के लिए अंग्रेज़ी की तुलना में ऑनलाइन बहुत कम साफ-सुथरा टेक्स्ट मौजूद है। कुछ के लिए तो बहुत ही कम है। | हो सकता है कोई मॉडल हिंदी या तमिल में अच्छी समाचार भाषा लिख ले, लेकिन पूर्वोत्तर की किसी छोटी भाषा या जनजातीय भाषा में अटक जाए। |
| कई लिपियां | भारतीय भाषाएं कई लेखन प्रणालियों का उपयोग करती हैं: देवनागरी, बंगाली-असमिया, गुरमुखी, गुजराती, ओडिया, तमिल, तेलुगु, कन्नड़, मलयालम, फारसी-अरबी, ओल चिकी, मैतेई मयेक और भी बहुत कुछ। | एक ही भाषा एक से अधिक लिपियों में लिखी जा सकती है। कोंकणी और संथाली इसके उदाहरण हैं। |
| बोलियां | एक भाषा के नाम में बोलने के कई क्षेत्रीय तरीके शामिल हो सकते हैं, जिनमें अलग-अलग शब्द और उच्चारण होते हैं। | औपचारिक लिखित मराठी पर ट्रेन किया गया मॉडल उन शब्दों को छोड़ सकता है जो कोई किसान रोज़मर्रा की बातचीत में इस्तेमाल करता है। |
| कोड-मिक्सिंग | लोग एक ही वाक्य में भाषाएं मिलाते हैं। | "Kal meeting cancel ho gayi, reschedule kar do." |
| ट्रांसलिट्रेशन | लोग अक्सर बिना किसी तय स्पेलिंग के, अपनी भाषा को रोमन अक्षरों में टाइप करते हैं। | "nahi", "nahin" और "nai" सभी का एक ही अर्थ हो सकता है। |
| बोलकर इस्तेमाल करने वाले यूज़र्स | कई लोग टाइप करने के बजाय बोलना पसंद करते हैं, खासकर फोन पर और पहली बार इंटरनेट इस्तेमाल करने वाले लोग। | एक किसान टाइप करने के बजाय फसलों के भाव पूछने के लिए वॉयस नोट भेजता है। |
यूज़र्स के लिए क्या गड़बड़ होती है
- सही लिपि में जवाब मिलना लेकिन गलत शैली में: बहुत औपचारिक, बहुत किताबी, या अजीब शब्दों से भरा हुआ।
- जगहों, लोगों, फसलों और सरकारी योजनाओं के गलत नाम।
- संख्याओं, तारीखों और पैसों की रकम को गलत पढ़ना या लिखना।
- ऐसी स्पीच रिकग्निशन जो स्टूडियो की आवाज़ पर तो काम करती है, लेकिन अलग लहजे (एक्सेंट), पीछे के शोर या कोड-मिक्सिंग में फेल हो जाती है।
- ज़्यादा लागत और धीमे जवाब, क्योंकि भारतीय भाषाओं का टेक्स्ट अक्सर ज़्यादा टोकन लेता है (अगला पाठ)।
बनाने वाले क्या कर सकते हैं
- 1
यूज़र्स से शुरुआत करें
पता लगाएं कि आपके यूज़र्स असल में कौन सी भाषा, लिपि और शैली का इस्तेमाल करते हैं। उनसे पूछें; उन्हें टाइप करते और बोलते हुए देखें। - 2
उसी भाषा में टेस्ट करें
असली वाक्यों का एक छोटा टेस्ट सेट बनाएं, न कि केवल अंग्रेज़ी से अनुवाद किए गए उदाहरण। - 3
ओपन वर्क का उपयोग करें
भारतीय भाषाओं के लिए बने ओपन डेटासेट और मॉडल्स से शुरुआत करें, और उनके लाइसेंस की जांच करें। - 4
ईमानदारी से मापें
केवल एक औसत संख्या देने के बजाय, हर भाषा और हर बोली के अनुसार क्वालिटी रिपोर्ट करें। - 5
बोलने वालों को शामिल करें
आउटपुट की समीक्षा करने और सहमति से डेटा जुटाने में मदद के लिए उस भाषा के मूल बोलने वालों को भुगतान करें।
- केवल अंग्रेज़ी में टेस्ट करना और उम्मीद करना कि यह दूसरी भाषाओं में भी काम करेगा
- किसी एक "मानक" रूप को ही बोलने का एकमात्र सही तरीका मानना
- सभी भाषाओं में केवल एक औसत स्कोर रिपोर्ट करना
- प्रत्येक भाषा में असली यूज़र्स के असली वाक्यों के साथ टेस्ट करना
- उन लिपियों, बोलियों और मिली-जुली भाषाओं को सपोर्ट करना जिनका लोग वास्तव में उपयोग करते हैं
- प्रत्येक भाषा के अनुसार परिणाम रिपोर्ट करना, और सबसे कमजोर को पहले ठीक करना
और देखें और पढ़ें
लैब
एक छोटा तुलनात्मक अध्ययन कि कैसे एक चैटबॉट एक सवाल को भाषा के तीन रूपों में संभालता है।
समस्या
अंग्रेज़ी के अलावा कोई एक भाषा चुनें जिसे आप अच्छी तरह बोलते हैं।
- पाँच आसान, रोज़मर्रा के सवाल लिखें (उदाहरण के लिए ट्रेन के समय, फसलों के भाव या स्कूल के फॉर्म के बारे में)।
- प्रत्येक को तीन तरीकों से लिखें: अंग्रेज़ी में, अपनी भाषा की अपनी लिपि में, और अपनी भाषा को रोमन अक्षरों में टाइप करके।
- एक फ्री चैटबॉट से सभी पंद्रह सवाल पूछें। कोई भी व्यक्तिगत डेटा साझा न करें।
- प्रत्येक जवाब के लिए मार्क करें: सही अर्थ (हाँ / आंशिक रूप से / नहीं), स्वाभाविक भाषा (हाँ / आंशिक रूप से / नहीं), सही लिपि (हाँ / नहीं)।
- तीन वाक्य लिखें: इसने कहाँ सबसे खराब प्रदर्शन किया, और ऐसा क्यों हुआ इसका एक अंदाज़ा।
आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1आपकी भाषा में एक सार्वजनिक बेंचमार्क पर मॉडल अच्छा स्कोर करता है, लेकिन आपके यूज़र्स शिकायत करते हैं। दोनों बातें सच कैसे हो सकती हैं?दिखाएं
हो सकता है कि बेंचमार्क औपचारिक लिखित टेक्स्ट का उपयोग करता हो, जो अक्सर अंग्रेज़ी से अनुवादित होता है, जबकि आपके यूज़र्स किसी बोली में लिखते हैं, भाषाएं मिलाते हैं, या रोमन अक्षरों में टाइप करते हैं। यह भी हो सकता है कि बेंचमार्क ट्रेनिंग डेटा में लीक हो गया हो। एक स्कोर आपको केवल टेस्ट टेक्स्ट जैसे टेक्स्ट के बारे में बताता है। अपने यूज़र्स के असली इनपुट से एक टेस्ट सेट बनाएं।
Q2"हर चीज़ का बस अंग्रेज़ी में अनुवाद करें, मॉडल चलाएं, और वापस अनुवाद करें" जोखिम भरा क्यों है?दिखाएं
अनुवाद के हर चरण में अर्थ खो सकता है या बदल सकता है, विशेष रूप से नाम, संख्याएं, स्थानीय शब्द और लहज़ा। दोनों चरणों की गलतियाँ जुड़ती जाती हैं, और इसमें समय और पैसा दोगुना लगता है। यह एक उपयोगी बेसलाइन हो सकता है, लेकिन आपको एक असली टेस्ट सेट पर भाषा के सीधे उपयोग के साथ इसकी तुलना करनी चाहिए।
अक्सर पूछे जाने वाले सवाल
क्या कुछ भारतीय भाषाएं दूसरों की तुलना में "कठिन" हैं?
भाषा के रूप में नहीं। हर भाषा अपने तरीके से जटिल होती है। फर्क सिर्फ इस बात का है कि हर भाषा के लिए कितना डिजिटल टेक्स्ट, ऑडियो और टूल्स मौजूद हैं। यह संसाधनों और इतिहास का मामला है, जिसे बदलने में बनाने वाले मदद कर सकते हैं।
"लो-रिसोर्स भाषा" का क्या मतलब है?
यह एक तकनीकी शब्द है जिसका इस्तेमाल उस भाषा के लिए किया जाता है जिसके पास AI को ट्रेन करने के लिए बहुत कम डेटा उपलब्ध है: बहुत कम डिजिटाइज़ की गई किताबें, कम वेब टेक्स्ट, कम ट्रांसक्राइब की गई रिकॉर्डिंग्स। यह भाषा के महत्व या उसके बोलने वालों की संख्या के बारे में कुछ नहीं कहता।
अगर कोई मॉडल पहले से ही हिंदी बोलता है, तो कुछ अलग से बनाने की क्या ज़रूरत है?
क्योंकि आपके यूज़र्स कोई दूसरी भाषा, बोली या मिली-जुली भाषा बोल सकते हैं, और रोमन अक्षरों में टाइप कर सकते हैं या वॉयस नोट भेज सकते हैं। सामान्य मॉडल एक अच्छी शुरुआत हो सकते हैं, लेकिन फिर भी आपको अपने यूज़र्स के असली इनपुट के साथ उन्हें टेस्ट करना होगा और जहाँ गड़बड़ी हो उसे ठीक करना होगा।
एक छात्र के रूप में मैं कहाँ से शुरुआत करूँ?
कोई एक भाषा चुनें जिसे आप अच्छी तरह जानते हैं। असली वाक्यों का एक छोटा, ईमानदार टेस्ट सेट बनाएं। उस पर ओपन मॉडल्स आज़माएं और लिखें कि वे कहाँ फेल होते हैं। यह छोटा सा अध्ययन एक उपयोगी काम है और आपके पोर्टफोलियो के लिए एक बेहतरीन प्रोजेक्ट है।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।