भारतीय भाषाओं के लिए AIमध्यमपाठ 2366 मिनट का पाठ

भारतीय भाषाओं के लिए डेटासेट्स और ओपन प्रोजेक्ट्स

आपको शून्य से शुरुआत करने की ज़रूरत नहीं है। AI4Bharat और Bhashini जैसे ओपन प्रोजेक्ट्स के बारे में जानें, पता करें कि डेटासेट्स कहाँ मिलेंगे, और यह भी कि आपको हमेशा लाइसेंस की जाँच क्यों करनी चाहिए।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

भारतीय भाषाओं के लिए डेटासेट्स और ओपन प्रोजेक्ट्स

आपको शून्य से शुरुआत करने की ज़रूरत नहीं है। AI4Bharat और Bhashini जैसे ओपन प्रोजेक्ट्स के बारे में जानें, पता करें कि डेटासेट्स कहाँ मिलेंगे, और यह भी कि आपको हमेशा लाइसेंस की…

1/4
आसान शब्दों में
अगर आप किसी बड़े त्योहार के लिए खाना बनाना चाहते हैं, तो आप हर सब्ज़ी खुद नहीं उगाते। आप बाज़ार जाते हैं। लेकिन आप यह जाँचते हैं कि हर चीज़ ताज़ा है या नहीं, और जो लेते हैं उसकी कीमत चुकाते हैं। ओपन डेटासेट्स उसी बाज़ार की तरह हैं: बहुत उपयोगी, लेकिन आप जो लेते हैं उसकी जाँच करनी चाहिए और उसके इस्तेमाल के नियमों का पालन करना चाहिए।
भारत में बहुत से लोगों ने भारतीय भाषाओं के लिए ओपन डेटा और मॉडल बनाने के लिए सालों तक काम किया है। उनके काम का इस्तेमाल करना और उसे बेहतर बनाना, फिर से शुरुआत करने से ज़्यादा तेज़ और बेहतर तरीका है। शुरुआत करने के लिए यहाँ कुछ जाने-माने नाम दिए गए हैं। जानकारियाँ बदलती रहती हैं, इसलिए हमेशा उनके मौजूदा पेजों को पढ़ें।

जानने लायक कुछ ओपन प्रोजेक्ट्स

प्रोजेक्टयह क्या हैआपको यहाँ क्या मिल सकता है
AI4BharatIIT Madras की एक रिसर्च पहल, जो भारतीय भाषाओं के लिए ओपन AI पर काम कर रही हैटेक्स्ट, अनुवाद, लिप्यंतरण (transliteration) और आवाज़ (speech) के लिए ओपन डेटासेट्स, मॉडल और टूल्स
IndicTrans2AI4Bharat का एक ओपन मशीन ट्रांसलेशन मॉडलअंग्रेज़ी और भारतीय भाषाओं के बीच, तथा भारतीय भाषाओं के आपस में अनुवाद। भाषाओं की सूची और लाइसेंस के लिए इसका मॉडल कार्ड देखें।
भाषिणी (Bhashini)भारत सरकार द्वारा संचालित, भारत का राष्ट्रीय भाषा अनुवाद मिशनभारतीय भाषाओं में ऐप्स बनाने के लिए भाषा सेवाएँ और संसाधन
Hugging Faceएक लोकप्रिय प्लेटफ़ॉर्म जो डेटासेट्स और मॉडल्स को होस्ट करता हैभारतीय भाषाओं के लिए कई कम्युनिटी और रिसर्च डेटासेट्स, उनके डेटासेट कार्ड्स के साथ
नोट
यह सूची पूरी नहीं है और न ही कोई रैंकिंग है। पूरे भारत में विश्वविद्यालय, सरकारी संस्थाएँ, कंपनियाँ और स्वयंसेवी समुदाय भी उपयोगी डेटा प्रकाशित करते हैं। अपनी भाषा और काम (task) के हिसाब से खोजें, और जो मिले उसे ध्यान से पढ़ें।

Hugging Face पर डेटासेट खोजना

huggingface.co पर, Datasets सेक्शन खोलें और भाषा व काम (task) के अनुसार फ़िल्टर करें। हर डेटासेट का एक डेटासेट कार्ड होना चाहिए: एक ऐसा पेज जो बताता है कि इसमें क्या है, यह कहाँ से आया, इसे कैसे इकट्ठा किया गया और इसका लाइसेंस क्या है। बिना कार्ड वाला डेटासेट एक खतरे का संकेत है।

इस्तेमाल करने से पहले पढ़ें: एक चेकलिस्ट

  1. लाइसेंस। क्या आप इसका कमर्शियल इस्तेमाल कर सकते हैं? क्या आपको इसका क्रेडिट देना होगा? क्या आपको किए गए बदलावों को उसी लाइसेंस के तहत शेयर करना होगा? कुछ डेटासेट्स सिर्फ रिसर्च के लिए होते हैं।
  2. सोर्स (स्रोत)। टेक्स्ट या ऑडियो कहाँ से आया? क्या इसे वेब से स्क्रैप किया गया था, अनुवाद किया गया था, या लोगों की सहमति से रिकॉर्ड किया गया था?
  3. सहमति और प्राइवेसी। क्या इसमें ऐसे लोगों का पर्सनल डेटा, नाम, फ़ोन नंबर या आवाज़ें हैं जिन्होंने इसके लिए सहमति नहीं दी थी?
  4. कवरेज। इसमें कौन सी बोलियाँ, क्षेत्र, जेंडर और उम्र के समूह शामिल हैं? कौन से छूट गए हैं?
  5. क्वालिटी। एक सैंपल खोलकर देखें। क्या लिपि सही है? क्या इसमें टूटे हुए अक्षर, मशीन से अनुवाद किए गए वाक्य या डुप्लिकेट्स तो नहीं हैं?
  6. टेस्ट डेटा का टकराव (ओवरलैप)। क्या इसका कोई भी हिस्सा उस टेस्ट सेट में भी मौजूद है जिसे आप इस्तेमाल करने की योजना बना रहे हैं? अगर हाँ, तो आपके स्कोर ज़रूरत से ज़्यादा अच्छे दिखेंगे।
सावधान रहें
"डाउनलोड करने के लिए मुफ़्त" का मतलब "किसी भी काम में इस्तेमाल करने के लिए मुफ़्त" नहीं होता। डेटासेट लाइसेंस एक कानूनी समझौता होता है। अगर कोई लाइसेंस साफ़ समझ न आए, तो उसके मालिकों से पूछें या कोई दूसरा डेटासेट चुनें। किसी असली प्रोडक्ट के लिए, किसी ऐसे व्यक्ति से बात करें जो लाइसेंसिंग कानून को समझता हो।

Python में डेटासेट की एक त्वरित झलक

Hugging Face का datasets पैकेज कई पब्लिक डेटासेट्स को लोड कर सकता है। नाम की जगह वह डेटासेट डालें जो आपको मिला है और जिसका लाइसेंस आपने जाँच लिया है। कुछ डेटासेट्स के लिए आपको पहले वेबसाइट पर शर्तों को स्वीकार करना पड़ता है।
Peek at a few rows before you trust a datasetpython
# pip install datasets
from datasets import load_dataset

NAME = "your-org/your-dataset"   # put the dataset you chose here
ds = load_dataset(NAME, split="train", streaming=True)   # streaming: no full download

for i, row in enumerate(ds):
    print(row)          # read real rows: script, quality, personal data?
    if i == 4:
        break
  1. 1

    सर्च करें

    अपनी भाषा और काम (task) के लिए दो या तीन संभावित डेटासेट्स खोजें।
  2. 2

    कार्ड पढ़ें

    लाइसेंस, सोर्स, सहमति, कवरेज।
  3. 3

    खुद देखकर सैंपल जाँचें

    कम से कम 50 पंक्तियाँ पढ़ें। उस भाषा के किसी मूल वक्ता (native speaker) से भी कुछ पंक्तियाँ पढ़ने को कहें।
  4. 4

    इसे रिकॉर्ड करें

    डेटासेट का नाम, वर्शन, लाइसेंस और डाउनलोड करने की तारीख लिख कर रखें।
  5. 5

    योगदान वापस दें

    मालिकों को गलतियों की जानकारी दें, उन्हें क्रेडिट दें, और यदि संभव हो तो सुधारों को शेयर करें।
इसे आज़माएँ। अपनी जानी-पहचानी भाषा के लिए एक डेटासेट खोजें। क्या आप इसके कार्ड से चेकलिस्ट के सभी छह सवालों के जवाब दे सकते हैं? उनमें से कौन से गायब थे?

और देखें और पढ़ें

AI4BharatIIT Madras · readingBhashiniGovernment of India · readingHugging Face datasetsHugging Face · reading

लैब

एक भारतीय भाषा और एक काम (task) के लिए दो डेटासेट्स का एक पेज का रिव्यू।

~30 min

समस्या

एक भाषा और एक काम चुनें (उदाहरण के लिए: मराठी में स्पीच रिकग्निशन, या अंग्रेज़ी और असमिया के बीच अनुवाद)।

  1. इसके लिए दो पब्लिक डेटासेट्स खोजें, उदाहरण के लिए Hugging Face पर या किसी ओपन प्रोजेक्ट से।
  2. प्रत्येक के लिए ये भरें: नाम, मालिक, लाइसेंस, क्या कमर्शियल इस्तेमाल की अनुमति है?, डेटा का सोर्स, क्या सहमति का ज़िक्र है?, शामिल की गई बोलियाँ या क्षेत्र, कार्ड पर दिया गया आकार।
  3. कम से कम 20 पंक्तियाँ पढ़ें या कम से कम 5 क्लिप सुनें। क्वालिटी से जुड़ी किसी भी समस्या को नोट करें।
  4. तय करें कि आप किसका इस्तेमाल करेंगे, किस काम के लिए करेंगे, और क्यों। यह भी बताएं कि इसमें क्या कमी है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक डेटासेट कार्ड कहता है कि टेक्स्ट "पब्लिक वेब से इकट्ठा किया गया" था। क्या इसका मतलब यह है कि इसका किसी भी चीज़ के लिए इस्तेमाल सुरक्षित है?दिखाएं

नहीं। पब्लिक होने का मतलब यह नहीं है कि वह कॉपीराइट से मुक्त है, और वेब टेक्स्ट में नाम और फ़ोन नंबर जैसा पर्सनल डेटा हो सकता है। आपको फिर भी लाइसेंस जाँचना होगा, प्राइवेसी के बारे में सोचना होगा, और पर्सनल डेटा को फ़िल्टर करने या हटाने पर विचार करना होगा।

Q2डेटासेट के वर्शन और डाउनलोड करने की तारीख का रिकॉर्ड क्यों रखें?दिखाएं

डेटासेट्स बदलते रहते हैं: पंक्तियों को सुधारा, हटाया या जोड़ा जाता है, और लाइसेंस भी बदल सकते हैं। वर्शन के बिना आप अपने नतीजों को दोबारा नहीं दोहरा सकते, यह नहीं समझा सकते कि आपके मॉडल ने किससे सीखा, या अगर कोई अपना डेटा हटाने के लिए कहता है तो उसका जवाब नहीं दे सकते।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मैं ऑनलाइन मिलने वाले किसी भी डेटासेट पर कमर्शियल मॉडल को ट्रेन कर सकता हूँ?

नहीं। हर डेटासेट का अपना लाइसेंस होता है और कुछ कमर्शियल इस्तेमाल की मनाही करते हैं। वेब टेक्स्ट में कॉपीराइट या पर्सनल सामग्री भी हो सकती है। लाइसेंस पढ़ें, रिकॉर्ड रखें, और ज़रूरी प्रोडक्ट्स के लिए किसी कानूनी विशेषज्ञ से सलाह लें।

मॉडल कार्ड या डेटासेट कार्ड क्या होता है?

एक छोटा दस्तावेज़ जो किसी मॉडल या डेटासेट के साथ आता है। यह बताता है कि यह किस काम के लिए है, इसे कैसे बनाया गया था, इसमें क्या शामिल है, इसकी सीमाएँ क्या हैं और इसका लाइसेंस क्या है। अच्छे कार्ड्स ईमानदारी से इस्तेमाल करना बहुत आसान बना देते हैं।

क्या मशीन से अनुवाद किया गया ट्रेनिंग डेटा कोई समस्या है?

यह समस्या हो सकता है। मशीन द्वारा अनुवाद किया गया टेक्स्ट अस्वाभाविक लग सकता है, अनुवादक की गलतियों को दोहरा सकता है और लोग असल में कैसे बात करते हैं, इसे छोड़ सकता है। यह फिर भी मदद कर सकता है, लेकिन इस पर साफ़ लेबल लगाएँ और इसे अपने एकमात्र टेस्ट डेटा के रूप में इस्तेमाल न करें।

मेरी भाषा में लगभग कोई डेटासेट नहीं है। अब क्या करें?

इस पर काम कर रहे कम्युनिटी ग्रुप्स, विश्वविद्यालयों और भाषा संस्थानों को खोजें। सहमति से बनाए गए छोटे और सटीक डेटासेट्स भी बहुत मूल्यवान होते हैं। इस ट्रैक का आखिरी पाठ बताता है कि नैतिक रूप से डेटा कैसे इकट्ठा किया जाए।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें