छोटे और ऑन-डिवाइस मॉडल्समध्यमपाठ 2265 मिनट का पाठ

छोटे मॉडल क्यों मायने रखते हैं

बड़े मॉडल प्रभावशाली होते हैं, लेकिन छोटे मॉडल सस्ते, ज़्यादा प्राइवेट, तेज़ और बिना इंटरनेट (ऑफ़लाइन) भी काम करने में सक्षम हो सकते हैं। इनके नफ़ा-नुकसान को समझें ताकि आप सही चुनाव कर सकें।

✦ ट्यूटर से पूछें🧪 लैब · 20 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

छोटे मॉडल क्यों मायने रखते हैं

बड़े मॉडल प्रभावशाली होते हैं, लेकिन छोटे मॉडल सस्ते, ज़्यादा प्राइवेट, तेज़ और बिना इंटरनेट (ऑफ़लाइन) भी काम करने में सक्षम हो सकते हैं। इनके नफ़ा-नुकसान को समझें ताकि आप सही…

1/5
आसान शब्दों में
नुक्कड़ की दुकान पर जाने के लिए आप बस नहीं, साइकिल लेते हैं। बस में ज़्यादा लोग बैठ सकते हैं, लेकिन साइकिल सस्ती है, हमेशा तैयार रहती है और वहां भी पहुंच जाती है जहां बस नहीं जा सकती। छोटे AI मॉडल साइकिल की तरह हैं: सबसे बड़े नहीं, लेकिन छोटी दूरी के लिए अक्सर बिल्कुल सही पसंद।
एक छोटे मॉडल में सबसे बड़े मॉडलों की तुलना में बहुत कम पैरामीटर (वे संख्याएं जो इसने ट्रेनिंग के दौरान सीखीं) होते हैं। इसकी कोई तय सीमा नहीं है। आम तौर पर इसका मतलब ऐसे मॉडल से होता है जो डेटा-सेंटर के चिप्स के बड़े क्लस्टर के बजाय एक आम GPU, लैपटॉप या फोन पर भी चल सके।
छोटे मॉडलों को आम तौर पर बड़े मॉडलों जितनी जानकारी नहीं होती और वे उतनी अच्छी तरह सोच-विचार नहीं कर पाते। लेकिन असल ज़िंदगी के कई कामों के लिए सबसे बड़े मॉडल की ज़रूरत नहीं होती। शिकायतों को छांटना, किसी फ़ॉर्म से जानकारी निकालना, कुछ दस्तावेज़ों के आधार पर जवाब देना या फ़ोटो पर टैग लगाना—ये सब काम अक्सर आपकी अपनी मशीन पर चलने वाले मॉडल से भी अच्छे से हो सकते हैं।

छोटे मॉडल चुनने के चार कारण

कारणइसका क्या मतलब हैभारतीय उदाहरण
लागतकिसी प्रोवाइडर को प्रति-टोकन बिल नहीं देना पड़ता। इसके बजाय आप सिर्फ अपने हार्डवेयर और बिजली का खर्च उठाते हैं।छात्रों का एक प्रोजेक्ट जिसे बहुत कम बजट में महीनों तक चलाना हो
प्राइवेसीडेटा आपके डिवाइस या आपके अपने सर्वर से बाहर नहीं जाता।एक क्लीनिक जो मरीजों की जानकारी किसी बाहरी सर्विस को नहीं भेज सकता
ऑफ़लाइन उपयोगबिना इंटरनेट, या कमज़ोर और महंगे कनेक्शन पर भी काम करता है।गांव में इस्तेमाल होने वाला खेती से जुड़ा ऐप, जहां मोबाइल इंटरनेट ठीक से नहीं आता
लेटेंसीनेटवर्क पर डेटा को आने-जाने की ज़रूरत नहीं होती, इसलिए छोटे जवाब तुरंत मिल जाते हैं।कीबोर्ड ऐप में तुरंत शब्द पूरा होना (ऑटोकम्पलीट)

आपको क्या छोड़ना पड़ता है

  • ज्ञान: छोटा मॉडल कम तथ्य याद रख पाता है, इसलिए वह मनगढ़ंत जवाब ज़्यादा दे सकता है। उसे सही दस्तावेज़ (RAG) देने से मदद मिलती है।
  • तर्कशक्ति (Reasoning): लंबी और कई चरणों वाली समस्याएं छोटे मॉडलों के लिए कठिन होती हैं।
  • भाषाएं: अंग्रेज़ी की तुलना में भारतीय भाषाओं में इसकी क्वालिटी ज़्यादा गिर सकती है। उन भाषाओं में टेस्ट करें जो आपके यूज़र्स असल में बोलते हैं।
  • आपका समय: अब मॉडल को चलाना, अपडेट करना और सुरक्षित रखना आपकी ज़िम्मेदारी है। इस मेहनत की भी अपनी एक लागत होती है।
गलत चुनाव
  • हर काम के लिए सबसे बड़ा मॉडल चुनना क्योंकि वह "सबसे अच्छा" है
  • बिना टेस्ट किए सिर्फ इसलिए बहुत छोटा मॉडल चुनना क्योंकि वह मुफ़्त है
  • मॉडलों की तुलना केवल पब्लिक लीडरबोर्ड पर देखकर करना
सही चुनाव
  • पहले काम, यूज़र्स, बजट और प्राइवेसी की ज़रूरतों को लिखकर तय करना
  • अपने 30 से 50 उदाहरणों पर दो या तीन अलग-अलग साइज़ के मॉडलों का टेस्ट करना
  • वह सबसे छोटा मॉडल चुनना जो आपके टेस्ट में पास हो जाए

फैसला लेने का आसान तरीका

  1. 1

    क्या डेटा डिवाइस से बाहर जा सकता है?

    अगर नहीं, तो आपको एक लोकल या सेल्फ़-होस्टेड मॉडल की ज़रूरत होगी।
  2. 2

    क्या इसका ऑफ़लाइन काम करना ज़रूरी है?

    अगर हां, तो मॉडल को डिवाइस पर ही चलना होगा।
  3. 3

    काम कितना मुश्किल है?

    सीमित और बार-बार दोहराए जाने वाले काम छोटे मॉडलों के लिए ठीक रहते हैं। खुली रिसर्च और पेचीदा सोच-विचार शायद इनके बस का न हो।
  4. 4

    कितना ट्रैफ़िक है?

    बहुत कम ट्रैफ़िक होने पर होस्ट की गई API अक्सर सस्ती पड़ती है। लगातार ज़्यादा ट्रैफ़िक हो, तो खुद होस्ट करना (लेसन 8) सस्ता पड़ सकता है।
  5. 5

    फैसला करने से पहले टेस्ट करें

    हर संभावित मॉडल पर अपने उदाहरण चलाकर देखें और उनकी तुलना करें।
नोट
छोटे मॉडल लगातार बेहतर हो रहे हैं। जिस काम के लिए एक या दो साल पहले बड़े मॉडल की ज़रूरत थी, वह आज छोटे मॉडल से भी हो सकता है। पुराने नतीजों पर निर्भर रहने के बजाय समय-समय पर दोबारा टेस्ट करते रहें।
सावधान रहें
"मेरे लैपटॉप पर चलता है" का मतलब यह नहीं कि यह "सुरक्षित" या "सही" ही होगा। एक लोकल मॉडल भी गलत या नुकसानदेह जवाब दे सकता है। आपको अभी भी टेस्टिंग की ज़रूरत है, और ज़रूरी फैसलों के लिए इंसानी निगरानी ज़रूरी है।
यह करके देखें। अपने फोन पर इस्तेमाल होने वाले किसी एक AI फ़ीचर के बारे में सोचें। क्या वह बिना सिग्नल वाली ट्रेन में भी काम करेगा? अगर नहीं, तो क्या डिवाइस पर चलने वाला एक छोटा मॉडल उस काम का कुछ हिस्सा कर सकता है?

और देखें और पढ़ें

Hugging Face: models, datasets and model cardsHugging Face · reading

लैब

एक पेज का फैसला नोट: किसी एक असली काम के लिए छोटा लोकल मॉडल या बड़ा होस्टेड मॉडल।

~20 min

समस्या

कोई एक काम चुनें जो आपके लिए काम का हो, उदाहरण के लिए: "किसी छोटी बेकरी के ग्राहकों के WhatsApp मैसेजों को ऑर्डर, शिकायत और सवाल में छांटना" या "मेरे कॉलेज के परीक्षा नियमों से जुड़े सवालों के जवाब देना"।

  1. काम को दो लाइनों में लिखें: इनपुट, आउटपुट, और इसका इस्तेमाल कौन करता है।
  2. चार सवालों के जवाब दें: क्या डेटा डिवाइस से बाहर जा सकता है? क्या इसका ऑफ़लाइन काम करना ज़रूरी है? काम कितना मुश्किल है? हर दिन कितनी रिक्वेस्ट आएंगी?
  3. दो कॉलम वाली एक टेबल बनाएं, छोटा लोकल मॉडल और बड़ा होस्टेड मॉडल, और इसमें लागत, प्राइवेसी, ऑफ़लाइन इस्तेमाल, लेटेंसी, क्वालिटी और आपकी अपनी मेहनत के लिए पंक्तियां रखें।
  4. अपनी पसंद को एक वाक्य में लिखें, और एक ऐसी चीज़ बताएं जिसे आप भरोसा करने से पहले टेस्ट करेंगे।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक छोटा मॉडल आपके 100 टेस्ट उदाहरणों में से 90 सही करता है, और एक बड़ा होस्टेड मॉडल 96 सही करता है। छोटा मॉडल कब फिर भी एक बेहतर पसंद हो सकता है?दिखाएं

जब उसकी गलतियों को पकड़ना या सुधारना आसान और सस्ता हो, उदाहरण के लिए क्योंकि कोई इंसान वैसे भी हर आउटपुट की जांच करता है, और जब प्राइवेसी, ऑफ़लाइन इस्तेमाल या लागत बहुत मायने रखती हो। यह देखना भी उपयोगी है कि प्रत्येक मॉडल किन उदाहरणों में विफल होता है: अगर छोटा मॉडल केवल दुर्लभ मामलों में ही विफल होता है, तो आप सिर्फ उन मामलों को किसी इंसान या बड़े मॉडल के पास भेज सकते हैं।

Q2"वह सबसे छोटा मॉडल जो आपके टेस्ट में पास हो जाए" यह नियम "वह सबसे अच्छा मॉडल जिसका आप खर्च उठा सकते हैं" से बेहतर क्यों है?दिखाएं

छोटा मॉडल आम तौर पर सस्ता, तेज़ और चलाने व अपडेट करने में आसान होता है, और यह ज़्यादा डिवाइसों में समा सकता है। अगर यह पहले से ही आपकी क्वालिटी की ज़रूरतों को पूरा करता है, तो बड़े मॉडल की अतिरिक्त क्वालिटी शायद यूज़र्स के किसी काम न आए, जबकि उसकी अतिरिक्त लागत और पेचीदगी आपको झेलनी पड़ेगी। यह नियम आपको पहले टेस्ट तैयार करने पर भी मजबूर करता है, जो कि वैसे भी सबसे उपयोगी कदम है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या छोटा मॉडल हमेशा बड़े मॉडल से खराब होता है?

बड़े और मुश्किल कामों में, आम तौर पर हां। लेकिन किसी एक सीमित काम के लिए, जिसके लिए उसे टेस्ट या फ़ाइन-ट्यून किया गया हो, एक छोटा मॉडल काफी अच्छा हो सकता है—और कभी-कभी बहुत बड़े आम मॉडल जितना ही अच्छा हो सकता है। यह बात आपको केवल खुद टेस्ट करके ही पता चल सकती है।

"छोटा" कितना छोटा होता है?

इसकी कोई तय संख्या नहीं है। यह आपके हार्डवेयर पर निर्भर करता है। एक काम का नियम: अगर यह आपके पास मौजूद डिवाइस या मशीन पर ऐसी स्पीड से चल जाता है जो आपके यूज़र्स को मंज़ूर हो, तो यह काफी छोटा है।

क्या लोकल AI अपने आप प्राइवेट होता है?

मॉडल खुद आपका डेटा कहीं नहीं भेजता, लेकिन उसके आसपास का ऐप ऐसा कर सकता है—जैसे लॉग्स, एनालिटिक्स या क्रैश रिपोर्ट के ज़रिए। सिर्फ मॉडल ही नहीं, पूरे ऐप की जांच करें।

क्या शुरुआती लोगों को छोटे मॉडलों से शुरुआत करनी चाहिए?

सीखने के लिए ये बहुत बढ़िया हैं, क्योंकि आप हर चीज़ को देख और नियंत्रित कर सकते हैं। किसी असली प्रोडक्ट के लिए, शुरुआत किसी पसंदीदा मॉडल से नहीं, बल्कि इस सवाल से करें कि "काम की ज़रूरत क्या है?"।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें