मल्टीमॉडल (Multimodal) का क्या मतलब है
टेक्स्ट जानकारी रखने का सिर्फ एक तरीका है। जानें कि कैसे इमेज, ऑडियो और वीडियो को टोकन और एम्बेडिंग में बदला जाता है, ताकि एक ही मॉडल इन सभी के साथ काम कर सके।
60 सेकंड में
मल्टीमॉडल (Multimodal) का क्या मतलब है
टेक्स्ट जानकारी रखने का सिर्फ एक तरीका है। जानें कि कैसे इमेज, ऑडियो और वीडियो को टोकन और एम्बेडिंग में बदला जाता है, ताकि एक ही मॉडल इन सभी के साथ काम कर सके।
हर चीज़ संख्या बन जाती है
| मोडैलिटी | कच्चा डेटा (raw data) क्या है | इसे अक्सर टुकड़ों में कैसे काटा जाता है | फिर |
|---|---|---|---|
| टेक्स्ट | अक्षर और शब्द | टोकन: शब्द या शब्दों के हिस्से | हर टोकन एक एम्बेडिंग बन जाता है |
| इमेज | पिक्सेल का एक ग्रिड, जिनमें से प्रत्येक में लाल, हरे और नीले रंग की वैल्यू होती हैं | छोटे चौकोर पैच (patches), उदाहरण के लिए 16 गुणा 16 पिक्सेल | हर पैच एक एम्बेडिंग बन जाता है |
| ऑडियो | एक तरंग (वेव): हर सेकंड लाउडनेस की हज़ारों वैल्यू | समय के छोटे टुकड़े, जिन्हें अक्सर समय के साथ पिच की तस्वीर (एक स्पेक्ट्रोग्राम) में बदल दिया जाता है | हर टुकड़ा एक एम्बेडिंग बन जाता है |
| वीडियो | हर सेकंड कई इमेज, अक्सर आवाज़ के साथ | स्पेस और समय के पैच, या कुछ चुनिंदा फ्रेम | हर टुकड़ा एक एम्बेडिंग बन जाता है |
एन्कोडर: मॉडल की भाषा में अनुवाद करने वाले
- 1
कच्चा इनपुट (Raw input)
रेलवे टिकट की एक फोटो, साथ में सवाल "कौन सा प्लेटफॉर्म?" - 2
बांटना (Split)
फोटो को पैच में काटा जाता है। सवाल को टेक्स्ट टोकन में काटा जाता है। - 3
एन्कोड करना (Encode)
एक इमेज एन्कोडर पैच को एम्बेडिंग में बदलता है। टेक्स्ट टोकन को अपनी एम्बेडिंग मिलती हैं। - 4
मिलाना (Mix)
एम्बेडिंग के दोनों सेट एक ही सीक्वेंस में जाते हैं। अटेंशन (Attention) टेक्स्ट टोकन को इमेज पैच को "देखने" देता है। - 5
जवाब (Answer)
मॉडल जवाब को टेक्स्ट के रूप में लिखता है, एक बार में एक टोकन।
अर्थ का एक साझा स्थान (shared space)
- मॉडल फोटो को बिल्कुल वैसे "देखता" है जैसे आप देखते हैं
- ऑडियो को पहले हमेशा टेक्स्ट में बदला जाता है
- ज़्यादा मोडैलिटी का मतलब है कि मॉडल ज़्यादा स्मार्ट है
- मॉडल को छोटे पैच के लिए संख्याएं मिलती हैं और वह उनके बीच पैटर्न सीखता है
- कुछ सिस्टम पहले ट्रांसक्राइब करते हैं; दूसरे सीधे आवाज़ पर काम करते हैं
- हर मोडैलिटी में गड़बड़ होने के नए तरीके जुड़ जाते हैं, और उसकी अपनी टेस्टिंग की ज़रूरत होती है
यह आपके लिए क्यों ज़रूरी है
- लागत: इमेज और ऑडियो आमतौर पर कई टोकन बन जाते हैं। एक अकेली फोटो की लागत एक लंबे पैराग्राफ से ज़्यादा हो सकती है। अपने प्रोवाइडर के मौजूदा दस्तावेज़ देखें।
- गलतियां: हर कदम, जैसे कि इमेज को छोटा करना, बारीक जानकारी खो सकता है। हो सकता है कि दवा की पट्टी पर लिखा छोटा प्रिंट बचे ही न।
- प्राइवेसी: एक फोटो में आपकी सोच से कहीं ज़्यादा चीज़ें हो सकती हैं: चेहरे, पते, नंबर प्लेट, और छिपे हुए लोकेशन डेटा।
और देखें और पढ़ें
लैब
एक हाथ से बनाया गया मैप कि कैसे एक असली मैसेज ऐसे टुकड़ों में बदल जाता है जिन्हें एक मॉडल पढ़ सकता है।
समस्या
एक ऐसा रोज़मर्रा का मैसेज चुनें जिसमें कई मोड मिले हों, उदाहरण के लिए फसल की पत्ती की फोटो वाला एक WhatsApp मैसेज और आपकी भाषा में एक वॉयस नोट जिसमें पूछा गया हो "मेरे पौधे को क्या हुआ है?"
- मैसेज में मौजूद हर मोडैलिटी की लिस्ट बनाएं।
- प्रत्येक के लिए लिखें कि उसे संभवतः टुकड़ों (टोकन, पैच, समय के टुकड़े) में कैसे काटा जाएगा और आपका अंदाज़ा क्या है कि लगभग कितने टुकड़े होंगे। अपनी संख्याओं को अंदाज़े के रूप में लेबल करें।
- प्रत्येक के लिए एक ऐसी डिटेल लिखें जो रास्ते में खो सकती है (उदाहरण के लिए, इमेज छोटी होने के बाद पत्ती पर एक छोटा सा धब्बा)।
- कच्चे इनपुट से लेकर जवाब तक, इस पाठ में दिखाए गए फ्लो जैसा एक आसान फ्लो बनाएं।
आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1अगर इमेज और टेक्स्ट आखिरकार एक ही सीक्वेंस में एम्बेडिंग बन जाते हैं, तो विज़न मॉडल अभी भी ऐसी गलतियां क्यों करते हैं जो एक टेक्स्ट मॉडल नहीं करेगा?दिखाएं
क्योंकि यह बदलाव नुकसान वाला (lossy) होता है और सीखा हुआ होता है। इमेज छोटी की जा सकती है, पैच छोटी डिटेल्स को काट सकते हैं, और एन्कोडर को यह पकड़ने के लिए ट्रेन किया गया था कि कैप्शन में आमतौर पर क्या बताया जाता है, न कि तस्वीर के हर तथ्य को। फिर लैंग्वेज मॉडल इस सारांश पर विचार करता है। अगर कोई डिटेल एम्बेडिंग में पहुँची ही नहीं, तो कितना भी विचार करने पर उसे वापस नहीं पाया जा सकता।
Q2कई भारतीय भाषाओं के लिए अच्छे मल्टीमॉडल मॉडल को ट्रेन करना मुश्किल क्यों है?दिखाएं
अर्थ की बराबरी को जोड़े वाले डेटा (paired data) से सीखा जाता है, जैसे कैप्शन वाली इमेज या ट्रांसक्रिप्ट वाली स्पीच। अंग्रेज़ी की तुलना में कई भारतीय भाषाओं के लिए ऐसा जोड़े वाला डेटा बहुत कम है। इसलिए हो सकता है कि कोई मॉडल अंग्रेज़ी में पूछे जाने पर किसी फोटो को अच्छी तरह समझ जाए और ओडिया या संथाली में पूछे जाने पर कम अच्छी तरह समझे। सहमति के साथ ऐसा डेटा इकट्ठा करने वाले ओपन प्रोजेक्ट इस अंतर को पाटने में मदद करते हैं।
अक्सर पूछे जाने वाले सवाल
क्या मल्टीमॉडल मॉडल एक ही मॉडल होता है या कई मॉडल आपस में जुड़े होते हैं?
यह दोनों में से कुछ भी हो सकता है। कई सिस्टम एक अलग इमेज या ऑडियो एन्कोडर को लैंग्वेज मॉडल से जोड़ते हैं। दूसरों को शुरुआत से ही एक मॉडल के रूप में ट्रेन किया जाता है। बाहर से, वे एक जैसे दिख सकते हैं; डिज़ाइन से लागत, स्पीड और उनके द्वारा की जाने वाली गलतियों के प्रकार पर फर्क पड़ता है।
क्या मॉडल पूरी इमेज को पूरी डिटेल में देखता है?
अक्सर नहीं। कई सिस्टम पहले इमेज का साइज़ बदलते हैं (रीसाइज़ करते हैं), इसलिए बहुत छोटा टेक्स्ट या दूर की चीज़ें खो सकती हैं। कुछ सिस्टम डिटेल बनाए रखने के लिए बड़ी इमेज को टाइल्स में बांटते हैं। अगर डिटेल ज़रूरी है, तो भेजने से पहले ज़रूरी हिस्से को क्रॉप कर लें।
एम्बेडिंग क्या होती है, फिर से बताएं?
संख्याओं की एक लिस्ट जो डेटा के एक टुकड़े को दर्शाती है। एक जैसे अर्थ वाले टुकड़ों को एक जैसी लिस्ट मिलती हैं। आप हर एम्बेडिंग को एक बहुत बड़े मैप पर एक बिंदु के रूप में सोच सकते हैं, जहाँ एक जैसी चीज़ें एक-दूसरे के करीब होती हैं।
क्या एक मॉडल इमेज बना भी सकता है, सिर्फ पढ़ने के अलावा?
कुछ कर सकते हैं। किसी मोडैलिटी को पढ़ना और उसे बनाना अलग-अलग क्षमताएं हैं। आगे के पाठों में बताया गया है कि इमेज, वीडियो और आवाज़ कैसे जनरेट किए जाते हैं, और वे मॉडल कैसे काम करते हैं जो इनमें से कई काम एक साथ करते हैं।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।