विज़न-लैंग्वेज मॉडल कैसे "देखते" हैं
इमेज पैच, एक विज़न एन्कोडर, और तस्वीरों व शब्दों की CLIP-स्टाइल मैचिंग। साथ ही गिनती करने, छोटे अक्षरों को पढ़ने और दाएँ-बाएँ को समझने में इन मॉडलों से अक्सर होने वाली गलतियाँ।
60 सेकंड में
विज़न-लैंग्वेज मॉडल कैसे "देखते" हैं
इमेज पैच, एक विज़न एन्कोडर, और तस्वीरों व शब्दों की CLIP-स्टाइल मैचिंग। साथ ही गिनती करने, छोटे अक्षरों को पढ़ने और दाएँ-बाएँ को समझने में इन मॉडलों से अक्सर होने वाली गलतियाँ।
पहला कदम: पैच और विज़न एन्कोडर
दूसरा कदम: तस्वीरों और शब्दों की CLIP-स्टाइल मैचिंग
- 1
एक बैच लें
कई सारी इमेज, हर एक के अपने कैप्शन के साथ। - 2
दोनों को एन्कोड करें
हर इमेज और हर कैप्शन एक एम्बेडिंग बन जाता है। - 3
सभी जोड़ों की तुलना करें
नापें कि हर इमेज हर कैप्शन से कितनी मिलती-जुलती (करीब) है। - 4
खींचना और धकेलना
सही मैचिंग वाले जोड़ों को करीब खींचें। गलत जोड़ों को एक-दूसरे से दूर धकेलें। - 5
दोहराएं
काफी सारे उदाहरणों के बाद, एक जैसे मतलब वाली तस्वीरें और शब्द एक-दूसरे के करीब आ जाते हैं।
तीसरा कदम: एन्कोडर को लैंग्वेज मॉडल से जोड़ना
इनसे अक्सर क्या गलतियाँ होती हैं
| कमज़ोरी | उदाहरण | ऐसा क्यों होता है |
|---|---|---|
| गिनती करना | "इस बस की छत पर कितने लोग हैं?" इसका जवाब पूरे आत्मविश्वास के साथ गलत संख्या में मिलता है | पैच में चीज़ें आपस में धुंधली होकर मिल जाती हैं; ट्रेनिंग वाले कैप्शन में कभी-कभार ही सटीक गिनती लिखी होती है |
| छोटा या घना टेक्स्ट | दवा का बैच नंबर या किसी भीड़भाड़ वाली दुकान के बोर्ड पर लिखी कीमत गलत पढ़ लेता है | साइज़ बदलने पर बारीक डिटेल्स खो जाती हैं; टेक्स्ट दो पैचों के किनारों के बीच बंट सकता है |
| स्पेशियल रीज़निंग (दाएँ-बाएँ समझना) | जब कप प्लेट के दाईं ओर होता है, तब भी यह कह सकता है कि वह बाईं ओर है | कैप्शन में शायद ही कभी सटीक जगहों का ज़िक्र होता है, इसलिए यह खूबी मॉडल ठीक से नहीं सीख पाता |
| दुर्लभ या गैर-मामूली चीज़ें | किसी स्थानीय त्योहार या इलाके के किसी खास पकवान का नाम गलत बता देता है | ट्रेनिंग के लिए उनका डेटा बहुत कम होता है |
| मनगढ़ंत डिटेल्स (Hallucinations) | ऐसी घड़ी का वर्णन कर देता है जो फोटो में है ही नहीं, क्योंकि आमतौर पर रसोई में घड़ी होती है | मॉडल यह देखता है कि आम तौर पर क्या होना चाहिए, न कि वास्तव में वहाँ क्या मौजूद है |
- पूरे पन्ने की धुंधली फोटो देकर पूछना: "इस पर क्या लिखा है?"
- 40 चीज़ों की गिनती पर आँख मूँदकर भरोसा करना
- फोटो में किसी अनजान व्यक्ति की पहचान करने के लिए कहना
- अच्छी रोशनी में फोटो लें, सिर्फ ज़रूरत वाले हिस्से को क्रॉप करें, फिर पूछें
- उससे चीज़ों की एक-एक करके लिस्ट बनाने को कहें, फिर खुद गिनें
- सिर्फ फोटो में क्या है यह पूछें, लोगों की पहचान करने के लिए कभी न कहें
और देखें और पढ़ें
लैब
एक छोटी सी एरर रिपोर्ट जो दिखाए कि आपकी अपनी तस्वीरों पर विज़न-लैंग्वेज मॉडल कहाँ सही था और कहाँ गलत।
समस्या
कोई भी मुफ़्त चैटबॉट इस्तेमाल करें जो इमेज इनपुट लेता हो। सिर्फ अपनी खींची हुई तस्वीरों का इस्तेमाल करें, जिनमें किसी का चेहरा या प्राइवेट दस्तावेज़ न हों।
- पाँच तस्वीरें लें: (a) 10 से 25 एक जैसी चीज़ों का समूह, जैसे सिक्के या पेन; (b) छोटे अक्षरों वाला कोई लेबल, जैसे खाने के पैकेट पर लिखा विवरण; (c) मेज़ पर एक लाइन में रखी तीन चीज़ें; (d) किसी व्यस्त सड़क या बाज़ार का दृश्य; (e) कोई स्थानीय और कम पहचानी जाने वाली चीज़, जैसे कोई क्षेत्रीय स्नैक या औज़ार।
- हर एक के लिए एक सटीक सवाल पूछें: कुल गिनती; किसी छोटी सी लाइन का सटीक टेक्स्ट; "सबसे बाईं ओर कौन सी चीज़ है?"; "इस दृश्य का वर्णन करें"; "इसे क्या कहते हैं?"।
- मॉडल का जवाब और असली सच्चाई लिख लें। हर एक को सही, आधा सही या गलत के रूप में मार्क करें।
- हर गलत जवाब के लिए एक उपाय आज़माएँ: इमेज को क्रॉप करें, बेहतर रोशनी में फोटो लें, या उससे चीज़ों की एक-एक करके लिस्ट बनाने को कहें। नोट करें कि क्या इससे कोई मदद मिली।
आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1आप ग्राहकों द्वारा भेजी गई बिजली मीटर की तस्वीरों को पढ़ने के लिए VLM का इस्तेमाल करना चाहते हैं। आप इसे भरोसेमंद कैसे बनाएंगे?दिखाएं
सिर्फ एक रीडिंग पर भरोसा न करें। ग्राहकों से कहें कि वे मीटर के नंबरों की पास से और अच्छी रोशनी में साफ फोटो भेजें। मॉडल से कहें कि वह एक तय फॉर्मेट में ही रीडिंग दे, और फिर कोड के ज़रिए उसे चेक करें: क्या अंकों की संख्या सही है, क्या यह पिछले महीने से कम तो नहीं है, क्या यह ज़रूरत से बहुत ज़्यादा तो नहीं बढ़ गई है। शक वाले मामलों को किसी इंसान के पास जाँच के लिए भेजें। इसे लॉन्च करने से पहले, पहले से मालूम रीडिंग वाली असली तस्वीरों के एक टेस्ट सेट पर इसकी सटीकता को मापें, और लॉन्च के बाद भी लगातार जाँच करते रहें।
Q2CLIP-स्टाइल मैचिंग में सामाजिक पूर्वाग्रह (bias) क्यों आ सकता है?दिखाएं
यह इंटरनेट पर लोगों द्वारा लिखे गए कैप्शन से सीखता है। अगर वे कैप्शन कुछ खास नौकरियों, कपड़ों या त्वचा के रंगों को कुछ खास शब्दों के साथ ज़्यादा बार जोड़ते हैं, तो एम्बेडिंग्स भी वही संबंध सीख लेती हैं। इसके बाद मॉडल रूढ़िवादिता (stereotypes) के आधार पर किसी व्यक्ति की फोटो को किसी कैप्शन से मैच कर सकता है। संतुलित उदाहरणों के साथ टेस्टिंग करना और लोगों को जज करने के लिए ऐसे मॉडलों का इस्तेमाल न करना बहुत ज़रूरी सुरक्षा उपाय हैं।
अक्सर पूछे जाने वाले सवाल
क्या CLIP खुद कैप्शन बनाता है?
नहीं। CLIP सिर्फ यह स्कोर देता है कि कोई इमेज और कोई टेक्स्ट आपस में कितने मेल खाते हैं। यह अपने आप टेक्स्ट नहीं लिखता। लेकिन इसके इमेज एन्कोडर (या इसी तरह ट्रेन किए गए एन्कोडर्स) का इस्तेमाल अक्सर ऐसे सिस्टम में होता है जो टेक्स्ट लिखते हैं।
VLM किसी दृश्य का वर्णन करने में तो अच्छे होते हैं, पर गिनती करने में कमज़ोर क्यों?
उनका ट्रेनिंग डेटा ज़्यादातर ऐसे कैप्शन होते हैं जैसे "शाम के समय एक भीड़भाड़ वाला बाज़ार", जो सिर्फ एक मुख्य अंदाज़ा देते हैं। उनमें सटीक गिनती और सटीक जगहें शायद ही कभी लिखी होती हैं, इसलिए मॉडल इन्हें अच्छे से नहीं सीख पाता।
क्या ये कमज़ोरियाँ कभी खत्म होंगी?
नए मॉडलों में इनमें से कई चीज़ों में सुधार हुआ है, और हाई-रिज़ॉल्यूशन टाइल्स भेजने जैसी तकनीकों से मदद मिलती है। लेकिन फिर भी आपको मॉडल को अपनी तस्वीरों पर टेस्ट करना चाहिए, क्योंकि औसतन अच्छा काम करने वाला मॉडल भी आपके किसी खास मामले में गलत साबित हो सकता है।
क्या VLM को लोगों की तस्वीरें भेजना सुरक्षित है?
पहले सोचें। फोटो आपके डिवाइस से बाहर जाती है और प्रोवाइडर उसे सेव करके रख सकता है। जहाँ तक हो सके फोटो में मौजूद लोगों की सहमति लें, जिनकी ज़रूरत न हो उनके चेहरे धुंधले कर दें, और अजनबियों की पहचान करने के लिए इन टूल्स का इस्तेमाल कभी न करें।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।