विज़न-लैंग्वेज-एक्शन मॉडल्स

इन्हें एक साथ क्यों लाएँ?

यह आम तौर पर कैसे काम करता है

1. 1

   एक विज़न-लैंग्वेज मॉडल से शुरुआत करें

   कई VLA ऐसे मॉडल से शुरू होते हैं जो तस्वीरों और टेक्स्ट पर पहले से ट्रेंड होते हैं।
2. 2

   रोबोट का डेटा जोड़ें

   डेमोन्स्ट्रेशन (प्रदर्शनों) पर आगे ट्रेन करें: तस्वीरें, निर्देश और रोबोट द्वारा लिए गए एक्शन।
3. 3

   एक्शन को आउटपुट में बदलें

   कुछ मॉडल एक्शन को शब्दों की तरह खास टोकन के रूप में लिखते हैं; अन्य एक अलग हिस्सा जोड़ते हैं जो स्मूद मूवमेंट्स बनाता है।
4. 4

   एक लूप में चलाएँ

   देखें → अगला एक्शन या एक्शन का एक छोटा हिस्सा तय करें → हिलें → फिर से देखें, एक सेकंड में कई बार।

वे पुरानी पॉलिसियों से बेहतर क्या कर सकते हैं

• हर काम के लिए अलग प्रोग्राम की ज़रूरत के बिना, सीधी-सादी भाषा में निर्देशों का पालन करना।
• कुछ टेस्ट्स में, प्री-ट्रेंड ज्ञान की बदौलत, उन चीज़ों के नामों या विवरणों को संभालना जो रोबोट डेटा में नहीं थे।
• कई कामों के लिए एक ही मॉडल का इस्तेमाल करना, जिससे ज़्यादा डेटा के साथ नए हुनर जोड़ना आसान हो जाता है।

वे अब भी कहाँ पीछे रह जाते हैं

• जनरलाइज़ेशन सीमित है। "मग" शब्द जानने का मतलब यह नहीं है कि किसी अजीब से मग को पकड़ना भी आता हो। नए कमरों, रोशनी या चीज़ों के अलग आकारों में शारीरिक कौशल अक्सर फेल हो जाते हैं।
• अब भी रोबोट डेटा की भारी भूख है। इंटरनेट से उधार लिया गया ज्ञान क्या में मदद करता है, कैसे में बहुत कम।
• स्पीड। बड़े मॉडल्स को चलने में समय लग सकता है, लेकिन रोबोट को तुरंत प्रतिक्रिया देने की ज़रूरत होती है। डिज़ाइनर साइज़ और स्पीड के बीच तालमेल बिठाते हैं।
• भरोसेमंद होना (रिलायबिलिटी)। ऐसा मॉडल जो अक्सर सफल होता है लेकिन हमेशा नहीं, वह असली काम के लिए शायद उतना सुरक्षित या उपयोगी न हो।
• नए शरीर। एक तरह के हाथ पर ट्रेन किए गए मॉडल को किसी दूसरे रोबोट के लिए नए डेटा की ज़रूरत पड़ सकती है।
• भाषा इसे गुमराह कर सकती है। चैटबॉट्स की तरह, ये मॉडल भी पूरे आत्मविश्वास के साथ गलत हो सकते हैं, और कोई निर्देश अस्पष्ट या नुकसानदेह भी हो सकता है।