मल्टीमॉडल और जनरेटिव AIमध्यमपाठ 2455 मिनट का पाठ

वीडियो जनरेशन

एक वीडियो कई सारी ऐसी तस्वीरें होती हैं जिन्हें समय के साथ एक-दूसरे से मेल खाना चाहिए। जानें कि यह एक तस्वीर की तुलना में कहीं अधिक कठिन और खर्चीला क्यों है, और आज के मॉडल्स में अभी भी कहाँ गलतियाँ होती हैं।

✦ ट्यूटर से पूछें🧪 लैब · 25 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

वीडियो जनरेशन

एक वीडियो कई सारी ऐसी तस्वीरें होती हैं जिन्हें समय के साथ एक-दूसरे से मेल खाना चाहिए। जानें कि यह एक तस्वीर की तुलना में कहीं अधिक कठिन और खर्चीला क्यों है, और आज के मॉडल्स में…

1/6
आसान शब्दों में
एक बिल्ली की तस्वीर बनाएं। आसान है। अब एक फ्लिप-बुक के लिए 200 तस्वीरें बनाएं, जहाँ बिल्ली पन्ने पर चलती हुई दिखाई दे और उसकी धारियाँ, पूंछ और पट्टा हर तस्वीर में बिल्कुल एक जैसे रहें। बहुत कठिन! यही वह समस्या है जिसे वीडियो AI को सुलझाना होता है।
एक वीडियो तेज़ी से दिखाई जाने वाली कई तस्वीरों (frames) की एक श्रृंखला होती है, जो अक्सर 24 या उससे ज़्यादा फ़्रेम प्रति सेकंड होती है। एक वीडियो जनरेटर को हर फ़्रेम को अच्छा दिखाना होता है और यह भी पक्का करना होता है कि वे एक-दूसरे से मेल खाएं। इस तालमेल को temporal consistency कहा जाता है: एक ही व्यक्ति का चेहरा वही रहे, एक गेंद लगातार बिना झटके के चलती रहे, एक बोर्ड पर लिखे शब्द वही रहें।

आमतौर पर वीडियो मॉडल्स कैसे काम करते हैं

कई वीडियो जनरेटर diffusion के विचार को आगे बढ़ाते हैं। सिर्फ़ एक तस्वीर से नॉइज़ (noise) हटाने के बजाय, वे एक बार में वीडियो के पूरे हिस्से से नॉइज़ हटाते हैं: चौड़ाई, ऊँचाई और समय। अक्सर वीडियो को पहले एक छोटे latent में कंप्रेस किया जाता है, और छोटे टुकड़ों में काटा जाता है जो अंतरिक्ष के एक हिस्से और समय के कुछ फ़्रेम को कवर करते हैं। Attention की मदद से हर टुकड़ा दूसरे फ़्रेम के टुकड़ों को देख पाता है, जिससे चीज़ों को एक जैसा बनाए रखने में मदद मिलती है।
  1. 1

    Prompt

    टेक्स्ट, और कभी-कभी एक शुरुआती तस्वीर: "सूर्योदय के समय केरल के बैकवाटर में एक नाव"
  2. 2

    नॉइज़ ब्लॉक

    एक छोटे कंप्रेस किए गए वीडियो के आकार के रैंडम नॉइज़ से शुरुआत करें।
  3. 3

    एक साथ डीनॉइज़ करना

    सभी फ़्रेम को एक साथ, कदम-दर-कदम साफ़ करें, ताकि वे आपस में मेल खाते रहें।
  4. 4

    डिकोड करना

    Latent को वापस पूरे फ़्रेम में बदलें।
  5. 5

    आगे बढ़ाना (वैकल्पिक)

    कुछ टूल्स पिछले हिस्से के अंत से अगला हिस्सा जनरेट करके लंबे वीडियो बनाते हैं।

वीडियो तस्वीरों से ज़्यादा कठिन क्यों है

चुनौतीकहाँ गड़बड़ होती है
समय के साथ तालमेल (Consistency)शर्ट का रंग बदल जाता है, व्यक्ति का चेहरा बदल जाता है, कुछ फ़्रेम के लिए एक अतिरिक्त उंगली दिखाई दे जाती है
भौतिकी (Physics) और कारण-प्रभावकांच चोट लगने से पहले ही टूट जाता है; पानी ऊपर की ओर बहने लगता है; एक कार दीवार के आर-पार निकल जाती है
वस्तु का अस्तित्व (Object permanence)कोई चीज़ पेड़ के पीछे जाती है और बाहर नहीं निकलती, या कुछ और बनकर बाहर आती है
लंबाईलंबी क्लिप्स में गलतियाँ बढ़ती जाती हैं, इसलिए कई टूल्स छोटी क्लिप्स ही बनाते हैं
डेटासटीक जानकारी (description) वाले अच्छे वीडियो जुटाना कैप्शन वाली तस्वीरों की तुलना में ज़्यादा कठिन है

चलती तस्वीरों की लागत

कुछ सेकंड के वीडियो में सैकड़ों तस्वीरों जितने पिक्सल हो सकते हैं। समय के आर-पार Attention जोड़ने से काम और भी बढ़ जाता है। इसका मतलब है कि वीडियो जनरेशन के लिए आमतौर पर एक तस्वीर की तुलना में कहीं ज़्यादा कंप्यूटिंग पावर, बिजली और इंतज़ार के समय की ज़रूरत होती है। यही एक कारण है कि कई सेवाएं क्लिप की लंबाई, रिज़ॉल्यूशन या आप कितने वीडियो बना सकते हैं, इस पर सीमा लगाती हैं।
नोट
वीडियो मॉडल्स बहुत तेज़ी से बेहतर हो रहे हैं, और अधिकतम लंबाई या रिज़ॉल्यूशन जैसे विवरण अक्सर बदलते रहते हैं। महीनों पहले पढ़े किसी आंकड़े पर भरोसा करने के बजाय किसी भी टूल के मौजूदा दस्तावेज़ (documentation) की जांच करें।

क्या यह दुनिया का सिम्युलेटर है?

कुछ लोग वीडियो मॉडल्स का वर्णन इस तरह करते हैं जैसे वे सीख रहे हों कि दुनिया कैसे काम करती है, क्योंकि वे भरोसेमंद गति (motion) पैदा करते हैं। दूसरे लोग बताते हैं कि वे अक्सर भौतिकी के सरल नियमों को तोड़ देते हैं। एक निष्पक्ष दृष्टिकोण: वे बहुत कुछ सीखते हैं कि चीज़ें हिलते-डुलते समय आमतौर पर कैसी दिखती हैं, जो कि यह भरोसेमंद तरीके से जानने जैसा नहीं है कि क्या होना ही चाहिए।
लापरवाही से AI वीडियो देखना
  • पहले ही सेकंड से उसका फैसला कर लेना
  • यह मान लेना कि असली दिखने वाली क्लिप सचमुच शूट की गई थी
  • किसी चौंकाने वाली क्लिप को तुरंत शेयर कर देना
ध्यान से AI वीडियो देखना
  • किनारों, हाथों, टेक्स्ट और एक-दूसरे के पीछे से गुज़रने वाली चीज़ों पर ध्यान दें
  • सोर्स, संदर्भ और content credentials की तलाश करें
  • आगे शेयर करने से पहले भरोसेमंद समाचार स्रोतों से जांच करें
ख़तरा
असली लोगों के सजीव दिखने वाले नकली वीडियो, खासकर चुनावों के दौरान नेताओं के या निजी पलों में आम लोगों के वीडियो, गंभीर नुकसान पहुँचाते हैं। ऐसी सामग्री बनाना या शेयर करना भारत और कई अन्य देशों में अपराध हो सकता है। अगर आप इसे देखें, तो उस प्लेटफॉर्म पर इसकी रिपोर्ट करें।
इसे आज़माएं। एक ऐसा AI-जनरेटेड वीडियो ढूंढें जिस पर साफ़ तौर पर इसका लेबल लगा हो। इसे तीन बार देखें, और हर बार किसी एक चीज़ पर नज़र रखें। क्या कोई ऐसी चीज़ बदलती है जिसे नहीं बदलना चाहिए था?

और देखें और पढ़ें

लैब

एक स्पष्ट रूप से लेबल किए गए AI वीडियो की फ़्रेम-दर-फ़्रेम तालमेल की जांच।

~25 min

समस्या

एक छोटा वीडियो ढूंढें जिस पर स्पष्ट रूप से AI-जनरेटेड होने का लेबल लगा हो, उदाहरण के लिए किसी वीडियो प्लेटफॉर्म पर या किसी टूल के अपने शोकेस पेज पर। निजी स्थितियों में असली लोगों के वीडियो का उपयोग न करें।

  1. सोर्स और वह लेबल लिखें जो बताता है कि यह AI से बना है।
  2. ट्रैक करने के लिए तीन चीज़ें चुनें: कोई व्यक्ति या जानवर, कोई वस्तु, और बैकग्राउंड की कोई चीज़ (एक बोर्ड, एक इमारत, एक पेड़)।
  3. वीडियो देखें, हर एक या दो सेकंड में रोकें। ट्रैक की गई प्रत्येक चीज़ के लिए, किसी भी ऐसे बदलाव को नोट करें जो नहीं होना चाहिए: आकार, रंग, संख्या, टेक्स्ट या स्थिति।
  4. एक ऐसा पल नोट करें जहाँ भौतिकी या कारण-और-प्रभाव गलत लगे, यदि कोई हो।
  5. दो वाक्य लिखें: क्या किसी छोटे फ़ोन स्क्रीन पर सामान्य रूप से देखने वाले दर्शक को ये गलतियाँ नज़र आएंगी? उन्हें यह जानने में और क्या मदद करेगा कि यह AI से बना है?

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1सभी फ़्रेम को एक-एक करके बनाने के बजाय एक साथ जनरेट करने से तालमेल बनाए रखने में मदद क्यों मिलती है?दिखाएं

यदि प्रत्येक फ़्रेम अलग से बनाया जाता है, तो हर बार छोटे-मोटे रैंडम विकल्प अलग हो जाते हैं, और कोई भी चीज़ उन्हें आपस में मेल खाने के लिए बाध्य नहीं करती है। जब सभी फ़्रेम को एक साथ डीनॉइज़ किया जाता है, तो attention हर फ़्रेम के हर हिस्से को हर कदम पर दूसरों को देखने की अनुमति देता है, ताकि वे एक साथ एक ही चेहरे, रंग और लेआउट पर टिक सकें। इसकी कीमत बहुत अधिक गणना और मेमोरी है, जो वीडियो की लंबाई को सीमित करती है।

Q2एक समाचार टीम दर्शकों के लिए किसी वास्तविक घटना को "फिर से दिखाने" (reconstruct करने) के लिए AI वीडियो का उपयोग करना चाहती है। इसके क्या जोखिम हैं और आपकी क्या शर्तें होंगी?दिखाएं

दर्शक इसे वास्तविक फुटेज मान सकते हैं, और मॉडल ऐसे विवरण गढ़ सकता है जो हुए ही नहीं थे। स्क्रीन पर रहने के पूरे समय के दौरान एक साफ़, दिखाई देने वाले लेबल की मांग करें, एक ऐसी स्क्रिप्ट जो सत्यापित तथ्यों से जांची गई हो, सहमति के बिना असली पहचानने योग्य लोगों का कोई वास्तविक चित्रण न हो, फ़ाइल पर content credentials हों, और इसे कैसे बनाया गया इसका एक रिकॉर्ड हो। इस बात पर भी विचार करें कि क्या एक साधारण आरेख (diagram) कम जोखिम के साथ लोगों को बेहतर जानकारी दे सकता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

कई AI वीडियो सिर्फ़ कुछ सेकंड के ही क्यों होते हैं?

क्योंकि लंबाई के साथ लागत बढ़ती है, और समय के साथ तालमेल में गलतियाँ जमा होती जाती हैं। लंबे वीडियो बनाने का मतलब आमतौर पर छोटे हिस्सों को जोड़ना या आगे बढ़ाना होता है, जहाँ जोड़ साफ़ दिख सकते हैं।

क्या कोई वीडियो मॉडल अलग-अलग दृश्यों में एक किरदार को एक जैसा रख सकता है?

यह एक जानी-मानी कठिन समस्या है। कुछ टूल्स मदद के लिए किरदार की एक रेफरेंस इमेज देने की सुविधा देते हैं। फिर भी, गहने, लोगो या टैटू जैसे छोटे विवरण अक्सर बदल जाते हैं। हर शॉट की जांच करें।

क्या इन गलतियों की वजह से AI वीडियो को पहचानना आसान है?

अब धीरे-धीरे कम होता जा रहा है। गलतियाँ दुर्लभ और पहचानने में कठिन होती जा रही हैं। विज़ुअल संकेत मदद करते हैं, लेकिन सिर्फ़ आपकी आँखों की तुलना में सोर्स की जांच, संदर्भ और content credentials ज़्यादा भरोसेमंद हैं।

वीडियो जनरेशन के क्या अच्छे उपयोग हैं?

फ़िल्म निर्माताओं के लिए स्टोरीबोर्ड और ड्राफ़्ट, पढ़ाई के लिए व्याख्यात्मक एनिमेशन, प्रोडक्ट के मॉक-अप, और छोटे व्यवसायों के लिए साधारण विज्ञापन बनाना। दर्शकों को साफ़ बताना कि यह AI से बना है, भरोसा बनाए रखता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें