मल्टीमॉडल और जनरेटिव AIमध्यमपाठ 2465 मिनट का पाठ

स्पीच मॉडल: सुनना और बोलना

स्पीच रिकग्निशन आवाज़ को टेक्स्ट में बदलता है, टेक्स्ट-टू-स्पीच टेक्स्ट को आवाज़ में बदलता है, और नए असिस्टेंट सीधे बातचीत करते हैं। जानें कि ये कैसे काम करते हैं, स्पीड क्यों मायने रखती है, और आवाज़ के लिए सहमति क्यों ज़रूरी है।

✦ ट्यूटर से पूछें🧪 लैब · 25 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

स्पीच मॉडल: सुनना और बोलना

स्पीच रिकग्निशन आवाज़ को टेक्स्ट में बदलता है, टेक्स्ट-टू-स्पीच टेक्स्ट को आवाज़ में बदलता है, और नए असिस्टेंट सीधे बातचीत करते हैं। जानें कि ये कैसे काम करते हैं, स्पीड क्यों मायने…

1/5
आसान शब्दों में
जब आप किसी वॉइस असिस्टेंट से बात करते हैं, तो तीन काम बहुत तेज़ी से होते हैं: यह आपकी बात सुनता है और लिखता है, जवाब सोचता है, और उस जवाब को बोलकर सुनाता है। अगर इनमें से कोई भी एक काम धीमा हो, तो बातचीत अजीब लगने लगती है, जैसे खराब फोन लाइन पर बात करना।

सुनना: ऑटोमैटिक स्पीच रिकग्निशन

ऑटोमैटिक स्पीच रिकग्निशन (ASR) आवाज़ को टेक्स्ट में बदलता है। एक आम आधुनिक तरीका: ऑडियो को छोटे-छोटे टुकड़ों में काटना, उन्हें स्पेक्ट्रोग्राम में बदलना, उसे एक ऑडियो एन्कोडर से गुज़ारना, और एक डिकोडर से टेक्स्ट लिखवाना। OpenAI के Whisper जैसे ओपन मॉडल्स ने कई भाषाओं के लिए बेहतरीन ASR को आसानी से उपलब्ध करा दिया है।
ASR को अक्सर वर्ड एरर रेट से मापा जाता है: किसी इंसान द्वारा ध्यान से लिखे गए ट्रांसक्रिप्ट की तुलना में कितने शब्द गलत हैं, छूट गए हैं या अतिरिक्त जुड़ गए हैं। यह जितना कम हो, उतना बेहतर होता है।
  • अलग-अलग लहजे (accents), बैकग्राउंड का शोर (भीड़भाड़ वाला रेलवे स्टेशन, पंखा, ट्रैफिक) और फोन-क्वालिटी ऑडियो इसे और मुश्किल बना देते हैं।
  • कोड-मिक्सिंग, जैसे एक ही वाक्य में हिंदी और अंग्रेज़ी दोनों बोलना, भारत में बहुत आम है और कई सिस्टम्स के लिए अभी भी एक चुनौती है।
  • नाम, जगहों के नाम और तकनीकी शब्दों में अक्सर गलतियां होती हैं। कुछ टूल्स आपको संभावित शब्दों की लिस्ट देने की सुविधा देते हैं।

बोलना: टेक्स्ट-टू-स्पीच

टेक्स्ट-टू-स्पीच (TTS) इसके उलट काम करता है। आधुनिक सिस्टम आमतौर पर आवाज़ का एक संक्षिप्त विवरण (जैसे कि स्पेक्ट्रोग्राम या खास ऑडियो टोकन) तैयार करते हैं, फिर एक दूसरा नेटवर्क, जिसे अक्सर वोकोडर या डिकोडर कहा जाता है, उसे साउंड वेव में बदल देता है। एक अच्छा TTS शब्दों का सही उच्चारण करने के साथ-साथ बोलने की लय, उतार-चढ़ाव और भावनाओं को भी सही रखता है।

वॉइस असिस्टेंट बनाने के दो तरीके

पाइपलाइन (कैस्केड)स्पीच-टू-स्पीच
यह कैसे काम करता हैपहले ASR, फिर टेक्स्ट लैंग्वेज मॉडल, फिर TTSएक ही मॉडल ऑडियो इनपुट लेता है और ऑडियो आउटपुट देता है, अक्सर अंदरूनी रूप से टेक्स्ट के साथ भी
खूबियांजांचना आसान: आप हर कदम पर टेक्स्ट को लॉग और चेक कर सकते हैं; हिस्सों को बदला जा सकता हैटोन और भावनाओं को समझ सकता है, तेज़ी से और अधिक स्वाभाविक रूप से जवाब दे सकता है
कमियांहर कदम पर देरी बढ़ती है; आवाज़ की टोन खो जाती हैजांचना और कंट्रोल करना कठिन; अधिक महंगा हो सकता है

लेटेंसी क्यों मायने रखती है

सामान्य बातचीत में, लोग आमतौर पर एक सेकंड या उससे भी कम समय में जवाब देते हैं। इससे ज़्यादा की देरी होने पर बातचीत में रुकावट महसूस होती है। वॉइस सिस्टम लेटेंसी (इंतज़ार का समय) को कम करने के लिए ऐसे तरीके अपनाते हैं:
  1. 1

    स्ट्रीमिंग

    इंसान के बोलना खत्म करने के बाद नहीं, बल्कि बोलते समय ही उसे ट्रांसक्राइब करना।
  2. 2

    टर्न डिटेक्शन

    यह अंदाज़ा लगाना कि व्यक्ति ने कब बोलना खत्म किया, बिना उसकी बात बीच में काटे।
  3. 3

    जल्दी बोलना शुरू करना

    जब तक बाकी का जवाब तैयार हो रहा हो, तब तक जवाब के शुरुआती शब्द बोलना शुरू कर देना।
  4. 4

    बार्ज-इन

    अगर सामने वाला व्यक्ति बीच में टोक दे, तो तुरंत बोलना बंद कर देना।

आवाज़ के लिए सहमति ज़रूरी है

कुछ सिस्टम छोटी सी रिकॉर्डिंग से किसी की आवाज़ की नकल कर सकते हैं। यह उन लोगों के लिए मददगार है जो बीमारी की वजह से अपनी आवाज़ खो रहे हैं, या अभिनेता की अनुमति से डबिंग करने के लिए। लेकिन इसका इस्तेमाल ऐसे स्कैम कॉल्स में भी होता है जहाँ परिवार के सदस्य या बॉस बनकर बात की जाती है।
गलत
  • दोस्त से पूछे बिना "मज़ाक के लिए" उसकी आवाज़ का क्लोन बनाना
  • किसी विज्ञापन में सेलिब्रिटी की आवाज़ का इस्तेमाल करना
  • ग्राहकों को बिना बताए वॉइस मॉडल ट्रेन करने के लिए उनकी आवाज़ रिकॉर्ड करना
सही
  • तय उपयोग के लिए आवाज़ के मालिक से लिखित, सोच-समझकर दी गई सहमति
  • एक साफ़ लेबल कि यह आवाज़ सिंथेटिक है
  • लोगों के लिए सहमति वापस लेने और डेटा हटवाने की सुविधा
सावधान रहें
फोन पर आने वाली आवाज़ अब इस बात का सबूत नहीं है कि कौन बोल रहा है। पैसों या संवेदनशील अनुरोधों के लिए, फोन काटें और अपने पास पहले से मौजूद नंबर पर वापस कॉल करें।
इसे आज़माएं। अपने फोन में एक ही वाक्य को तीन तरीकों से बोलकर लिखवाएं: अंग्रेज़ी में, अपनी घरेलू भाषा में, और दोनों को मिलाकर। लिखे गए टेक्स्ट की तुलना करें। फोन को कहाँ परेशानी हुई?

और देखें और पढ़ें

Bhashini: India's national language translation missionGovernment of India · readingAI4Bharat at IIT MadrasAI4Bharat · reading

लैब

वॉइस असिस्टेंट के लिए एक छोटा लेटेंसी और एक्यूरेसी लॉग, साथ ही एक पेज का वॉइस सहमति पत्र।

~25 min

समस्या

अपने फोन या कंप्यूटर पर किसी भी वॉइस असिस्टेंट या वॉइस मोड का उपयोग करें।

  1. पाँच छोटे सवाल पूछें, जिनमें से एक आपकी घरेलू भाषा में हो और एक में दो भाषाओं की मिलावट हो। आपके सवाल खत्म होने से लेकर जवाब के पहले शब्द तक का समय नापने के लिए स्टॉपवॉच का इस्तेमाल करें (किसी दोस्त की मदद ले सकते हैं)।
  2. हर सवाल के लिए लिखें: समय, क्या उसने आपकी बात समझी, और क्या उसने आपकी बात बीच में काटी या टोकी।
  3. जब वह बोल रहा हो, तो उसे एक बार बीच में टोकें। क्या वह रुकता है?
  4. अब कल्पना करें कि आपका कॉलेज एक ऑडियो लाइब्रेरी के लिए किसी रिटायर्ड शिक्षक की सिंथेटिक आवाज़ बनाना चाहता है। एक छोटा सहमति पत्र (150 शब्दों से कम) लिखें, जिसमें यह बताया गया हो कि आवाज़ का उपयोग किस काम के लिए होगा, किसके लिए नहीं होगा, उसे कैसे लेबल किया जाएगा, और शिक्षक अपनी सहमति कैसे वापस ले सकते हैं।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1टर्न डिटेक्शन कठिन क्यों है, और इसमें क्या समझौता करना पड़ता है?दिखाएं

लोग सोचते समय वाक्य के बीच में रुकते हैं, और यह ठहराव बातचीत खत्म होने जैसा लग सकता है। अगर सिस्टम पक्का करने के लिए ज़्यादा देर इंतज़ार करता है, तो हर जवाब धीमा लगता है। अगर वह तुरंत बोलना शुरू कर देता है, तो वह लोगों की बात बीच में काट देता है। अच्छे सिस्टम खामोशी की अवधि को शब्दों के संकेतों के साथ जोड़कर देखते हैं (क्या वाक्य पूरा लग रहा है?), और गलती होने पर यूज़र्स को आसानी से बीच में बोलने की छूट देते हैं।

Q2एक बैंक ग्राहकों के लिए स्पीच-टू-स्पीच असिस्टेंट लाना चाहता है। लॉन्च से पहले आपकी क्या शर्तें होंगी?दिखाएं

क्या कहा गया और क्या किया गया, इसे रिकॉर्ड और रिव्यू करने का तरीका, जिसका मतलब टेक्स्ट बनाना भी हो सकता है। कामों पर सख्त पाबंदियां: सिर्फ आवाज़ के आधार पर पैसों का लेन-देन न हो। असली यूज़र्स के साथ अलग-अलग भाषाओं, लहजों और शोर भरे माहौल में टेस्टिंग। यह स्पष्ट खुलासा कि यह एक AI है। रिकॉर्डिंग रखने की छोटी और तय समय-सीमा, और बिना सहमति ट्रेनिंग के लिए इस्तेमाल न करना। किसी इंसान तक पहुँचने का आसान तरीका।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

वॉइस असिस्टेंट कभी-कभी मेरी बात बीच में ही क्यों काट देते हैं?

वे अंदाज़ा लगाते हैं कि आपने कब बोलना खत्म किया, आमतौर पर थोड़ी सी खामोशी से। सोचने के लिए रुकना उन्हें ऐसा लग सकता है कि आपकी बात पूरी हो गई। बेहतर सिस्टम आपके कहे शब्दों के मतलब का भी इस्तेमाल करते हैं, लेकिन यह अभी भी एक कठिन समस्या है।

क्या स्पीच-टू-स्पीच हमेशा पाइपलाइन से बेहतर होता है?

नहीं। पाइपलाइन की जांच करना, टेस्ट करना और कंट्रोल करना आसान होता है, जो बैंकिंग, स्वास्थ्य या सरकारी सेवाओं में बहुत मायने रखता है। स्पीच-टू-स्पीच ज़्यादा स्वाभाविक लग सकता है। कई प्रोडक्ट्स काम के हिसाब से चुनाव करते हैं।

क्या ASR का इस्तेमाल भारतीय भाषाओं के लिए किया जा सकता है?

हाँ, और इसमें बहुत सुधार हुआ है, खासकर IIT मद्रास के AI4Bharat और सरकार के भाषिणी मिशन जैसे समूहों के खुले काम से। क्वालिटी अभी भी भाषा, लहजे और विषय के आधार पर अलग-अलग हो सकती है, इसलिए असली बोलने वालों के साथ टेस्ट करें।

क्या मेरी आवाज़ पर्सनल डेटा है?

अक्सर, हाँ। आवाज़ से आपकी पहचान हो सकती है, और रिकॉर्डिंग से सेहत, भावनाएं और लोकेशन का पता चल सकता है। भारत के डिजिटल पर्सनल डेटा प्रोटेक्शन एक्ट सहित कई प्राइवेसी कानून ऐसे डेटा को संवेदनशील मानते हैं। पता करें कि रिकॉर्डिंग कितने समय तक रखी जाती है और क्या उनका इस्तेमाल ट्रेनिंग के लिए किया जाता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें