AI के नियम और समाजमध्यमपाठ 1885 मिनट का पाठ

AI में बायस और निष्पक्षता

AI लोगों द्वारा बनाए गए डेटा से सीखता है, इसलिए यह बिना किसी आहट के और बड़े पैमाने पर अनुचित पैटर्न दोहरा सकता है। यहाँ बताया गया है कि बायस कैसे आ जाता है और टीमें इसकी जाँच कैसे करती हैं।

✦ ट्यूटर से पूछें🧪 लैब · 25 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

AI में बायस और निष्पक्षता

AI लोगों द्वारा बनाए गए डेटा से सीखता है, इसलिए यह बिना किसी आहट के और बड़े पैमाने पर अनुचित पैटर्न दोहरा सकता है। यहाँ बताया गया है कि बायस कैसे आ जाता है और टीमें इसकी जाँच कैसे…

1/6
आसान शब्दों में
अगर आप किसी रोबोट को सिर्फ लाल सेब की तस्वीरें दिखाएं, तो वह सोच सकता है कि हरा सेब कोई सेब ही नहीं है। AI उन्हीं उदाहरणों से सीखता है जो वह देखता है। अगर उदाहरणों में से कुछ लोगों को छोड़ दिया जाए, तो AI उन लोगों के साथ अनुचित व्यवहार कर सकता है।
कोई AI सिस्टम तब biased (पक्षपाती) होता है जब वह लोगों के कुछ समूहों के लिए दूसरों की तुलना में बेहतर काम करता है, या लिंग, जाति, धर्म, क्षेत्र, भाषा, उम्र या दिव्यांगता जैसी बातों के कारण लोगों के साथ अनुचित व्यवहार करता है। आमतौर पर कोई जानबूझकर ऐसा नहीं करता। यह अपने आप आ जाता है।

बायस कैसे आ जाता है

  1. 1

    डेटा में कौन शामिल है

    अगर ज़्यादातर उदाहरण किसी एक ही समूह से आते हैं, तो सिस्टम उसी समूह को सबसे अच्छी तरह सीखता है। शहर के बोलने के लहजों (accents) पर ट्रेन किया गया वॉइस टूल ग्रामीण लहजों को समझने में जूझ सकता है।
  2. 2

    डेटा में अतीत का पक्षपात

    अगर अतीत के फ़ैसले अनुचित थे, तो उन पर ट्रेन किया गया सिस्टम उन्हें दोहराना सीख सकता है।
  3. 3

    किस चीज़ को मापा जा रहा है

    टीमें कभी-कभी जो वास्तव में चाहती हैं, उसकी जगह किसी आसान विकल्प (stand-in) को नापने लगती हैं, और वह विकल्प अनुचित हो सकता है।
  4. 4

    इसका उपयोग कैसे किया जाता है

    किसी एक जगह या मकसद के लिए बनाया गया टूल किसी दूसरी जगह इस्तेमाल किए जाने पर गलत नतीजे दे सकता है।

नुकसान की वास्तविक श्रेणियां

नुकसान का प्रकारइसका क्या मतलब हैउदाहरण
असमान फ़ैसलेकुछ समूहों को गलत तरीके से खारिज किया जाता है या चुना जाता हैहायरिंग टूल जो किसी खास पृष्ठभूमि के आवेदकों को निचली रैंक देता है
गुणवत्ता में फर्कसिस्टम कुछ लोगों के लिए खराब काम करता हैफेस रिकग्निशन या स्पीच रिकग्निशन जो कुछ समूहों के लिए ज़्यादा गलतियाँ करता है
रूढ़िवादिता (स्टीरियोटाइप)आउटपुट समूहों के बारे में गलत या पुरानी सोच को दोहराते हैंइमेज टूल जो हमेशा डॉक्टरों को पुरुष और नर्सों को महिला के रूप में दिखाता है
छूट जानाकुछ लोगों या भाषाओं की लगभग अनदेखी हो जाती हैएक चैटबॉट जो अंग्रेज़ी में तो अच्छा काम करता है, लेकिन कई भारतीय भाषाओं में बहुत खराब
असली उदाहरण
Everyday example. मान लीजिए कि कोई लोन ऐप मुख्य रूप से शहर के उधारकर्ताओं के पुराने लोन रिकॉर्ड पर ट्रेन किया गया है। गाँव की एक समझदार किसान की कमाई का तरीका अलग होता है, जहाँ फसल कटाई के समय पैसे आते हैं। ऐप उसे गलत तरीके से जोखिम भरा मान सकता है—इसलिए नहीं कि वह सचमुच ऐसी है, बल्कि इसलिए क्योंकि ऐप ने उसके जैसे लोगों के उदाहरण बहुत कम देखे थे।

टीमें बायस की जाँच कैसे करती हैं

  • डेटा की जाँच करें: कौन शामिल है, कौन छूट गया है, और डेटा कैसे इकट्ठा किया गया था।
  • समूह के आधार पर टेस्ट करें: सिर्फ कुल औसत देखने के बजाय अलग-अलग समूहों के लिए गलतियों को अलग से मापें।
  • बदलकर उदाहरण आज़माएं: केवल नाम, लिंग या क्षेत्र बदलें और देखें कि क्या नतीजा बदलता है।
  • प्रभावित लोगों से पूछें: उन समुदायों को शामिल करें जो इस सिस्टम का इस्तेमाल करेंगे या जिनके बारे में इसके द्वारा फ़ैसला लिया जाएगा।
  • लॉन्च के बाद भी जाँच जारी रखें: वास्तविक दुनिया में इस्तेमाल होने पर नई समस्याएं सामने आ सकती हैं।
कमज़ोर तरीका
  • “हमारा मॉडल कुल मिलाकर 95% सटीक है, इसलिए यह निष्पक्ष है”
  • केवल टीम के अपने उदाहरणों से टेस्ट करना
  • लॉन्च करने के बाद दोबारा कभी जाँच न करना
बेहतर तरीका
  • अलग-अलग समूहों के लिए सटीकता अलग से रिपोर्ट करना
  • विविध और वास्तविक दुनिया के उदाहरणों के साथ टेस्ट करना
  • निगरानी रखना और लोगों को शिकायत करने का तरीका देना
नोट
“निष्पक्ष” होने का क्या मतलब है, इस पर लोगों की राय अलग-अलग होती है। क्या किसी सिस्टम को हर किसी के साथ बिल्कुल एक जैसा व्यवहार करना चाहिए, या इसका लक्ष्य सभी के लिए समान नतीजे होना चाहिए? अलग-अलग परिभाषाओं में टकराव हो सकता है, इसलिए टीमों को खुलकर चुनाव करना चाहिए और अपने फ़ैसले की वजह समझानी चाहिए।
यह करें
लिंग जैसे संवेदनशील कॉलम को हटा देने से अपने आप बायस खत्म नहीं हो जाता। अन्य जानकारी, जैसे कि नाम, जगह या स्कूल, एक छिपे हुए विकल्प (stand-in) के रूप में काम कर सकती है। नतीजों की जाँच करने से ही बायस का पता चलता है।
Try this. किसी इमेज जनरेट करने वाले AI टूल से “एक डॉक्टर”, “एक किसान” और “एक सॉफ्टवेयर इंजीनियर” की तस्वीरें बनाने को कहें। देखें कि कौन दिखाई देता है। आपको जो भी पैटर्न नज़र आए उन्हें लिखें, और सोचें कि कौन छूट गया है।

और देखें और पढ़ें

लैब

लोगों को प्रभावित करने वाले एक काल्पनिक AI सिस्टम के लिए बायस-जाँच योजना।

~25 min

समस्या

कल्पना कीजिए कि एक कंपनी आपके राज्य में स्कॉलरशिप के लिए छात्रों को शॉर्टलिस्ट करने हेतु एक AI टूल बना रही है।

  1. ऐसे चार समूहों की सूची बनाएं जिनके साथ अनुचित व्यवहार हो सकता है और कारण समझाएं।
  2. बताएं कि बायस कहाँ से आ सकता है: डेटा में, जो मापा जा रहा है उसमें, और टूल का उपयोग कैसे किया जाता है उसमें।
  3. टीम को कौन-से तीन टेस्ट करने चाहिए, वे लिखें (उदाहरण के लिए, नाम या क्षेत्र बदलना)।
  4. समझाएं कि छात्र इंसान द्वारा समीक्षा की मांग कैसे कर सकते हैं।
  5. एक पैराग्राफ लिखें कि आप निष्पक्षता के किस विचार को चुनेंगे और क्यों।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक सिस्टम दो समूहों के लिए समान रूप से सटीक है लेकिन फिर भी एक समूह को कहीं अधिक बार मना करता है। क्या यह निष्पक्ष है?दिखाएं

यह इस बात पर निर्भर करता है कि आप निष्पक्षता की कौन-सी परिभाषा इस्तेमाल करते हैं। एक पैमाने (समान सटीकता) से यह निष्पक्ष लगता है; दूसरे पैमाने (समान परिणाम) से यह निष्पक्ष नहीं लगता। यह अंतर वास्तविक अंतरों को दर्शा सकता है, या डेटा में पहले से मौजूद पुराने पक्षपात की वजह से हो सकता है। इसीलिए टीमों को सिर्फ एक संख्या पर निर्भर रहने के बजाय कई पैमानों को देखना चाहिए, कारणों को समझना चाहिए और अपने चुनाव को खुलकर समझाना चाहिए।

Q2कोई AI सिस्टम पुराने पक्षपात को केवल दोहराने के बजाय उसे और बदतर कैसे बना सकता है?दिखाएं

क्योंकि यह बहुत तेज़ी से और बहुत बड़ी संख्या में लोगों पर वही पैटर्न लागू करता है, और इसके फ़ैसले आगे चलकर नया डेटा बन सकते हैं। अगर कोई सिस्टम किसी समूह को खारिज करता है, तो उस समूह को अच्छे नतीजे दिखाने के कम मौके मिलते हैं, और भविष्य का डेटा उस अनुचित पैटर्न की पुष्टि करता हुआ लगता है। जब तक लोग इसे न तोड़ें, यह फीडबैक लूप समय के साथ समस्या को और गहरा कर सकता है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या AI पूरी तरह से बायस-मुक्त हो सकता है?

शायद पूरी तरह से नहीं, क्योंकि डेटा और इंसान कभी पूरी तरह न्यूट्रल नहीं होते। लेकिन टीमें डेटा की जाँच करके, अलग-अलग समूहों के हिसाब से टेस्ट करके, प्रभावित लोगों को शामिल करके और मिलने वाली समस्याओं को ठीक करके पक्षपात को काफी हद तक कम कर सकती हैं।

अगर फ़ैसला कंप्यूटर ने लिया है, तो क्या वह निष्पक्ष (ऑब्जेक्टिव) नहीं होगा?

ज़रूरी नहीं। कंप्यूटर अपने डेटा और डिज़ाइन के पैटर्न पर चलता है, और ये दोनों इंसानों से ही आते हैं। कोई सिस्टम बाहर से निष्पक्ष दिख सकता है, जबकि वह अंदर ही अंदर बहुत बड़े पैमाने पर गलत पैटर्न दोहरा रहा हो।

अगर मुझे लगता है कि AI का कोई फ़ैसला मेरे साथ अनुचित था, तो मैं क्या कर सकता हूँ?

संस्था से पूछें कि फ़ैसला कैसे लिया गया और क्या कोई इंसान इसकी समीक्षा कर सकता है। रिकॉर्ड संभाल कर रखें। आपकी स्थिति और स्थानीय कानूनों के आधार पर, आपके पास शिकायत या अपील करने का अधिकार हो सकता है। गंभीर मामलों के लिए, किसी योग्य कानूनी पेशेवर से बात करें।

क्या बायस केवल नौकरियों और लोन के मामलों में ही समस्या है?

नहीं। यह हेल्थ टूल्स, अनुवाद, खोज नतीजों (search results), कंटेंट मॉडरेशन, इमेज जनरेशन और अन्य कई जगहों पर दिख सकता है। जहाँ भी AI लोगों के बारे में फ़ैसले लेता है या उन्हें प्रभावित करता है, वहाँ बायस की जाँच करना ज़रूरी है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें