मॉडल और डेटा सिक्योरिटीएडवांस्डपाठ 1797 मिनट का पाठ

AI सुरक्षा प्रोग्राम चलाना

सब कुछ एक साथ लाएं: इन्वेंट्री, रिस्क टियर, नीतियां, सुरक्षित डेवलपमेंट, टेस्टिंग, मॉनिटरिंग, रिस्पॉन्स और रिपोर्टिंग, साथ ही शुरुआत करने के लिए 90 दिनों का प्लान।

✦ ट्यूटर से पूछें🧪 लैब · 40 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

AI सुरक्षा प्रोग्राम चलाना

सब कुछ एक साथ लाएं: इन्वेंट्री, रिस्क टियर, नीतियां, सुरक्षित डेवलपमेंट, टेस्टिंग, मॉनिटरिंग, रिस्पॉन्स और रिपोर्टिंग, साथ ही शुरुआत करने के लिए 90 दिनों का प्लान।

1/5
आसान शब्दों में
सिर्फ एक अच्छा खिलाड़ी जीतने वाली टीम नहीं बना सकता। आपको चयन, अभ्यास, हर मैच के लिए एक योजना, स्कोर पर नज़र रखने वाले किसी व्यक्ति, और बोर्ड को रिपोर्ट करने वाले एक कप्तान की ज़रूरत होती है। AI सुरक्षा प्रोग्राम पूरी टीम है, कोई एक टूल नहीं।
पिछले पाठों में अलग-अलग जोखिमों और नियंत्रणों को कवर किया गया था। एक प्रोग्राम यह सुनिश्चित करता है कि वे हर बार, हर AI सिस्टम के लिए लागू हों—ओनर्स, सबूतों और समय के साथ सुधार के साथ।

ज़रूरी बुनियादी हिस्से

हिस्साइसका क्या मतलब है
इन्वेंट्रीआपके द्वारा बनाए, खरीदे या उपयोग किए जाने वाले हर AI सिस्टम की लिस्ट, जिसमें होस्ट किए गए APIs, ओपन मॉडल्स और वेंडर टूल्स के अंदर मौजूद AI फीचर्स शामिल हैं।
रिस्क टियरप्रभाव के आधार पर सिस्टम्स का ग्रुप बनाएं: डेटा संवेदनशीलता, प्रभावित निर्णय, अविश्वसनीय यूज़र्स के संपर्क में आना, स्वायत्तता (autonomy)।
नीतियां और मानकस्वीकार्य उपयोग, स्वीकृत मॉडल्स और वेंडर्स, डेटा नियम, मॉडल लोडिंग नियम, रिलीज़ की ज़रूरतें।
सिक्योर AI डेवलपमेंट लाइफ साइकिलथ्रेट मॉडलिंग, डेटा कंट्रोल्स, सप्लाई चेन जांच, इवैल्यूएशन गेट्स और मंज़ूरियां—जो टीमों के काम करने के तरीके में ही शामिल हों।
रेड टीमिंग और टेस्टिंगटूल्स और इंसानों का उपयोग करके, रिस्क टियर के हिसाब से नियमित एडवरसैरियल टेस्टिंग।
मॉनिटरिंगउपयोग, दुरुपयोग के पैटर्न, ड्रिफ्ट, डेटा लीक के संकेत और weights का एक्सेस।
इंसिडेंट रिस्पॉन्सप्लेबुक्स में AI से जुड़े परिदृश्य: पॉइज़निंग, मॉडल की चोरी, डेटा लीक, हानिकारक आउटपुट, रोलबैक।
ट्रेनिंगभूमिका के आधार पर: इंजीनियर्स, डेटा साइंटिस्ट्स, प्रोडक्ट ओनर्स, लीडर्स और सभी कर्मचारी।
मेट्रिक्स और रिपोर्टिंगनेतृत्व और बोर्ड के लिए स्पष्ट आंकड़े, जो जोखिम से जुड़े हों।

रिस्क टियर तय करते हैं कि कितनी मेहनत करनी है

टियरउदाहरणकम से कम ज़रूरी कंट्रोल्स
कम (Low)सार्वजनिक दस्तावेज़ों पर इंटरनल समराइज़रइन्वेंट्री एंट्री, स्वीकृत टूल, बुनियादी उपयोग नीति
मध्यम (Medium)प्रोडक्ट दस्तावेज़ों से जवाब देने वाला कस्टमर-फेसिंग चैटबॉटथ्रेट मॉडल, इनपुट और आउटपुट कंट्रोल्स, रेडैक्शन के साथ लॉगिंग, रिलीज़ से पहले टेस्टिंग
उच्च (High)मॉडल जो क्रेडिट, हायरिंग या स्वास्थ्य को प्रभावित करता है, या संवेदनशील व्यक्तिगत डेटा संभालता हैऊपर दिए गए सभी, साथ ही रेड टीमिंग, प्रोवेनेंस और AI-BOM, मानवीय निगरानी, कानूनी समीक्षा, नियमित दोबारा टेस्टिंग

ऐसे मेट्रिक्स जिनका कोई मतलब हो

  • इन्वेंट्री में मौजूद ऐसे AI सिस्टम्स का प्रतिशत जिनका एक ओनर और रिस्क टियर तय है।
  • उच्च-टियर वाले ऐसे सिस्टम्स का प्रतिशत जिनका मौजूदा थ्रेट मॉडल और रेड टीम टेस्ट पूरा हो चुका है।
  • सत्यापित हैश या सिग्नेचर वाले सुरक्षित फॉर्मेट्स से लोड किए गए मॉडल्स का प्रतिशत।
  • गंभीर AI कमियों को ठीक करने में लगा समय, आपके तय लक्ष्य की तुलना में।
  • AI से जुड़े इंसिडेंट्स और बाल-बाल बचे मामले (near misses), सीखे गए सबक के साथ।
नोट
बोर्ड को बिज़नेस की भाषा में रिपोर्ट करें: कौन से महत्वपूर्ण सिस्टम्स कवर किए गए हैं, सबसे बड़े जोखिम क्या हैं, क्या बदलाव हुआ, और आपको किन निर्णयों या फंडिंग की ज़रूरत है। ऐसी तकनीकी बारीकियों से बचें जिन पर वे कोई फैसला न ले सकें।

90 दिनों का शुरुआती प्लान

  1. 1

    दिन 1–30: देखें (See)

    एक एग्जीक्यूटिव स्पॉन्सर और एक प्रोग्राम ओनर तय करें। पहली AI इन्वेंट्री बनाएं (टीमों से पूछें, खर्च और क्लाउड रिकॉर्ड जांचें, वेंडर टूल्स की समीक्षा करें)। एक संक्षिप्त अंतरिम AI उपयोग नीति प्रकाशित करें।
  2. 2

    दिन 31–60: छांटें (Sort)

    रिस्क टियर असाइन करें। पालन करने के लिए एक फ्रेमवर्क चुनें (उदाहरण के लिए NIST AI RMF)। टॉप तीन उच्च-टियर सिस्टम्स का थ्रेट मॉडल बनाएं। सुरक्षित मॉडल लोडिंग और PII लॉगिंग के नियम तय करें।
  3. 3

    दिन 61–90: काम करें (Act)

    एक पाइपलाइन में इवैल्यूएशन गेट्स जोड़ें। एक उच्च-टियर सिस्टम पर पहला रेड टीम अभ्यास चलाएं। इंसिडेंट प्लान में AI परिदृश्यों को जोड़ें और एक टेबलटॉप ड्रिल करें। मेट्रिक्स और अगले कदमों के साथ लीडरशिप को पहली रिपोर्ट भेजें।
प्रोग्राम जो अटक जाते हैं
  • सीधे कोई टूल खरीदकर शुरुआत करना
  • लंबी नीतियां लिखना जिन्हें कोई नहीं पढ़ता
  • AI के सभी उपयोगों पर रोक लगाना
  • सुरक्षा टीम का अकेले काम करना
प्रोग्राम जो काम करते हैं
  • इन्वेंट्री और ओनर्स के साथ शुरुआत करना
  • स्वीकृत विकल्पों के साथ छोटे, स्पष्ट नियम
  • सुरक्षित रास्ते को सबसे आसान रास्ता बनाना
  • सुरक्षा, ML, कानूनी, प्राइवेसी और बिज़नेस टीमों का मिलकर काम करना

और देखें और पढ़ें

AI Risk Management FrameworkNIST · readingOWASP Gen AI Security ProjectOWASP · project site · reading

लैब

आपके संगठन के लिए 90 दिनों का AI सुरक्षा प्लान, इन्वेंट्री टेम्पलेट और बोर्ड मेट्रिक्स के साथ।

~40 min

समस्या

अपने संगठन के लिए, या किसी वास्तविक दिखने वाले संगठन जैसे मध्यम आकार के भारतीय बैंक या IT सेवा कंपनी के लिए एक योजना लिखें।

  1. कम से कम इन कॉलमों के साथ एक इन्वेंट्री टेम्पलेट बनाएं: सिस्टम, ओनर, बिल्ड या बाय, मॉडल और वर्ज़न, इस्तेमाल किया गया डेटा, यूज़र्स, रिस्क टियर।
  2. इसे कम से कम पांच वास्तविक या यथार्थवादी प्रविष्टियों से भरें और प्रत्येक के लिए एक लाइन का कारण बताते हुए टियर असाइन करें।
  3. अपने 90 दिनों के प्लान को तीन 30-दिवसीय चरणों में लिखें, जिसमें नामित ओनर्स और प्रत्येक चरण के लिए स्पष्ट परिणाम (आउटपुट) शामिल हों।
  4. अपनी पहली लीडरशिप रिपोर्ट के लिए चार मेट्रिक्स चुनें और बताएं कि आप प्रत्येक को कैसे मापेंगे।
  5. उन शीर्ष तीन जोखिमों की सूची बनाएं जिनके सामने आने की आपको उम्मीद है, और आपको लीडरशिप से किस निर्णय की आवश्यकता हो सकती है।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1टीमें AI के इस्तेमाल को छिपाती हैं क्योंकि उन्हें डर होता है कि इसे बैन कर दिया जाएगा। आप इसे ठीक करने के लिए प्रोग्राम को कैसे डिज़ाइन करेंगे?दिखाएं

इसके बारे में खुलकर बताना सुरक्षित और फ़ायदेमंद बनाएं। मंज़ूर किए गए टूल्स और तुरंत रिव्यू की सुविधा दें, ताकि किसी इस्तेमाल की जानकारी देने पर मदद मिले, बैन नहीं। पहली इन्वेंट्री के लिए कुछ समय की छूट दें। कड़े नियमों को सिर्फ़ ज़्यादा जोखिम वाले (high-tier) इस्तेमाल पर रखें और कम जोखिम वाले (low-tier) कामों को आसानी से मंज़ूरी दें। जब लोगों को दिखेगा कि सुरक्षित रास्ता तेज़ है, तो छिपकर इस्तेमाल करना कम हो जाएगा।

Q2आपके मेट्रिक्स दिखाते हैं कि 100% मॉडल्स का कोई न कोई ओनर है, फिर भी कोई घटना (incident) हो जाती है। मेट्रिक्स से क्या छूट गया होगा?दिखाएं

ओनरशिप सिर्फ़ यह बताती है कि काम किसको सौंपा गया है (coverage metric), यह नहीं कि वह कितना असरदार है (effectiveness metric)। हो सकता है ओनर ने मॉडल को टेस्ट न किया हो, नियम सिर्फ़ कागज़ों पर हों, या यह घटना किसी ऐसे सिस्टम से जुड़ी हो जो इन्वेंट्री में था ही नहीं। टेस्ट के नतीजों, ठीक करने में लगे समय, इन्वेंट्री पूरी है या नहीं इसकी जांच और बाल-बाल बची गलतियों (near misses) पर मेट्रिक्स जोड़ें, और घटनाओं की समीक्षा करें ताकि पता चले कि कौन से अंदाज़े गलत थे।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

AI सुरक्षा प्रोग्राम का मालिक किसे होना चाहिए?

आमतौर पर सुरक्षा प्रमुख (security leader) इसका ओनर होता है, जिसमें ML इंजीनियरिंग, प्राइवेसी, लीगल, रिस्क और बिज़नेस के करीबी साझेदार होते हैं। कुछ कंपनियां एक AI गवर्नेंस कमेटी बनाती हैं। सबसे महत्वपूर्ण बात यह है कि एक ज़िम्मेदार ओनर और स्पष्ट भूमिकाएं हों।

हम इन्वेंट्री में शैडो AI (shadow AI) का पता कैसे लगाएं?

टीमों से सीधे पूछें और ऐसा माहौल बनाएं जहां सच बताना सुरक्षित हो। क्लाउड बिल, खर्च के दावों, AI सर्विस डोमेन के लिए नेटवर्क लॉग, ब्राउज़र एक्सटेंशन और उन वेंडर टूल्स की जांच करें जिन्होंने AI फीचर्स जोड़े हैं। इसे नियमित रूप से दोहराएं: नया AI हमेशा आता रहता है।

क्या हमें एक अलग AI इंसिडेंट रिस्पॉन्स प्लान की ज़रूरत है?

आमतौर पर नहीं। अपने मौजूदा प्लान में AI परिदृश्यों और ऐसे लोगों को शामिल करें जो मॉडल्स को समझते हैं। इसमें मॉडल वर्ज़न को रोलबैक करना, किसी फीचर को बंद करना, AI सिस्टम्स द्वारा इस्तेमाल की जाने वाली कीज़ (keys) को बदलना, और प्रॉम्प्ट्स व लॉग्स को सबूत के तौर पर सुरक्षित रखना जैसे कदम जोड़ें।

हमें AI सिस्टम्स पर कितनी बार रेड टीमिंग करनी चाहिए?

इसे रिस्क टियर के हिसाब से तय करें। उच्च-टियर सिस्टम्स का टेस्ट लॉन्च से पहले और बड़े बदलावों के बाद करें, जैसे कि नया मॉडल वर्ज़न, नया डेटा या नए टूल्स। ऑटोमेटेड टेस्ट हर रिलीज़ पर चलाए जा सकते हैं; इंसानों द्वारा किए जाने वाले गहरे अभ्यास कम अंतराल पर हो सकते हैं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें