एंटरप्राइज में एजेंटिक सुरक्षामध्यमपाठ 1576 मिनट का पाठ

एजेंट्स का गवर्नेंस: मंज़ूरियां, ऑडिट और जवाबदेही

सुरक्षा कंट्रोल्स के इर्द-गिर्द एक प्रोसेस की ज़रूरत होती है: एजेंट को कौन मंज़ूरी देता है, यह कितना जोखिम भरा है, इसका मालिक कौन है, और महीनों बाद आप कैसे जांचते हैं कि यह अभी भी सुरक्षित है या नहीं।

✦ ट्यूटर से पूछें🧪 लैब · 35 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

एजेंट्स का गवर्नेंस: मंज़ूरियां, ऑडिट और जवाबदेही

सुरक्षा कंट्रोल्स के इर्द-गिर्द एक प्रोसेस की ज़रूरत होती है: एजेंट को कौन मंज़ूरी देता है, यह कितना जोखिम भरा है, इसका मालिक कौन है, और महीनों बाद आप कैसे जांचते हैं कि यह अभी भी…

1/5
आसान शब्दों में
सड़क पर नई बस उतरने से पहले, कोई उसकी जांच करता है, उसे नंबर प्लेट देता है और तय करता है कि इसके लिए कौन ज़िम्मेदार है। हर साल इसकी दोबारा जांच होती है। AI एजेंट्स को भी इसी की ज़रूरत है: शुरू होने से पहले एक जांच, एक नेम टैग, और समय-समय पर चेक-अप।
गवर्नेंस फैसलों और तौर-तरीकों का वह सेट है जो इस पूरे ट्रैक के कंट्रोल्स को समय के साथ ठीक से काम करते रहने में मदद करता है। इसके बिना, पहले एजेंट की तो बारीकी से समीक्षा की जाएगी, लेकिन पचासवें एजेंट की नहीं। अच्छा गवर्नेंस कम जोखिम वाले एजेंट्स के लिए आसान और ज़्यादा जोखिम वालों के लिए सख्त होता है।

जोखिम के स्तर (Risk tiers)

स्तर (Tier)उदाहरणलाइव होने से पहले इसे क्या चाहिए
कम (Low)पब्लिक जानकारी से अंदरूनी टेक्स्ट का ड्राफ्ट तैयार करता है; कोई ऐसा टूल नहीं है जो कुछ भी बदल सकेइन्वेंट्री में रजिस्ट्रेशन, मालिक, स्टैंडर्ड सेटिंग्स
मध्यम (Medium)स्टाफ़ के लिए अंदरूनी डेटा पढ़ता है; कम जोखिम वाले सिस्टम्स में लिखता है; ऐसे काम जिन्हें बदला जा सकता है (रिवर्सिबल)सिक्योरिटी रिव्यू, स्कोप्ड आइडेंटिटी, लॉगिंग, गेटवे पॉलिसी
ज्यादा (High)पैसों, पर्सनल डेटा, प्रोडक्शन सिस्टम्स को छूता है, या गैर-भरोसेमंद कंटेंट को पढ़कर कार्रवाई कर सकता हैथ्रेट मॉडल, रेड-टीम टेस्टिंग, इंसानी मंज़ूरी के स्टेप्स, टेस्ट किया हुआ किल स्विच, रिस्क ओनर द्वारा साइन-ऑफ
स्तर तय करने का एक आसान तरीका: देखें कि यह किस डेटा तक पहुंच सकता है, क्या एक्शन ले सकता है, क्या उन एक्शन्स को वापस पलटा जा सकता है, क्या यह गैर-भरोसेमंद कंटेंट पढ़ता है, और अगर कुछ गलत हो जाए तो कौन प्रभावित होगा।

गो-लाइव की मंज़ूरी

  1. 1

    इनटेक (Intake)

    बिज़नेस ओनर एक छोटा फ़ॉर्म भरता है: मकसद, डेटा, टूल्स, यूज़र्स, वेंडर, अनुमानित वॉल्यूम।
  2. 2

    टीयरिंग (Tiering)

    सिक्योरिटी तय सवालों के आधार पर एक टीयर असाइन करती है, ताकि एक जैसे एजेंट्स के साथ एक जैसा व्यवहार हो।
  3. 3

    समीक्षा (Review)

    जांच टीयर के हिसाब से होती है: आइडेंटिटी और स्कोप, टूल्स की लिस्ट, गेटवे रूल्स, लॉगिंग, मंज़ूरियां, टेस्टिंग।
  4. 4

    साइन-ऑफ (Sign-off)

    नामित बिज़नेस ओनर बचे हुए जोखिम को स्वीकार करता है; सिक्योरिटी पुष्टि करती है कि कंट्रोल्स लागू हैं।
  5. 5

    रजिस्टर (Register)

    ओनर, टीयर, समीक्षा की तारीख, और डिज़ाइन व टेस्ट रिज़ल्ट्स के लिंक के साथ इन्वेंट्री में एंट्री।

गो-लाइव के बाद

  • समय-समय पर एक्सेस की समीक्षा: ओनर पुष्टि करता है कि एजेंट को अभी भी हर परमिशन और टूल की ज़रूरत है। बिना इस्तेमाल वाले हटा दिए जाते हैं।
  • बदलाव का कंट्रोल (Change control): नए टूल्स, नए डेटा सोर्स, नया मॉडल या बड़े प्रॉम्प्ट बदलावों के बाद दोबारा नई समीक्षा की जाती है।
  • ऑडिट ट्रेल: टूल-कॉल लॉग्स, मंज़ूरियां और कॉन्फ़िगरेशन के बदलाव एक तय समय तक रखे जाते हैं और उन्हें सर्च किया जा सकता है।
  • मेट्रिक्स: घटनाएं (इंसिडेंट्स), ब्लॉक की गई कॉल्स, मंज़ूरी की दर, ओवरराइड्स। अचानक आए किसी भी बदलाव पर ध्यान देना ज़रूरी है।
  • रिटायरमेंट: जब किसी एजेंट की ज़रूरत नहीं रह जाती, तो उसकी पहचान (आइडेंटिटी), अनुमतियां (ग्रांट्स), मेमोरी और डेटा को जानबूझकर हटा दिया जाता है।

फ़्रेमवर्क्स के साथ मैपिंग

आपको अपना ढांचा खुद बनाने की ज़रूरत नहीं है। जाने-माने फ़्रेमवर्क्स ऑडिटर्स और रेगुलेटर्स के साथ बातचीत के लिए एक साझा भाषा देते हैं:
फ़्रेमवर्कयह क्या हैएजेंट गवर्नेंस इसमें कैसे फिट बैठता है
NIST AI RMF 1.0चार मुख्य कामों वाला एक स्वैच्छिक अमेरिकी ढांचा: गवर्न (Govern), मैप (Map), मेज़र (Measure), मैनेज (Manage)गवर्न: पॉलिसी, भूमिकाएं, मंज़ूरियां। मैप: इन्वेंट्री और संदर्भ। मेज़र: टेस्टिंग और मेट्रिक्स। मैनेज: कंट्रोल्स, इंसिडेंट्स, रिटायरमेंट
NIST AI 600-1AI RMF की जनरेटिव AI प्रोफ़ाइलजनरेटिव AI से जुड़े खास जोखिमों की लिस्ट देता है जो एजेंट्स को भी प्रभावित करते हैं
ISO/IEC 42001AI मैनेजमेंट सिस्टम के लिए एक अंतरराष्ट्रीय स्टैंडर्ड; संगठन इसके तहत सर्टिफाइड हो सकते हैंआपकी मंज़ूरी प्रक्रिया, रिस्क टीयर्स, समीक्षाएं और रिकॉर्ड्स मैनेजमेंट सिस्टम का हिस्सा बन जाते हैं
OWASP Top 10 for LLM Applicationsआम LLM एप्लिकेशन जोखिमों की एक सूचीLLM06 अत्यधिक एजेंसी (Excessive Agency) और LLM01 प्रॉम्प्ट इंजेक्शन सीधे एजेंट कंट्रोल्स से जुड़ते हैं
नोट
कानून भी बदल रहे हैं। EU AI Act 2024 में लागू हुआ, जिसके नियम कई सालों में धीरे-धीरे लागू होंगे। भारत में, जब भी एजेंट्स पर्सनल डेटा संभालते हैं, तो Digital Personal Data Protection Act 2023 लागू होता है। अपनी लीगल टीम से पूछें कि आपके एजेंट्स पर कौन से नियम लागू होते हैं; यह पाठ कोई कानूनी सलाह नहीं है।

जवाबदेही

धुंधली जवाबदेही
  • "AI ने फैसला किया"
  • ओनर का नाम "IT" लिखा होना
  • मंज़ूरियों को "सिस्टम" के रूप में दर्ज करना
  • पुराने एजेंट्स की समीक्षा कोई नहीं करता
साफ़ जवाबदेही
  • हर एजेंट के लिए एक नामित बिज़नेस ओनर
  • हर हाई-रिस्क एक्शन के लिए एक नामित अप्रूवर
  • रिकॉर्ड्स जो दिखाते हैं कि एजेंट को किसने मंज़ूरी दी और उन्होंने क्या देखा
  • समीक्षा की तारीखें जो रिमाइंडर भेजती हैं और नज़रअंदाज़ करने पर सस्पेंशन कर देती हैं
इसे आज़माएं। अपनी कंपनी का कोई एक एजेंट या कोई काल्पनिक एजेंट चुनें। टीयर टेबल का इस्तेमाल करके बताएं कि यह किस टीयर में आता है? उस टीयर के हिसाब से इसमें कौन सा एक कंट्रोल गायब है?

और देखें और पढ़ें

NIST AI Risk Management FrameworkNIST · reading

लैब

एक एजेंट इनटेक फ़ॉर्म, टीयरिंग का नियम और एक एजेंट के लिए पूरा किया गया अप्रूवल रिकॉर्ड।

~35 min

समस्या

अपनी कंपनी के एजेंट्स के लिए गवर्नेंस के दस्तावेज़ तैयार करें। इसे इतना छोटा रखें कि लोग सच में इसका इस्तेमाल करें।

  1. ज्यादा से ज्यादा 10 सवालों का एक इनटेक फ़ॉर्म लिखें।
  2. टीयरिंग का एक नियम लिखें: कौन से जवाब किसी एजेंट को लो, मीडियम या हाई बनाते हैं।
  3. किसी एक एजेंट (असली या काल्पनिक) के लिए फ़ॉर्म भरें और उसका टीयर तय करें।
  4. उसका अप्रूवल रिकॉर्ड लिखें: उस टीयर के लिए ज़रूरी कंट्रोल्स, कौन से पूरे हो चुके हैं, किसने साइन किया, और अगली समीक्षा की तारीख।
  5. अपनी प्रोसेस को NIST AI RMF के चार मुख्य कामों के साथ एक-एक लाइन में मैप करें।
शुरुआती कोडtext
AGENT INTAKE (draft)
1. Agent name and purpose (one sentence):
2. Business owner (named person):
3. Users (who talks to it or benefits from it):
4. Data it can read (and its classification):
5. Actions it can take; which cannot be undone:
6. Does it read content from outside the company (email, web, tickets, partner agents)?
7. Vendor, model provider and where data is processed:
8. Expected volume (tasks per day):
9. Approvals or human checks in the design:
10. How is it switched off?

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1दो टीमें काफ़ी मिलते-जुलते एजेंट्स के लिए इंटेक फॉर्म का अलग-अलग जवाब देती हैं, और उन्हें अलग-अलग टियर मिलते हैं। आप इसे कैसे ठीक करेंगे?दिखाएं

सवालों को राय के बजाय तथ्यों पर आधारित बनाएं (उदाहरण के लिए, "क्या यह जोखिम भरा है?" के बजाय "क्या यह कंपनी के बाहर ईमेल भेज सकता है? हाँ/ना")। सिक्योरिटी टीम से असली कॉन्फ़िगरेशन के आधार पर जवाबों की पुष्टि करवाएं, और टियर किए गए एजेंट्स के उदाहरण रखें ताकि रीव्यू करने वाले तुलना कर सकें। एक जैसी टियरिंग इस बात का संकेत है कि प्रोसेस निष्पक्ष और भरोसेमंद है।

Q2एक ऑडिटर पूछता है, "आपको कैसे पता कि प्रोडक्शन में चल रहे एजेंट्स वही हैं जिन्हें आपने मंज़ूरी दी थी?" आप क्या सबूत दिखाएंगे?दिखाएं

अप्रूवल रिकॉर्ड वाली इन्वेंटरी, जिसका मिलान इस बात से किया गया हो कि असल में क्या चल रहा है: आइडेंटिटी सिस्टम में मौजूद आइडेंटिटीज़, OAuth ग्रांट्स, गेटवे पॉलिसीज़, और सिर्फ़ रजिस्टर्ड एजेंट्स दिखाने वाले टूल-कॉल लॉग्स। समय-समय पर होने वाली डिस्कवरी (जैसा कि शैडो AI वाले पाठ में बताया गया है) यह दिखाती है कि आप बिना मंज़ूरी वाले एजेंट्स को पकड़ लेंगे। इन्वेंटरी और असलियत के बीच का फ़र्क़ अपने आप में ठीक करने वाली एक फाइंडिंग (कमी) है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या यह प्रोसेस इनोवेशन को धीमा कर देगी?

अगर इसे स्तरों (टीयर्स) में बांटा जाए, तो बिल्कुल नहीं। कम जोखिम वाले एजेंट्स को एक छोटे फ़ॉर्म के ज़रिए कुछ ही दिनों में मंज़ूरी मिल जानी चाहिए। सख्त समीक्षा सिर्फ़ उन एजेंट्स के लिए रखी जाती है जो पैसों, पर्सनल डेटा या प्रोडक्शन से जुड़े होते हैं। एक साफ़ और तेज़ प्रोसेस 'शैडो AI' को भी कम करती है, क्योंकि लोग मंज़ूरी मांगने में झिझकते नहीं हैं।

AI गवर्नेंस की ज़िम्मेदारी किसे संभालनी चाहिए?

आमतौर पर एक मिली-जुली टीम: सिक्योरिटी, डेटा प्रोटेक्शन, लीगल, रिस्क और बिज़नेस लीडर्स। सिक्योरिटी तकनीकी समीक्षा संभालती है; बिज़नेस ओनर्स अपने एजेंट्स के जोखिम को स्वीकार करते हैं; और लीडरशिप तय करती है कि कितना जोखिम उठाया जा सकता है।

क्या हमें ISO/IEC 42001 सर्टिफिकेशन की ज़रूरत है?

ज़रूरी नहीं। कुछ संगठन इसे इसलिए लेते हैं क्योंकि ग्राहक या रेगुलेटर्स इसे अहमियत देते हैं। दूसरे बिना सर्टिफ़िकेट लिए ही इसे या NIST AI RMF को गाइड के तौर पर इस्तेमाल करते हैं। किसी भी तरह से, ये फ़्रेमवर्क आपको अपने मौजूदा कामों को सही ढंग से व्यवस्थित करने में मदद करते हैं।

अगर कोई ओनर समीक्षा करना भूल जाए तो क्या होगा?

पहले से एक साफ़ नियम तय करें, जैसे कि पहले एक रिमाइंडर, फिर उच्च स्तर पर शिकायत (एस्केलेशन), और फिर एजेंट का एक्सेस सस्पेंड करना। समीक्षा की ऐसी तारीख जिसे कोई लागू ही न करवाए, कोई कंट्रोल नहीं होती।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें