Agent सुरक्षामध्यमपाठ 257 मिनट का पाठ

वे नियम जिनका हर कोई ज़िक्र करता है

AI के जोखिमों पर होने वाली हर गंभीर बातचीत में तीन दस्तावेज़ सामने आते हैं। आसान भाषा में समझें कि इनमें से हर एक किस काम के लिए है।

✦ ट्यूटर से पूछें🧪 लैब · 20 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

वे नियम जिनका हर कोई ज़िक्र करता है

AI के जोखिमों पर होने वाली हर गंभीर बातचीत में तीन दस्तावेज़ सामने आते हैं। आसान भाषा में समझें कि इनमें से हर एक किस काम के लिए है।

1/5
आसान शब्दों में
बड़ों ने "क्या-क्या गलत हो सकता है" और "आपको क्या करना चाहिए" की लिस्ट बनाई हैं। आपको इन्हें रटने की ज़रूरत नहीं है। बस यह पता होना चाहिए कि कौन सी लिस्ट कब खोलनी है।

OWASP Top 10 for LLM Applications — बग्स की लिस्ट

अगर आप चीज़ें बनाते हैं, तो यह लिस्ट आपके लिए है। इसमें वे दस सबसे आम तरीके बताए गए हैं जिनसे LLM ऐप्लिकेशन्स खराब होती हैं, और इस ट्रैक का हर मॉड्यूल इनमें से किसी एक से जुड़ा है।
IDनामयहाँ शामिल है
LLM01Prompt Injectionमॉड्यूल 9, 10
LLM02Sensitive Information Disclosureमॉड्यूल 12, 21
LLM03Supply Chainमॉड्यूल 15
LLM04Data and Model Poisoningमॉड्यूल 16
LLM05Improper Output Handlingमॉड्यूल 12, 20
LLM06Excessive Agencyमॉड्यूल 13, 14
LLM07System Prompt Leakageमॉड्यूल 9, 21
LLM08Vector and Embedding Weaknessesमॉड्यूल 16
LLM09Misinformationमॉड्यूल 1, 2
LLM10Unbounded Consumptionमॉड्यूल 13, 24
यह करें
काम की बात: हर तीन महीने में एक बार अपने सिस्टम को इस लिस्ट से मिलाएँ, एक-एक लाइन करके देखें, और हर एक के लिए एक वाक्य लिखें कि आप क्या कर रहे हैं। इसमें एक घंटा लगता है और असली कमियाँ सामने आ जाती हैं।

NIST AI Risk Management Framework — प्रोसेस

पूरी संस्था में AI के जोखिमों को मैनेज करने के लिए अमेरिका का एक स्वैच्छिक (voluntary) फ्रेमवर्क। चार काम, जिन्हें याद रखना आसान है:
  1. 1

    Govern

    ज़िम्मेदार कौन है? नियम क्या हैं? कल्चर और ओनरशिप, कागज़ी कार्रवाई नहीं।
  2. 2

    Map

    यह सिस्टम क्या है, इसका असर किस पर पड़ता है, और संदर्भ के हिसाब से क्या गलत हो सकता है?
  3. 3

    Measure

    इसे टेस्ट करें। मूल्यांकन करें। समय के साथ आँकड़ों को ट्रैक करें, जिसमें आपका red-team पास रेट भी शामिल है।
  4. 4

    Manage

    प्राथमिकता तय करें, जोखिम घटाएँ, निगरानी रखें और समाधान करें। फिर वापस Govern पर लौटें।
यह आपको यह नहीं सिखाएगा कि prompt injection को कैसे रोका जाए। यह आपको यह बताएगा कि ऐसी संस्था कैसे चलाई जाए जो यह समझ सके कि prompt injection एक समस्या है और इसे सुलझाने का काम किसी को सौंपे।

EU AI Act — कानून

सख्त जुर्माना लगाने वाला एक बाध्यकारी कानून (binding legislation), जो 2025 से चरणबद्ध तरीके से लागू हो रहा है। इसका मुख्य विचार जोखिम की एक सीढ़ी (risk ladder) है:
लेवलउदाहरणक्या ज़रूरी है
अस्वीकार्यसोशल स्कोरिंग, कमज़ोर या असहाय लोगों को निशाना बनाने वाले हेरफेर करने वाले सिस्टमपूरी तरह बैन
हाई रिस्कहायरिंग, लोन/क्रेडिट, शिक्षा, मेडिकल, क्रिटिकल इंफ्रास्ट्रक्चररिस्क मैनेजमेंट, डेटा गवर्नेंस, लॉगिंग, इंसानी निगरानी, अनुरूपता मूल्यांकन
सीमित जोखिमचैटबॉट्स, इमोशन पहचानना, डीपफेक्सपारदर्शिता — लोगों को पता होना चाहिए कि यह AI है
न्यूनतम जोखिमस्पैम फ़िल्टर, गेम AI, ज़्यादातर टूल्सकोई खास नियम या बाध्यता नहीं
सावधान रहें
दो बातें जो डेवलपर्स अक्सर गलत समझ लेते हैं: अगर आपका सिस्टम EU में इस्तेमाल हो रहा है, तो यह कानून आप पर लागू होता है, चाहे आप कहीं भी हों। और लेवल इस्तेमाल के तरीके से तय होता है, टेक्नोलॉजी से नहीं। वही मॉडल किसी गेम में न्यूनतम जोखिम वाला हो सकता है और हायरिंग प्रोसेस में हाई रिस्क वाला।

यह भी जानना ज़रूरी है

  • ISO/IEC 42001 — AI के लिए एक सर्टिफ़िकेशन वाला मैनेजमेंट स्टैंडर्ड, जिसकी माँग बड़ी कंपनियों की ख़रीद में तेज़ी से बढ़ रही है।
  • MITRE ATLAS — असली adversarial ML तकनीकों का ATT&CK जैसा नॉलेज बेस। रेड-टीम प्लानिंग के लिए बहुत बेहतरीन।
  • सेक्टर के नियम — हेल्थ, फाइनेंस और बच्चों की सेवाओं से जुड़े सेक्टरों के आम तौर पर अपने नियम होते हैं, जो किसी भी AI-खास कानून से पहले ही लागू हो जाते हैं।
यह करें
कंप्लायंस के बारे में एक खरी बात: ये दस्तावेज़ आपको ज़िम्मेदार बनाते हैं, सुरक्षित नहीं। अगर पूरी तरह कंप्लायंट एजेंट के पास भी प्रोडक्शन में लिखने (write access) की छूट है और कोई अप्रूवल गेट नहीं है, तो वह आपकी पूरी तिमाही का काम बिगाड़ देगा।

और देखें और पढ़ें

OWASP Top 10 for LLM Applicationsgenai.owasp.org · readingNIST AI Risk Management Frameworknist.gov · readingEU AI Act explainedYouTube search

लैब

ईमानदारी से OWASP LLM Top 10 के आधार पर आपके अपने सिस्टम का स्कोर।

~20 min

समस्या

जिस सिस्टम को आप वास्तव में चलाते हैं, उस पर OWASP के दसों आइटम्स को एक-एक करके परखें। हर एक के लिए: आप क्या करते हैं, क्या नहीं करते हैं, और बचा हुआ जोखिम (residual risk) एक वाक्य में लिखें। बिना लिखित कारण के किसी भी आइटम को 'लागू नहीं' (not applicable) मार्क नहीं किया जा सकता।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका सिस्टम पूरी तरह से OWASP-compliant है, फिर भी उसमें एक गंभीर घटना घट जाती है। ऐसा होने का एक परिदृश्य (scenario) तैयार करें।दिखाएं
एक कम्प्लायंट सिस्टम के पास भी ज़रूरत से ज़्यादा परमिशन हो सकती हैं, जिसकी चेकलिस्ट का हर आइटम तकनीकी रूप से अनुमति देता है। उदाहरण के लिए: prompt injection को कम कर दिया गया है, आउटपुट को संभाल लिया गया है, सप्लाई चेन सुरक्षित है, एजेंट का दायरा 'सीमित' है — फिर भी एजेंट के पास प्रोडक्शन डेटाबेस में लिखने का एक्सेस रहता है क्योंकि एक इंसान उसे मंज़ूरी देता है, और वह मंज़ूरी देने वाला व्यक्ति दिन भर में चालीस प्रॉम्प्ट्स को बिना सोचे-समझे क्लिक कर देता है। हर बॉक्स पर टिक लगा है; लेकिन नुकसान का दायरा (blast radius) बिल्कुल नहीं बदला है। चेकलिस्ट सिर्फ़ यह पुष्टि करती हैं कि आपने किसी श्रेणी पर विचार किया है, यह कभी नहीं कि आपका सबसे ख़राब स्थिति वाला जोखिम सीमित है।
Q2EU AI Act के तहत, एक ही मॉडल सीमित जोखिम (limited risk) से उच्च जोखिम (high risk) में कब बदल जाता है? एक ठोस उदाहरण दें।दिखाएं
जोखिम का स्तर इस्तेमाल के तरीके (use case) पर निर्भर करता है। वही मॉडल जब आंतरिक मीटिंग के नोट्स की समरी बनाता है, तो वह सीमित जोखिम वाला होता है — जिसमें सिर्फ़ डिस्क्लोज़र की ज़िम्मेदारी होती है। वही weights, वही प्रॉम्प्ट, जब नौकरी के आवेदनों की स्क्रीनिंग करता है, तो वह रोज़गार के तहत उच्च जोखिम वाला इस्तेमाल बन जाता है, जिससे जोखिम प्रबंधन, डेटा गवर्नेंस, लॉगिंग, मानवीय निगरानी और अनुरूपता मूल्यांकन (conformity assessment) के नियम लागू हो जाते हैं। तकनीकी रूप से कुछ नहीं बदला; बस उसे इस्तेमाल करने का संदर्भ बदल गया। यह उन टीमों को पकड़ता है जो मॉडल के स्तर पर एक बार वर्गीकरण कर लेती हैं और जब कोई नई टीम उसे अपनाती है, तो दोबारा कभी उसकी जाँच नहीं करतीं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

एक छोटी टीम को किससे शुरुआत करनी चाहिए?

आज ही OWASP से शुरू करें। यह ठोस, मुफ़्त, संक्षिप्त है और इंजीनियर इस पर सीधे काम शुरू कर सकते हैं। NIST को तब लाएँ जब आपको एक से ज़्यादा AI सिस्टम मैनेज करने हों, और EU AI Act को तब, जब आपके यूज़र्स EU में हों या कोई कॉर्पोरेट ग्राहक इसकी माँग कर रहा हो।

क्या इनमें खास तौर पर एजेंट्स को कवर किया गया है?

दिन-ब-दिन और ज़्यादा। 2025 के OWASP काम में एजेंट से जुड़े खतरों को साफ़ तौर पर शामिल किया गया है, और NIST के पास जनरेटिव-AI प्रोफाइल हैं। यह फ़ील्ड इन फ्रेमवर्क्स से भी नई है, इसलिए कुछ कमियों की उम्मीद रखें और इस ट्रैक की समझ से उन्हें पूरा करें।

क्या सिर्फ कंप्लायंस काफ़ी है?

नहीं। कंप्लायंस बस एक न्यूनतम स्तर तय करता है और कागज़ी सबूत तैयार करता है। यहाँ दिया गया हर फ्रेमवर्क ऐसे सिस्टम से भी संतुष्ट हो सकता है जो किसी एजेंट को एक ही समय में डिलीट टूल और बिना परखा हुआ इनपुट थमा दे।

किसी कंपनी में AI सुरक्षा की ज़िम्मेदारी किसकी होती है?

आम तौर पर सुरक्षा टीम स्टैंडर्ड तय करती है, इंजीनियरिंग टीम उसे लागू करती है, और तैनात किए गए हर एजेंट की ज़िम्मेदारी किसी तय व्यक्ति की होती है। गड़बड़ी तब होती है जब हर कोई यह मान लेता है कि यह किसी और की ज़िम्मेदारी है—और अक्सर यही देखने को मिलता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें