AGI की ओरएडवांस्डपाठ 587 मिनट का पाठ

रेफरेंस स्टैक, ब्रेक्स के निशानों के साथ

दोनों ट्रैक्स की हर चीज़ एक ही आर्किटेक्चर में। किसी भी लेयर पर क्लिक करके देखें कि वह क्या करती है और उसका कंट्रोल पॉइंट कहाँ है।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

रेफरेंस स्टैक, ब्रेक्स के निशानों के साथ

दोनों ट्रैक्स की हर चीज़ एक ही आर्किटेक्चर में। किसी भी लेयर पर क्लिक करके देखें कि वह क्या करती है और उसका कंट्रोल पॉइंट कहाँ है।

1/4
आसान शब्दों में
यहाँ पूरी मशीन एक साथ दिखाई गई है। हरे रंग के निशान वे जगहें हैं जहाँ कोई इंसान अब भी 'ना' कह सकता है।
यह दिखाता है कि एक गंभीर एजेंटिक सिस्टम कैसा दिखता है जब Track E की कैपेबिलिटी इंजीनियरिंग, Track B की सिक्योरिटी इंजीनियरिंग से मिलती है। यहाँ कुछ भी काल्पनिक नहीं है — हर लेयर आज मौजूद टूल्स के साथ बनाई जा सकती है।

डायग्राम के किसी भी बॉक्स पर टैप करें

CAPABILITY STACK · CONTROL POINTS IN GREEN1 · Base modelpretrained, frozen weights2 · Post-trainingSFT · preferences · reasoning3 · Memoryepisodic · semantic · procedural4 · Toolsthe hands · read and write5 · Agent loopplan · act · observe · repeat6 · Orchestrationmultiple agents, long horizonsA · Sandbox + egress allow-listcontains everything aboveB · Scoped identity + secretsper agent, per user, short-livedC · Taint trackinguntrusted data cannot authoriseD · Approval gateson everything irreversibleE · Logging + replaywith the influencing sourceF · External kill switchnot a tool the system holdsevery capability on the left is matched by a control on the righta layer added without its control is a layer added without a brake
1 · बेस मॉडल

प्री-ट्रेनिंग से मिले फ्रोज़न वेट्स। इसका न तो कोई लक्ष्य होता है और न ही कोई मेमोरी। इस गाइड में बताई गई हर ख़तरनाक चीज़ इसके ऊपर बनाई गई है, इसके अंदर नहीं। कंट्रोल पॉइंट: कौन सा मॉडल, कौन सा वर्शन, पिन किया गया — और हर अपग्रेड पर अपने इवैल्यूएशन फिर से चलाएं, क्योंकि मॉडल बदलने से वह व्यवहार बदल जाता है जिसका आपने टेस्ट किया था।

किसी भी लेयर पर क्लिक करें। इसे एक जोड़ी के रूप में पढ़ें: लेयर 3 सिस्टम को मेमोरी देती है और कंट्रोल C उस मेमोरी को इंस्ट्रक्शन चैनल बनने से रोकता है। लेयर 4 उसे हाथ देती है और कंट्रोल D तय करता है कि किन हाथों के लिए इंसान की ज़रूरत है। दाएँ हाथ के कंट्रोल के बिना बाएँ हाथ की लेयर जोड़ना ही 'जल्दबाज़ी में आगे बढ़ना' कहलाता है।

इस ड्रॉइंग का उपयोग कैसे करें

  1. 1

    बाईं तरफ़ अपने सिस्टम को पहचानें

    आज ज़्यादातर प्रोडक्शन सिस्टम लेयर्स 1–4 पर हैं। एजेंटिक प्रोडक्ट्स 5 तक पहुँचते हैं। कुछ ही 6 तक पहुँचते हैं।
  2. 2

    उस लेवल पर या उससे नीचे के हर कंट्रोल को चेक करें

    अगर आप लेयर 5 पर हैं, तो कंट्रोल A से लेकर E तक सभी असली, लागू की गई चीज़ें होनी चाहिए — सिर्फ़ इरादे नहीं।
  3. 3

    कोई लेयर जोड़ने से पहले, उसका कंट्रोल पहले बनाएं

    यह पूरा नियम एक वाक्य में है। एक्सीलेटर से पहले ब्रेक तैयार करें।
  4. 4

    Module 60 की चेकलिस्ट दोबारा चलाएं

    हर बार जब आप एक लेयर ऊपर जाते हैं, तो चेकलिस्ट के नए जवाब होते हैं। यह सिर्फ़ एक बार करने वाली एक्सरसाइज़ नहीं है।
असली उदाहरण
जहाँ इस गाइड के दोनों हिस्से मिलते हैं। Track E ने आपको बायां कॉलम बनाना सिखाया, और यह वाकई रोमांचक इंजीनियरिंग है। Track B ने आपको दायां कॉलम बनाना सिखाया, और यह ज़्यादातर बिना चमक-दमक वाला काम है। लेकिन दायां कॉलम ही वह चीज़ है जो बाएं कॉलम को ऐसा बनाती है जिसे आप ज़िम्मेदारी के साथ दूसरों के सामने रख सकते हैं — और कोई भी क्षमता इसकी जगह नहीं ले सकती।

और देखें और पढ़ें

Building effective agentsAnthropic engineering · readingAgent architecture patternsYouTube searchRob Miles on AI safetyRobert Miles · channel

लैब

रेफरेंस स्टैक, एक ऐसे सिस्टम के लिए बनाया गया जिसे आप वास्तव में चलाते हैं।

~30 min

समस्या

एक असली सिस्टम के लिए मॉड्यूल 58 की छह कैपेबिलिटी लेयर्स और छह कंट्रोल्स बनाएं। हर कंट्रोल को बिल्ट, आंशिक, या अनुपस्थित के रूप में मार्क करें। फिर सबसे सस्ते अनुपस्थित कंट्रोल को लागू करें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका सिस्टम केवल A और E कंट्रोल्स के साथ लेयर 5 पर है। इसे रिलीज़ करने के पक्ष और विपक्ष में तर्क दें।दिखाएं
पक्ष में: सैंडबॉक्स और लॉगिंग एन्वायरमेंट को सीमित करते हैं और आपको फ़ोरेंसिक्स देते हैं, और यदि परमिशन्स सीमित हैं तो वास्तविक सबसे ख़राब स्थिति स्वीकार्य हो सकती है — कई उपयोगी सिस्टम ठीक इसी स्थिति में रिलीज़ होते हैं। विपक्ष में: C (टैंट ट्रैकिंग) के बिना अनट्रस्टेड कंटेंट किसी फ़ैसले तक पहुँच सकता है, और D (अप्रूवल गेट्स) के बिना एक न पलटा जा सकने वाला एक्शन बिना निगरानी के चल सकता है — इसलिए आपकी सबसे ख़राब स्थिति यह है कि 'एक ज़हरीला इनपुट ऐसा एक्शन करवा देता है जिसे सुधारा न जा सके, और आपको बाद में लॉग्स से इसका पता चलता है'। असली परीक्षा यह है कि क्या आप उस सबसे ख़राब स्थिति को जोखिम उठाने वाले ज़िम्मेदार व्यक्ति के सामने खुलकर कह सकते हैं। यदि नहीं कह सकते, तो रिलीज़ न करें; यदि आप कह सकते हैं और वे इसे स्वीकार करते हैं, तो D को लागू करने की तारीख तय करके रिलीज़ करें।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे एक छोटे इंटरनल टूल के लिए इस सब की ज़रूरत है?

नहीं। कंट्रोल्स को अपनी लेयर के हिसाब से रखें। लेयर-4 के सिर्फ़ पढ़ने वाले (रीड-ओनली) असिस्टेंट को सैंडबॉक्स, सीमित आइडेंटिटी और लॉगिंग की ज़रूरत होती है, और वह बाकी ज़्यादातर चीज़ों को छोड़ सकता है। गलती तब होती है जब आप लेयर-2 के कंट्रोल्स के साथ लेयर 5 या 6 पर पहुँच जाते हैं।

कौन सा कंट्रोल काम के प्रति घंटे सबसे ज़्यादा सुरक्षा देता है?

इग्रेस अलाउ-लिस्टिंग, उसके बाद न पलटे जा सकने वाले एक्शन्स पर अप्रूवल गेट्स। ये दोनों मिलकर डेटा चोरी और नुकसान के ज़्यादातर रास्तों को बंद कर देते हैं, और इनमें से किसी को भी लागू करने में ज़्यादा समय नहीं लगता।

जैसे-जैसे मॉडल्स ज़्यादा सक्षम होते जाएंगे, यह कैसे बदलेगा?

कंट्रोल्स वही रहेंगे और उनकी अहमियत और बढ़ जाएगी। यही हौसला बढ़ाने वाली बात है: सैंडबॉक्सिंग, लीस्ट प्रिविलेज, टैंट ट्रैकिंग और एक बाहरी स्टॉप किसी खास मॉडल जेनरेशन से बंधे नहीं हैं। वे इस क्षेत्र के टिकाऊ हिस्से हैं।

क्या होगा अगर मेरा संगठन दाएं कॉलम के लिए फंड नहीं देगा?

तो बाईं ओर कम लेयर्स बनाएं। यह एक जायज़ और अक्सर सही इंजीनियरिंग फ़ैसला होता है, और यह ऐसी क्षमता रिलीज़ करने से कहीं बेहतर है जिसे आप कंट्रोल नहीं कर सकते। लिखकर रखें कि आप किस लेयर पर रुके और क्यों।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें