मॉडल और डेटा सिक्योरिटीएडवांस्डपाठ 1745 मिनट का पाठ

ट्रेनिंग और फाइन-ट्यूनिंग पाइपलाइन को सुरक्षित बनाना

जो पाइपलाइन आपका मॉडल बनाती है, वह हमलावरों का एक बड़ा निशाना होती है। डेटा, कंप्यूट, सीक्रेट्स, चेकपॉइंट्स और रिलीज़ को सुरक्षित रखना सीखें।

✦ ट्यूटर से पूछें🧪 लैब · 30 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

ट्रेनिंग और फाइन-ट्यूनिंग पाइपलाइन को सुरक्षित बनाना

जो पाइपलाइन आपका मॉडल बनाती है, वह हमलावरों का एक बड़ा निशाना होती है। डेटा, कंप्यूट, सीक्रेट्स, चेकपॉइंट्स और रिलीज़ को सुरक्षित रखना सीखें।

1/4
आसान शब्दों में
एक बेकरी सिर्फ अपने दुकान के काउंटर की ही रखवाली नहीं करती। वह इस पर भी नज़र रखती है कि रसोई में कौन आ-जा रहा है, आटा कहाँ से आता है, और रेसिपी को कौन बदल सकता है। ट्रेनिंग पाइपलाइन आपके AI की रसोई ही है।
जो कोई भी आपकी पाइपलाइन में डेटा, कोड या चेकपॉइंट्स को बदल सकता है, वह आपके मॉडल को भी बदल सकता है। जो कोई इसके वेट्स (weights) को पढ़ सकता है, वह इसे कॉपी कर सकता है। इस पाइपलाइन को बिल्कुल प्रोडक्शन इंफ्रास्ट्रक्चर की तरह समझें, क्योंकि यह वही चीज़ तैयार करती है जिसे आप आगे प्रोडक्शन में चलाएँगे।

वे हिस्से जिन्हें सुरक्षित रखना है

हिस्सामुख्य जोखिमज़रूरी कंट्रोल्स
डेटासेट्सपॉइज़निंग, पर्सनल डेटा का लीक होनाकम से कम ऐक्सेस (Least-privilege), वर्शनिंग, हैश, बदलावों का रिव्यू
ट्रेनिंग कोड और कॉन्फिगव्यवहार में छिपे हुए बदलावकोड रिव्यू, सुरक्षित शाखाएं (protected branches), तय वर्शन वाली डिपेंडेंसीज़ (pinned dependencies)
कंप्यूट एनवायरनमेंटGPUs या नोटबुक्स से छेड़छाड़ (compromise)अलग प्रोजेक्ट्स या अकाउंट्स, जहाँ तक हो सके सीधा इंटरनेट न हो, पैच किए गए इमेजिस
सीक्रेट्सक्लाउड कीज़, टोकन और हब क्रेडेंशियल्स की चोरीसीक्रेट मैनेजर, कम समय के क्रेडेंशियल्स, नोटबुक्स या कोड में कोई सीक्रेट न हों
चेकपॉइंट्स और फाइनल वेट्सचोरी या छेड़छाड़रेस्ट पर एन्क्रिप्शन, सख्त ऐक्सेस, हैश और डिजिटल सिग्नेचर
रिलीज़ की प्रक्रियाअसुरक्षित या छेड़छाड़ किए गए मॉडल्स का यूज़र्स तक पहुँचनामूल्यांकन के पड़ाव (Evaluation gates) और दर्ज की गई मंज़ूरी

ऐक्सेस कंट्रोल

  • हर व्यक्ति और पाइपलाइन के हर काम (job) को सिर्फ उतनी ही ऐक्सेस दें जितनी उसे ज़रूरत है। रॉ डेटा को पढ़ने की ऐक्सेस और तैयार किए गए डेटा को बदलने की ऐक्सेस को अलग रखें।
  • लंबे समय तक चलने वाली कीज़ के बजाय जॉब्स के लिए वर्कलोड आइडेंटिटीज़ का इस्तेमाल करें। इंसानी एडमिन ऐक्सेस बहुत कम होनी चाहिए और उसका रिकॉर्ड (लॉग) रखा जाना चाहिए।
  • शेयर की गई नोटबुक्स को ध्यान से संभालें। इनमें अक्सर क्रेडेंशियल्स और डेटा के नमूने होते हैं, और ये गलती से दूसरों के साथ आसानी से शेयर हो सकती हैं।
  • डेटासेट्स और वेट्स को किसने पढ़ा या बदला, इसका लॉग रखें और किसी भी असामान्य ऐक्सेस की जाँच करें।

अलग (आइसोलेटेड) ट्रेनिंग एनवायरनमेंट

ट्रेनिंग को रोज़मर्रा के डेवलपमेंट से बिल्कुल अलग एनवायरनमेंट में चलाएँ। बाहर जाने वाले नेटवर्क ऐक्सेस (outbound network access) को सीमित रखें ताकि अगर कोई जॉब हैक भी हो जाए, तो वह डेटा को बाहर न भेज सके। डिपेंडेंसीज़ को किसी अंदरूनी मिरर या पिन किए गए सोर्स से ही लें। जाने-पहचाने कंटेनर इमेजिस का इस्तेमाल करें, और उनके डाइजेस्ट (digests) AI-BOM में दर्ज करें।

रीप्रोड्यूसिबिलिटी (फिर से तैयार कर पाना) एक सुरक्षा कंट्रोल है

अगर आप किसी मॉडल को दर्ज किए गए इनपुट्स (डेटा वर्शन, कोड कमिट, कॉन्फिग, कंटेनर, जहाँ संभव हो रैंडम सीड्स) से दोबारा बना सकते हैं, तो आप यह जाँच सकते हैं कि मॉडल वही है जिसका दावा किया गया है, और कुछ गलत होने पर यह पता लगा सकते हैं कि क्या बदला था। GPUs पर बिल्कुल एक-एक बिट का मिलान करना अक्सर मुश्किल होता है, लेकिन इतना नज़दीकी नतीजा मिल जाना कि मूल्यांकनों की तुलना की जा सके, बहुत काम आता है।

रिलीज़ से पहले मूल्यांकन के पड़ाव (Evaluation gates)

  1. 1

    क्वालिटी

    भरोसेमंद होल्डआउट सेट पर एक्यूरेसी तय मानकों पर खरी उतरती है।
  2. 2

    सेफ्टी और सिक्योरिटी

    नुकसानदेह आउटपुट, प्रॉम्प्ट इंजेक्शन बिहेवियर, जाने-पहचाने ट्रिगर्स और बचने की तरकीबों (evasion cases) के लिए टेस्ट्स।
  3. 3

    प्राइवेसी

    ट्रेनिंग सेट से याद रह गए पर्सनल डेटा और सीक्रेट्स की पड़ताल।
  4. 4

    फेयरनेस (निष्पक्षता)

    सभी संबंधित ग्रुप्स में नतीजों की जाँच की गई है।
  5. 5

    उत्पत्ति (Provenance)

    AI-BOM पूरा है, हैश और सिग्नेचर सही हैं।
  6. 6

    मंज़ूरी

    एक नामित ज़िम्मेदार व्यक्ति मंज़ूरी देता है, और उस फैसले को रिकॉर्ड किया जाता है।

रेस्ट पर और ट्रांज़िट में वेट्स की सुरक्षा

  • चेकपॉइंट्स और वेट्स रखने वाले स्टोरेज को एन्क्रिप्ट करें, जिसकी कीज़ किसी की-मैनेजमेंट सर्विस में मैनेज हों और उनकी ऐक्सेस का लॉग रखा जाए।
  • हर ट्रांसफर के लिए TLS का इस्तेमाल करें, जिसमें क्षेत्रों (regions) और क्लस्टर्स के बीच अंदरूनी कॉपियाँ भी शामिल हैं।
  • पुराने चेकपॉइंट्स जिनकी ज़रूरत नहीं है, उन्हें मिटा दें; हर एक कॉपी को सुरक्षित रखने की एक अलग ज़िम्मेदारी होती है।
  • वेट फाइलों के बड़े डाउनलोड्स पर नज़र रखें, खास तौर पर सामान्य रिलीज़ जॉब्स के अलावा।
  • सबसे कीमती मॉडल्स के लिए, यह सीमित करें कि कौन से सिस्टम्स कभी भी पूरे वेट्स रख सकते हैं।
सावधान रहें
फाइन-ट्यून किए गए वेट्स अगर लीक होते हैं, तो वह डेटा भी लीक हो सकता है जिस पर इसे ट्रेन किया गया था। वेट्स को कम से कम उतना ही संवेदनशील मानें जितना कि उन्हें ट्रेन करने के लिए इस्तेमाल किया गया सबसे संवेदनशील डेटा था।

और देखें और पढ़ें

लैब

फाइन-ट्यूनिंग पाइपलाइन के लिए एक पन्ने का सुरक्षा डिज़ाइन, रिलीज़ गेट चेकलिस्ट के साथ।

~30 min

समस्या

किसी असल मामले के लिए फाइन-ट्यूनिंग पाइपलाइन का खाका खींचें (कागज़ पर या किसी डॉक्यूमेंट में), जैसे किसी IT सर्विस कंपनी के लिए सपोर्ट टिकट्स पर मॉडल को फाइन-ट्यून करना।

  1. हर पड़ाव दिखाएँ: डेटा सोर्स, डेटा की छँटाई (curation), ट्रेनिंग, चेकपॉइंट स्टोरेज, मूल्यांकन, रजिस्ट्री, डिप्लॉयमेंट।
  2. हर पड़ाव के लिए लिखें कि किसे ऐक्सेस है, और इस पाठ से जुड़ा मुख्य कंट्रोल क्या है।
  3. पास या फेल की शर्तों के साथ एक चेकलिस्ट के रूप में रिलीज़ गेट लिखें।
  4. ऐसे तीन बदलावों के नाम बताएं जो आपके असली एनवायरनमेंट में जोखिम को सबसे ज़्यादा कम करेंगे।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1एक इंजीनियर कहता है, "हमारे ट्रेनिंग क्लस्टर में इंटरनेट नहीं है, इसलिए हमें डिपेंडेंसीज़ को स्कैन करने की ज़रूरत नहीं है।" इसमें क्या खराबी है?दिखाएं

डिपेंडेंसीज़ फिर भी किसी न किसी तरह से अंदर आती ही हैं: किसी मिरर से, किसी कंटेनर इमेज से, या कॉपी की गई व्हील (wheel) फाइल से। उस तरह से लाया गया कोई दुर्भावनापूर्ण या कमज़ोरियों वाला पैकेज क्लस्टर के अंदर चलता है और उसे डेटा और वेट्स की ऐक्सेस मिल जाती है। इंटरनेट न होने से डेटा बाहर जाने और डाउनलोड होने का जोखिम कम होता है, लेकिन फिर भी आपको तय वर्शन वाली, जाँची-परखी और भरोसेमंद डिपेंडेंसीज़ की ज़रूरत होती है।

Q2जब सभी ऑटोमैटिक गेट्स पास हो जाएँ, तब भी इंसानी मंज़ूरी को एक अलग कदम के रूप में क्यों रखें?दिखाएं

ऑटोमैटिक टेस्ट सिर्फ उन्हीं चीज़ों की जाँच करते हैं जिन्हें टेस्ट करने के बारे में किसी ने पहले से सोचा हो। एक इंसानी ज़िम्मेदार संदर्भ (context) को समझ सकता है: क्या यह मॉडल तय किए गए काम के लिए सही है, क्या कोई नए जोखिम हैं, क्या कोई टेस्ट बमुश्किल पास हुआ है? किसने मंज़ूरी दी, इसका रिकॉर्ड रखना ज़िम्मेदारी भी तय करता है, जिसकी उम्मीद ऑडिटर्स और रेगुलेटर्स करते हैं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

हमारे डेटा साइंटिस्ट्स को नए प्रयोग करने की आज़ादी चाहिए। क्या इससे उनकी रफ्तार धीमी नहीं होगी?

प्रयोग करने की जगह (प्लेग्राउंड) और प्रोडक्शन पाइपलाइन को अलग-अलग रखें। लोगों को सैंडबॉक्स में मंज़ूर किए गए, पहचान हटाए गए डेटा पर प्रयोग करने दें। केवल नियंत्रित पाइपलाइन ही ऐसे मॉडल बना सकती है जिन्हें रिलीज़ किया जाए। इससे जहाँ ज़रूरत हो वहाँ तेज़ी भी बनी रहती है और जहाँ अहम हो वहाँ नियंत्रण भी रहता है।

क्या हमें हर चेकपॉइंट को साइन करना चाहिए?

अपने पास रखे जाने वाले हर चेकपॉइंट का हैश निकालें। रिलीज़ के लिए चुने गए और फाइनल मॉडल्स को साइन करें। अगर यह अपने आप (ऑटोमैटिक) होता है तो हर चीज़ को साइन करने में कोई बुराई नहीं है, लेकिन ध्यान उस पर रखें जिसे डिप्लॉय किया जा सकता है।

क्लाउड प्रोवाइडर की सर्विस के ज़रिए फाइन-ट्यूनिंग करने के बारे में क्या?

वही नियम यहाँ भी लागू होते हैं, बस ज़िम्मेदारी साझा (shared) हो जाती है। यह जाँचें कि कौन ट्रेनिंग डेटा अपलोड कर सकता है, इसे कहाँ स्टोर किया जाता है, इसे कब तक रखा जाता है, बने हुए मॉडल को कौन ऐक्सेस कर सकता है, और क्या प्रोवाइडर आपके डेटा का इस्तेमाल कर सकता है। इन जवाबों को अपने AI-BOM और वेंडर रिव्यू में दर्ज करें।

क्या GPU हार्डवेयर अपने आप में एक जोखिम है?

साझा एक्सेलरेटर, ड्राइवर्स और ऑर्केस्ट्रेशन टूल्स में सुरक्षा संबंधी कमियाँ रही हैं, जैसा कि सभी सॉफ्टवेयर में होता है। ड्राइवर्स और प्लेटफॉर्म्स को पैच करके अपडेट रखें, संवेदनशील ट्रेनिंग जॉब्स को अलग रखें, और मल्टी-टेनेंट वर्कलोड्स के लिए अपने क्लाउड प्रोवाइडर के दिशा-निर्देशों का पालन करें।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें