Provenance: मॉडल्स को साइन करना और AI बिल ऑफ मटेरियल्स (AI-BOM)
जिस मॉडल को आप ट्रेस नहीं कर सकते, उस पर भरोसा नहीं कर सकते। हैश, साइनिंग, बिल्ड provenance और AI बिल ऑफ मटेरियल्स के बारे में जानें।
60 सेकंड में
Provenance: मॉडल्स को साइन करना और AI बिल ऑफ मटेरियल्स (AI-BOM)
जिस मॉडल को आप ट्रेस नहीं कर सकते, उस पर भरोसा नहीं कर सकते। हैश, साइनिंग, बिल्ड provenance और AI बिल ऑफ मटेरियल्स के बारे में जानें।
चार टूल्स जो भरोसा बनाते हैं
| टूल | सवाल का जवाब देता है | सरल विवरण |
|---|---|---|
| हैश (उदाहरण के लिए SHA-256) | क्या यह बिल्कुल वही फ़ाइल है? | फ़ाइल का एक फ़िंगरप्रिंट। कोई भी बदलाव होने पर एक अलग हैश मिलता है। |
| सिग्नेचर | इस फ़ाइल की गारंटी कौन देता है? | एक क्रिप्टोग्राफ़िक सबूत कि किसी पहचानी गई आइडेंटिटी ने बिल्कुल इसी फ़ाइल को मंज़ूरी दी है। |
| बिल्ड provenance | यह कैसे बना था? | इसे बनाने के लिए इस्तेमाल किए गए इनपुट्स, कोड और एनवायरनमेंट का एक हस्ताक्षरित (साइंड) रिकॉर्ड। |
| बिल ऑफ मटेरियल्स | इसके अंदर क्या है? | कंपोनेंट्स की एक लिस्ट: बेस मॉडल, डेटासेट्स, लाइब्रेरीज़, लाइसेंस। |
साइनिंग, आसान शब्दों में
AI बिल ऑफ मटेरियल्स
| फ़ील्ड | उदाहरण |
|---|---|
| मॉडल का नाम और वर्शन | support-intent-classifier v3.2 |
| फ़ाइल हैश | हर वेट फ़ाइल का SHA-256 |
| बेस मॉडल और उसका सोर्स | एक ओपन मॉडल, सटीक रिविज़न, ऑफ़िशियल रिपॉजिटरी |
| डेटासेट्स | नाम, वर्शन, हैश, ओनर्स, और क्या उनमें पर्सनल डेटा है |
| ट्रेनिंग कोड और एनवायरनमेंट | Git कमिट, कंटेनर इमेज डाइजेस्ट, मुख्य लाइब्रेरी वर्शन्स |
| लाइसेंस | मॉडल लाइसेंस, डेटासेट लाइसेंस, इस्तेमाल पर कोई पाबंदी |
| मूल्यांकन (इवैल्यूएशन) परिणाम | पास किए गए एक्यूरेसी, सेफ़्टी और सिक्योरिटी टेस्ट, तारीखों के साथ |
| ओनर और मंज़ूरी | टीम, मंज़ूरी देने वाला, रिलीज़ की तारीख |
लाइसेंस भी मायने रखते हैं
- ओपन मॉडल्स कई अलग-अलग लाइसेंसों के साथ आते हैं। कुछ कॉमर्शियल इस्तेमाल, यूज़र्स की संख्या या कुछ खास तरह के इस्तेमाल पर रोक लगाते हैं।
- डेटासेट्स की अपनी शर्तें होती हैं, और कुछ कॉमर्शियल इस्तेमाल की मनाही करते हैं।
- एक फ़ाइन-ट्यून किए गए मॉडल पर उसके बेस मॉडल और उसके डेटा दोनों की शर्तें लागू हो सकती हैं।
- AI-BOM में लाइसेंसों को ट्रैक करें और जो कुछ भी साफ़ न हो, उसकी कानूनी सलाहकारों (लीगल काउंसिल) से समीक्षा कराएं।
- 1
रिकॉर्ड करें
जैसे ही डेटा आए, सोर्स, हैश और लाइसेंस को नोट करें। - 2
बिल्ड करें
ऐसी पाइपलाइन में ट्रेन करें जो provenance अपने आप लिखती हो। - 3
साइन करें
पाइपलाइन आइडेंटिटी से मॉडल और उसके मैनिफ़ेस्ट को साइन करें। - 4
वेरिफ़ाई करें
डिप्लॉय या लोड करने से पहले सिग्नेचर और हैश की जाँच करें। - 5
सुरक्षित रखें
AI-BOM को मॉडल के साथ स्टोर करें और हर बदलाव पर इसे अपडेट करें।
और देखें और पढ़ें
लैब
एक मॉडल के लिए पूरी AI-BOM एंट्री, जाँचे गए (वेरिफ़ाइड) हैश के साथ।
समस्या
एक ऐसा मॉडल चुनें जिसे आपकी टीम इस्तेमाल करती है या करने की योजना बना रही है (या प्रैक्टिस के लिए कोई छोटा ओपन मॉडल डाउनलोड करें)।
- पाठ की टेबल से हर फ़ील्ड भरें: नाम, वर्शन, फ़ाइल हैश, बेस मॉडल और सोर्स, डेटासेट्स, ट्रेनिंग कोड और एनवायरनमेंट, लाइसेंस, मूल्यांकन (इवैल्यूएशन), ओनर और मंज़ूरी।
- खुद हैश निकालें (कंप्यूट करें) और पब्लिश की गई वैल्यू से उनकी तुलना करें।
- हर फ़ील्ड को ज्ञात (known), आंशिक रूप से ज्ञात (partly known) या अज्ञात (unknown) के रूप में मार्क करें।
- हर अज्ञात फ़ील्ड के लिए लिखें कि इसका जवाब कौन दे सकता है।
- वैकल्पिक: CycloneDX साइट देखें और अपने फ़ील्ड्स को इसके ML-BOM स्ट्रक्चर से मैप करें।
{
"model": { "name": "", "version": "", "owner": "" },
"files": [ { "path": "", "sha256": "" } ],
"base_model": { "name": "", "source": "", "revision": "" },
"datasets": [ { "name": "", "version": "", "sha256": "", "personal_data": false, "licence": "" } ],
"training": { "code_commit": "", "container_digest": "", "run_id": "" },
"licences": [ "" ],
"evaluations": [ { "name": "", "result": "", "date": "" } ],
"approval": { "approved_by": "", "date": "" },
"status_notes": ""
}आपका काम तब पूरा होगा जब
कठिन सवाल
उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।
Q1मॉडल को किसी इंजीनियर के बजाय ट्रेनिंग पाइपलाइन द्वारा क्यों साइन किया जाना चाहिए?दिखाएं
अगर कोई व्यक्ति साइन करता है, तो सिग्नेचर यह तो बताता है कि "इस व्यक्ति ने इसे मंज़ूरी दी", लेकिन यह नहीं बताता कि इसे कैसे बनाया गया था। किसी व्यक्ति के लैपटॉप से छेड़छाड़ हो सकती है या उसका इस्तेमाल बिना जाँची गई फ़ाइल को साइन करने के लिए किया जा सकता है। जब एक नियंत्रित पाइपलाइन साइन करती है, तो सिग्नेचर एक ज्ञात, जाँची-परखी प्रक्रिया से जुड़ा होता है, और provenance रिकॉर्ड सटीक इनपुट्स दिखाते हैं। इसके बाद इंसानी मंज़ूरी को एक अलग रिकॉर्ड किए गए कदम के रूप में रखा जा सकता है।
Q2आपके base model का training data पब्लिश नहीं किया गया है। फिर भी आप क्या रिकॉर्ड कर सकते हैं और क्या कर सकते हैं?दिखाएं
base model का सटीक source, revision, hashes, licence और पब्लिश किया गया model card रिकॉर्ड करें। साफ़ तौर पर नोट करें कि इसका training data पता नहीं है, और इसे एक रिस्क की तरह देखें: bias, नुकसानदेह output, memorised data और unexpected triggers के लिए खुद अपने evaluations चलाएं, और जब तक आप पूरी तरह संतुष्ट न हों, तब तक सिर्फ़ सीमित इस्तेमाल को ही मंज़ूरी दें।
अक्सर पूछे जाने वाले सवाल
अगर हम API के ज़रिए केवल होस्टेड मॉडल का इस्तेमाल करते हैं, तो क्या हमें AI-BOM की ज़रूरत है?
आप इसके अंदर नहीं देख सकते, लेकिन आप जो इस्तेमाल करते हैं उसे फिर भी रिकॉर्ड कर सकते हैं: प्रोवाइडर, मॉडल का नाम और वर्शन, डेटा की शर्तें, क्षेत्र (रीजन), और आप क्या डेटा भेजते हैं। आपकी AI इन्वेंट्री एक AI-BOM की शुरुआत है।
क्या किसी वेबसाइट पर दिया गया हैश काफ़ी है?
यह डेटा करप्शन और रास्ते में होने वाली कुछ छेड़छाड़ से बचाता है। लेकिन अगर वेबसाइट से ही छेड़छाड़ हो जाए, तो यह आपकी सुरक्षा नहीं कर सकता। किसी पहचानी गई आइडेंटिटी से जुड़ा सिग्नेचर, जिसे किसी भरोसेमंद टूल से जाँचा गया हो, ज़्यादा पुख्ता भरोसा देता है।
AI-BOM को किसे मेंटेन करना चाहिए?
इसे ट्रेनिंग और रिलीज़ पाइपलाइन में अपने आप जेनरेट करें, ताकि यह सटीक रहे। मॉडल ओनर इसके सही होने के लिए ज़िम्मेदार होता है, और सिक्योरिटी या GRC टीमें ऑडिट और घटनाओं (इंसिडेंट्स) के समय इसे पढ़ती हैं।
किसी इंसिडेंट के दौरान यह कैसे मदद करता है?
जब किसी डेटासेट, लाइब्रेरी या बेस मॉडल में कोई समस्या पाई जाती है, तो आपको तुरंत यह जानना होता है कि आपके कौन-से मॉडल्स उसका इस्तेमाल करते हैं। बिना BOM के, इस खोज में कई दिन लग सकते हैं। इसके होने पर, इसमें कुछ ही मिनट लगते हैं।
पाठ का टेस्ट
5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।