← सभी ट्रैक

लर्निंग पाथ

बिल्डर

कोड लिखें: बिल्कुल शुरुआत से एक छोटा GPT, फिर एक ऑटोनॉमस लूप जो खुद को ठीक कर ले।

28 पाठ · 175 मिनट बाकी

पाथ शुरू करें → एक large language model क्या करता है
  1. बुनियादी बातेंपाठ 2: एक large language model क्या करता हैएक LLM ऐसा ऑटोकम्प्लीट है जिसने पूरी लाइब्रेरी निगल ली हो। इस एक वाक्य को समझ लेने से उसकी ज़्यादातर खूबियाँ और हर एक कमज़ोरी समझ आ जाती है।शुरुआती4 मिनट का पाठ🧪 लैब📝 टेस्ट
  2. एक LLM बनाएँपाठ 36: आप असल में कौन सा LLM बना सकते हैं?लागत के हिसाब से पाँच ईमानदार स्तर हैं, जिनमें तीन से चार गुना का फ़र्क है। कोड की एक भी लाइन लिखने से पहले अपना स्तर चुनें।शुरुआती6 मिनट का पाठ🧪 लैब📝 टेस्ट
  3. एक LLM बनाएँपाठ 37: चरण 1 · टोकनाइज़रमॉडल के भाषा देखने से पहले, किसी चीज़ को टेक्स्ट के टुकड़े करने होते हैं। इसे गलत किया, तो आगे की हर चीज़ चुपचाप खराब हो जाएगी।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  4. एक LLM बनाएँपाठ 38: चरण 2 · एम्बेडिंग और पोज़ीशनटोकन ID को वेक्टर में बदलना, और मॉडल को बताना कि वे किस क्रम में आए थे। दो लुकअप टेबल, एक बारीक विचार।मध्यम5 मिनट का पाठ🧪 लैब📝 टेस्ट
  5. एक LLM बनाएँपाठ 39: चरण 3 · अटेंशन, धीरे-धीरे समझनावह एक विचार जिस पर यह पूरा क्षेत्र टिका है। हर टोकन के तीन वेक्टर, एक डॉट प्रॉडक्ट, एक सॉफ्टमैक्स। इसे समझने के लिए डायग्राम पर क्लिक करें।मध्यम7 मिनट का पाठ🧪 लैब📝 टेस्ट
  6. एक LLM बनाएँपाठ 40: चरण 4 · ट्रांसफॉर्मर ब्लॉकअटेंशन और एक छोटा फ़ीड-फॉरवर्ड नेटवर्क, साथ में दो नॉर्मलाइज़ेशन और दो रेजिड्यूअल कनेक्शन। इसे N बार दोहराएं। यही पूरा मॉडल है।मध्यम5 मिनट का पाठ🧪 लैब📝 टेस्ट
  7. एक LLM बनाएँपाठ 41: चरण 5 · एक पूरा छोटा GPTहर हिस्से को जोड़कर बना एक मॉडल जिसे आप आज रात ही ट्रेन कर सकते हैं। 100 से कम लाइनों में, और बनावट में बिल्कुल एक फ्रंटियर मॉडल जैसा।मध्यम7 मिनट का पाठ🧪 लैब📝 टेस्ट
  8. एक LLM बनाएँपाठ 42: चरण 6 · ट्रेनिंग लूप जो कन्वर्ज होता हैमॉडल बनाना आसान हिस्सा है। यह मॉड्यूल तय करता है कि आपका रन काम करेगा या एक हफ़्ता बर्बाद होगा।मध्यम7 मिनट का पाठ🧪 लैब📝 टेस्ट
  9. एक LLM बनाएँपाठ 43: चरण 7 · डेटा ही असली प्रॉडक्ट हैआर्किटेक्चर लगभग मुफ़्त है — आप इसे कॉपी कर सकते हैं। डेटा वह जगह है जहाँ मॉडल असल में अलग होते हैं, और जहाँ लगभग सारा काम होता है।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  10. एक LLM बनाएँपाठ 44: चरण 8 · स्केलिंग लॉ और कंप्यूट बजटपैसे खर्च करने से पहले मॉडल का साइज़ और डेटासेट का साइज़ कैसे तय करें। स्लाइडर हिलाएं और बिल देखें।एडवांस्ड6 मिनट का पाठ🧪 लैब📝 टेस्ट
  11. एक LLM बनाएँपाठ 45: चरण 9 · कई GPU पर ट्रेनिंगएक मॉडल अब एक कार्ड में नहीं समाता। इसे बांटने के चार तरीके, और उनमें से चुनने का नियम।एडवांस्ड6 मिनट का पाठ🧪 लैब📝 टेस्ट
  12. एक LLM बनाएँपाठ 46: चरण 10 · इसे तेज़ बनानावही मॉडल, वही GPU, तीन गुना थ्रूपुट। ज़्यादातर ट्रेनिंग रन इसे यूँ ही छोड़ देते हैं।एडवांस्ड7 मिनट का पाठ🧪 लैब📝 टेस्ट
  13. एक LLM बनाएँपाठ 47: चरण 11 · मॉडर्न आर्किटेक्चर अपग्रेड2019 के ट्रांसफॉर्मर और 2026 के ट्रांसफॉर्मर में क्या फ़र्क है। छह बदलाव, हर एक छोटा, लेकिन मिलकर बहुत बड़ा असर।एडवांस्ड6 मिनट का पाठ🧪 लैब📝 टेस्ट
  14. एक LLM बनाएँपाठ 48: चरण 12 · लंबा कॉन्टेक्स्ट4k से 1M टोकन तक जाना कोई एक तरकीब नहीं है। यह चार तरीके हैं, और हर एक की अपनी कीमत है।एडवांस्ड6 मिनट का पाठ🧪 लैब📝 टेस्ट
  15. एक LLM बनाएँपाठ 49: चरण 13 · निर्देशों का पालन करना सिखानाएक बेस मॉडल टेक्स्ट पूरा करता है। वह सवालों के जवाब नहीं देता। सुपरवाइज्ड फ़ाइन-ट्यूनिंग वह चरण है जो एक को दूसरे में बदलता है।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  16. एक LLM बनाएँपाठ 50: चरण 14 · प्रेफ़रेंस ऑप्टिमाइज़ेशनSFT मॉडल को सिखाता है कि एक अच्छा जवाब कैसा दिखता है। प्रेफ़रेंस ट्रेनिंग उसे सिखाती है कि दो अच्छे जवाबों में से कौन सा बेहतर है — और यहीं से उसका अंदाज़ बनता है।एडवांस्ड7 मिनट का पाठ🧪 लैब📝 टेस्ट
  17. एक LLM बनाएँपाठ 51: चरण 15 · रीज़निंग मॉडलसबसे नया अध्याय। बड़े मॉडल के साथ क्षमता खरीदने के बजाय, जवाब देते समय ज़्यादा सोचने की क्षमता जोड़ें।एडवांस्ड6 मिनट का पाठ🧪 लैब📝 टेस्ट
  18. एक LLM बनाएँपाठ 52: चरण 16 · LoRA, वह रास्ता जो ज़्यादातर लोग चुनते हैं0.1% पैरामीटर ट्रेन करें, ज़्यादातर फ़ायदा पाएं, वह भी एक आम कंज़्यूमर GPU पर। यह पूरे ट्रैक का सबसे ज़्यादा काम आने वाला मॉड्यूल है।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  19. एक LLM बनाएँपाठ 53: चरण 17 · जांचें, छोटा करें, सर्व करेंजिस मॉडल को नापा नहीं गया, वह पूरा नहीं हुआ। जिस मॉडल को चलाने में बहुत ज़्यादा खर्च आता है, वह कभी रिलीज़ नहीं होता। दोनों समस्याएं, एक ही मॉड्यूल में।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  20. एक AGI बनाएंपाठ 61: डिजिटल संज्ञान के तीन स्तरएक मॉडल जो बात करता है, एक मॉडल जो खुद को जांचता है, और एक सिस्टम जो अपने दम पर काम करता है। AGI को लेकर ज़्यादातर भ्रम इन तीनों को आपस में मिलाने से होता है।शुरुआती7 मिनट का पाठ🧪 लैब📝 टेस्ट
  21. एक AGI बनाएंपाठ 62: मॉडल प्रस्ताव रखता है, कंपाइलर फैसला करता हैवह एक अकेला वाक्य जो एक अविश्वसनीय टेक्स्ट जनरेटर को ऐसे सिस्टम में बदल देता है जिस पर आप असली काम के लिए भरोसा कर सकते हैं।मध्यम6 मिनट का पाठ🧪 लैब📝 टेस्ट
  22. एक AGI बनाएंपाठ 63: OODA लूप और चार स्तंभआर्किटेक्चर। एक लगातार चलने वाले चक्र में चार सॉफ्टवेयर कंपोनेंट्स — और यह समझने का कारण कि यह एक पाइपलाइन के बजाय एक चक्र क्यों है।मध्यम7 मिनट का पाठ🧪 लैब📝 टेस्ट
  23. एक AGI बनाएंपाठ 64: हैंड्स ऑन: मिनी-AGI इंजनएक फाइल, लगभग सौ लाइनें। यह योजना बनाती है, कोड लिखती है, उसे चलाती है, एरर पढ़ती है और खुद को ठीक करती है। ऊपर बताई गई हर बात, हकीकत में।मध्यम8 मिनट का पाठ🧪 लैब📝 टेस्ट
  24. एक AGI बनाएंपाठ 65: आपके वेरिफ़ायर में छिपा बगऊपर वाला लूप जैसे ही कोड बिना क्रैश हुए चल जाता है, जीत की घोषणा कर देता है। कोड का बिना रुके चलना सही होने का सबूत नहीं है, और इसी गैप की वजह से खुद सुधरने वाले सिस्टम गलतियां कर बैठते हैं।एडवांस्ड7 मिनट का पाठ🧪 लैब📝 टेस्ट
  25. एक AGI बनाएंपाठ 66: एक्ज़ीक्यूटर को एक असली सैंडबॉक्स बनानाइस ट्यूटोरियल का एक्ज़ीक्यूटर आपकी मशीन पर आपके क्रेडेंशियल्स के साथ ऐसा कोड चलाता है जिसे हमलावर प्रभावित कर सकता है। इससे पहले कि यह आपकी किसी भी ज़रूरी चीज़ को छुए, यहाँ जानिए कि क्या बदलना ज़रूरी है।एडवांस्ड7 मिनट का पाठ🧪 लैब📝 टेस्ट
  26. एक AGI बनाएंपाठ 67: वर्किंग मेमोरी जो लूप में भी टिकी रहेएक लंबी होती स्ट्रिंग तीन बार दोहराने के लिए ठीक है, लेकिन तीन सौ बार के लिए बेकार है। स्टेट को रिट्रीवल से अलग करना ही वह तरीका है जिससे कोई एजेंट मिनटों के बजाय घंटों तक काम कर पाता है।एडवांस्ड7 मिनट का पाठ🧪 लैब📝 टेस्ट
  27. एक AGI बनाएंपाठ 68: अगली पीढ़ी के डेवलपर्स को यह सिखानाकिसी को कैसे मेंटर करें — चाहे वह कोई उत्सुक टीनेजर हो या कोई जूनियर इंजीनियर — ताकि वे सिर्फ चैट बॉक्स पर एक नया रैपर बनाने के बजाय ऐसे सिस्टम बनाएं जो सच में काम आएं।शुरुआती6 मिनट का पाठ🧪 लैब📝 टेस्ट
  28. Agent सुरक्षापाठ 18: Sandboxing: बिना खिड़कियों वाला कमराआप एजेंट को बेवकूफ बनने से नहीं रोक सकते। लेकिन जब ऐसा हो, तब वह किस कमरे में खड़ा है, यह आप तय कर सकते हैं।मध्यम5 मिनट का पाठ🧪 लैब📝 टेस्ट