एक LLM बनाएँशुरुआतीपाठ 366 मिनट का पाठ

आप असल में कौन सा LLM बना सकते हैं?

खर्च के लिहाज़ से साफ़ तौर पर पाँच टीयर हैं, जिनमें तीन या चार ऑर्डर्स ऑफ़ मैग्निच्यूड का फ़र्क है। कोड की एक भी लाइन लिखने से पहले अपना टीयर चुन लें।

✦ ट्यूटर से पूछें🧪 लैब · 20 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

आप असल में कौन सा LLM बना सकते हैं?

खर्च के लिहाज़ से साफ़ तौर पर पाँच टीयर हैं, जिनमें तीन या चार ऑर्डर्स ऑफ़ मैग्निच्यूड का फ़र्क है। कोड की एक भी लाइन लिखने से पहले अपना टीयर चुन लें।

1/5
आसान शब्दों में
आप अपने गैराज में जंबो जेट नहीं बना सकते। लेकिन आप कागज़ का हवाई जहाज़ ज़रूर बना सकते हैं, फिर एक मॉडल ग्लाइडर, और फिर एक असली ड्रोन। हर एक चीज़ आपको अगली चीज़ सिखाती है।
"एक LLM बनाना" का मतलब पाँच बिल्कुल अलग-अलग प्रोजेक्ट्स हैं। लोग महीनों बर्बाद कर देते हैं क्योंकि उन्होंने अपने बजट के हिसाब से गलत टीयर चुन लिया, और फिर कोड को दोष देने लगे।

Interactive · pick your tier

T1 — LoRA fine-tune an open model1 GPU, 16–48 GB · hours · $1–100The best value on the ladder. You learn data formatting, training loops, overfitting and evaluation discipline, and the output is a real product you can serve. Most teams should live here.

हर टीयर आपको असल में क्या सिखाता है

टीयरआप सीखते हैंआप यह नहीं सीखते
T0 · Prompt + RAGContext डिज़ाइन, retrieval, evaluation, प्रोडक्ट सेंसमॉडल अंदर से कैसे काम करता है, इसके बारे में कुछ भी नहीं
T1 · LoRA fine-tuneData formatting, training loops, overfitting, eval का अनुशासनPretraining dynamics, distributed systems
T2 · Full fine-tune / continued pretrainingOptimiser behaviour, memory मैनेजमेंट, multi-GPU बेसिक्सFrontier-scale data engineering
T3 · छोटा मॉडल pretrain करनासब कुछ। Tokenizers, आर्किटेक्चर, डेटा, स्केलिंग, इंफ्रास्ट्रक्चरऐसी चीज़ें जो केवल 1000+ GPUs पर ही टूटती हैं
T4 · Frontier pretrainक्लस्टर रिलायबिलिटी, ट्रिलियन्स tokens वाला डेटा, महीनों चलने वाले रनकुछ भी नहीं — यह सबसे गहरा सिरा है
यह करें
लगभग हर किसी के लिए ईमानदार सलाह: बहुत छोटे स्तर पर एक बार T3 करें, और फिर T0 और T1 पर ही रहें। एक दोपहर निकालकर किसी छोटी टेक्स्ट फ़ाइल पर 10M-पैरामीटर का मॉडल ट्रेन करें। आप अपने पूरे करियर में LLMs के बारे में होने वाली आगे की हर बातचीत को समझ पाएँगे, और इसका खर्च सिर्फ़ एक कॉफ़ी जितना है।

इस ट्रैक का रास्ता

  1. 1

    मॉड्यूल 37–42 · शुरुआत से बिल्कुल नया मॉडल बनाएं

    Tokenizer, embeddings, attention, transformer block, एक पूरा छोटा GPT, और एक training loop जो converge होता है। असली कोड जिसे आप एक GPU या लैपटॉप पर चला सकते हैं।
  2. 2

    मॉड्यूल 43–48 · इसे असली रूप दें

    Data pipelines, scaling laws और compute बजट, distributed training, स्पीड, आधुनिक आर्किटेक्चर, long context।
  3. 3

    मॉड्यूल 49–52 · इसे उपयोगी बनाएं

    Instruction tuning, preference optimisation, reasoning training, और LoRA — वह रास्ता जो ज़्यादातर लोगों को अपनाना चाहिए।
  4. 4

    मॉड्यूल 53 · इसे शिप करें

    Evaluation, quantisation, serving, प्रति token लागत।

शुरू करने से पहले आपको क्या चाहिए

  • Python और थोड़ी बहुत PyTorch। अगर आप एक for-loop और एक class लिख सकते हैं, तो इतना काफी है।
  • इतनी linear algebra कि आप "मैट्रिक्स मल्टीप्लाई जानकारी को मिक्स करता है" बात को सहजता से समझ सकें। किसी प्रूफ की ज़रूरत नहीं है।
  • मॉड्यूल 37–42 के लिए GPU मददगार है, ज़रूरी नहीं। एक छोटे मॉडल के लिए मुफ़्त वाले नोटबुक GPUs ही काफी हैं।
  • खामोशी के साथ सब्र। ट्रेनिंग के दौरान लंबे समय तक लगभग कोई फ़ीडबैक नहीं मिलता। यह सामान्य बात है, और यही वजह है कि मॉड्यूल 42 ज़्यादातर instrumentation के बारे में है।
सावधान रहें
एक बात अभी तय कर लें: आप किसी frontier मॉडल को मात नहीं देने वाले हैं। यह लक्ष्य नहीं है और न ही कभी था। लक्ष्य उस मशीन को समझना है जिसे आप सिक्योर कर रहे हैं, एक ऐसा छोटा मॉडल तैयार करना है जो कम खर्च में कोई एक काम कर सके, और इस पूरी चीज़ को जादू समझना बंद करना है।

और देखें और पढ़ें

Let's build GPT: from scratch, in codeAndrej Karpathy · 2 hr · video
The spelled-out intro to neural networksAndrej Karpathy · micrograd · video
nanoGPT repositorykarpathy/nanoGPT · reading

लैब

आप असल में जो मॉडल चाहते हैं, उसकी लागत का एक ईमानदार हिसाब।

~20 min

समस्या

ऐसा मॉडल चुनें जिसे आप वाकई पाना चाहते हैं। C ≈ 6ND का इस्तेमाल करके गणना करें: पैरामीटर्स, tokens, FLOPs, 40% MFU पर GPU-घंटे, और लागत। फिर अपने अनुमानित वॉल्यूम पर प्रति दस लाख tokens की inference लागत की गणना करें। तय करें कि आप असल में किस टीयर में हैं।

प्रैक्टिस लैब

कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।

आउटपुट

कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपकी गणना कहती है कि उसी क्वालिटी के लिए ट्रेनिंग का खर्च $200k है और API एक्सेस का खर्च $8k/साल है। फिर भी ट्रेन करने के तीन कारण बताइए।दिखाएं
ऐसा डेटा जो आपके इंफ्रास्ट्रक्चर से बाहर नहीं जा सकता; ऐसी लेटेंसी या थ्रूपुट जो एक शेयर्ड API पूरा नहीं कर सकती; और ऐसा दायरा या भाषा जिसे API मॉडल्स ठीक से नहीं संभाल पाते, जहाँ एक छोटा स्पेशलाइज़्ड मॉडल किसी बड़े जनरल मॉडल को पीछे छोड़ देता है। चौथा, जो अक्सर निर्णायक होता है: API की शर्तें, कीमतें या उपलब्धता कभी भी बदल सकती हैं, और कुछ बिज़नेस इस निर्भरता को स्वीकार नहीं कर सकते। अगर इनमें से कोई भी बात लागू नहीं होती, तो API ही सही जवाब है और आपकी गणना ने आपको यही बताया है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे PhD की ज़रूरत है?

नहीं। कोर transformer लगभग 200 लाइनों का आसान कोड होता है। प्रोफेशनल्स को जो चीज़ अलग बनाती है, वह है डेटा की समझ और evaluation का अनुशासन, और ये दोनों चीज़ें करके ही सीखी जाती हैं।

क्या मुझे PyTorch इस्तेमाल करना चाहिए या JAX?

PyTorch, जब तक कि आप ऐसी टीम में शामिल न हो रहे हों जो JAX इस्तेमाल करती है। इसके ज़्यादा ट्यूटोरियल्स हैं, पढ़ने के लिए ज़्यादा कोड है, और ज़्यादा नौकरियाँ हैं। इसके कॉन्सेप्ट्स पूरी तरह से दूसरी जगह भी काम आते हैं।

क्या मैं एक GPU पर कुछ काम का ट्रेन कर सकता हूँ?

7B मॉडल का LoRA fine-tune, बिल्कुल — एक सिंगल 24 GB कार्ड पर यह वाकई एक उपयोगी, शिप करने लायक प्रोडक्ट बन जाता है। एक GPU पर शुरुआत से pretraining करने की सीमा छोटे डेटासेट पर लगभग 100M–500M पैरामीटर्स तक ही होती है, जो उपयोगी होने से ज़्यादा सीखने के काम आती है।

क्या fine-tune करना सस्ता पड़ता है या अच्छा prompt लिखना?

हर बार, पहले अच्छा prompt लिखें। Fine-tuning तब फ़ायदेमंद होती है जब आपको एक जैसा फ़ॉर्मेट, कोई खास दायरा, कम लेटेंसी चाहिए हो, या फिर किसी बड़े मॉडल का काम एक छोटे मॉडल से करवाना हो। "मॉडल को मेरे फैक्ट्स नहीं पता" वाली समस्या का हल यह शायद ही कभी होती है — उसके लिए retrieval काम आता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें