AI रिसर्च कैसे करेंमध्यमपाठ 3248 मिनट का पाठ

30 मिनट में एक पेपर पढ़ना

किसी पेपर को समझने के लिए आपको उसका हर एक शब्द पढ़ने की ज़रूरत नहीं है। इसे तीन पास (passes) में पढ़ें, एक तय टेम्पलेट में नोट्स बनाएं, और कमज़ोर इवैल्यूएशन को पहचानना सीखें।

✦ ट्यूटर से पूछें🧪 लैब · 45 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

30 मिनट में एक पेपर पढ़ना

किसी पेपर को समझने के लिए आपको उसका हर एक शब्द पढ़ने की ज़रूरत नहीं है। इसे तीन पास (passes) में पढ़ें, एक तय टेम्पलेट में नोट्स बनाएं, और कमज़ोर इवैल्यूएशन को पहचानना सीखें।

1/5
आसान शब्दों में
जब आपको नया क्रिकेट बैट मिलता है, तो आप पहले लकड़ी के हर रेशे को नहीं देखते। आप उसे देखते हैं, उठाकर देखते हैं, फिर कुछ शॉट खेलते हैं। उसके बाद ही आप बारीकियों को देखते हैं। रिसर्च पेपर पढ़ना भी इसी तरह काम करता है: पहले एक सरसरी नज़र, फिर मुख्य विचार, फिर बारीकियां।
एक रिसर्च पेपर एक छोटी रिपोर्ट होती है जो बताती है: यह एक समस्या है, हमने यह आज़माया, यह नतीजा निकला, और हमारे हिसाब से यह क्यों महत्वपूर्ण है। ज़्यादातर AI पेपर पहले arXiv पर मुफ़्त प्रीप्रिंट्स के रूप में शेयर किए जाते हैं। इतने सारे पेपर होते हैं कि सबको पूरा पढ़ना नामुमकिन है, इसलिए अच्छे रिसर्चर्स इन्हें पास (passes) में पढ़ते हैं। हर पास में गहराई बढ़ती जाती है, और आप किसी भी पास के बाद रुक सकते हैं।

तीन पास

  1. 1

    पास 1 · लगभग 5 मिनट: रूपरेखा

    शीर्षक, abstract, सभी चित्र और टेबल उनके कैप्शन के साथ, और conclusion पढ़ें। सेक्शन की हेडिंग्स पर सरसरी नज़र डालें। पूछें: क्या समस्या है, क्या विचार है, मुख्य दावा क्या है?
  2. 2

    पास 2 · लगभग 15 मिनट: तरीका (method)

    Introduction और method सेक्शन पढ़ें। मुख्य विचार को इतनी अच्छी तरह समझें कि उसे किसी दोस्त को समझा सकें। प्रयोगों को देखें: क्या डेटा है, क्या baselines हैं, क्या metric है?
  3. 3

    पास 3 · लगभग 10 मिनट, या उससे कहीं ज़्यादा: बारीकियां

    समीकरण (equations), ट्रेनिंग सेटिंग्स, appendix और कमियों (limitations) की जांच करें। यह सिर्फ़ उन्हीं पेपर्स के लिए करें जिन पर आप आगे काम करने वाले हैं, जिन्हें reproduce करने वाले हैं या रिव्यू करने वाले हैं।
नोट
यह समय पहली बार पढ़ने के लिए महज़ एक अंदाज़ा है, कोई नियम नहीं। जिस पेपर पर आप आगे काम करने की योजना बना रहे हैं, उसके पास 3 में कई घंटे लग सकते हैं, जो कई दिनों में फैले हो सकते हैं। यह बिल्कुल सामान्य बात है, अनुभवी रिसर्चर्स के लिए भी।

पास 1 विस्तार से: क्या देखना है

  • Abstract: मुख्य दावे वाला एक वाक्य ढूंढें। उसे रेखांकित करें।
  • Figures: पहला चित्र अक्सर पूरे विचार को एक ही तस्वीर में दिखा देता है। नतीजों के ग्राफ (plots) दिखाते हैं कि लेखकों को किस चीज़ पर सबसे ज़्यादा गर्व है।
  • Tables: नए तरीके (method) वाली पंक्ति और baselines वाली पंक्तियां ढूंढें। अंतर कितना बड़ा है?
  • Conclusion: यह अक्सर abstract की तुलना में दावे को ज़्यादा साफ़ शब्दों में बताता है, और कभी-कभी कमियां भी गिनाता है।
पास 1 के बाद तय करें: क्या यह पेपर मेरे काम का है? कई पेपर्स यहीं रुक जाते हैं, और यह ठीक भी है। आपको फिर भी यह पता चल गया कि क्या नया हुआ है।

पास 2 विस्तार से: विचार को समझें

पेपर के शब्दों की नकल किए बिना, इस method को तीन वाक्यों में कहने की कोशिश करें। अगर आप ऐसा नहीं कर पा रहे हैं, तो उस हिस्से को पहचानें जो समझ नहीं आया और उसे एक सवाल के रूप में लिख लें। अनजाने शब्दों का मिलना सामान्य है। उन्हें ढूंढें, लेकिन दस दूसरे पेपर्स पढ़ने के चक्कर में न पड़ें। उन्हें नोट करें और आगे बढ़ें।

नोट्स लेने का एक टेम्पलेट

हर पेपर के लिए एक ही टेम्पलेट का इस्तेमाल करें। कुछ महीनों के बाद आपके पास अपनी समरीज़ की एक सर्च की जा सकने वाली लाइब्रेरी होगी, जो बिना पढ़े पड़े PDF के फ़ोल्डर से कहीं ज़्यादा कीमती है।
Paper notes templatetext
Title / link / date read:
Problem (1 line):
Main claim (1 line, my words):
Method (3 lines, my words):
Data and metric:
Baselines compared against:
Key result (from which table or figure):
What would convince me more:
Limitations (theirs + mine):
Questions I still have:
Could I reproduce it? (code? data? compute?):
Related papers to read next:

कमज़ोर इवैल्यूएशन को पहचानना

किसी पेपर का दावा उसके इवैल्यूएशन जितना ही मज़बूत होता है। चेतावनी के इन संकेतों को पहचानने के लिए आपको विशेषज्ञ होने की ज़रूरत नहीं है।
चेतावनी का संकेतयह क्यों महत्वपूर्ण हैपूछे जाने वाला सवाल
कमज़ोर या पुराने baselinesकिसी कमज़ोर तरीके को हराना कुछ खास साबित नहीं करता।क्या इसकी तुलना मज़बूत, हालिया और सही से ट्यून किए गए तरीकों से की गई है?
सिर्फ़ एक रन, कोई error bar नहींसिर्फ़ random seeds बदलने से ही नतीजे बदल सकते हैं।कितने seeds इस्तेमाल हुए? फैलाव (spread) कितना है?
बहुत मामूली बढ़त (Tiny gains)थोड़ा-सा अंतर महज़ एक इत्तेफ़ाक (noise) हो सकता है।क्या यह बढ़त अलग-अलग रनों के बीच होने वाले उतार-चढ़ाव से बड़ी है?
Test set पर ट्यून किया गयाऐसे में नतीजे ज़रूरत से ज़्यादा अच्छे दिखते हैं।क्या सेटिंग्स को एक अलग validation set पर चुना गया था?
सिर्फ़ एक dataset या benchmarkहो सकता है यह तरीका दूसरी जगहों पर काम न करे।क्या यह दूसरे डेटा पर भी सही बैठता है?
Test leakage की संभावनाहो सकता है कि मॉडल ने ट्रेनिंग के दौरान टेस्ट डेटा को देख लिया हो।क्या benchmark ट्रेनिंग डेटा का हिस्सा हो सकता है?
कोई ablation नहींआपको पता नहीं चलता कि कौन-सा हिस्सा मदद कर रहा है।अगर हर नए हिस्से को एक-एक करके हटा दिया जाए, तो क्या होगा?
सिर्फ़ चुनिंदा अच्छे उदाहरण (Cherry-picked examples)कुछ अच्छे उदाहरण कई खराब उदाहरणों को छुपा सकते हैं।क्या नाकामी के मामले (failure cases) और रैंडम सैंपल्स दिखाए गए हैं?
गलत तरीके से पढ़ना
  • शुरू से आखिर तक हर एक शब्द पढ़ना
  • Abstract के दावे को सच मान लेना
  • वाक्यों को हूबहू नोट्स में कॉपी करना
  • अकेले पढ़ना और कभी चर्चा न करना
सही तरीके से पढ़ना
  • तीन पास, और जब काफी समझ आ जाए तो रुक जाना
  • दावे की जांच टेबल्स और baselines से करना
  • विचार को अपने शब्दों में लिखना
  • पेपर को किसी दोस्त या रीडिंग ग्रुप को समझाना
सावधान रहें
arXiv पर मौजूद प्रीप्रिंट का आम तौर पर अभी peer review नहीं हुआ होता है। Peer review से भी चीज़ें छूट जाती हैं। किसी भी स्रोत से आने वाले हर दावे को एक ऐसी चीज़ समझें जिसकी जांच करनी है, न कि ऐसी चीज़ जिस पर आंख मूंदकर विश्वास कर लिया जाए।
असली उदाहरण
पुणे में तीसरे वर्ष की छात्रा प्रिया ने चार दोस्तों के साथ मिलकर हर हफ़्ते एक रीडिंग ग्रुप शुरू किया। हर हफ़्ते एक व्यक्ति ऊपर दिए गए टेम्पलेट का इस्तेमाल करके 20 मिनट तक एक पेपर पेश करता है, और बाकी लोग पूछते हैं "मुझे और किस बात से यकीन होता?"। एक ही सेमेस्टर में, वे पांचों किसी नए पेपर को पहले से कहीं तेज़ी से पढ़ पा रहे थे।
यह करके देखें। arXiv पर कोई भी हालिया AI पेपर खोलें। 5 मिनट का टाइमर लगाएं और सिर्फ़ पास 1 करें। मुख्य दावे को एक वाक्य में लिखें। फिर तय करें: पास 2 करना है या रुकना है?

और देखें और पढ़ें

arXiv (free preprints)arXiv · reading

लैब

समय सीमा में तीन पास में पढ़े गए एक असली arXiv पेपर पर भरे हुए नोट्स, साथ में उसके इवैल्यूएशन का आकलन।

~45 min

समस्या

arXiv पर अपनी पसंद का कोई भी AI पेपर चुनें। पहली बार के लिए एक छोटा पेपर (12 पेज से कम) सबसे अच्छा रहेगा।

  1. पास 1 (5 मिनट, टाइमर चालू): शीर्षक, abstract, चित्र, टेबल और conclusion पढ़ें। मुख्य दावे को एक वाक्य में लिखें।
  2. पास 2 (15 मिनट): introduction, method और प्रयोग पढ़ें। अपने शब्दों में तीन वाक्यों में method को लिखें।
  3. पास 3 (10 मिनट): कोई एक टेबल चुनें और उसका सेटअप देखें: baselines, रनों की संख्या, सेटिंग्स कैसे चुनी गईं।
  4. पाठ में दिए गए टेम्पलेट को भरें (शुरुआती ढांचा नीचे है)।
  5. चेतावनी के आठ संकेतों को देखें। हर एक के लिए "fine", "worry" या "can't tell" लिखें, साथ में एक लाइन का कारण दें।
शुरुआती कोडtext
Paper title and link:
Pass 1 main claim:
Pass 2 method (3 sentences):
Data and metric:
Baselines:
Key result (table/figure no.):
Warning signs (fine / worry / can't tell + reason):
  weak baselines:
  single run / no error bars:
  tiny gains:
  tuned on test:
  one dataset only:
  possible test leakage:
  no ablation:
  cherry-picked examples:
What would convince me more:
Could I reproduce it?:

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1पेपर ऐसे नतीजे दिखाता है जो सभी baselines को पीछे छोड़ देते हैं, लेकिन लेखकों ने अपने तरीके को baselines के मुकाबले कहीं ज़्यादा tuning के साथ चलाया। क्या यह तुलना निष्पक्ष है?दिखाएं

पूरी तरह से नहीं। अगर नए तरीके को कई सारे tuning trials मिले और baselines में डिफ़ॉल्ट सेटिंग्स का इस्तेमाल हुआ, तो इस अंतर का एक हिस्सा विचार (idea) की वजह से नहीं, बल्कि tuning की मेहनत की वजह से हो सकता है। एक निष्पक्ष तुलना हर तरीके को एक जैसा tuning बजट देती है, या baselines की सबसे अच्छी पब्लिश की गई सेटिंग्स का इस्तेमाल करती है। इसे एक कमी (limitation) के रूप में नोट करें, और यदि आप इस पेपर को reproduce करते हैं, तो baseline को भी tune करने की कोशिश करें।

Q2pass 1 के बाद रुक जाना कब ठीक रहता है?दिखाएं

अक्सर। अगर पेपर आपके सवाल से जुड़ा नहीं है, या आपको सिर्फ़ इतना जानने की ज़रूरत है कि यह विचार मौजूद है, तो pass 1 काफ़ी है। इसे एक लाइन में लिखकर रख लें ताकि आप इसे दोबारा ढूँढ सकें। सिर्फ़ उसी चीज़ को गहराई से पढ़ना जो काम की है, इसी तरह शोधकर्ता (researchers) तेज़ी से बदलते इस क्षेत्र के साथ तालमेल बनाए रखते हैं।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

मुझे गणित समझ नहीं आता। क्या मैं फिर भी AI पेपर्स पढ़ सकता हूँ?

हाँ। पास 1 और 2 के लिए विचार को समझना ज़रूरी है, हर समीकरण को नहीं। कई पेपर्स विचार को शब्दों और चित्रों में समझाते हैं। समय के साथ, जब आपको वाकई ज़रूरत हो—जैसे जब आप पेपर के काम को reproduce करना चाहते हों—तब एक बार में गणित का एक हिस्सा समझें।

मैं कैसे चुनूं कि कौन से पेपर पढ़ने हैं?

उस सवाल से शुरुआत करें जिसमें आपकी दिलचस्पी है। एक अच्छा और ज़्यादा उद्धृत (well-cited) सर्वे या ओवरव्यू पेपर पढ़ें, फिर उसके रेफरेंसेस को देखें। किसी सीनियर छात्र या शिक्षक से पूछें कि उस क्षेत्र में कौन से पेपर सबसे अहम हैं। सिर्फ़ पचास abstracts पढ़ने से कहीं बेहतर है पांच पेपर्स को अच्छी तरह पढ़ना।

क्या मुझे पेपर्स की समरी बनाने के लिए AI चैटबॉट का इस्तेमाल करना चाहिए?

पहली नज़र में यह मददगार हो सकता है, लेकिन समरी को पेपर से मिलाकर जांचें, क्योंकि चैटबॉट गलत जानकारी को भी बड़े आत्मविश्वास के साथ बता सकते हैं। पास 2 खुद करें। समझ विचार को खुद समझाने की कोशिश से आती है, किसी और की समरी पढ़ने से नहीं।

अगर पेपर खराब तरीके से लिखा गया हो तो?

ऐसा होता है। उसका कोड ढूंढें, लेखकों की कोई टॉक देखें, या इसे समझाने वाला कोई ब्लॉग पोस्ट पढ़ें। अगर पास 2 के बाद भी मुख्य विचार साफ़ नहीं है, तो सटीक सवाल लिख लें। हो सकता है कि यह कमी वाकई पेपर में हो, आपकी जानकारी में नहीं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें