साइंस के लिए AIमध्यमपाठ 2575 मिनट का पाठ

हाइप, पुनरुत्पादकता (reproducibility) और वैज्ञानिक निष्पक्षता

AI ऐसे नतीजे पाना आसान बना देता है जो दिखने में बेहतरीन लगते हैं लेकिन असली नहीं होते। लीकेज, ओवरफ़िटिंग और फ़र्ज़ी संदर्भों (fake references) के बारे में जानें, और यह भी कि ईमानदारी से खुलासा और समीक्षा विज्ञान को भरोसेमंद कैसे बनाए रखते हैं।

✦ ट्यूटर से पूछें🧪 लैब · 25 min📝 पाठ का टेस्ट
पाठ वीडियो में

60 सेकंड में

हाइप, पुनरुत्पादकता (reproducibility) और वैज्ञानिक निष्पक्षता

AI ऐसे नतीजे पाना आसान बना देता है जो दिखने में बेहतरीन लगते हैं लेकिन असली नहीं होते। लीकेज, ओवरफ़िटिंग और फ़र्ज़ी संदर्भों (fake references) के बारे में जानें, और यह भी कि…

1/5
आसान शब्दों में
कल्पना करें कि एक छात्र को पूरे नंबर मिलते हैं क्योंकि परीक्षा का पेपर एक रात पहले ही लीक हो गया था। नंबर शानदार दिखते हैं, लेकिन छात्र ने कुछ भी नहीं सीखा है। AI रिसर्च में अनजाने में यही चीज़ हो सकती है। मॉडल ट्रेनिंग के दौरान जवाबों को "देख" लेता है, और उसका स्कोर असलियत से कहीं बेहतर नज़र आने लगता है।
विज्ञान इसलिए काम करता है क्योंकि लोग एक-दूसरे के काम की जांच कर सकते हैं। AI नतीजों को असलियत से बेहतर दिखाने के नए तरीके जोड़ता है, अक्सर अनजाने में ही। इन कमियों या जाल को समझना आज एक अच्छा वैज्ञानिक बनने का हिस्सा है।

पहला जाल: डेटा लीकेज

लीकेज तब होती है जब टेस्ट डेटा की जानकारी छुपकर ट्रेनिंग डेटा में चली जाती है। इसके बाद मॉडल गलत वजह से टेस्ट में अच्छा स्कोर करता है। आमतौर पर यह ऐसे होता है:
  • वही मरीज़, सैंपल या मॉलिक्यूल (अणु) ट्रेनिंग और टेस्ट दोनों सेटों में आ जाता है।
  • सेटिंग्स या फ़ीचर्स चुनने के लिए टेस्ट डेटा का इस्तेमाल किया गया था, और फिर उसे ऐसे पेश किया गया मानो वह बिल्कुल नया (fresh) डेटा था।
  • कोई फ़ीचर जवाब पहले ही ज़ाहिर कर देता है, जैसे कि स्कैन किस अस्पताल से आया है, जब किसी एक अस्पताल में ज़्यादा बीमार मरीज़ थे।
  • डेटा को बेतरतीब (random) ढंग से बांटा गया है जबकि उसे समय के हिसाब से बांटा जाना चाहिए था, जिससे मॉडल अतीत की "भविष्यवाणी" करने के लिए भविष्य के डेटा पर ट्रेन हो जाता है।

दूसरा जाल: ओवरफ़िटिंग

ओवरफ़िटिंग का मतलब है कि कोई मॉडल असली पैटर्न सीखने के बजाय अपने ट्रेनिंग डेटा के शोर (noise) और संयोगवश आए उतार-चढ़ावों को सीख लेता है। यह उस डेटा पर तो अच्छा काम करता है जिसे उसने देखा है, लेकिन नए डेटा पर बहुत खराब प्रदर्शन करता है। छोटे डेटा सेट वाले बड़े मॉडलों में इसका ख़ास जोखिम होता है।
Leakage in a few lines: a model that just memorisespython
import random

random.seed(1)
# Made-up data: labels are pure coin flips, so no real pattern exists.
data = [(i, random.choice([0, 1])) for i in range(200)]
memory = dict(data)  # "training" = remember every example


def predict(x):
    return memory.get(x, random.choice([0, 1]))


def accuracy(test):
    return sum(predict(x) == y for x, y in test) / len(test)


leaky_test = data[:50]                                    # test items were in training
fresh_test = [(i, random.choice([0, 1])) for i in range(1000, 1050)]
print("leaky test accuracy:", accuracy(leaky_test))       # looks perfect
print("fresh test accuracy:", accuracy(fresh_test))       # about a coin flip
यहाँ डेटा में कोई असली पैटर्न नहीं है, फिर भी लीक हुए टेस्ट में पूरा स्कोर मिल जाता है। केवल नया डेटा ही सच्चाई दिखाता है।

तीसरा जाल: ऐसे नतीजे जिन्हें दूसरे दोहरा नहीं सकते

कोई परिणाम तब पुनरुत्पादक (reproducible) होता है जब दूसरे लोग भी उसी डेटा और कोड के साथ वही परिणाम पा सकें, और जब यह नए डेटा पर भी खरा उतरे तो इस पर और ज़्यादा भरोसा किया जाता है। AI नतीजों को दोबारा दोहराना तब मुश्किल हो सकता है जब कोड, डेटा या सटीक सेटिंग्स शेयर न की गई हों, जब होस्ट किए गए मॉडल समय के साथ बदल जाएं, या जब कोई लकी रैंडम सीड (random seed) चुन ली गई हो।
  • जहाँ कानूनी और नैतिक रूप से संभव हो, कोड और डेटा शेयर करें।
  • मॉडल के नाम, वर्ज़न, तारीखें, सेटिंग्स और प्रॉम्प्ट रिकॉर्ड करके रखें।
  • नतीजों को सिर्फ़ एक सबसे अच्छे रन के बजाय कई रनों के आधार पर रिपोर्ट करें।
  • किसी आसान और निष्पक्ष बेसलाइन (baseline) से तुलना करें।

चौथा जाल: मनगढ़ंत संदर्भ और बनावटी सामग्री

भाषा मॉडल (Language models) झूठे उद्धरण (citations), कोट्स और यहाँ तक कि डेटा भी गढ़ सकते हैं। किसी पेपर, रिपोर्ट या थीसिस में इनमें से कुछ भी डालना निष्पक्षता और ईमानदारी की गंभीर समस्या है, भले ही आपने ऐसा जानबूझकर न किया हो। हर संदर्भ (reference) की खुद जांच करें। AI से कभी भी डेटा तैयार न करवाएं और न ही उसे मापे गए असली डेटा के रूप में पेश करें।

ईमानदारी से खुलासा करना

कई पत्रिकाओं (journals), विश्वविद्यालयों और सम्मेलनों में अब AI के इस्तेमाल को लेकर नियम हैं। आम नियम ये हैं: AI टूल्स को लेखक (author) के रूप में दर्ज नहीं किया जा सकता, सारी सामग्री के लिए इंसान ही ज़िम्मेदार हैं, और AI के किसी भी बड़े इस्तेमाल का खुलासा ज़रूर किया जाना चाहिए। नियम अलग-अलग होते हैं और बदलते रहते हैं, इसलिए अपने जर्नल, कॉलेज या स्कूल की मौजूदा नीति को ध्यान से पढ़ें।
कमज़ोर खुलासा
  • "AI का इस्तेमाल किया गया था।"
  • कुछ न कहना, और उम्मीद करना कि कोई पूछेगा नहीं
  • इसे छिपाना क्योंकि यह नकल करने जैसा लगता है
साफ़-सुथरा खुलासा
  • किस काम के लिए कौन-सा टूल इस्तेमाल हुआ, और आउटपुट की जांच कैसे की गई
  • जहाँ संस्था मांगती है वहाँ लिखना, जैसे कि मेथड्स (methods) या आभार (acknowledgements) में
  • अंतिम सामग्री की पूरी ज़िम्मेदारी लेना

पीयर रिव्यू और AI

पीयर रिव्यू (peer review) में, किसी पेपर के छपने से पहले दूसरे विशेषज्ञ उसे पढ़ते हैं और गलतियाँ ढूंढते हैं। समीक्षा के अधीन पांडुलिपियां (manuscripts) गोपनीय होती हैं। कई प्रकाशक समीक्षकों से उन्हें पब्लिक AI टूल्स में अपलोड न करने के लिए कहते हैं। समीक्षकों को सोचने और निर्णय लेने का काम खुद ही करना चाहिए।
यह करें
अच्छी आदतें आपकी सुरक्षा करती हैं: अपने टेस्ट डेटा को शुरू से ही अलग रखें, आपने जो कुछ भी किया उसे रिकॉर्ड करें, हर स्रोत की जांच करें, AI के इस्तेमाल का साफ़-साफ़ खुलासा करें, और किसी समीक्षक के देखने से पहले अपने किसी दोस्त से कहें कि वह आपके नतीजे की कमियां निकालने की कोशिश करे।

और देखें और पढ़ें

लैब

किसी असली या अभ्यास के काम के लिए AI के इस्तेमाल का एक स्पष्ट प्रकटीकरण (disclosure) बयान, साथ ही आपने किन चीज़ों की पुष्टि की, इसकी एक चेकलिस्ट।

~25 min

समस्या

कोई ऐसा काम चुनें जिसमें आपने AI का इस्तेमाल किया हो, जैसे कि कोई स्कूल प्रोजेक्ट, लैब रिपोर्ट या असाइनमेंट। अगर आपके पास ऐसा कुछ नहीं है, तो पिछले पाठ की लैब से बीज अंकुरण (seed-sprouting) योजना का इस्तेमाल करें।

  1. उन सभी तरीकों की सूची बनाएं जिनसे आपने AI का इस्तेमाल किया: कौन-सा टूल, किस काम के लिए (उदाहरण के लिए, सर्च, सारांश, कोड, सही शब्द चुनना, चित्र), और लगभग कितना।
  2. प्रत्येक इस्तेमाल के लिए लिखें कि आपने आउटपुट की जांच कैसे की।
  3. तीन से पाँच वाक्यों का एक प्रकटीकरण (disclosure) बयान लिखें। बताएं कि AI ने क्या किया, आपने क्या किया, और यह कि आप सामग्री की पूरी ज़िम्मेदारी लेते हैं।
  4. अपने स्कूल, कॉलेज या अपने क्षेत्र के किसी जर्नल की AI नीति खोजें, यदि कोई हो। क्या आपका बयान उस पर खरा उतरता है? ज़रूरत पड़ने पर इसे बदलें।
  5. किसी दोस्त के साथ अपने बयानों की अदला-बदली करें। क्या वे ठीक-ठीक समझ पा रहे हैं कि AI ने क्या किया?
शुरुआती कोडtext
Example disclosure (edit to fit your work):

I used an AI chatbot to brainstorm possible controls for my experiment and to
suggest clearer wording for my introduction. I also asked it for references;
I checked each one, found that one did not exist, and removed it. All data
were measured by me. I wrote the analysis and conclusions myself and take
full responsibility for the content of this report.

आपका काम तब पूरा होगा जब

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपका दोस्त कहता है, "मैंने AI का इस्तेमाल सिर्फ़ व्याकरण ठीक करने के लिए किया था, इसलिए मुझे इसका खुलासा करने की ज़रूरत नहीं है।" आप क्या जवाब देंगे?दिखाएं

यह नियमों पर निर्भर करता है। कुछ संस्थान व्याकरण या वर्तनी (spelling) के सामान्य टूल्स के लिए खुलासे की मांग नहीं करते; अन्य सभी प्रकार के इस्तेमाल को घोषित करने के लिए कहते हैं। जब संदेह हो, तो संक्षेप में खुलासा कर दें: इसमें कुछ नहीं जाता और यह भरोसा बढ़ाता है। यह भी जांच लें कि "व्याकरण सुधारने" से अर्थ तो नहीं बदल गया, क्योंकि AI एडिटर्स आपकी उम्मीद से ज़्यादा बदलाव कर सकते हैं।

Q2एक पब्लिश हुआ पेपर AI का एक शानदार नतीजा दिखाता है लेकिन कोई कोड या डेटा शेयर नहीं करता। आपको इसे कैसे देखना चाहिए?दिखाएं

सावधानी के साथ, सिरे से खारिज किए बिना। हो सकता है नतीजा असली हो, लेकिन कोई भी इसे आसानी से जांच नहीं सकता। स्वतंत्र रूप से किए गए दोहरावों (independent replications), एक निष्पक्ष बेसलाइन तुलना, और डेटा को कैसे बांटा गया था उसमें लीकेज के संकेतों को देखें। जब तक दूसरे लोग इसे दोहरा न सकें, तब तक इसे एक तयशुदा सच मानने के बजाय एक आशाजनक दावा ही मानें।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

क्या पेपर लिखने के लिए AI का इस्तेमाल करना नकल (चीटिंग) है?

यह नियमों पर और इस बात पर निर्भर करता है कि आप इसका इस्तेमाल कैसे करते हैं। व्याकरण (grammar) ठीक करने या स्ट्रक्चर का सुझाव देने के लिए AI का इस्तेमाल करने की अनुमति अक्सर दी जाती है, बशर्ते इसका खुलासा किया जाए। इसे मनगढ़ंत सामग्री, डेटा या संदर्भ बनाने देना कतई स्वीकार्य नहीं है। हमेशा अपने संस्थान के नियमों का पालन करें और साफ़-साफ़ खुलासा करें।

मुझे कैसे पता चलेगा कि मेरे मॉडल में डेटा लीकेज है?

ऐसे नतीजों पर शक करें जो हद से ज़्यादा अच्छे लगें। जांचें कि कोई भी आइटम, व्यक्ति या उससे मिलती-जुलती कॉपी ट्रेनिंग और टेस्ट दोनों सेटों में न हो। जहाँ समस्या के हिसाब से सही लगे, वहाँ समय के अनुसार या ग्रुप के अनुसार डेटा को बांटें। मॉडल को बिल्कुल नए डेटा पर आज़माएं। किसी और से अपनी डेटा पाइपलाइन की समीक्षा करने को कहें।

होस्ट किए गए AI मॉडल पुनरुत्पादकता (reproducibility) को और मुश्किल क्यों बना देते हैं?

प्रोवाइडर किसी मॉडल को अपडेट कर सकता है या हटा सकता है, और एक ही प्रॉम्प्ट अलग-अलग जवाब दे सकता है। मॉडल का नाम, वर्ज़न और तारीख रिकॉर्ड करें, अपने इस्तेमाल किए गए आउटपुट को सेव करें, और जब नतीजों को बिल्कुल हूबहू दोहराना ज़रूरी हो तो ओपन-वेट (open-weight) मॉडल्स पर विचार करें।

अगर मुझे अपने पब्लिश हो चुके काम में कोई गलती मिले तो मुझे क्या करना चाहिए?

अपने सुपरवाइज़र या सह-लेखकों को बताएं और जर्नल से संपर्क करें। सुधार करना विज्ञान का एक सामान्य और ईमानदार हिस्सा है। किसी गलती को खुलकर सुधारना भरोसा बढ़ाता है; उसे छिपाना भरोसे को खत्म करता है।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें