कैपस्टोन प्रोजेक्ट्समध्यमपाठ 3346 मिनट का पाठ

असली लोगों के साथ टेस्ट करें

अकेले हफ़्तों तक प्रोजेक्ट बनाने से ज़्यादा सीख कुछ असली यूज़र्स के साथ एक छोटे पायलट टेस्ट से मिलती है। इसे सहमति लेकर करें, सिर्फ़ ज़रूरी जानकारी जुटाएं, मापें और सुधारें।

✦ ट्यूटर से पूछें 🧪 लैब · 25 min 📝 पाठ का टेस्ट

स्पीड

पाठ वीडियो में

60 सेकंड में

असली लोगों के साथ टेस्ट करें

1/4

आसान शब्दों में

स्कूल के किसी बड़े फ़ंक्शन से पहले, आप कुछ दोस्तों के सामने रिहर्सल करते हैं। वे आपको बताते हैं कि माइक की आवाज़ बहुत धीमी है और एक गाना बहुत लंबा है। आप मुख्य दिन से पहले इसे ठीक कर लेते हैं। पायलट भी आपके प्रोजेक्ट के लिए कुछ असली यूज़र्स के साथ एक रिहर्सल जैसा ही है।

आपने अपना प्रोजेक्ट बना लिया और खुद इसे टेस्ट भी कर लिया। अब आपको असली यूज़र्स की ज़रूरत है। लोग ऐसे सवाल टाइप करेंगे जिनके बारे में आपने कभी सोचा भी नहीं होगा, बटनों का गलत मतलब निकालेंगे, और धीमी गति वाले फ़ोनों पर शोर-शराबे वाली जगहों में इस टूल का इस्तेमाल करेंगे। एक पायलट कुछ लोगों के साथ किया जाने वाला एक छोटा, संक्षिप्त और सावधानीपूर्वक टेस्ट होता है, ताकि बड़े पैमाने पर शेयर करने से पहले आप ये बातें जान सकें।

सहमति सबसे पहले

इससे पहले कि कोई आपके प्रोजेक्ट को टेस्ट करे, उन्हें साफ़ तौर पर बताएं कि यह क्या है, आप क्या रिकॉर्ड करेंगे और उसका क्या करेंगे। उन्हें 'ना' कहने दें या बिना किसी झिझक के किसी भी समय रुकने दें। यह बात लिखकर रख लें कि वे सहमत थे।

आसान शब्दों में, उनकी भाषा में समझाएं: "यह एक स्टूडेंट प्रोजेक्ट है। इसमें गलतियाँ हो सकती हैं। मैं सिर्फ़ यह नोट करूँगा कि क्या इसने आपके सवाल का जवाब दिया और आपकी क्या राय है। मैं नतीजों में आपका नाम या नंबर नहीं रखूँगा।"
18 साल से कम उम्र के किसी भी व्यक्ति के लिए, माता-पिता या अभिभावक से अनुमति लें, और अपने स्कूल या कॉलेज के नियमों का पालन करें।
अपने टीचर या मेंटर से पूछें कि क्या आपके संस्थान के लोगों के साथ प्रोजेक्ट करने को लेकर कोई अपने नियम हैं।
कभी भी असली पैसों, असली मेडिकल फैसलों या असली कानूनी मामलों के साथ टेस्ट न करें।

कम से कम डेटा इकट्ठा करें

प्राइवेसी बनाए रखना तब सबसे आसान होता है जब आप शुरू से ही डेटा इकट्ठा न करें। नाम का इस्तेमाल करने के बजाय हर टेस्टर को T01 जैसा कोई कोड दें। जब तक सच में ज़रूरत न हो, फ़ोन नंबर, पते या आईडी नंबर न मांगें। अगर कोई कमेंट में पर्सनल जानकारी लिख देता है, तो कोई भी नतीजा शेयर करने से पहले उसे हटा दें। पर्सनल डेटा से जुड़े कानून, जैसे भारत का Digital Personal Data Protection Act, 2023, ऐसे कई प्रोजेक्ट्स पर लागू होते हैं जो पर्सनल डेटा संभालते हैं। मौजूदा नियमों की जाँच करें और अगर आपको कोई संदेह हो तो अपने मेंटर से पूछें।

एक आसान पायलट प्लान

1
5–10 टेस्टर चुनें
अपने प्लान के अनुसार असली यूज़र्स: माता-पिता, दुकानदार, सहपाठी, परिवार के लोग। सबसे बड़ी समस्याओं का पता लगाने के लिए कुछ लोग ही काफ़ी हैं।
2
उन्हें असली टास्क दें
"पता करें कि शनिवार को लाइब्रेरी कब बंद होती है।" पहले यह न समझाएं कि टूल का इस्तेमाल कैसे करना है। बस देखें कि वे क्या करते हैं।
3
हर किसी के लिए एक जैसी चीज़ें रिकॉर्ड करें
टेस्टर कोड, सहमति हाँ या ना, टास्क पूरा हुआ या नहीं, 1–5 की रेटिंग, और एक कमेंट।
4
समरी तैयार करें
सक्सेस रेट, औसत रेटिंग, और सबसे बड़ी तीन समस्याएं, पर्सनल डिटेल्स हटाकर।
5
कमियाँ ठीक करें और फिर से टेस्ट करें
सबसे बड़ी समस्या को ठीक करें, फिर यह देखने के लिए वही टास्क दोबारा कराएं कि क्या आंकड़ों में सुधार हुआ।

एक छोटा फ़ीडबैक फ़ॉर्म

सवाल	प्रकार
क्या आपको वह मिला जिसकी आपको ज़रूरत थी?	हाँ / कुछ हद तक / नहीं
यह कितना आसान था?	1 (बहुत कठिन) से 5 (बहुत आसान)
क्या उलझन भरा या गलत था?	छोटा टेक्स्ट
क्या आप इसे दोबारा इस्तेमाल करेंगे?	हाँ / शायद / नहीं
कुछ और?	छोटा टेक्स्ट, वैकल्पिक

नोट

पाँच या दस टेस्टर्स के साथ, संयोग से भी आंकड़े बहुत बदल जाते हैं। सिर्फ़ एक व्यक्ति के कम या ज़्यादा होने से सक्सेस रेट में 10 या 20 पॉइंट का अंतर आ सकता है। बड़ी समस्याओं को पहचानने के लिए आंकड़ों का इस्तेमाल करें, और हर कमेंट को पढ़ें। इतने छोटे पायलट टेस्ट से बिल्कुल सटीक नतीजों का दावा न करें।

Python: comparing two pilot rounds honestlypython

round1 = {"testers": 8, "tasks_done": 5}
round2 = {"testers": 8, "tasks_done": 7}

for name, r in [("Round 1", round1), ("Round 2", round2)]:
    rate = r["tasks_done"] / r["testers"]
    print(f"{name}: {r['tasks_done']}/{r['testers']} tasks done ({rate:.0%})")

print("With only 8 testers, one person changes the rate by", f"{1 / 8:.0%}.")
print("Report the counts, not just the percentage, and read the comments.")

असली उदाहरण

मदुरै के एक ग्रुप ने एक छोटी दुकान पर छह खरीदारों के साथ अपने तमिल FAQ बॉट की टेस्टिंग की। उनमें से चार लोगों ने अंग्रेज़ी अक्षरों में तमिल टाइप किया, जिसकी ग्रुप ने टेस्टिंग नहीं की थी। बॉट ने उनमें से ज़्यादातर को "not found" दिखाया। ग्रुप ने अपनी वर्ड लिस्ट में आम स्पेलिंग जोड़ीं और अगले दिन फिर से टेस्ट किया। इस छोटे से सुधार ने बड़ा फ़र्क ला दिया।

सावधान रहें

अगर कोई टेस्टर परेशान हो जाता है, इस बात को लेकर उलझन में है कि क्या असली है, या किसी जोखिम में है (उदाहरण के लिए, वे किसी टेस्ट स्कैम मैसेज को सच मान लेते हैं), तो तुरंत रुकें, समझाएं और मदद करें। आपके नतीजों से ज़्यादा लोग मायने रखते हैं।

इसे आज़माएं। एक पैराग्राफ का सहमति संदेश लिखें जिसे आप टेस्टर्स को उनकी भाषा में पढ़कर सुनाएंगे। इसे किसी दोस्त को पढ़कर सुनाएं और पूछें: "क्या तुम्हें समझ आया कि मैं क्या रिकॉर्ड करूँगा?"

और देखें और पढ़ें

लैब

एक पायलट समरी फंक्शन जो केवल सहमति वाले रिस्पॉन्स का उपयोग करता है और नाम तथा फ़ोन नंबर हटा देता है।

~25 min

समस्या

ये रिस्पॉन्स काल्पनिक हैं। प्रत्येक में एक टेस्टर कोड, नाम, फ़ोन नंबर, सहमति (consent), क्या टास्क पूरा हुआ, 1–5 की रेटिंग और एक कमेंट शामिल है।

स्टार्टर कोड रन करें। इसकी समरी में हर रिस्पॉन्स का इस्तेमाल होता है, यहाँ तक कि उन लोगों का भी जिन्होंने सहमति नहीं दी थी, और इसमें नाम भी लीक होते हैं।
summarise(responses) को बदलें ताकि यह केवल उन रिस्पॉन्स का उपयोग करे जहाँ consent की वैल्यू True हो।
एक डिक्शनरी रिटर्न करें जिसमें ये हों: used (सहमति वाले रिस्पॉन्स की संख्या), excluded (बाकी बचे), success_rate (0 से 1 के बीच का अनुपात), avg_rating, और comments (स्ट्रिंग्स की एक लिस्ट)।
समरी में किसी भी टेस्टर का नाम या फ़ोन नंबर नहीं होना चाहिए। कमेंट्स में अंकों के किसी भी लंबे क्रम को हटा दें, उदाहरण के लिए इसे "[number removed]" से बदलकर।

प्रैक्टिस लैब

कोड में बदलाव करें और इसे रन करें। Python आपके ब्राउज़र में चलता है — हमारे सर्वर पर कुछ नहीं भेजा जाता।

रन करने के लिए Ctrl + Enter दबाएं

import re

RESPONSES = [
    {"tester": "T01", "name": "Asha",   "phone": "90000 00001", "consent": True,  "done": True,  "rating": 4, "comment": "Quick answer about timings."},
    {"tester": "T02", "name": "Ravi",   "phone": "90000 00002", "consent": True,  "done": False, "rating": 2, "comment": "It did not understand my Hinglish question."},
    {"tester": "T03", "name": "Meena",  "phone": "90000 00003", "consent": False, "done": True,  "rating": 5, "comment": "Nice."},
    {"tester": "T04", "name": "Imran",  "phone": "90000 00004", "consent": True,  "done": True,  "rating": 5, "comment": "Good. Call me on 90000 00004 if you need more."},
    {"tester": "T05", "name": "Kavya",  "phone": "90000 00005", "consent": True,  "done": True,  "rating": 4, "comment": "Show the date of the notice please."},
    {"tester": "T06", "name": "Suresh", "phone": "90000 00006", "consent": False, "done": False, "rating": 1, "comment": "Did not try."},
    {"tester": "T07", "name": "Lata",   "phone": "90000 00007", "consent": True,  "done": False, "rating": 3, "comment": "Letters were too small on my phone."},
    {"tester": "T08", "name": "Joseph", "phone": "90000 00008", "consent": True,  "done": True,  "rating": 4, "comment": "Useful, but it said not found for fees."},
]

def summarise(responses):
    # TODO: use only consented responses, and remove personal details
    done = sum(r["done"] for r in responses)
    return {
        "used": len(responses),
        "excluded": 0,
        "success_rate": done / len(responses),
        "avg_rating": sum(r["rating"] for r in responses) / len(responses),
        "comments": [r["name"] + ": " + r["comment"] for r in responses],
    }

summary = summarise(RESPONSES)
for key, value in summary.items():
    print(key, "=", value)

आउटपुट

कोई आउटपुट नहीं। वैल्यूज़ देखने के लिए print(...) जोड़ें।

आपका काम तब पूरा होगा जब

केवल सहमति वाले रिस्पॉन्स ही गिने जाते हैं
समरी में कहीं भी कोई नाम या फ़ोन नंबर नहीं दिखता है
सक्सेस रेट और औसत रेटिंग सहमति वाले रिस्पॉन्स से मेल खाते हैं
आपने कमेंट्स से मुख्य समस्याओं की सूची बनाई और एक ऐसा बदलाव बताया जो आप करेंगे

कठिन सवाल

उत्तर देखने से पहले ख़ुद जवाब देने की कोशिश करें। अगर आप इनके जवाब दे सकते हैं, तो आप पाठ समझ गए हैं।

Q1आपकी समरी से पता चलता है कि 6 में से 5 टास्क पूरे हो गए हैं। आपकी टीम का एक साथी प्रोजेक्ट पोस्टर पर "83% success rate" लिखना चाहता है। आप इसकी जगह क्या लिखेंगे, और क्यों?दिखाएं

लिखें "हमारे छोटे पायलट में 6 में से 5 टेस्टर्स ने टास्क पूरा किया", और बताएं कि टेस्टर्स कौन थे। छह लोगों के साथ, एक व्यक्ति से दर में लगभग 17 पॉइंट का बदलाव आ जाता है, इसलिए केवल प्रतिशत लिखने से ऐसा लगता है कि आपके पास ज़रूरत से ज़्यादा सटीक आंकड़े हैं। संख्या के साथ संदर्भ (context) देना सच्चा और फिर भी उपयोगी तरीका है।

Q2एक टेस्टर का कमेंट है: "My son Rahul in Class 7 also wants this." क्या सिर्फ़ फ़ोन नंबर हटाना काफ़ी है?दिखाएं

नहीं। नाम और कक्षा से किसी बच्चे की पहचान हो सकती है, खास तौर पर किसी छोटे स्कूल में। सेव करने या शेयर करने से पहले ऐसे विवरणों को हटा दें या सामान्य बना दें ("परिवार का एक सदस्य भी यह चाहता है")। फ़ोन नंबर केवल एक तरह का पर्सनल डेटा है; नाम, जगह, कक्षा और आईडी नंबरों को भी सावधानी की ज़रूरत होती है।

जारी रखने के लिए कृपया साइन इन करें।

अक्सर पूछे जाने वाले सवाल

मुझे कितने टेस्टर्स की ज़रूरत है?

किसी कैपस्टोन पायलट के लिए, पाँच से दस एक आम और व्यावहारिक संख्या है। इससे आपको एकदम सटीक आंकड़े नहीं मिलेंगे, लेकिन यह आमतौर पर सबसे बड़ी समस्याओं को सामने ला देता है। अगर आप बाद में और पुख्ता आंकड़े चाहते हैं, तो आपको ज़्यादा लोगों और अधिक सावधानीपूर्वक डिज़ाइन की ज़रूरत होगी।

क्या मैं अपने परिवार और दोस्तों के साथ टेस्ट कर सकता/सकती हूँ?

हाँ, अगर वे आपके प्लान के मुताबिक असली यूज़र्स जैसे हैं, लेकिन ध्यान रखें कि वे शायद कमियां बताने में संकोच करें। उनसे सच बोलने को कहें, सिर्फ़ यह पूछने के बजाय कि वे क्या सोचते हैं, यह देखें कि वे क्या करते हैं, और कम से कम ऐसे कुछ लोगों को शामिल करने की कोशिश करें जो आपको अच्छी तरह नहीं जानते।

क्या होगा अगर टेस्टर टूल में पर्सनल डिटेल्स टाइप कर दें?

उन्हें पहले ही बता दें कि ऐसा न करें। अगर फिर भी ऐसा होता है, तो सेव करने या शेयर करने से पहले अपने नोट्स और लॉग्स से उन जानकारियों को हटा दें। लॉग्स को ज़रूरत से ज़्यादा समय तक न रखें।

क्या मुझे पायलट के दौरान टूल में बदलाव करना चाहिए?

कोशिश करें कि किसी राउंड के बीच में इसे न बदलें, वरना आपको पता नहीं चलेगा कि बदलाव किस वजह से हुआ। राउंड पूरा करें, बदलाव करें, फिर वही टास्क दोबारा कराएं।

पाठ का टेस्ट

5 सवाल। पास होने और इस पाठ को पूरा करने के लिए 3 सही होने चाहिए (60%)।

टेस्ट देने और अपनी प्रोग्रेस सेव करने के लिए साइन इन करें

असली लोगों के साथ टेस्ट करें

असली लोगों के साथ टेस्ट करें

सहमति सबसे पहले

कम से कम डेटा इकट्ठा करें

एक आसान पायलट प्लान

5–10 टेस्टर चुनें

उन्हें असली टास्क दें

हर किसी के लिए एक जैसी चीज़ें रिकॉर्ड करें

समरी तैयार करें

कमियाँ ठीक करें और फिर से टेस्ट करें

एक छोटा फ़ीडबैक फ़ॉर्म

और देखें और पढ़ें

समस्या

प्रैक्टिस लैब

आपका काम तब पूरा होगा जब

कठिन सवाल

अक्सर पूछे जाने वाले सवाल