AI फ़ीचर्स में ग़लत जानकारी (misinformation) और अत्यधिक निर्भरता (overreliance)

फ़िलहाल नहीं। बेहतर मॉडल्स, रिट्रीवल और ग्राउंडिंग से इन्हें कम ज़रूर किया जा सकता है, लेकिन एक लैंग्वेज मॉडल हमेशा ऐसा धाराप्रवाह टेक्स्ट बना सकता है जो ग़लत हो। फ़ीचर को इस तरह डिज़ाइन करें कि नुक़सान होने से पहले ही ग़लतियां पकड़ में आ जाएं।

यह बहुत मदद करता है, लेकिन फिर भी मॉडल किसी दस्तावेज़ को ग़लत पढ़ सकता है, दो सोर्स को आपस में मिला सकता है, या अंदाज़े से कमियां भर सकता है। दस्तावेज़ ख़ुद भी पुराने या ग़लत हो सकते हैं। साइटेशन से यूज़र्स जांच कर सकते हैं, और इवैल्यूएशन से आपको पता चलता है कि इसमें कितनी बार गड़बड़ी होती है।

क्योंकि हमलावर इसका फ़ायदा उठा सकते हैं। वे मॉडल द्वारा दोहराए जाने के लिए झूठी जानकारी डाल सकते हैं, मनगढ़ंत पैकेज नामों को रजिस्टर कर सकते हैं, या इस बात पर भरोसा कर सकते हैं कि स्टाफ़ AI की समरी पर आंख मूंदकर भरोसा कर लेगा। कोई भी ऐसा आउटपुट जिस पर लोग बिना जांचे अमल करते हैं, वह हमले का रास्ता बन जाता है।

प्रॉडक्ट ओनर, सुरक्षा, क़ानूनी और डोमेन विशेषज्ञों के साथ मिलकर यह तय करता है। हर फ़ीचर के लिए इस फ़ैसले को लिखकर रखें। जब भी शक हो, और ख़ास तौर पर स्वास्थ्य, क़ानूनी या वित्तीय मामलों में, किसी योग्य पेशेवर से समीक्षा ज़रूर कराएं।