AI प्रोडक्ट इंजीनियरिंग प्रैक्टिस

मॉडल-संचालन: डेमो के बाद भी स्थिर सिस्टम

AI फ़ीचर डेमो पर नहीं, दूसरे डिप्लॉय पर टूटते हैं। हम उनके चारों ओर जाँच, निगरानी और गेट वाली रिलीज़ लगाते हैं।

काग़ज़ का एक सिग्नल-घर, जिसके आगे लीवरों की क़तार है और एक सिंदूरी लीवर पीछे खिंचा है, बगल में उठी हुई सिग्नल-भुजा और दीवार पर एक डायल।

इस सेवा में क्या-क्या है

पहले नाप, फिर सुधार। प्रॉम्प्ट, मॉडल या टूल का हर बदलाव प्रोडक्शन से पहले टेस्ट-सूट से गुज़रता है, और जाँच फ़ेल हो तो वहीं रुक जाता है।

  • हर बदलाव पर जाँच

    आपके अपने काम और हाल की सबसे बुरी चूकों से बने टेस्ट-सेट, जो प्रॉम्प्ट या मॉडल के हर बदलाव पर चलते हैं।

  • भटकाव के अलर्ट और ट्रेस

    इनपुट बदले, जवाबों का ढंग बदले या इनकार बढ़ें तो अलर्ट, और ट्रेस उसी निगरानी में जो आप पहले से चलाते हैं।

  • गेट वाली रिलीज़, वापसी के साथ

    बदलाव पहले थोड़े ट्रैफ़िक तक जाता है, गुणवत्ता और ख़र्च के गेट के पीछे, और गुणवत्ता गिरे तो वापस लौट आता है।

  • प्रॉम्प्ट का रजिस्टर और ख़र्च का हिसाब

    हर प्रॉम्प्ट का संस्करण दर्ज, ताकि वापसी एक क़दम की हो, और हर फ़ीचर का ख़र्च, बढ़ने पर अलर्ट के साथ।

एंगेजमेंट के ३ तरीक़े

जो आपकी आज की जगह के सबसे क़रीब हो, वह चुनिए। दायरा पहले हफ़्ते में लिखित रूप में तय होता है।

  1. १आपको क्या मिलता है

    संचालन की समीक्षा

    आपकी जाँच, निगरानी और डिप्लॉय की आदतों की लिखित समीक्षा, सुधारों की क्रमवार योजना और जोखिमों के रजिस्टर के साथ।

    काम कैसे चलता है

    डिस्कवरी का एक हफ़्ता, जो लिखित प्लान और दाम के साथ ख़त्म होता है।

  2. २आपको क्या मिलता है

    टीम के साथ बिल्ड

    जाँच, निगरानी, गेट वाली रिलीज़ की पाइपलाइन और रनबुक, आपकी टीम के साथ मिलकर लगाई गई।

    काम कैसे चलता है

    तय दायरा और तय दाम। जाँच का ढाँचा जब अपनी पहली चूक ख़ुद पकड़ ले, तब हम चाबियाँ सौंप देते हैं।

  3. ३आपको क्या मिलता है

    एम्बेडेड टीम

    एक सीनियर टीम, जो मॉडल और प्रॉम्प्ट बदलने के साथ जाँच और रिलीज़ का चक्र चलाती रहती है।

    काम कैसे चलता है

    आपके कारोबार के भीतर, आपके अकाउंट में और आपकी दिशा पर। दस्तावेज़ी हैंडओवर, या हम उसे आपके साथ चलाते रहते हैं।

यह सेवा किसके लिए है

मॉडल-संचालन / उपयुक्तता की जाँच

किसके लिए ठीक है

  • वे टीमें जिनका भाषा-मॉडल वाला फ़ीचर प्रोडक्शन में है और बदलावों के बाद चुपचाप टूटता रहता है।
  • AI फ़ीचर की भरोसेमंदी के ज़िम्मेदार इंजीनियरिंग प्रमुख, जिनके पास अभी जाँच का ढाँचा नहीं है।
  • अनुपालन और जोखिम के ज़िम्मेदार लोग, जिन्हें AI के बर्ताव का ऐसा रिकॉर्ड चाहिए जिसका वे बचाव कर सकें।

किसके लिए नहीं

  • वे टीमें जिन्होंने अभी भाषा-मॉडल वाला कोई फ़ीचर शिप नहीं किया। पहले उसे बनाइए, संचालन बाद में।
  • जो मानते हैं कि टेस्ट-सेट अपने आप लिख जाएँगे। अच्छे केस चुनना इंसानी समझ का काम है।
  • सिर्फ़ निगरानी का एक डैशबोर्ड। पीछे टेस्ट-सेट न हों, तो वह कम ही बताता है।

इस सेवा पर सवाल

हर एंगेजमेंट एक ही तरीक़े से चलता है: एजेंट प्रस्ताव रखता है, इंसान मंज़ूरी देता है।

क्या हमें अपना निगरानी टूल बदलना होगा?
नहीं। डैशबोर्ड से ज़्यादा जाँच का ढाँचा मायने रखता है, इसलिए हम पहले वही बनाते हैं और ट्रेस वहीं भेजते हैं जो आपकी प्लेटफ़ॉर्म टीम पहले से चलाती है।
जाँच का ढाँचा कैसा दिखता है?
प्रॉम्प्ट के साथ संस्करण में रखा एक Python या Node प्रोजेक्ट। हर फ़ीचर के अपने टेस्ट-केस होते हैं: एक इनपुट और जवाब परखने का पैमाना। हर प्रॉम्प्ट-बदलाव पर सूट चलता है और फ़ेल होने पर डिप्लॉय रुकता है। धुँधले जवाबों को अंक मिलते हैं।
टेस्ट-सेट कहाँ से आते हैं?
पहले केस आपकी हाल की सबसे बुरी चूकों से आते हैं। फिर सेट में किनारे के मामले और शरारती इनपुट जुड़ते हैं, और उसके बाद प्रोडक्शन की हर घटना एक नया टेस्ट बनती है।
क्या मॉडल देने वाली कंपनी से फ़र्क़ पड़ता है?
नहीं। जाँच का ढाँचा कंपनियों के फ़र्क़ छिपा लेता है, इसलिए आप बड़ी मॉडल कंपनियों में से किसी के साथ, कई के साथ, या आसान कामों के लिए सस्ते मॉडल के साथ बिना टेस्ट दोबारा लिखे काम कर सकते हैं।
क्या आप प्रॉम्प्ट इंजेक्शन से बचाव करते हैं?
हाँ। टेस्ट-सूट में शुरू से इंजेक्शन की कोशिशें होती हैं। चलते वक़्त हम सीमा पर इनपुट जाँचते हैं, मॉडल कौन-से टूल बुला सके यह सीमित करते हैं और उसका जवाब परखते हैं। पूरी सुरक्षा का दावा हम नहीं करते; मक़सद हमले को घाटे का सौदा बनाना है।