जनरेटिव AI इंजीनियरिंग
जानें कि टेक्स्ट, छवियों, दस्तावेजों, ऑडियो या वीडियो को मिलाकर बनाए गए AI अनुरोधों को कैसे संरचित, स्थापित, तुलना और सत्यापित किया जाए।
17 शब्द
मीडिया इनपुट
Multimodal prompt
एक अनुरोध जो पाठ के साथ एक या अधिक मीडिया प्रकारों, जैसे छवियों, दस्तावेज़ों, ऑडियो या वीडियो को जोड़ता है।
इसका उपयोग तब करें जब कार्य जानकारी पर निर्भर करता है जो कई मोडलिटी में व्यक्त की जाती है।
चार्ट छवि की तुलना लिखित पूर्वानुमान से करें और समर्थित और विरोधाभासी दावों की पहचान करें।मीडिया इनपुट
Image input
एक फोटोग्राफ, स्क्रीनशॉट, स्कैन, आरेख, या अन्य छवि जो मॉडल विश्लेषण के लिए प्रदान की जाती है।
मॉडल द्वारा निरीक्षण किए जाने वाले सटीक दृश्य गुण या क्षेत्र को निर्दिष्ट करें।
संलग्न स्क्रीनशॉट में, केवल त्रुटि बैनर पढ़ें और इसका कोड और संदेश सूचीबद्ध करें।मीडिया इनपुट
Document input
एक फ़ाइल जैसे कि PDF, स्लाइड डेक या रिपोर्ट जो पाठ और दृश्य संरचना दोनों के साथ प्रदान की जाती है।
बताएं कि क्या कार्य को पृष्ठ, अनुभाग, तालिका या फुटनोट संदर्भों को संरक्षित करना होगा।
अनुबंध से भुगतान शर्तों को निकालें और प्रत्येक आइटम के लिए पृष्ठ और अनुभाग का हवाला दें।मीडिया इनपुट
Audio input
भाषण, संगीत, परिवेश या अन्य ध्वनि रिकॉर्डिंग जो ट्रांसक्रिप्शन या विश्लेषण के लिए प्रदान की जाती है।
ट्रांसक्रिप्शन से पहले भाषा, स्पीकर-लेबल, टाइमस्टैम्प और अनिश्चितता आवश्यकताओं को परिभाषित करें।
कोरियाई बैठक को ट्रांसक्राइब करें, वक्ताओं को लेबल करें जब उन्हें पहचाना जा सके, और प्रत्येक निर्णय का समय अंकित करें।मीडिया इनपुट
Video input
एक समय-आधारित दृश्य इनपुट जिसमें भाषण, पाठ, गति और दृश्य परिवर्तन भी शामिल हो सकते हैं।
अस्थायी साक्ष्य का अनुरोध करें और यह बताएं कि क्या देखा, सुना या अनुमान लगाया गया है।
प्रत्येक दृश्य परिवर्तन पर, टाइमस्टैम्प, दिखाई देने वाली कार्रवाई और बोली गई बात प्रदान करें।प्रॉम्प्ट संरचना
Interleaved input
एक अनुक्रम जहाँ पाठ और मीडिया आइटम बारी-बारी से होते हैं ताकि निर्देश या लेबल संबंधित आइटम के करीब रहें।
इसका उपयोग तुलना, चरण-दर-चरण प्रदर्शन या कई मीडिया आइटम से संबंधित अनुरोधों के लिए करें।
Image A -> its question -> Image B -> its question -> final comparison criteriaप्रॉम्प्ट संरचना
Modality ordering
पाठ, छवियों, दस्तावेज़ों, ऑडियो और वीडियो भागों के प्रस्तुतीकरण का क्रम।
संबंधित निर्देशों को उनके मीडिया के पास रखें और महत्वपूर्ण वर्कफ़्लो के लिए वैकल्पिक क्रमों का परीक्षण करें।
पहले छवि, फिर निष्कर्षण निर्देश, फिर आउटपुट स्कीमा प्रदान करें।प्रॉम्प्ट संरचना
Image detail and resolution
छोटे टेक्स्ट, वस्तुओं या स्थानिक संबंधों को पढ़ने के लिए उपलब्ध दृश्य विवरण की मात्रा।
पर्याप्त रिज़ॉल्यूशन का उपयोग करें और प्रासंगिक क्षेत्र को क्रॉप करें जब बारीक विवरण महत्वपूर्ण हों।
उच्च रिज़ॉल्यूशन प्रसंस्करण लागत बढ़ा सकता है और अभी भी स्रोत छवि से अनुपस्थित विवरण को पुनर्प्राप्त नहीं कर सकता है।
डिवाइस की पूरी तस्वीर के बजाय सीरियल लेबल का एक करीबी क्रॉप संलग्न करें।प्रमाण का आधार
Visual grounding
किसी छवि या वीडियो में दिखाई देने वाली सामग्री से एक कथन या निकाले गए परिणाम को जोड़ना।
इसकी आवश्यकता तब होती है जब उपयोगकर्ताओं को यह सत्यापित करने की आवश्यकता होती है कि कोई निष्कर्ष कहां से आया है।
प्रत्येक दोष के लिए, दृश्य साक्ष्य का वर्णन करें और उसका अनुमानित स्थान निर्धारित करें।प्रमाण का आधार
Region reference and bounding box
एक छवि के एक विशिष्ट क्षेत्र का एक पाठ्य, निर्देशांक-आधारित, या बॉक्स-आधारित संदर्भ।
दोहराए जाने वाले ऑब्जेक्ट्स को स्पष्ट करने और डाउनस्ट्रीम समीक्षा या एनोटेशन का समर्थन करने के लिए क्षेत्रों का उपयोग करें।
विभिन्न मॉडलों और एपीआई में निर्देशांक प्रारूप और सटीकता भिन्न होती है; स्वचालन से पहले उन्हें मान्य करें।
प्रत्येक पता लगाए गए लेबल को एक सामान्यीकृत [x_min, y_min, x_max, y_max] बॉक्स के साथ लौटाएं।प्रमाण का आधार
Temporal reference and timestamp
एक समय की स्थिति या अंतराल जो ऑडियो या वीडियो में किसी घटना के होने की जगह की पहचान करता है।
इसका उपयोग दृश्य विश्लेषण, साक्ष्य समीक्षा, संपादन और ट्रांसक्रिप्ट संरेखण के लिए करें।
सुरक्षा घटनाओं को शुरुआती समय, समाप्ति समय, देखे गए कार्रवाई और आत्मविश्वास के रूप में सूचीबद्ध करें।विश्लेषण कार्य।
OCR instruction
एक अनुरोध जो एक छवि या स्कैन किए गए दस्तावेज़ से दिखाई गए पाठ का पता लगाने और ट्रांसक्रिप्ट करने के लिए है।
भाषाओं, लेआउट संरक्षण, अपठनीय-पाठ हैंडलिंग और क्या सामान्यीकरण की अनुमति है, यह निर्दिष्ट करें।
रसीद को पंक्ति दर पंक्ति ट्रांसक्राइब करें; गुम अक्षरों का अनुमान लगाने के बजाय [अस्पष्ट] का उपयोग करें।विश्लेषण कार्य।
Chart and table interpretation
विज़ुअलाइज्ड या सारणीबद्ध डेटा से मान, लेबल, रुझान और संबंधों को पढ़ना।
मॉडल से सीधे पढ़े गए मानों को गणना किए गए या अनुमानित निष्कर्षों से अलग करने के लिए कहें।
पहले किंवदंती और अक्ष इकाइयों को निकालें, फिर वर्ष-दर-वर्ष परिवर्तन में सबसे बड़ी वृद्धि की रिपोर्ट करें।विश्लेषण कार्य।
Multi-image comparison
दो या दो से अधिक छवियों में समानताओं, अंतरों या परिवर्तनों का विश्लेषण करना।
प्रत्येक छवि को लेबल करें और निष्कर्षों का अनुरोध करने से पहले, स्थिर तुलना मानदंडों को परिभाषित करें।
केवल लेआउट, दृश्यमान पाठ, गुम नियंत्रण और रंग परिवर्तनों के लिए छवि ए और छवि बी की तुलना करें।विश्लेषण कार्य।
Cross-modal reasoning
एक प्रश्न का उत्तर देने या निष्कर्ष पर पहुंचने के लिए विभिन्न तौर-तरीकों से प्रमाणों को मिलाना।
इसका उपयोग तब करें जब कोई भी एकल मोड में पूरा उत्तर नहीं होता है।
किसी भी बेमेल की पहचान करने के लिए बोली गई राशि, चालान छवि और नीति पाठ का उपयोग करें।प्रमाण का आधार
Multimodal evidence reference
एक उत्तर का समर्थन करने वाले पृष्ठ, क्षेत्र, फ़्रेम या टाइमस्टैम्प के लिए एक उद्धरण-जैसे पॉइंटर।
समीक्षा योग्य आउटपुट में संदर्भ शामिल करें और उन्हें बाद के वर्कफ़्लो चरणों के माध्यम से संरक्षित करें।
दावा: कुल 48.20 है; प्रमाण: पृष्ठ 1, निचले-दाएं कुल पंक्ति; आत्मविश्वास: उच्च।विश्वसनीयता
Unsupported visual inference
एक निष्कर्ष जो आपूर्ति किए गए मीडिया द्वारा स्पष्ट रूप से या श्रव्य रूप से समर्थित से परे जाता है।
मॉडल को अनिश्चितता को चिह्नित करने और यह बताने के लिए कहें कि जब किसी संपत्ति को निर्धारित नहीं किया जा सकता है।
संवेदनशील लक्षणों, पहचान, इरादे या चिकित्सा स्थितियों का अनुमान लगाने के लिए केवल उपस्थिति का उपयोग न करें।
केवल दिखाई देने वाले नुकसान की रिपोर्ट करें; कारण का अनुमान न लगाएं जब तक कि मीडिया सीधे इसे न दिखाए।| मल्टीमॉडल प्रॉम्प्ट इंजीनियरिंग | AI मीडिया पीढ़ी प्रॉम्प्टिंग |
|---|---|
| समझ और विश्लेषण के लिए छवियों, दस्तावेज़ों, ऑडियो या वीडियो प्रदान करता है | यह छवि, वीडियो, भाषण, संगीत या प्रभाव का वर्णन करता है जिसे उत्पन्न किया जाना है। |
| यह ग्राउंडिंग, क्षेत्रों, टाइमस्टैम्प, निष्कर्षण, तुलना और अनिश्चितता पर केंद्रित है। | यह विषय, रचना, कैमरा, गति, शैली, ध्वनि और नकारात्मक बाधाओं पर केंद्रित है। |
एक टेक्स्ट-ओनली अनुरोध जो एक छवि उत्पन्न करता है, वह आमतौर पर एक मीडिया-जनरेशन प्रॉम्प्ट होता है। यह बहु-मोडल (multimodal) बन जाता है जब अनुरोध में विश्लेषण, तुलना, संपादन, या मार्गदर्शन के लिए एक छवि या अन्य मीडिया इनपुट भी शामिल होता है।
मॉडल से सीधे देखे गए साक्ष्य को गणनाओं या अनुमानों से अलग करने, एक पृष्ठ, क्षेत्र, फ्रेम या टाइमस्टैम्प का हवाला देने और यह बताने के लिए कहें कि जब मीडिया किसी निष्कर्ष का समर्थन नहीं करता है।
निम्न-जोखिम सहायक उपयोग स्वचालित जांच की अनुमति दे सकता है, लेकिन महत्वपूर्ण निर्णयों को स्रोत गुणवत्ता, निष्कर्षण सटीकता, असंगत अनुमान, संवेदनशील-गुणवत्ता हैंडलिंग और मॉडल-विशिष्ट सीमाओं को सत्यापित करना चाहिए।
आधिकारिक मार्गदर्शन जो पाठ को छवि और वीडियो इनपुट के साथ संयोजित करने, प्रॉम्प्ट भागों को व्यवस्थित करने, समस्या निवारण करने और आउटपुट को नियंत्रित करने के बारे में है।
आधिकारिक अवलोकन जो प्रॉम्प्ट सामग्री, संरचना, उदाहरण, आउटपुट प्रारूप, पुनरावृत्ति और मूल्यांकन के बारे में है।
मीडिया इनपुट जोड़ने से पहले भूमिकाओं, निर्देशों, उदाहरणों, बाधाओं और आउटपुट स्कीमा की समीक्षा करें।
बड़े दस्तावेज़, ऑडियो, वीडियो, इतिहास और सहायक साक्ष्यों का बजट और संयोजन करें।
इस अलग गाइड का उपयोग करें जब लक्ष्य एक छवि बनाना हो, न कि उसका विश्लेषण करना।
कैमरा, गति, समय, निरंतरता और वीडियो-उत्पादन बाधाओं के लिए इस अलग गाइड का उपयोग करें।