Google Cloud ने Vertex AI में नए टेक्स्ट एम्बेडिंग मॉडल, "text-embedding-004" और "text-multilingual-embedding-002" की घोषणा की है, जो "कार्य प्रकारों" के आधार पर अनुकूलित एम्बेडिंग उत्पन्न कर सकते हैं। यह रिट्रीवल ऑग्मेंटेड जेनरेशन (RAG) एप्लिकेशन के लिए एक महत्वपूर्ण विकास है।
पारंपरिक सिमेंटिक समानता खोज अक्सर RAG में सटीक परिणाम देने में विफल रहती है क्योंकि प्रश्न और उत्तर स्वाभाविक रूप से भिन्न होते हैं। उदाहरण के लिए, "आकाश नीला क्यों है?" और इसका उत्तर, "सूर्य के प्रकाश के बिखरने से नीला रंग होता है," के अलग-अलग अर्थ हैं।
"कार्य प्रकार" इस अंतर को पाटते हैं, जिससे मॉडल किसी क्वेरी और उसके उत्तर के बीच संबंध को समझ पाते हैं। क्वेरी टेक्स्ट के लिए "QUESTION_ANSWERING" और उत्तर टेक्स्ट के लिए "RETRIEVAL_DOCUMENT" निर्दिष्ट करके, मॉडल एम्बेडिंग स्पेस में एम्बेडिंग को एक साथ पास रख सकते हैं, जिससे अधिक सटीक खोज परिणाम प्राप्त होते हैं।
ये नए मॉडल "LLM डिस्टिलेशन" का लाभ उठाते हैं, जहाँ एक बड़े भाषा मॉडल (LLM) से एक छोटे मॉडल को प्रशिक्षित किया जाता है। इससे एम्बेडिंग मॉडल LLM की कुछ रीज़निंग क्षमताओं को प्राप्त कर सकते हैं, जिससे विलंबता और लागत को कम करते हुए खोज गुणवत्ता में सुधार होता है।
निष्कर्षतः, Vertex AI एम्बेडिंग में "कार्य प्रकार" RAG सिस्टम की सटीकता और दक्षता में सुधार की दिशा में एक महत्वपूर्ण कदम हैं। सिमेंटिक खोज को सरल बनाकर, यह सुविधा डेवलपर्स को अधिक बुद्धिमान, भाषा-जागरूक एप्लिकेशन बनाने का अधिकार देती है।
