Google Cloud ने Cloud Run के लिए NVIDIA L4 GPU सपोर्ट को प्रीव्यू में जोड़ने की घोषणा की है। यह Cloud Run डेवलपर्स के लिए कई नए उपयोग के मामले खोलता है, जिनमें शामिल हैं:
* Google के ओपन जेम्मा (2B/7B) मॉडल या मेटा के लामा 3 (8B) जैसे लाइटवेट ओपन मॉडल के साथ रीयल-टाइम इन्फ्रेंस करना, कस्टम चैटबॉट बनाने या ऑन-द-फ्लाई डॉक्यूमेंट समराइजेशन बनाने के लिए, जबकि स्पाइकी यूजर ट्रैफिक को संभालने के लिए स्केलिंग करना।
* कस्टम फाइन-ट्यून्ड जेन एआई मॉडल की सेवा करना, जैसे कि आपकी कंपनी के ब्रांड के अनुरूप इमेज जेनरेशन, और जब कोई उनका उपयोग न कर रहा हो तो लागत को अनुकूलित करने के लिए स्केलिंग डाउन करना।
* आपकी कंप्यूट-इंटेंसिव Cloud Run सेवाओं को तेज करना, जैसे कि ऑन-डिमांड इमेज रिकॉग्निशन, वीडियो ट्रांसकोडिंग और स्ट्रीमिंग, और 3D रेंडरिंग।
एक पूरी तरह से प्रबंधित प्लेटफ़ॉर्म के रूप में, Cloud Run आपको Google के स्केलेबल इन्फ्रास्ट्रक्चर के शीर्ष पर सीधे अपना कोड चलाने देता है, जो आपकी उत्पादकता को बढ़ावा देने में मदद करने के लिए कंटेनरों के लचीलेपन को सर्वर रहित की सादगी के साथ जोड़ता है। Cloud Run के साथ, आप फ्रंटएंड और बैकएंड सेवाओं को चला सकते हैं, बैच जॉब चला सकते हैं, वेबसाइट और एप्लिकेशन तैनात कर सकते हैं, और कतार प्रसंस्करण वर्कलोड को संभाल सकते हैं - वह भी अंतर्निहित बुनियादी ढांचे का प्रबंधन किए बिना।
साथ ही, कई वर्कलोड जो एआई इन्फ्रेंस करते हैं, विशेष रूप से ऐसे एप्लिकेशन जिन्हें रीयल-टाइम प्रोसेसिंग की आवश्यकता होती है, को उत्तरदेह उपयोगकर्ता अनुभव प्रदान करने के लिए GPU त्वरण की आवश्यकता होती है। NVIDIA GPU के लिए समर्थन के साथ, आप सेकंड में अपनी पसंद के LLM का उपयोग करके ऑन-डिमांड ऑनलाइन एआई इन्फ्रेंस कर सकते हैं।
शुरुआती ग्राहक Cloud Run और NVIDIA GPU के संयोजन को लेकर उत्साहित हैं।
