Google क्लाउड ने एक ब्लॉग पोस्ट प्रकाशित किया है जिसमें बताया गया है कि GPU का उपयोग करके क्लाउड रन पर मेटा लामा 3.2-1B-इंस्ट्रक्ट मॉडल को कैसे तैनात किया जाए। यह पोस्ट ओपन-सोर्स बड़े भाषा मॉडल (LLM) को तैनात करने के लिए क्लाउड रन GPU का लाभ उठाने के तरीके के बारे में चरण-दर-चरण निर्देश प्रदान करती है। पोस्ट में टेक्स्ट जेनरेशन इन्फरेंस (TGI) डॉकर इमेज के साथ स्थानीय मॉडल परीक्षण का उपयोग करके विकास प्रक्रिया को सुव्यवस्थित करने के सर्वोत्तम अभ्यासों को भी शामिल किया गया है, जिससे समस्या निवारण आसान हो जाता है और उत्पादकता बढ़ जाती है। क्लाउड रन GPU के साथ, डेवलपर्स को क्लाउड रन के CPU और मेमोरी के साथ समान ऑन-डिमांड उपलब्धता और सहज स्केलेबिलिटी का लाभ मिलता है, जिसमें NVIDIA GPU की अतिरिक्त शक्ति होती है। जब आपका एप्लिकेशन निष्क्रिय होता है, तो आपकी GPU से लैस आवृत्तियाँ स्वचालित रूप से शून्य तक कम हो जाती हैं, जिससे आपकी लागतों का अनुकूलन होता है। पोस्ट क्लाउड स्टोरेज FUSE का उपयोग करके कोल्ड स्टार्ट को बेहतर बनाने के तरीके के बारे में भी सुझाव प्रदान करता है। क्लाउड स्टोरेज FUSE डेवलपर्स को गूगल क्लाउड स्टोरेज बकेट को फाइल सिस्टम के रूप में माउंट करने की अनुमति देता है, जिससे कोल्ड स्टार्ट का समय काफी कम हो जाता है।