ए.आई.

एनवीआईडीआई ने डायनमास लॉन्च किया है, जो एआई कारखानों में लॉजिक मॉडल को तेज करने और स्केल करने के लिए डिज़ाइन किया गया एक ओपन-फेस इंफॉर्मेशन सॉफ्टवेयर फ्यूचवेयर है।

जीपीयू बेड़े में प्रभावी और समन्वित एआई अनुमान अनुरोध यह सुनिश्चित करने के लिए एक महत्वपूर्ण प्रयास है कि एआई कारखाने सर्वोत्तम लागत-प्रभावशीलता के साथ काम कर सकते हैं और टोकन आय की कर उत्पादन को अधिकतम कर सकते हैं।

जैसा कि एआई लॉजिक तेजी से लोकप्रिय हो जाता है, प्रत्येक एआई मॉडल से प्रत्येक प्रॉम्प्ट के साथ हजारों टोकन का उत्पादन करने की उम्मीद की जाती है, जो इसकी “सोच” प्रक्रिया का प्रतिनिधित्व करती है। विकास में तेजी लाने और सेवा प्रदाताओं के लिए आय के अवसरों को बढ़ाने के लिए एक साथ इसकी लागत को कम करते हुए अनुमानित प्रदर्शन में वृद्धि महत्वपूर्ण है।

AI inferences सॉफ्टवेयर फाइटर नई पे जेनरेशन

NVIDI DYNAMAS, जो सफलतापूर्वक NVIDI TRITON INFERANCE सर्वर बनाते हैं, AI Inferences सॉफ़्टवेयर FATWARE की नई वेतन पीढ़ी का प्रतिनिधित्व करते हैं, विशेष रूप से AI कारखानों के लिए टोकन राजस्व उत्पादन को अधिकतम करने के लिए AI मॉडल को तैनात करते हैं।

डायनेमो ऑर्केस्ट्रेट और हजारों संभावित जीपीयू में अनुमान संचार को तेज करता है। यह असंगत सेवा प्रदान करता है, एक ऐसी तकनीक जो बड़े -लैंगुएज मॉडल डेलो (एलएलएम) की प्रक्रिया और एक अलग जीपीयू पर वेतन उत्पादन के चरणों को अलग करती है। यह दृष्टिकोण प्रत्येक चरण को स्वतंत्र रूप से इष्टतम ptimize करने की अनुमति देता है, इसकी विशिष्ट गणना आवश्यकताओं को पूरा करता है, और GPU संसाधनों के अधिकतम उपयोग की गारंटी देता है।

एनवीवीडिया के संस्थापक और सीईओ जेनसन हुआंग ने कहा, “दुनिया भर के उद्योग अलग -अलग तरीकों से एआई मॉडल को सोचने और सीखने के लिए प्रशिक्षण ले रहे हैं, जो उन्हें समय के साथ अधिक परिष्कृत बनाता है।” “कस्टम लॉजिक एआई के भविष्य को सक्षम करने के लिए, एनवीआईडीआई डायनेमिक्स इन मॉडलों को पैमाने में सेवा करने में मदद करता है, एआई कारखानों में लागत बचत और दक्षता को चलाने में मदद करता है।”

GPU की समान संख्या। उपयोग करते हुए, डायनामास ने एनवीडिया के वर्तमान एचपी पर प्लेटफॉर्म पर लालमा मॉडल की सेवा करने वाले एआई कारखानों के प्रभाव और आय को दोगुना करने की क्षमता दिखाई है। इसके अलावा, जबकि GB 200 NVL 72 रैक के एक बड़े क्लस्टर पर DIPPEC-R1 मॉडल चलाता है, NVIDI डायनेमास के बुद्धिमान अनुमान ने टोकन का उत्पादन किया है, जो ऑप्टिमाइज़ेशन में GPU प्रति GPU से अधिक का उत्पादन करता है।

पूर्वानुमान संचालन में इन सुधारों को प्राप्त करने के लिए, NVIDIA में कई प्रमुख विशेषताएं हैं जो थ्रूपुट को बढ़ाने और परिचालन लागत को कम करने के लिए डिज़ाइन किए गए हैं।

डायनामिक्स जीपीयू को जोड़ सकते हैं, हटा सकते हैं और जीपीयू को गतिशील रूप से वास्तविक समय में वॉल्यूम और प्रकार के उतार-चढ़ाव के अनुरोध के अनुरूप कर सकते हैं। एस। सॉफ्टवेयर फैटवेयर बड़े समूहों में विशेष जीपीयू को भी इंगित कर सकता है जो फीडबैक गणना के लिए सबसे उपयुक्त हैं और रूट क्वेरी को प्रभावी ढंग से कम कर रहे हैं। डायनामिक्स अधिक लागत प्रभावी मेमोरी और भंडारण उपकरणों पर लोड डेटा को भी प्रवाहित कर सकता है।

NVIDI DYNAMAS को एक पूर्ण ओपन सोर्स प्रोजेक्ट के रूप में प्रकाशित किया जा रहा है, जो पिटोरच, ASGLANG, NVIDIA TENSORT-LLM और VLM जैसे लोकप्रिय ढांचे के साथ व्यापक प्रासंगिकता प्रदान करता है। यह खुला दृष्टिकोण मनोरंजन, स्टार्टअप्स और शोधकर्ताओं को असंगत इन्फ्रास्ट्रक्चर में एआई मॉडल की सेवा के लिए उपन्यास विधियों को विकसित करने के लिए और पीटी ओवर ऑप्टिमेंट का समर्थन करता है।

Nvidaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa Purplexity AI के मुख्य क्लाउड प्रदाता और AI नवाचार सहित AI को अपनाने में तेजी लाती है।

NVIDIA DYNAMO: सुपरचार्जिंग इन्फ्रेंस और एजेंटिक एआई

NVIDI DYNAMAS का मुख्य नवाचार हजारों GPU, KV में संभव है। कैश के रूप में जाना जाने वाला पिछला अनुरोध जे एनल्टेज की मैप करने की क्षमता से परोसकर मेमोरी में मेमोरी में है।

सॉफ्टवेयर ftware तब बौद्धिक रूप से GPUs के लिए नए अनुमान अनुरोध बनाएं, जिनमें सबसे अच्छा J JOLELTGE मैच है, प्रभावी रूप से महंगी वसूली से बचता है और नए आने वाले अनुरोधों को संभालने के लिए अन्य GPU से राहत देता है। यह स्मार्ट रूटिंग तंत्र दक्षता को काफी बढ़ाता है और देरी को कम करता है।

डेनिस यारैट्स ने कहा, “मासिक लाखों अनुरोधों को संभालने के लिए, हम एनवीआईडीआई जीपीयू और गाइडेंस सॉफ्टवेयर फैटवेयर पर भरोसा करते हैं, जो हमारे व्यवसाय और उपयोगकर्ताओं के लिए प्रदर्शन, विश्वसनीयता और मांग को पूरा करने के लिए,” सीटीओ, सीटीओ, सीटीओ ने कहा।

“हम अपनी उन्नत वितरित क्षमताओं के साथ, अधिक हीन-सेवा दक्षता को निष्पादित करने और नए एआई लॉजिक मॉडल की गणना की मांग को पूरा करने के लिए गतिशीलता का लाभ उठाने की प्रतीक्षा कर रहे हैं।”

एआई प्लेटफॉर्म कोहर अपने मॉडलों की ऑर्डर श्रेणी में एजेंटों को बढ़ाने के लिए एनवीडी डायनामास का लाभ उठाने की योजना बना रहा है।

“एडवांस्ड एआई मॉडल को स्केलिंग में एक परिष्कृत मल्टी-जीपीयू शेड्यूल, सीमलेस समन्वय और कम-लॉन्च संचार पुस्तकालयों की आवश्यकता होती है जो स्मृति और भंडारण में एकीकृत संदर्भों को एकजुट करते हैं,” सुबाब बाजी ने इंजीनियर के एसवीपी की व्याख्या करते हुए समझाया।

“हम उम्मीद करते हैं कि NVIDIA DYNAMO हमारे उद्यम ग्राहकों को एक प्रमुख उपयोगकर्ता अनुभव प्रदान करने में मदद करेगा।”

असंगत सेवा के लिए समर्थन

NVIDI को सूचना मंच में डायनम में असहनीय सेवा के लिए भी मजबूत समर्थन है। यह उन्नत तकनीक एलएलएम के विभिन्न गिनती चरणों को प्रदान करती है – जिसमें उपयोगकर्ता क्वेरी को समझने के लिए महत्वपूर्ण कदम शामिल हैं और फिर सबसे उपयुक्त प्रतिक्रिया का उत्पादन करते हैं – बुनियादी ढांचे के भीतर विभिन्न जीपीयू।

नया NVVIDIA LALAMA NEMOTRON मॉडल विशेष रूप से परिवार जैसे तर्क मॉडल के लिए उपयुक्त है, जो बेहतर संदर्भ समझ और प्रतिक्रिया उत्पन्न करने के लिए उन्नत पूर्वानुमान तकनीकों का उपयोग करता है। प्रत्येक चरण को स्वतंत्र रूप से फाइन-ट्यून और संसाधन की अनुमति देकर, असहनीय सेवा के समग्र थ्रूपुट में सुधार होता है और उपयोगकर्ताओं के लिए एक त्वरित प्रतिक्रिया समय बचाता है।

AI, AI त्वरण क्लाउड स्पेस के एक प्रमुख खिलाड़ी के साथ, NVIDI Dynamo के साथ अपने स्वामित्व अनुमान इंजन को एकीकृत करना भी देख रहा है। इस एकीकरण का उद्देश्य कई GPU ट्यूमर पर अनुमान कार्यभार के निर्बाध स्केलिंग को सक्षम करना है। इसके अलावा, यह एआई को एक साथ गतिशील रूप से ट्रैफ़िक सेट को संबोधित करने की अनुमति देगा जो मॉडल पाइपलाइन के विभिन्न चरणों में उत्पन्न हो सकता है।

एआई के सीटीओ सीटी ने कहा, “स्केलिंग लॉजिक मॉडल को प्रभावी रूप से नई उन्नत अनुमान तकनीकों की आवश्यकता होती है, जिसमें असंगत सेवा सेवा और संदर्भ-जागरूक रूटिंग शामिल है।”

“NVIDIA डायनेमिक्स का खुलापन और मॉड्यूलरिटी हमें अपने इंजन में इसके घटकों को एकजुट करने की अनुमति देगा, जबकि संसाधन Pt उपयोग को उपयोग करता है-हम हमारे उपयोगकर्ताओं को प्रभावी ढंग से प्लेटफ़ॉर्म का लाभ उठाते हैं।”

Nvidia Dynamo के चार प्रमुख नवाचार

NVIDI ने डायनामास के भीतर चार प्रमुख नवाचार प्रकाशित किए हैं जो इसी लागत को कम करने और समग्र उपयोगकर्ता अनुभव को बढ़ाने में योगदान करते हैं:

• आंदोलन व्यवस्था करनेवाला: एक परिष्कृत नियोजन इंजन जो उपयोगकर्ता की मांग की मांग के आधार पर GPU को गतिशील रूप से जोड़ता है और हटा देता है। यह GPU क्षमता के अंडर-मूविंग और अंडर-लाइफ दोनों को रोकने के लिए सर्वोत्तम संसाधन आवंटन की गारंटी देता है।
• स्मार्ट राउटर: एक बुद्धिमान, एलएलएम-वाग्रे राउटर जो जीपीयू के बड़े काफिले में अनुमान अनुरोधों को निर्देशित करता है। इसका प्राथमिक कार्य बार -बार या अतिव्यापी अनुरोधों के महंगे GPU पुनर्निर्माण को कम करना है, जो नए आने वाले अनुरोधों को अधिक प्रभावी ढंग से प्रबंधित करने के लिए मूल्यवान GPU संसाधनों को मुक्त करता है।
• कम विलंबता संचार पुस्तकालय: अत्याधुनिक GPU-TO-GPU संचार-ऑप्टिमिक ptimized लाइब्रेरी का एक अनुमान। यह विषम उपकरणों पर डेटा विनिमय जटिलताओं को अवशोषित करता है, डेटा हस्तांतरण की गति में काफी तेजी लाता है।
• मेमोरी मैनेजर: एक बुद्धिमान इंजन जो कम -कॉस्ट मेमोरी और स्टोरेज डिवाइसों और अनुमानित डेटा से लोड डेटा को लोड डेटा को फिर से लोड करने का प्रबंधन करता है। यह प्रक्रिया एकीकृत करने के लिए डिज़ाइन की गई है, जो उपयोगकर्ता अनुभव पर किसी भी नकारात्मक प्रभाव की गारंटी देता है।

NVIDI DYNAMO को NIM माइक्रो सर्विसेज में उपलब्ध कराया जाएगा और कंपनी के AI एंटरप्राइज सॉफ्टवेयर FATWARE प्लेटफॉर्म की भविष्य की रिलीज़ में समर्थित किया जाएगा।

यह भी देखें: एलजी एक्सॉन डिप मैथ्स, अर्थात

उद्योग के नेताओं से एआई और बड़े डेटा के बारे में अधिक जानना चाहते हैं? एम्स्टर्डम, कैलिफोर्निया और लंदन में आयोजित एआई और बिग डेटा एक्सपो की जाँच करें। ब्रॉड इवेंट को इंटेलिजेंट ऑटो टोमेशन कॉन्फ्रेंस, ब्लॉकएक्स, डिजिटल ट्रांसफॉर्मेशन वीक और साइबर सिक्योरिटी एंड क्लाउड एक्सपो सहित अन्य प्रमुख घटनाओं के साथ सह-स्थित किया गया है।

TechFire द्वारा संचालित अन्य आगामी उद्यम प्रौद्योगिकी घटनाओं और वेबिनार का अन्वेषण करें।