बड़े भाषा मॉडल (LLM) आधुनिक प्रौद्योगिकी के अभिन्न हो रहे हैं, ड्राइविंग एजेंट सिस्टम जो बाहरी वातावरण के साथ गतिशील रूप से बातचीत करते हैं। अपनी प्रभावशाली क्षमताओं के बावजूद, एलएलएमएस इंजेक्शन हमले के लिए बहुत संवेदनशील है। ये हमले तब होते हैं जब विरोधी अविश्वसनीय डेटा स्रोतों के माध्यम से दूषित निर्देशों को लागू करते हैं, जिसका उद्देश्य संवेदनशील डेटा चलाने या हानिकारक संचालन करके सिस्टम से समझौता करना है। पारंपरिक सुरक्षा विधियां, जैसे कि मॉडल प्रशिक्षण और शीघ्र इंजीनियरिंग, सीमित प्रभावशीलता दिखाते हैं, मजबूत रक्षा की तत्काल आवश्यकता दिखाते हैं।
Google DEEPMIND शोधकर्ताओं ने L LT का प्रस्ताव रखा, एक मजबूत रक्षा जो LLM के चारों ओर एक सुरक्षात्मक प्रणाली स्तर बनाता है, तब भी जब अंतर्निहित मॉडल हमलों के लिए अतिसंवेदनशील हो सकते हैं। पारंपरिक दृष्टिकोणों के विपरीत, जिन्हें पुनर्व्यवस्था या मॉडल परिवर्तनों की आवश्यकता होती है, एल -प्रोवन सॉफ्टवेयर फैटवेयर सुरक्षा प्रथाओं से प्रेरित एक नए उदाहरण का प्रतिनिधित्व करता है। यह स्पष्ट रूप से उपयोगकर्ता के प्रश्नों से नियंत्रण और डेटा प्रवाह है, यह सुनिश्चित करना कि अविश्वसनीय इनपुट यह सुनिश्चित करता है कि कार्यक्रम सीधे तर्क को नहीं बदलेगा। यह डिज़ाइन संभावित रूप से हानिकारक डेटा को अलग करता है, जिससे इसे एलएलएम एजेंटों के तहत निर्णय लेने की प्रक्रियाओं को प्रभावित करने से रोकता है।
तकनीकी रूप से, एक दोहरे-मॉडल वास्तुकला को नियोजित करके एल-टास्क: एक विशेषाधिकार प्राप्त एलएलएम और क्वारेंटेड एलएलएम। संभावित हानिकारक डेटा से संवेदनशील संचालन को अलग करके, विशेषाधिकार प्राप्त एलएलएम समग्र फ़ंक्शन को ऑर्केस्ट करता है। क्विनडाइन्ड एलएलएम डेटा को अलग से संसाधित करता है और संभावित क्षति को सीमित करने के लिए टूल-कॉलिंग लिंग क्षमताओं से स्पष्ट रूप से छीन लिया जाता है। एलईएल वाट प्रत्येक डेटा मूल्य में मेटाडेटा या “क्षमताओं” को असाइन करके सुरक्षा को मजबूत करता है, इस बात पर सख्त नीतियों का निर्धारण करता है कि जानकारी के प्रत्येक भाग का उपयोग कैसे किया जा सकता है। एक कस्टम पायथन दुभाषिया इन अच्छी-से-डेट सुरक्षा नीतियों को लागू करता है, डेटा प्रोवेंस की निगरानी करता है, और स्पष्ट नियंत्रण-प्रवाह बाधाओं के साथ अनुपालन सुनिश्चित करता है।
एजेंट -edge बेंचमार्क का उपयोग करके अनुभवजन्य मूल्यांकन के परिणाम एलएल की प्रभावशीलता को उजागर करते हैं। नियंत्रित परीक्षणों में, एल धुनों ने सुरक्षा नीतियों को दानेदार स्तर पर लागू करके शीघ्र इंजेक्शन के हमलों को सफलतापूर्वक विफल कर दिया। सिस्टम ने दक्षता बनाए रखने की क्षमता दिखाई, सुरक्षित रूप से AgentDOJ फ्रेमवर्क में 67% कार्यों को हल किया। “प्रॉम्प्ट सैंडविचिंग” और “स्पॉटलाइटिंग” जैसे अन्य सुरक्षा की तुलना में, आकर सुरक्षा के मामले में महत्वपूर्ण रूप से स्थानांतरित हो गया, जब मध्यम ओवरहेड्स की बात आती है तो हमलों के खिलाफ कुल सुरक्षा प्रदान करता है। ओवरहेड मुख्य रूप से टोकन की खपत में प्रकट होता है, इनपुट टोकन में वृद्धि के साथ आउटपुट टोकन में लगभग 2.82 × और 2.73 ×, प्रदान की गई सुरक्षा गारंटी के लिए स्वीकार्य है।
इसके अलावा, एल एल। उदाहरण के लिए, एक परिदृश्य जहां सिस्टम निष्पादन फ्लू को नियंत्रित करने के लिए ईमेल डेटा से सौम्य-विघटन निर्देशों का लाभ उठाने की कोशिश करता है, कठोर डेटा टैगिंग और नीति कार्यान्वयन विधियों को प्रभावी रूप से कम किया जाएगा। यह एक व्यापक सुरक्षा है, यह देखते हुए कि पारंपरिक तरीके इस तरह के अप्रत्यक्ष हेरफेर के जोखिमों की पहचान करने में विफल हो सकते हैं।
अंत में, एल एलटी एलएलएम-चालित एजेंटों की सुरक्षा में महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। अंतर्निहित एलएलएम के संशोधन के बिना सुरक्षा नीतियों को मजबूती से लागू करने की इसकी क्षमता शीघ्र इंजेक्शन हमलों के खिलाफ बचाव के लिए एक शक्तिशाली और लचीला दृष्टिकोण प्रदान करती है। पारंपरिक सॉफ्टवेयर फैटवेयर सुरक्षा से सिद्धांतों को अपनाने से, एल एलटी न केवल स्पष्ट इंजेक्शन के जोखिमों को कम करता है, बल्कि सभ्य हमलों से भी बचाता है जो अप्रत्यक्ष डेटा हेरफेर से लाभान्वित होते हैं। चूंकि एलएलएम एकीकरण संवेदनशील अनुप्रयोगों में फैलता है, इसलिए जटिल डिजिटल पारिस्थितिक तंत्र में सुरक्षित बातचीत सुनिश्चित करने के लिए उपयोगकर्ता ट्रस्ट को बनाए रखना और एल एलटी को अपनाना महत्वपूर्ण हो सकता है।
जाँच करना कागज़। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमसे जुड़ने के लिए मत भूलना 85 k+ ml सबमिटेड।
ASIF Razzaq एक दूरदर्शी उद्यमी और इंजीनियर के रूप में मार्केटएकपोस्ट मीडिया इंक के सीईओ हैं, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की संभावना को बढ़ाने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का उद्घाटन है, जो मशीन लर्निंग की गहराई के लिए और कवरेज की गहराई के लिए गहरी सीखने की खबर के लिए है। यह तकनीकी रूप से ध्वनि है और एक बड़े दर्शकों द्वारा आसानी से समझ में आता है। प्लेटफ़ॉर्म में 2 मिलियन से अधिक मासिक दृश्य हैं, जो दर्शकों के बीच अपनी लोकप्रियता दिखाते हैं।
