जबकि एलएलएम ने सामान्य प्रयोजन कार्यक्रमों में महत्वपूर्ण प्रगति दिखाई है, लेकिन दवाओं जैसे विशिष्ट क्षेत्रों के लिए उनका विकास सीमित है। मेडिकल जुनोवलेज जटिलता और उच्च-गुणवत्ता, डोमेन-विशिष्ट डेटा की बहुत कुशल चिकित्सा एलएलएम की कमी को चुनौती दे रहा है। यद्यपि GPT -4 और DPCER1 जैसे मॉडल ने उद्योग में प्रभावशाली क्षमताओं को दिखाया है, एक चिकित्सा डोमेन के साथ उनका अनुकूलन चिकित्सा शब्दावली, विभिन्न शाखाओं और लगातार विकसित साहित्य की जटिल प्रकृति से बाधा है। साधारण अनुप्रयोगों के विपरीत, मेडिकल एआई को एक बहुत ही तकनीकी भाषा की व्याख्या करनी चाहिए और विशिष्ट, संदर्भ संबंधित प्रतिक्रियाएं प्रदान करनी चाहिए, जो पारंपरिक एलएलएम को प्राप्त करने के लिए संघर्ष करती है।
प्रभावी चिकित्सा एलएलएम बनाने के लिए प्रमुख बाधाओं में से एक उच्च गुणवत्ता वाले प्रशिक्षण डेटा की एक सीमित पहुंच है, जो गोपनीयता चिंताओं और नियामक बाधाओं के कारण निषिद्ध है। चिकित्सा डेटासेट में नैदानिक नोट, पाठ्यपुस्तक और अनुसंधान लेख शामिल हैं, जिसमें व्यापक मॉडल प्रशिक्षण इसे मुश्किल बनाता है। जबकि मेडिकल डेटासेट पर फाइन-ट्यूनिंग का आविष्कार किया गया है जैसे कि सामान्य एलएलएम के लिए दृष्टिकोण और सीखने को स्थानांतरित करना, ये विधियां अक्सर मेडिकल जुनवेलेज की गहराई को पूरी तरह से समझने में विफल रहती हैं। नतीजतन, ऐसे मॉडल कुछ कार्यों पर अच्छा प्रदर्शन कर सकते हैं, लेकिन जटिल चिकित्सा पूछताछ के लिए आवश्यक बारीक समझ की कमी है, एक अधिक शुद्ध प्रशिक्षण रणनीति की आवश्यकता को उजागर करता है।
बाचुआन इंक। बाचुआन-एम 1 के शोधकर्ता, विशेष रूप से एक विशेष बड़ी भाषा मॉडल श्रृंखला जो चिकित्सा अनुप्रयोगों के लिए डिज़ाइन की गई है। पारंपरिक मॉडल डेलो के विपरीत, जो अतिरिक्त मुद्रण या पोस्ट-ट्रेनिंग के माध्यम से मौजूदा आर्किटेक्चर को शुद्ध करता है, बाचुआन-एम 1 को चिकित्सा कौशल पर एक मजबूत ध्यान केंद्रित करके खरोंच से बनाया गया है। सामान्य और चिकित्सा-विशिष्ट डेटा दोनों सहित 20 ट्रिलियन टोकन पर प्रशिक्षित, मॉडल डोमेन-विशिष्ट सटीकता एक व्यापक भाषा समझ को संतुलित करती है। यह सामान्य कार्यों में सबसे अच्छा है जैसे कि कोडिंग और गणित और चिकित्सा कार्यक्रम जैसे निदान और उपचार सिफारिशें। ऑप्टिमेट Ptimise ट्रांसफार्मर आर्किटेक्चर के साथ, Bachuan-M1 हेल्थकेयर में AI-संचालित प्रगति के लिए एक नया बेंचमार्क सेट करता है।
मॉडल आर्किटेक्चर लामा और एक ही रूपरेखा का अनुसरण करता है, जिसमें एफएफएन परत में प्री-नॉर्म आरएमएसएनओआरएम, स्विशग्लु और रोटरी पोजीशन एम्बेडिंग शामिल हैं। यह अध्ययन वैश्विक और स्लाइडिंग विंडो का ध्यान आकर्षित करने के लिए, वैश्विक स्तरों के लिए सिर के आयाम को 256 तक बढ़ाता है। इसके अलावा, प्रमुख-मूल्य ध्यान पर-हैंडी शिक्षा में अस्थायी लघु कन्वर्धन बढ़ाएं। मॉडल मेडिकल और सामान्य पाठ के लिए एक हाइब्रिड टोकनर को नियुक्त करता है, जो पाठ्यक्रम -आधारित प्रशिक्षण रणनीतियों और प्रगतिशील डेटा जटिलता के साथ स्थिरता के लिए अनुकूली ग्रेड को क्लिपिंग करता है। ऑब्जेक्ट फाइन-ट्यूनिंग से सामान्य तर्क और चिकित्सा-विशिष्ट कार्यों में सुधार होता है, जो अनुमान दक्षता बनाए रखते हुए स्पष्ट भाषा समझ, चिकित्सा तर्क और लंबे दस्तावेज़ हैंडलिंग क्षमताओं को सुनिश्चित करता है।
विभिन्न बेंचमार्क का उपयोग करते हुए, बचुआन-एम 1-14 बी-बेस की कोड और गणितीय क्षमताओं का मूल्यांकन QWEN2.5 श्रृंखला के मॉडल के खिलाफ किया गया था। कोड जेनरेशन प्रदर्शनी का मूल्यांकन Avvalplus फ्रेमवर्क और Bigkodbanch के साथ किया गया था, जबकि गणित का मूल्यांकन गणित और CMAT डेटासेट का उपयोग किया गया था। हालांकि 14b -installed संस्करण अभी भी क्लाउड -3.5 -Sonate और GPT -4O जैसे स्वामित्व वाले मॉडल से पीछे है, दूरी काफी संकीर्ण हो गई है। परिणाम बताते हैं कि Bachuan-M1-14B-B-B-Base ने कुछ कार्यों में प्रतिस्पर्धी रूप से प्रदर्शित किया, अन्य उन्नत मॉडल की तुलना में इसकी कोड जनरेशन और गणितीय तर्क शक्ति को प्रदर्शित किया।
अंत में, एलएलएम को विशिष्ट क्षेत्रों में अपनाने के पारंपरिक तरीकों में अक्सर मौजूदा मॉडल के ठीक-ट्यूनिंग शामिल होते हैं। हालांकि, प्रयोगों से पता चलता है कि पहले से मौजूद मॉडल पर आगे का प्रशिक्षण सामान्य संचालन का त्याग किए बिना डोमेन-विशिष्ट सुधारों में बाधा डालता है। मेडिकल डोमेन में, डोमेन-विशिष्ट डेटा सामान्य मॉडल के साथ फाइन-ट्यूनिंग प्रशिक्षण की तुलना में कम प्रभावी हो सकता है। सामान्य क्षमताओं को बनाए रखते हुए चिकित्सा कौशल को बढ़ाने के लिए 20 ट्रिलियन टोकन का उपयोग करके इस दृष्टिकोण के साथ बाचुआन-एम 1 विकसित किया गया था। ओपन-सर्पिंग बाचुआन-एम 1-14 बी आगे के शोध की अनुमति देता है, हालांकि चुनौतियां दुर्लभ रोग निदान और वास्तविक दुनिया के अनुप्रयोगों में बनी हुई हैं। इसका निरंतर विकास एआई-संचालित चिकित्सा निर्णय पर महत्वपूर्ण रूप से आगे बढ़ सकता है।
जाँच करना कागज, बाचुआन-एम 1-14 बी-बेस और Bachuan-M1-14b-Instruct। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमसे जुड़ने के लिए मत भूलना 75 के+ एमएल सब्राडिट।
। अनुशंसित रीडिंग- एलजी एआई रिसर्च नेक्सस प्रकाशित करता है: एक उन्नत प्रणाली एआई एजेंट एआई सिस्टम और डेटा अनुपालन मानकों को एआई डेटासेट में कानूनी चिंताओं को खत्म करने के लिए
मार्कटेकपोस्ट और आईआईटी मद्रास में एक परामर्श इंटर्न सना हसन, वास्तविक दुनिया की चुनौतियों को खत्म करने के लिए प्रौद्योगिकी और एआई को लागू करने के लिए उत्साही है। व्यावहारिक समस्याओं को हल करने में उत्सुक रुचि के साथ, यह एआई और वास्तविक जीवन समाधानों के चौराहे के लिए एक नया परिप्रेक्ष्य लाता है।
