एआई रिंग स्पेल वर्ड्स इन अमेरिकन साइन लैंग्वेज

Hyochul Lim एक जादू पहनता है। फोटो क्रेडिट: लुईस दीपिट्रो

लुईस डेपट्रो द्वारा

कॉर्नेल की अगुवाई वाली शोध टीम ने माइक्रो-सोरोर तकनीक से लैस एक कृत्रिम बुद्धिमत्ता-संचालित रिंग विकसित की है जो अमेरिकी साइन लैंग्वेज (एएसएल) में निरंतर और वास्तविक समय ट्रैक फिंगरप्लेसिंग कर सकती है।

इसके वर्तमान रूप में, स्पेल का उपयोग फिंगरस्पेलिंग के माध्यम से कंप्यूटर या स्मार्टफोन में पाठ दर्ज करने के लिए किया जा सकता है, जिसका उपयोग एएसएल में उपयुक्त वैभव, नाम, नाम और तकनीकी स्थितियों जैसे संबंधित संकेतों के बिना शब्दों को वर्तनी के लिए किया जाता है। आगे के विकास के साथ, इस उपकरण का उपयोग पूर्ण हस्ताक्षर के शब्दों और वाक्यों को लगातार ट्रेस करने के लिए किया जा सकता है।

सूचना विज्ञान के क्षेत्र में एक डॉक्टरेट छात्र हुइचुल लिम ने कहा, “एएसएल में उंगलियों में से कई अन्य तकनीकों को एक बहरे और कठोर श्रवण समुदाय द्वारा नहीं अपनाया गया है क्योंकि हार्डवेयर बहुत बड़ा और अव्यवहारिक है।” “हमने ASL में सभी सूक्ष्म और जटिल उंगली के आंदोलन को पकड़ने के लिए एक अंगूठी विकसित करने की कोशिश की।”

लिम “वर्तनी: अमेरिकी साइन लैंग्वेज का उपयोग करते हुए, एक उंगलियों का उपयोग करके एक उंगलियों का उपयोग करते हुए” का मुख्य लेखक है, जिसे 26 अप्रैल को जापान के योकोहामा में एसोसिएशन COMP कंप्यूटिंग मशीनरी सम्मेलन में मानव कारक (CHI) में प्रस्तुत किया जाएगा।

चित्रा के लिए चित्र: एक प्रणाली के योजनाबद्ध को दिखाने वाली प्रणाली का उपयोग करके अमेरिकी सांकेतिक भाषा में लगातार उंगलियों द्वारा पहचानें।

कॉर्नेल एनएस। बोवर्स कॉलेज ऑफ कम्प्यूटिंग एंड इंफॉर्मेशन साइंसेज में, स्मार्ट कंप्यूटर इंटरफ़ेस फॉर फ्यूचर इंटरैक्शन (SCIFI) लैब्स को स्पेल थम्स पर पहना जाता है, जो लिम और शोधकर्ताओं द्वारा विकसित किया गया है, और माइक्रोफोन और स्पीकर से सुसज्जित है। साथ में वे बिगड़ा हुआ ध्वनि तरंगें भेजते हैं जो पहनने वाले के हाथों और उंगली के मूवमेंट को ट्रैक बनाते हैं, जबकि मिनी गायरोस्कोप हाथ की गति की यात्रा करता है। इन घटकों को 3 डी-प्रिंटेड रिंग के भीतर रखा जाता है और यूएस क्वार्टर मानक से बड़ा नहीं है।

एक स्वामित्व वाली डीप-टेक-टैप एल्गोरिथ्म तब गोल्डन इमेज को संसाधित करता है और वास्तविक समय में एएसएल फिंगर्सपेल वर्णों की भविष्यवाणी करता है और कई मौजूदा प्रणालियों की समान सटीकता के साथ अधिक हार्डवेयर की आवश्यकता होती है।

डेवलपर्स ने 20 अनुभवी और नौसिखिया एएसएल हस्ताक्षरकर्ताओं के साथ जादू का मूल्यांकन किया, उनके पास विभिन्न लंबाई की प्राकृतिक और निरंतर उंगलियों के 20,000 से अधिक शब्द हैं। शब्दों की समस्या के आधार पर, जादू की सटीकता 5% और% 5% के बीच थी।

सूचना विज्ञान (कॉर्नेल बोवर्स सीआईएस) के एक सहायक प्रोफेसर और पेपर सह-लेखक चेंग झांग ने कहा, “तकनीकी समुदाय और तकनीकी समुदाय के बीच तकनीकी समुदाय का उपयोग करने और इसके उपयोग के उपयोग के बीच हमेशा एक अंतर होता है।” “हमने उन दूरी को पूरा कर लिया है। हमने लक्ष्य उपयोगकर्ताओं के लिए एक जादू बनाया है जिन्होंने इसका मूल्यांकन किया है।”

शोधकर्ताओं ने कहा कि वर्णमाला के प्रत्येक अक्षर से जुड़े 26 हैंडशैप की पहचान करने के लिए एआई प्रणाली का प्रशिक्षण – विशेष रूप से क्योंकि हस्ताक्षरकर्ता दक्षता, गति और प्रवाह के लिए एक विशेष चरित्र के रूप को स्वाभाविक रूप से झटका देते हैं – सीधे से दूर थे, शोधकर्ताओं ने कहा। “पत्रों के बीच का अंतर महत्वपूर्ण हो सकता है,” झांग ने कहा, जो स्केफी लैब को निर्देशित करता है। “यह पकड़ना मुश्किल है।”

स्पेल रिंग-ए-पोज़ नामक एक स्काईएफआई लैब से एक पिछली पुनरावृत्ति का उत्पादन करता है और लैब से सोने से सुसज्जित स्मार्ट उपकरणों से लैस स्मार्ट उपकरणों की चल रही लाइन में नवीनतम प्रस्तुत करता है। शोधकर्ताओं ने पहले आभासी वास्तविकता, 3 डी, मूक भाषण मान्यता और टकटकी और चेहरे की अभिव्यक्तियों में हाथ पोज की व्याख्या करने के लिए गैजेट विकसित किए हैं।

“जब बड़ी भाषा के मॉडल समाचार में केंद्र और केंद्र में होते हैं, तो मशीन लर्निंग दुनिया को एक नया और अप्रत्याशित तरीका बना रही है, जैसा कि प्रोजेक्ट और लैब शो में अन्य,” कॉर्नेल बोवर्स सीआईएस) ने कहा, “कॉर्नेल बोवर्स सीआईएस) ने कहा।” इस गिनती संसाधनों की अधिक विविध और निगमित पहुंच का मार्ग प्रशस्त करता है। “

“मैं यह सुनिश्चित करने में मदद करना चाहता था कि हमने एएसएल समुदाय द्वारा अधिकार करने के लिए हर संभव कदम उठाया,” जेन लू ने कहा, एक डॉक्टोरल के एक छात्र, जो भाषा विज्ञान के क्षेत्र में सह-लेखक हैं, जिनका शोध एएसएल पर केंद्रित है। “उंगलियां, जब ट्रैक एक तकनीकी दृष्टिकोण से संवेदनशील और चुनौतीपूर्ण है, एएसएल का एक अंश है और एएसएल की भाषा के रूप में एक प्रतिनिधि नहीं है। हमें अभी भी पूर्ण एएसएल मान्यता के लिए तुलनीय उपकरणों को विकसित करने के लिए एक लंबा मज़ा है, लेकिन यह सही दिशा में एक आकर्षक कदम है।”

लिम के भविष्य के फ़ंक्शन में अधिक व्यापक एएसएल अनुवाद प्रणाली के लिए, माइक्रो-सोरोर सिस्टम को ऊपरी शरीर और चेहरे की अभिव्यक्तियों के आंदोलनों को पकड़ने के लिए चश्मे में एकीकृत किया जाएगा।

“बहरे और कठिन सुनवाई वाले लोग एएसएल के लिए अपने हाथों से अधिक उपयोग करते हैं। वे चेहरे की अभिव्यक्तियों, ऊपरी शरीर के आंदोलनों और सिर के इशारों का उपयोग करते हैं,” लिम ने कहा, जिन्होंने कॉर्नेल में अपने वर्तनी अनुसंधान के हिस्से के रूप में बुनियादी और मध्यवर्ती एएसएल पाठ्यक्रम पूरा किया। “एएसएल एक बहुत ही जटिल, जटिल दृश्य भाषा है।”

अन्य सह-लेखक नाम और डांग, डायलन ली, तियानहॉन्ग कैथरीन यू, फ्रैंकलिन मिंगेज़ ली, यीकी जिन, यान मा, और ज़ियाजुन बी हैं।

इस शोध को नेशनल साइंस फाउंडेशन द्वारा वित्त पोषित किया गया था।

पूरा काम पढ़ें

वर्तनी: एक अंगूठी का उपयोग करके अमेरिकी सांकेतिक भाषा में उंगलियों की पहचान करना, Hychul Lim, Name and Dang, Dylan Lee, Tianhong Catherine U, Jane Lu, Franklin Mingz Lee, Yiki Jin, Yan Ma, Xiaojun B, Francois Gimbraty और Cheng Zhang।