एएचबी कॉफी कॉर्नर: रिलीज की दुनिया में खराब अभ्यास

ऐहब कॉफी कॉर्नर छोटी बातचीत पर एआई विशेषज्ञों के संगीत को पकड़ता है। इस महीने हम प्रकाशन के क्षेत्र में बुरे अध्ययन के विषय का सामना करते हैं। इस बार बातचीत में शामिल हो रहा है: सानमई दास (वर्जीनिया टेक), टॉम डिट्रिच (आरजी रागन स्टेट यूनिवर्सिटी), सबिन ऑवर (ब्रिस्टल विश्वविद्यालय), और सरिट एट यूएस (बार-एलेन विश्वविद्यालय)।

सबिन घंटा: आज का विषय प्रकाशन की दुनिया में एक बुरा अभ्यास है। उदाहरण के लिए, लोग एक समीक्षा प्रणाली, पेपर मिलों को धोखा देने की कोशिश कर रहे हैं। आपने क्या बुरा व्यवहार देखा है, और क्या यह वास्तव में एक समस्या है?

टॉम डिट्रिच: खैर, मैं एक संग्रह के दृष्टिकोण से इसके बारे में बात कर सकता हूं। हम जो मुख्य बुरा व्यवहार चाहते हैं वह उद्धृत करने के लिए भराई है। हम लेखकों को बहुत कम गुणवत्ता वाले कागजात लिखते हुए देख रहे हैं जो संदर्भों के एक सेट को उद्धृत करते हैं जो वास्तव में कागज के लिए प्रासंगिक नहीं हैं। ऐसा लगता है कि उनका लक्ष्य एक ऐसा पेपर रखना है जो आर्केंड को मुक्त करने के लिए काफी अच्छा है, लेकिन वे नहीं चाहते कि कोई इसे पढ़े। वे केवल Google विद्वान को मात्रा को अनुक्रमित करना चाहते हैं। और हमने इसे अलग -अलग रूपों में देखा है। विशिष्ट कागजात ऐसी चीजें हैं जहां वे मशीन लर्निंग का उपयोग करके हृदय रोग कर रहे हैं, लेकिन वे केवल यूसीआई रिपॉजिटरी से क्लीवलैंड हार्ट डेटासेट डाउनलोड कर रहे हैं, इस पर मानक मशीन लर्निंग एल्गोरिदम चला रहे हैं, और परिणाम लिख रहे हैं। उनके पास अक्सर एक बहुत ही सुंदर परिचय होता है, शायद चैट चैट द्वारा लिखा गया, हृदय रोग और इसके कारणों के बारे में। लेकिन उसके बाद, संदर्भ अप्रासंगिक हैं।

मैंने अन्य लोगों को देखा है जहां ऐसा लगता था कि यह कम या ज्यादा वास्तविक कागज था, लेकिन उनके द्वारा बनाए गए प्रत्येक संदर्भ के लिए, उनके पास एक और होगा जो अप्रासंगिक था। तो, वे सभी जोड़े में आए। यह वह मुख्य चीज है जो हम चाहते हैं, मूल रूप से Arxive पर जारी वस्तुओं द्वारा उद्धरण की गणना को बढ़ाने की कोशिश कर रहा है।

सबिन: और इससे कोई फर्क नहीं पड़ता, यह प्रशंसापत्र भराई। मैंने हाल ही में संकाय नियुक्ति के लिए एक पैनल के बारे में सुना है। उन्होंने एक टन एप्लिकेशन और साक्षात्कारों की जांच की, जो उनके लिए बड़ी चीजें थीं-उन्होंने दिलचस्प शोध क्षेत्रों में काम किया, उनके पास उच्च एच-इडियस था, वे बहुत उत्पादक थे। हालांकि, जब पैनल उनसे बात कर रहा था, तो उन्हें एहसास हुआ कि उन्होंने कभी भी मैदान में किसी के साथ काम करने का दावा नहीं किया था, यह सिर्फ एक विशेष स्थान था जिसका आविष्कार किया गया था। वह सिस्टम गेमिंग में बहुत उत्पादक था। उस व्यक्ति से बात किए बिना, उन्होंने इसे ढेर के ऊपर बनाया। दुर्भाग्य से, यह स्क्रीनिंग स्टेज पर कई लोगों को हटा देता है जिन्होंने उस गेम को नहीं खेला है, इसलिए यह वास्तव में कोई फर्क नहीं पड़ता कि वे ऐसा कर रहे हैं। क्या आपके द्वारा देखे गए बुरे व्यवहार के अन्य उदाहरण हैं?

सरित क्रु यूएस: एक उदाहरण एक ही पेपर को कई सम्मेलनों में भेजना है। कभी -कभी लोग मामूली बदलाव करेंगे लेकिन आमतौर पर वे कागजात को अलग करने की कोशिश भी नहीं करते हैं। एक अन्य समस्या खराब गुणवत्ता की समीक्षा है। कई समीक्षक एलएलएम का उपयोग उनके लिए एक समीक्षा लिखने के लिए कर रहे हैं, लेकिन वे समीक्षा प्रस्तुत करने से पहले आउटपुट नहीं पढ़ते हैं। समीक्षक एक समीक्षा का उत्पादन करने के लिए एलएलएम का उपयोग करने में कोई आपत्ति नहीं करते हैं, यह देखने के लिए जांचें कि क्या वे इसे पढ़ते हैं और कागज उचित है।

टॉम: यह जानने के लिए कि होमवर्क का जवाब देने के लिए कितने छात्र एलएलएम का उपयोग कर रहे हैं, मेरे एक सहयोगी ने होमवर्क असाइनमेंट में चैटैगप्ट के लिए व्हाइट टेक्स्ट में जेलब्रेक निर्देश दिए। हम इसे हर कॉन्फ्रेंस पेपर के साथ कर सकते हैं – कुछ ऐसा एम्बेड करें जो एलएलएम को एक विशेष वाक्य को आउटपुट करने के लिए प्रोत्साहित करता है जिसके लिए हम स्कैन कर सकते हैं। मूल रूप से, आउटपुट फिंगरप्रिंट।

सबिन: बुरा अभ्यास कितना बड़ा है? क्या यह 1% सबमिशन है जो एक बुरा अभ्यास है या कुछ ऐसा है जो वास्तव में बढ़ रहा है?

टॉम: बेशक, हम केवल यह जानते हैं कि हम क्या पाते हैं। मशीन लर्निंग श्रेणी में, हमने संभवतः मशीन लर्निंग के तहत 15,000 पेपर प्रकाशित किए हैं और शायद हमें समस्याओं के साथ 5-10 मिला है। लेकिन हमारे पास किसी भी मिस्ड अलार्म का कोई उपाय नहीं है।

सबिन: क्या हमें इसके बारे में कुछ करना चाहिए?

टॉम: खैर, मुझे लगता है कि सबसे बड़ी समस्या सम्मेलनों के बीच रिंग्स की समीक्षा है। मैंने कोई सबूत नहीं देखा है, लेकिन आईसीएमएल और न्यूरिप्स की खबरें हैं। समीक्षकों के लिए समीक्षा करना चाहते हैं, इस पर बोली लगाने के लिए एक बोली प्रणाली है। यह मूल रूप से एक दूसरे के कागजात पर बोलता है। हमें यह बदलना होगा कि हम उन रिंगों को तोड़ने के लिए समीक्षकों को कागजात में कैसे असाइन करते हैं। हमारे पास नियमों को तोड़ने वालों को दंडित करने के लिए कार्यान्वयन पद्धति की भी कमी है। सम्मेलन में कानूनी कर्मचारी नहीं हैं, उनके पास इसे इकट्ठा करने और प्रस्तुत करने में सक्षम होने के लिए सभी प्रक्रियाएं नहीं हैं, और किसी के पास पर्यवेक्षकों से संपर्क करने का समय नहीं है। क्या जुर्माना है जिसे लागू किया जाना चाहिए? हमारे पास किस तरह की प्रक्रिया होनी चाहिए? समुदाय को इन चीजों को तय करने की आवश्यकता है।

सबिन: यह भी एक महान रेखा है, क्योंकि काम के एक छोटे से क्षेत्र में आप लोगों के कागजात के लिए बोली लगा सकते हैं जिन्हें आप अच्छी तरह से जानते हैं क्योंकि आप एक छोटे से समुदाय में हैं। यह कागजात का एक कानूनी सेट हो सकता है जिसकी आप समीक्षा करना चाहते हैं, और आप उनकी सटीक समीक्षा करते हैं।

सेरिट: बोलना एक अच्छा तरीका नहीं हो सकता। IJCAI में, हम समीक्षकों को कागजात सौंपने के लिए कीवर्ड और इसी तरह के तरीकों का उपयोग करते हैं। हालांकि, हमारे पास अभी भी एक बोली है, और मुझे नहीं लगता कि यह बोली एक अच्छा विचार है। हालांकि, मुझे लगता है कि अगर हम बोली प्रणाली को हटाते हैं, तो हमें अभी भी एक बड़ी समस्या होगी। और समस्या यह है कि जैसा कि टॉम ने कहा, सजा की कमी। सृजन के लिए, धोखा देने के लिए, कुछ भी नहीं। यह अच्छा था जब हम एक छोटे से समुदाय थे, और यह जानने के लिए पर्याप्त था कि बाकी समुदाय ने नियमों को तोड़ दिया। यदि कोई ऐसी इकाई होती जो इन घटनाओं का ख्याल रख सकती थी, तो यह बहुत उपयोगी होगा। हम चिंतित हैं क्योंकि अगर हम सार्वजनिक क्षेत्र में एक नाम डालते हैं, तो वे हम पर दावा कर सकते हैं, क्योंकि हमारे पास कोई कानूनी समर्थन नहीं है। और हम अपना समय हमें शोध करने में बिताना चाहते हैं। हम स्वयंसेवक हैं, सम्मेलनों का प्रबंधन करते हैं, और एक बार जब हम योजना समाप्त कर लेते हैं, तो हम कुछ वर्षों के लिए चुप चाहते हैं।

सबिन: इस बुरे अभ्यास का हिस्सा बेहतर नहीं जानते, यह नहीं पता कि यह उस तरह से नहीं है? क्या अधिक शिक्षा मदद कर सकती है?

सेरिट: नहीं, यह एक शिक्षा नहीं है। लोग जानते हैं कि वे नियम तोड़ रहे हैं।

टॉम: मेरा मतलब है कि वे एक -दूसरे के साथ पेपर टाइटल का आदान -प्रदान कर रहे हैं ताकि वे जान सकें कि पेपर्स ने कौन लिखा है।

सबिन: हाँ, यह स्पष्ट है।

सेरिट: धोखा देने का लाभ पकड़ने के जोखिम से बहुत अधिक है क्योंकि आपको दंडित नहीं किया जा रहा है। यदि आपका पेपर वर्तमान सम्मेलन में स्वीकार नहीं किया जाता है, तो आप इसे अगले साल दूसरे सम्मेलन में जमा कर सकते हैं।

टॉम: यह एक संयुक्त संगठन है, आर्टिफिशियल इंटेलिजेंस समन्वय परिषद (एआईएससीसी), या एएए को स्थापित करने में मदद कर रहा है। वह ऐसे मुद्दों के बारे में एक -दूसरे से बात करने की कोशिश कर रहा है। मुझे लगता है कि ओपन रिव्यू, जो अधिकांश मशीन लर्निंग कॉन्फ्रेंस के लिए समीक्षा प्रक्रिया का समर्थन करता है, में जानकारी है कि वे सम्मेलनों में पूल कर सकते हैं। न्यूरिप्स ने हाल ही में बहन संगठनों के बीच जानकारी साझा करने के लिए जानकारी की अनुमति देने के लिए अपने आचार संहिता में संशोधन किया।

मेरा विचार यह है कि यदि खुले पांडिवू का एक समूह एक समूह हो सकता है, यदि विभिन्न उपयोगकर्ता धन प्रदान करते हैं, तो वे एक कानूनी टीम को नियुक्त कर सकते हैं और मानकों और परिभाषाओं का एक सेट स्थापित कर सकते हैं जो बाद में सभी अलग -अलग सम्मेलनों द्वारा अपनाया जा सकता है। और वे कार्यान्वयन प्रणाली का केंद्र भी हो सकते हैं।

सबिन: कम से कम, बुरे अभ्यास के संदिग्ध कागजात के बगल में एक छोटा तारा डालें।

टॉम: मुझे लगता है कि तब लक्ष्य को उससे आगे बढ़ना है और नियम तोड़ने वालों का खुलासा करना है। उनके प्रबंधन से संपर्क करें, उन्हें निकाल दिया।

SANMAYA DAS: मुझे लगता है कि सम्मेलन को कम से कम सामान्य आचार संहिता के लिए संकलित किया जाना चाहिए, और हमें यह सुनिश्चित करने के लिए कानूनी सलाह की आवश्यकता है कि यह ठीक से चलता है। मुझे लगता है कि एक बात जो करने की आवश्यकता है, वह यह है कि जब लोग एक सम्मेलन में प्रस्तुत करते हैं, तो वे एक ऐसी प्रक्रिया के लिए प्रतिबद्ध होते हैं जो एक सम्मेलन के बाद होगा। और अगर वे उस प्रक्रिया से ब्लैकलिस्ट किए जाते हैं, तो वे इसे प्रस्तुत करने की स्थिति के रूप में सहमत हो गए हैं।

हालाँकि मुझे एक और बात बतानी है, लेकिन ऐसी परिस्थितियां हैं जो मुझे पता है कि समुदाय के बहुत वरिष्ठ लोग इस तरह के तरीकों में बहुत स्पष्ट रूप से शामिल हैं। और वे खुद का बचाव कर सकते हैं। और पूरी तरह से पिन करना वास्तव में मुश्किल है। वे दावा कर सकते थे कि उन्होंने जानबूझकर ऐसा नहीं किया। कोई भी कानूनी लड़ाई में शामिल नहीं होना चाहता।

सबिन: मुझे आश्चर्य है कि क्या लोग जमा करते हैं, क्या वे उन सभी नियमों (उदाहरण के लिए, एलएलएम का उपयोग) पढ़ेंगे जब वे क्लिक करते हैं। हालांकि, अगर एक छोटा कदम था, जहां उनसे सवाल किया गया था कि क्या वे किसी विशेष बुरे अभ्यास में लगे हुए थे, तो वे बुरा महसूस करेंगे ताकि वे शामिल न हों, या बस आवश्यकताओं को स्पष्ट कर दें। मुझे लोगों के बारे में आशावादी बनना पसंद है।

सेरिट: Ijcai 2019 से पहले, मैं आप की तरह था, आप जानते हैं, “लोग क्यों धोखा देते हैं? हम सभी अनुसंधान में शामिल हैं, यह हमारा जीवन है, एक व्यक्ति क्यों धोखा देगा? “लेकिन उसके बाद, मुझे एक ऐसा मामला मिला, जहां कोई व्यक्ति अपने स्वयं के पेपर की समीक्षा करने में कामयाब रहा। जब उसका सामना करना पड़ा, तो उन्होंने दावा किया कि वह उसका छात्र था जिसने इसे प्रस्तुत किया था। मैं क्या कर सकता था? मैं उस सम्मेलन के लिए सभी अभ्यावेदन से इनकार करता हूं, लेकिन मेरे पास था। अगले सम्मेलन में इस जानकारी को स्थानांतरित करने का कोई तरीका नहीं।

टैग जीएस: कॉफी कॉर्नर