एआई जो मानव भाषा के पैटर्न सीख सकता है

मानव भाषाएं कुख्यात रूप से जटिल हैं, और भाषाविदों ने लंबे समय से सोचा है कि यह असंभव होगा मशीन को सिखाएं कि वाक् ध्वनियों का विश्लेषण कैसे करें और शब्द संरचनाएं जैसे मानव जांचकर्ता करते हैं।

लेकिन एमआईटी, कॉर्नेल यूनिवर्सिटी और मैकगिल यूनिवर्सिटी के शोधकर्ताओं ने इस दिशा में एक कदम उठाया है।

जब एक भाषा में अलग-अलग व्याकरण संबंधी कार्यों (जैसे काल, मामला या लिंग) को व्यक्त करने के लिए वे शब्द और उदाहरण दिए जाते हैं, तो यह मशीन-लर्निंग मॉडल नियमों के साथ आता है जो बताते हैं कि उन शब्दों के रूप क्यों बदलते हैं। यह सीख सकता है कि सर्बो-क्रोएशियाई में मर्दाना रूप को स्त्रैण बनाने के लिए शब्द के अंत में “ए” अक्षर जोड़ा जाना चाहिए।

यह मॉडल स्वचालित रूप से उच्च-स्तरीय भाषा पैटर्न सीख सकता है जो कई भाषाओं पर लागू हो सकता है, जिससे इसे बेहतर परिणाम प्राप्त करने में मदद मिलती है।

शोधकर्ताओं ने भाषाविज्ञान पाठ्यपुस्तकों की समस्याओं का उपयोग करके मॉडल को प्रशिक्षित और परीक्षण किया जिसमें 58 अलग-अलग भाषाएं शामिल थीं। प्रत्येक समस्या में शब्दों का एक सेट और संबंधित शब्द-रूप परिवर्तन थे। मॉडल ने 60 प्रतिशत के लिए उन शब्द-रूप परिवर्तनों का वर्णन करने के लिए नियमों का एक सही सेट बनाया। समस्याओं का।

यह प्रणाली भाषा की परिकल्पनाओं का अध्ययन कर सकती है और शब्दों के विविध रूपांतरों में सूक्ष्म समानताओं की जांच कर सकती है। और एक कार्य के लिए एक विशाल डेटासेट का उपयोग करने के बजाय, सिस्टम कई छोटे डेटासेट का उपयोग करता है, जो वैज्ञानिकों के अनुमानों के करीब है – वे कई संबंधित डेटासेट देखते हैं और उन डेटासेट में परिघटनाओं की व्याख्या करने के लिए मॉडल के साथ आएं।

“इस काम की प्रेरणाओं में से एक सिस्टम का अध्ययन करने की हमारी इच्छा थी जो डेटासेट के मॉडल सीखते हैं जो इस तरह से प्रतिनिधित्व करते हैं कि मनुष्य समझ सकते हैं। वजन सीखने के बजाय, क्या मॉडल अभिव्यक्ति या नियम सीख सकता है? और हम देखना चाहते थे कि क्या हम कंप्यूटर विज्ञान के सहायक प्रोफेसर केविन एलिस ’14, पीएचडी ’20 कहते हैं, “इस प्रणाली का निर्माण कर सकता है ताकि यह परस्पर संबंधित डेटासेट की पूरी बैटरी पर सीख सके, ताकि सिस्टम को बेहतर तरीके से प्रत्येक मॉडल को बेहतर तरीके से सीखने में मदद मिल सके।” कॉर्नेल विश्वविद्यालय और कागज के प्रमुख लेखक।

कागज पर एलिस में शामिल होने वाले एमआईटी संकाय सदस्य एडम अलब्राइट, भाषा विज्ञान के प्रोफेसर हैं; आर्मंडो सोलर-लेज़ामा, एक प्रोफेसर और कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (CSAIL) के सहयोगी निदेशक; और जोशुआ बी। टेनेनबाम, पॉल ई। न्यूटन मस्तिष्क और संज्ञानात्मक विज्ञान विभाग में संज्ञानात्मक विज्ञान और संगणना के कैरियर विकास प्रोफेसर और CSAIL के सदस्य; साथ ही वरिष्ठ लेखक

टिमोथी जे. ओ’डोनेल, मैकगिल विश्वविद्यालय में भाषाविज्ञान विभाग में सहायक प्रोफेसर और मिला-क्यूबेक आर्टिफिशियल इंटेलिजेंस इंस्टीट्यूट में कनाडा सीआईएफएआर एआई चेयर।

शोध है प्रकाशित में प्रकृति संचार.

भाषा देख रहे हैं

एक एआई सिस्टम विकसित करने की अपनी खोज में जो कई संबंधित डेटासेट से एक मॉडल को स्वचालित रूप से सीख सकता है, शोधकर्ताओं ने ध्वनि विज्ञान (ध्वनि पैटर्न का अध्ययन) और आकृति विज्ञान (शब्द संरचना का अध्ययन) की बातचीत का पता लगाने के लिए चुना।

भाषाविज्ञान पाठ्यपुस्तकों के डेटा ने एक आदर्श परीक्षण की पेशकश की क्योंकि कई भाषाएं मुख्य विशेषताएं साझा करती हैं, और पाठ्यपुस्तक की समस्याएं विशिष्ट भाषाई घटनाओं को प्रदर्शित करती हैं। कॉलेज के छात्र पाठ्यपुस्तक की समस्याओं को काफी सरल तरीके से हल कर सकते हैं, लेकिन उन छात्रों को आमतौर पर पिछले पाठों से ध्वनिविज्ञान के बारे में पूर्व ज्ञान होता है। वे नई समस्याओं के बारे में तर्क करते थे।

एलिस, जिन्होंने एमआईटी में पीएचडी की उपाधि प्राप्त की और टेनेनबाम और सोलर-लेज़ामा द्वारा संयुक्त रूप से सलाह दी गई, ने पहली बार ओ’डॉनेल द्वारा सह-सिखाया एमआईटी कक्षा में आकृति विज्ञान और स्वर विज्ञान के बारे में सीखा, जो उस समय एक पोस्टडॉक थे, और अलब्राइट।

“भाषाविदों ने सोचा है कि मानव भाषा के नियमों को वास्तव में समझने के लिए, सिस्टम को टिक करने वाली चीज़ों के प्रति सहानुभूति रखने के लिए, आपको मानव होना होगा। हम यह देखना चाहते थे कि क्या हम उस प्रकार के ज्ञान और तर्क का अनुकरण कर सकते हैं जो कि मनुष्य (भाषाविद) कार्य में लाते हैं, ”अलब्राइट कहते हैं।

एक मॉडल बनाने के लिए जो शब्दों के संयोजन के लिए नियमों का एक सेट सीख सकता है, जिसे व्याकरण कहा जाता है, शोधकर्ताओं ने एक मशीन-लर्निंग तकनीक का उपयोग किया जिसे बायेसियन प्रोग्राम लर्निंग के रूप में जाना जाता है।

इस मामले में, प्रोग्राम व्याकरण है जो मॉडल सोचता है कि भाषाविज्ञान समस्या में शब्दों और अर्थों की सबसे संभावित व्याख्या है। उन्होंने स्केच का उपयोग करके मॉडल बनाया, जो एक लोकप्रिय प्रोग्राम सिंथेसाइज़र था जिसे एमआईटी में सोलर-लेज़ामा द्वारा विकसित किया गया था।

लेकिन स्केच को सबसे संभावित कार्यक्रम के बारे में तर्क करने में बहुत समय लग सकता है। इसके आसपास जाने के लिए, शोधकर्ताओं ने एक समय में मॉडल को एक टुकड़ा काम किया, कुछ डेटा को समझाने के लिए एक छोटा कार्यक्रम लिखना, फिर एक बड़ा प्रोग्राम लिखना जो इसे संशोधित करता है अधिक डेटा को कवर करने के लिए छोटा कार्यक्रम, और इसी तरह।

उन्होंने मॉडल भी डिजाइन किया ताकि यह सीख सके कि “अच्छे” कार्यक्रम किस तरह दिखते हैं। उदाहरण के लिए, यह साधारण रूसी समस्याओं पर कुछ सामान्य नियम सीख सकता है कि यह पोलिश में अधिक जटिल समस्या पर लागू होगा क्योंकि भाषाएं समान हैं। मॉडल के लिए पोलिश समस्या को हल करना आसान हो गया है।

पाठ्यपुस्तक की समस्याओं से निपटना

जब उन्होंने 70 पाठ्यपुस्तक समस्याओं का उपयोग करके मॉडल का परीक्षण किया, तो उसे एक व्याकरण मिला जो 60 प्रतिशत मामलों में समस्या में शब्दों के पूरे सेट से मेल खाता था, और 79 प्रतिशत समस्याओं में अधिकांश शब्द-रूप परिवर्तनों से सही ढंग से मेल खाता था।

शोधकर्ताओं ने मॉडल को कुछ ज्ञान के साथ प्री-प्रोग्रामिंग करने की भी कोशिश की, जिसे “जानना चाहिए” अगर वह भाषा विज्ञान पाठ्यक्रम ले रहा था, और दिखाया कि यह सभी समस्याओं को बेहतर तरीके से हल कर सकता है।

“इस काम की एक चुनौती यह पता लगाना था कि क्या मॉडल जो कर रहा था वह उचित था। यह ऐसी स्थिति नहीं है जहां एक संख्या है जो एक सही उत्तर है। कई संभावित समाधान हैं जिन्हें आप सही मान सकते हैं, दाईं ओर, आदि, ”अलब्राइट कहते हैं।

मॉडल अक्सर अप्रत्याशित समाधान के साथ आया। एक उदाहरण में, इसने पोलिश भाषा की समस्या का अपेक्षित उत्तर खोजा और दूसरा सही उत्तर जिसने पाठ्यपुस्तक में एक गलती का फायदा उठाया। एलिस का कहना है कि मॉडल भाषाविज्ञान विश्लेषण को “डीबग” कर सकता है।

शोधकर्ताओं ने ऐसे परीक्षण भी किए जिनसे पता चला कि मॉडल ध्वन्यात्मक नियमों के कुछ सामान्य टेम्पलेट सीखने में सक्षम था जिन्हें सभी समस्याओं पर लागू किया जा सकता था।

एलिस कहती हैं, “सबसे आश्चर्यजनक चीजों में से एक यह है कि हम सभी भाषाओं में सीख सकते थे, लेकिन इससे कोई बड़ा फर्क नहीं पड़ता था। इससे दो बातें पता चलती हैं। शायद हमें समस्याओं को सीखने के लिए बेहतर तरीकों की जरूरत है। और हो सकता है, अगर हम उन तरीकों के साथ नहीं आ सकते हैं, तो यह काम हमें विभिन्न विचारों की जांच करने में मदद कर सकता है जो हमारे पास समस्याओं के बीच साझा करने के लिए ज्ञान के बारे में है।”

भविष्य में, शोधकर्ता अन्य डोमेन में समस्याओं के अप्रत्याशित समाधान खोजने के लिए अपने मॉडल का उपयोग करना चाहते हैं। वे तकनीक को अधिक स्थितियों में भी लागू कर सकते हैं जहां उच्च-स्तरीय ज्ञान को परस्पर संबंधित डेटासेट में लागू किया जा सकता है। सिस्टम पर डेटासेट से अंतर समीकरणों का अनुमान लगाने के लिए विभिन्न वस्तुओं की गति, एलिस कहती है।

“इस काम से पता चलता है कि हमारे पास कुछ तरीके हैं, जो कुछ हद तक, आगमनात्मक पूर्वाग्रह सीख सकते हैं। लेकिन मुझे नहीं लगता कि हमने इन पाठ्यपुस्तक समस्याओं के लिए भी, आगमनात्मक पूर्वाग्रह का पता लगाया है जो एक भाषाविद् को व्यावहारिक व्याकरण स्वीकार करने देता है और हास्यास्पद लोगों को अस्वीकार करें, ”उन्होंने आगे कहा।

“यह काम भविष्य के अनुसंधान के लिए कई रोमांचक स्थानों को खोलता है। मैं विशेष रूप से इस संभावना से चिंतित हूं कि एलिस और सहयोगियों (बायेसियन प्रोग्राम लर्निंग, बीपीएल) द्वारा खोजे गए दृष्टिकोण से यह बात हो सकती है कि शिशु भाषा कैसे प्राप्त करते हैं,” टी फ्लोरियन जैगर कहते हैं, ए रोचेस्टर विश्वविद्यालय में मस्तिष्क और संज्ञानात्मक विज्ञान और कंप्यूटर विज्ञान के प्रोफेसर, जो इस पत्र के लेखक नहीं थे। भाषा अधिग्रहण के दौरान शिशुओं द्वारा देखे जाने वाले डेटा के प्रकार पर मानव जैसा सीखने का व्यवहार। मुझे लगता है कि यह देखना आकर्षक होगा कि क्या आगमनात्मक है एलिस और उनकी टीम द्वारा विचार किए गए पूर्वाग्रहों की तुलना में अधिक सारगर्भित पूर्वाग्रह – जैसे मानव सूचना प्रसंस्करण की सीमाओं में उत्पन्न होने वाले पूर्वाग्रह (उदाहरण के लिए, निर्भरता की लंबाई पर स्मृति बाधाएं या प्रति समय संसाधित की जा सकने वाली जानकारी की क्षमता सीमा) – पर्याप्त होगा प्रेरित करने के लिए कुछ मानव भाषाओं में देखे गए पैटर्न के। ”

द्वारा लिखित एडम ज़ेवे

स्रोत: मेसाचुसेट्स प्रौद्योगिक संस्थान