एआई प्रसंस्करण के लिए भंडारण एक बड़ी बाधा है

हम उत्पाद विपणन के उपाध्यक्ष जेफ व्हाइटेकर के साथ बात करते हैं। स्केल-आउट NAS उत्पादक पनाथुसकृत्रिम बुद्धि (एआई) प्रसंस्करण में भंडारण एक प्रमुख बाधा क्यों है, इस पर।

इस पॉडकास्ट में, हम एआई प्रोसेसिंग की प्रमुख आवश्यकताओं और उन पर ध्यान देने के तरीके को देखेंगे। आवश्यक भंडारण लाभ ला सकता है।

व्हिटेकर एआई कंप्यूटिंग संसाधनों में बड़ी मात्रा में डेटा को जल्दी से निगलने की आवश्यकता के बारे में बात करता है और कैसे कुछ लोग समस्या पर गणना करने की कोशिश करते हैं। इसके बजाय, उनका तर्क है कि अधिकारों के साथ भंडारण पर ध्यान दिया जाना चाहिए। थ्रूपुट और विलंबता बड़ी संख्या में छोटी फ़ाइलों को संसाधित करने के लिए प्रदर्शन प्रोफ़ाइल, जैसा कि एआई में देखा गया है

एंटनी ऐडहेड: उच्च-प्रदर्शन अनुप्रयोगों के लिए भंडारण की बात आने पर संगठनों को किन चुनौतियों का सामना करना पड़ता है?

जेफ व्हाइटेकर: जब उच्च प्रदर्शन अनुप्रयोगों की बात आती है, तो अनुप्रयोग जल्दी से परिणाम प्राप्त करने का प्रयास कर रहे हैं। मैं उस परिवेश के बारे में जानकारी प्राप्त करने का प्रयास कर रहा हूं जिसमें मैं निर्णय लेने के लिए एप्लिकेशन का उपयोग कर रहा हूं।

अक्सर यह कंप्यूटिंग पक्ष पर बहुत अधिक निर्भर करता है, कभी-कभी अत्यधिक। कई मामलों में, आप इसे निम्न द्वारा हल कर सकते हैं: [asking]क्या [does] एक विशिष्ट अनुप्रयोग वातावरण कैसा दिखता है? गणना, नेटवर्क, भंडारण।

साथ ही, मैं भंडारण तीसरा कहता हूं क्योंकि किसी अनुप्रयोग वातावरण से प्रदर्शन निकालने का प्रयास करते समय यह अक्सर अंतिम विचार होता है।

एक बात जिस पर हम ध्यान केंद्रित करना चाहते हैं, वह यह है कि जब अनुप्रयोगों की बात आती है तो डेटा की क्या आवश्यकता होती है।आपको किस थ्रूपुट की आवश्यकता है, क्या विलंब उस एप्लिकेशन को यथासंभव कुशलता से चलाने के लिए आपको क्या चाहिए?

ग्राहक और साझेदार अक्सर अपने अनुप्रयोगों की गति से गणना फेंककर समस्या को हल करने का प्रयास करते हैं, लेकिन असली बाधा भंडारण है।

जब उनके परिवेश की बात आती है, तो लोगों के लिए यह समझना महत्वपूर्ण है कि उन्हें केवल गणना के साथ समस्याओं को हल करने का प्रयास करने से पहले अपनी डेटा आवश्यकताओं पर विचार करने की आवश्यकता है।

इसलिए अपने इच्छित परिणाम प्राप्त करने के लिए एक कुशल वातावरण बनाने का प्रयास करना महत्वपूर्ण है। आपको भंडारण वातावरण के प्रकार पर विचार करना चाहिए जो आपकी एप्लिकेशन चुनौतियों का समाधान कर सकता है।

एडहेड: आप मुख्य रुझान क्या देखते हैं, खासकर जब हाई-परफॉर्मेंस कंप्यूटिंग (एचपीसी) के साथ हाई-एंड एंटरप्राइज स्टोरेज, आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग की बात आती है?

व्हाइटेकर: एचपीसी यह परंपरागत रूप से एक अनुप्रयोग वातावरण रहा है जिसके लिए बड़ी मात्रा में डेटा की आवश्यकता होती है। और अक्सर भंडारण वातावरण को कुछ विशेष होने की आवश्यकता होती है जो थ्रूपुट को संभालने के लिए स्केल कर सकता है ताकि गणना बेकार न बैठे। इसके लिए बहुत अधिक डेटा की आवश्यकता होती है।

एआई की दुनिया में हम जो देखना शुरू कर रहे हैं वह सिर्फ विकास और विचार निर्माण से ज्यादा है, यह अनिवार्य रूप से एक एप्लीकेशन है। AI वातावरण परिणाम प्राप्त करने के लिए बड़ी मात्रा में डेटा संसाधित करने का प्रयास कर रहा है। विशेष रूप से प्रशिक्षण प्रक्रिया के दौरान, गणना में बड़ी मात्रा में डेटा डाला जाता है। इसलिए, इस मामले में, अक्सर जीपीयू [graphics processing units] वे महंगे हैं और कोई भी वहां बेकार नहीं बैठना चाहता।

इस प्रकार, जिस गति से आप अपने एआई वातावरण में डेटा पंप कर सकते हैं, यह महत्वपूर्ण है कि आपका एप्लिकेशन कितनी तेजी से चलता है और आपका एआई प्रशिक्षण कितनी तेजी से चलता है। जब आप इसे देखते हैं, तो यह लगभग एक एचपीसी वातावरण की तरह होता है जो परिणाम प्राप्त करने के लिए बहुत सारे डेटा का अंतर्ग्रहण करता है। तो आपको वास्तव में यह जांचना होगा कि उस प्रशिक्षण प्रक्रिया के लिए आपको कौन सा डेटा चाहिए। या विभिन्न प्रकार के एचपीसी वर्कलोड के लिए वहां से चुनौतियों को हल करने का प्रयास करें।

हम यहां जो अंतर देखते हैं उनमें से एक एचपीसी दुनिया में आम है। बहुत बड़ी फाइलें कंप्यूटिंग में फेंक दी जाती हैं। इस बीच, एआई की तरफ, बहुत सारी छोटी फाइलें कंप्यूटिंग में फीड की जा रही हैं।

असली अड़चन यह है कि आप उस डेटा को अपनी गणना में कितनी तेजी से प्राप्त कर सकते हैं और परिणाम प्राप्त कर सकते हैं।

क्या वे वास्तव में दावा कर रहे हैं कि एक पारंपरिक उद्यम भंडारण वातावरण उस आवश्यकता को हल कर सकता है?

यह विलंबता है और यह थ्रूपुट है। पारंपरिक वातावरण में विलंबता को कम करने की क्षमता होती है, लेकिन अत्यधिक स्केलेबल थ्रूपुट प्राप्त करने का प्रयास करना बहुत कठिन होता है। इसलिए हम विभिन्न प्रकार के आर्किटेक्चर को देखना शुरू करते हैं, जैसे कि समानांतर समाधान जो हमें आवश्यक प्रदर्शन के अनुसार लगातार स्केल कर सकते हैं, और वास्तव में समस्या को हल कर सकते हैं। इन कंप्यूटिंग परिवेशों में बड़ी मात्रा में डेटा अंतर्ग्रहण करने की चुनौती।