ايتنا - اسپارک به دنبال ایجاد انقلاب در تحلیل داده‌ها

سال ۲۰۱۴ میلادی سالی بود که آپاچی هادوپ زمزمه‌های انقلاب در زمینه اطلاعات عظیم را آغاز کرد و سال ۲۰۱۵ به احتمال فراوان سالی خواهد بود که شرکت اسپارک به عنوان جایگزینی برای هادوپ موجب خواهد شد تا شاهد بالاتر رفتن قابلیت‌های این شرکت برای ایجاد یک تحلیل داده غنی‌تر و دقیق‌تر باشیم.

به گزارش ایتنا از رایورز به نقل از آی تی نیوز، کرت موناش به عنوان رییس سازمان تحقیقات فناوری اطلاعات مانوش درباره شرایط آینده اطلاعات و تحلیل آن‌ها می‌گوید: «در سطح صنایع یک نوع از توافق نظر به وجود آمده است و همه معتقدند که اسپارک مسیر آینده را هموار خواهد ساخت.» به این ترتیب به نظر می‌رسد که شرکت‌های مختلف بر روی پشتیبانی از رخداد هم عقیده شده‌اند.
برای نمونه علی قدسی به عنوان موسس و مدیر ارشد اجرایی شرکت Databricks درباره شرایط اسپارک می‌گوید: «سال آینده شاهد کاربری‌های متعددی خواهیم بود که موجب برتری یافتن هادوپ خواهد شد.»
شایان ذکر است که شرکت Databricks در حقیقت یکی از شرکت‌‌هایی است که خدمات میزبانی برپایه اسپارک را ارائه می‌کند.

البته اسپارک می‌تواند کاری که هادوپ انجام می‌دهد را به نحو ویژه‌ای با پیشرفت روبرو کند و خواهد توانست تا داده‌ها را همزمان با وارد شدن آن‌ها به کابل‌های شبکه، و در هنگام استریم شدن تحلیل کند. در آزمایش‌های رسیم انجام شده نیز اسپارک به خوبی موفق شد تا هادوپ را با اختلاف بسیار بالایی کنار بزند.
برای نمونه در رقابت‌های Daytona Gray Sort، تحلیل داده‌هایی به حجم ۱۰۰ ترابایت به وسیله یک بنچ مارک ویژه توسط سامانه‌های مختلف به بوته آزمایش نهاده شد که نتیجه حاصله زمان ۲۳ دقیقه برای اسپارک بود و جالب اینجاست که بدانید که نتیجه کسب شده توسط هادوپ در این رقابت برابر با ۷۲ دقیقه بود که بیش از سه برابر زمان سپری شده برای اسپارک است.

قدسی درباره این پدیده در ادامه سخنان خود می‌گوید: «مردم می‌خواهند تا با پاسخ‌دهی سریع روبرو شوند و هیچ کس دوست ندارد تا برای دریافت پاسخ خود برای مدتی معطل شود.»
یکی از نمونه‌های اجرایی استفاده از سرعت بالای تحلیل داده در اسپارک را می‌توان در استفاده از تبلیغات اینترنتی مشاهده کرد، امروزه تبلیغات اینترنتی به نحوی انجام می‌شود که بر اساس جست‌وجوهای چند روز گذشته فرد، لینک‌های تبلیغاتی برای او نمایش داده می‌شود ولی با کمک سرعت بالای تحلیل داده اسپارک می‌تواند این تبلیغات را بر اساس چند کلیک و جست‌وجوی اخیر کاربر بهینه‌ سازی نمود.
قدسی همچنین معتقد است که به زودی میزان کاربری اسپارک بیشتر نیز خواهد شد زیرا مهندسان و برنامه نویسان به شدت پیگیر شرایط کارکردن با این سیستم هستند. قدسی درباره شرایط رقابتی ایجاد شده به واسطه اسپارک می‌گوید: «ما با کاندیداهای فراوانی برای یک شغل روبرو هستیم و در این میان به زودی داشتن دانش درباره اسپارک می‌تواند به عنوان یک کلید در کسب مشاغل فناوری محسوب شود.»

موناش درباره خدماتی که به واسطه اسپارک مهیا می‌شوند می‌گوید: «کارهایی که هادوپ کرده بود بسیار خوب بود ولی اسپارک همان کارها را بسیار بهتر انجام می‌دهد.» در این میان مانوش معتقد است که بیش از ۶۰ درصد از کاربران مراکز خدماتی به صورت مستقیم یا غیر مستقیم از خدمات اسپارک استفاده می‌کنند. از دیگر شرکت‌هایی که به سرعت با ساختار اسپارک همخوانی پیدا کرده است می‌توان به ‌سیستم پخش موسیقی Spotify اشاره کرد که با استفاده از خدمات اسپارک به ایجاد لیست پخش موسیقی مطابق با سلیقه کاربر خود دست زده است.

پروژه اسپارک در سال ۲۰۰۸ میلادی از دانشگاه کالیفرنیا آغاز شد و در حال حاضر تحت نظارت بنیاد آپاچی به فعالیت خود ادامه می‌دهد.
این پروژه به نوعی عظیم‌ترین بخش کاری آپاچی را شامل می‌شود و در آن مهندسانی از شرکت‌های بزرگ دیگری مانند اینتل، علی بابا، یاهو و مینت نیز فعالیت می‌کنند.

اسپارک می‌تواند به صورت مستقل به فعالیت به پردازد و یا اینکه به صورت پیوسته به سیستم فایل هادوپ یا HDFS به عملکرد خود ادامه بدهد و می‌توان با زبان‌هایی مانندپیتون، جاوا و اسکالا برای آن به برنامه‌نویسی پرداخت.

رینالد ژین به‌عنوان دیگر موسس شرکت Databricks درباره علت محبوبیت اسپارک می‌گوید: «یکی از دلایلی که اسپارک به کانون توجه تبدیل شده است را می‌وان رابط کاربری برنامه‌ نویسی آن دانست که می‌‌تواند دسترسی به اجزای ماری را برای مهندسان و برنامه‌ نویسان راحت‌تر کند.»