تصویر ثابت

پایگاه رسمی مهندس محسن اشکبوس

کارشناس ارشد طراحی سامانه های نرم افزاری تحت وب و شیرپوینت

پایگاه رسمی مهندس محسن اشکبوس

کارشناس ارشد طراحی سامانه های نرم افزاری تحت وب و شیرپوینت

پایگاه رسمی مهندس محسن اشکبوس

کارشناس ارشد طراحی سامانه های نرم افزاری تحت وب و شیرپوینت و دارای تیم تخصصی در حوزه توسعه و پشتیبانی نرم افزار در حوزه های سخت افزاری ، وب و ویندوز ، موبایل

آخرین مطالب
  • ۹۶/۰۸/۰۶
    معرفی نرم افزار مسیریابی ایرانی دال
  • ۹۶/۰۷/۰۶
    مفاهیم ViewData ، ViewBag ، TempData در MVC
  • ۹۶/۰۶/۱۴
    حل مشکل : Assembly generation failed - Referenced assembly does not have a strong name
  • ۹۶/۰۶/۱۴
    جوان‌ترین برنامه نویس مایکروسافت آسیایی است
  • ۹۶/۰۶/۱۲
    پیکربندی سرویس Infopath در شیرپوینت 2013
  • ۹۶/۰۶/۱۲
    راه اندازی کانال مهندس محسن اشکبوس
  • ۹۶/۰۵/۲۹
    معرفی jquery-confirm
  • ۹۶/۰۳/۰۹
    معرفی نرم افزار آنلاین Microsoft Todo
آخرین نظرات

MapReduce چیست؟

اشکبوس محسن | پنجشنبه, ۷ بهمن ۱۳۹۵، ۱۲:۰۵ ب.ظ

این فریم ورک داده‌های کلان را به زیرمجموعه‌ها تقسیم‌بندی می‌کند سپس آن‌ها را بر روی ماشین‌های مختلف تقسیم می‌کند سپس پردازش‌هایجداگانه را در کنار هم می‌آورد و نتیجه نهایی را ارائه می‌دهد .

مبحث داده‌های کلان در سال 1995 توسط شرکت گوگل مطرح شد . این ایده از ایده معماری توزیع‌شده گرفته‌شده  است خرد کردن مشکل و سپس جمع‌آوری آن‌ها با نتایج .این فریم ورک مانند برنامه‌نویسی شی‌ءگرا یک رویکرد است و نیاز به پیاده‌سازی دارد ،hadoop یک پیاده سازی برای MapReduce است همان‌طورکه زمان برنامه‌نویسی C یک پیاده‌سازی از برنامه‌نویسی شی‌ءگرا است .

وجود داده‌های کلان باعث توجه به این روش شد ،دیگر با استفاده از رویکردهای سنتی نمی‌توان داده‌هایی که 20 میلیون رکورد دارد تا متونی که 1 ترابایت حجم دارد را پردازش کرد .این نیاز باعث شکل‌گیری این فریم ورک شد .

MapReduce 590x390

http://opensourceforu.com/2011/03/mapreduce-more-power-less-code-hadoop/

همانطور که در تصویر بالا مشاهده می کنید. در مرحله Map، داده به قطعات تبدیل می شود و در مرحله Reduce نتایج جمع بندی می شودهمان‌طور که قبلاً توضیح داده شد روش MapReduce به دنبال قطعه‌قطعه کردن مشکل و بعد از آن پردازش موازی آن‌هاست . بعد از پردازش آن‌ها نیز نتایج جمع‌بندی شده و ارائه می‌شود .به‌طور مثال در یک فایل متنی 100 گیگابایتی ،به دنبال شمارش یک کلمه خاص هستیم .می‌توانیم با تکنولوژی MapReduce آن‌ها را به 100 زیر پروسه تقسیم کنیم سپس در 100 پردازش موازی ، کلمه موردنظر را شمارش می‌کنیم و در پایان آن‌ها را جمع کرده و ارائه می‌دهیم .

در این مثال و مثال‌های مشابه می‌توان از روش MapReduce به بهترین شکل ممکن استفاده کرد . ولی آیا روش مپ در همه‌جا قابل‌استفاده است ؟

خیر ،در مسائل دسته‌ای که نیاز به جواب پردازش دیگر هستیم استفاده از روش مپ نمی‌تواند راهگشا باشد . با استفاده از این روش سرعت پردازش ما 100 برابر افزایش می‌یابد . به‌طور مثال اگر ما 3 زیر پردازش داشته باشیم که برای اجرای هر یک به نتایج بعدی

نیاز باشد استفاده از MapReduce تأثیری در افزایش  سرعت نخواهد داشت .

 

نظرات  (۰)

هیچ نظری هنوز ثبت نشده است

ارسال نظر

ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">
تجدید کد امنیتی