منوهای نصب در پنل مدیریت

  • ورود
  • هیچ محصولی در سبد خرید نیست.

Hadoop چیست؟

Apache Hadoop یک فریم ورک متن باز تحت لایسنس آپاچی است که پردازش Big Data را به صورت توزیع شده و روی تعداد زیادی رایانه انجام میدهد.

هدوپ (Hadoop) به زبان جاوا نوشته شده است اما در قسمت های از هدوپ، زبان C و شل – اسکریپت نیز استفاده شده است.
هدوپ با استفاده از مدل Map/Reduce یک فریم ورک برای ذخیره و پردازش Big Data ارائه میکند.
Hadoop این قابلیت را داراست که با چندین پتابایت داده و هزاران Node کار کند. هدوپ با الهام گرفتن از مدل Map/Reduce و مقالات مربوط به GFS یا Google File System شرکت گوگل طراحی و پیاده سازی شد.
هدوپ یک پروژه High-Level آپاچی است که توسط گستره وسیعی از مشارکت کنندگان حمایت و استفاده میشود. شرکت یاهو به عنوان بزرگترین مشارکت کننده از هدوپ به صورت گسترده در امور تجاری‌اش استفاده میکند.

مزایا هدوپ

شرکت های دیگر که از هدوپ استفاده میکنند:
آی‌بی‌ام – لینکدین – توییتر – نیویورک تایمز – نت فلیکس – اچ پی – آمازون – فیسبوک و…


فریم ورک هدوپ:

فریم ورک هدوپ متشکل از ماژول های زیر است:

مشترکات هدوپ: فایل های JAR  – اسکریپت های که برای راه انداز هدوپ لازم هستند بعلاوه سورس کد، مستندات و بخشی برای همکاری با پروژه های جامعۀ هدوپ (کتابخانه ها و utilityهای لازم )
HDFS – Hadoop Distributed File System یا فایل سیستم توزیع شده هدوپ: HDFS  یک فایل  سیستم توزیع شده قابل گسترش و قابل حمل است که به زبان جاوا نوشته شده است. هر Node (گره) در یک نمونۀ هدوپ فقط یک Node داده دارد. هر یک گرۀ داده با استفاده از یک پروتکل بلاک خاص HDFS بلاک هایی از داده را سرتاسر شبکه در اختیار قرار میگذارند، این فایل سیستم برای برقراری ارتباط از مجموعه پروتکل های اینترنت استفاده میکند.

Hadoop YARN : یک پلتفرم برای مدیریت منابع که مسئولیت منابع محاسباتی  در خوشه‌ها را به عهده دارد.

Hadoop MapReduce:  یک مدل برنامه نویسی برای پردازش داده در مقیاس بالا – کتابخانه‌های این مدل برای زبان های برنامه نویسی cpp – C# – java – python – R – F# – perl – ruby – erlang  و… نوشته شده است.

به زبان ساده تر هدوپ یک سیستم فایل توزیع شده را که داده ها را بر روی ماشین های خوشه ذخیره میکند و پهنای باند وسیعی را به وجود میاورد را ارائه میدهد.


مقاله‌های دیگر:
Clustering چیست؟
تفاوت های بین MongoDB و MySQL چیست؟

تیر ۱۲, ۱۳۹۹

۱ پاسخ به "Hadoop چیست؟"

ارسال یک پیام

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

X