منوهای نصب در پنل مدیریت

  • ورود
  • هیچ محصولی در سبد خرید نیست.

نصب و پیکربندی هدوپ

ما در این مطلب قرار است که به نصب و پیکربندی هدوپ به صورت single-node بپردازیم، سپس شما میتوانید عملیات های ساده را با هدوپ، MapReduce و HDFS انجام دهید.

*ما در این مطلب به نحوه نصب و پیکربندی در لینوکس میپردازیم.*

نرم افزارهای مورد نیاز:

نرم افزار های مورد نیاز در لینوکس شامل موارد زیر هستند.

  1. جاوا، نسخه های پیشنهادی جاوا برای هدوپ را میتوانید در این لینک ببینید.
  2. ssh یکی دیگر از پیش نیازهای هدوپ هست همچنین اگر میخواهید که از اسکریپت های هدوپ را استفاده کنید باید حتما sshd در حال اجرا باشد زیرا که مدیریت از راه دور Hadoop daemons را به عهده دارد، این عمل به شما کمک میکند که بتوانید به صورت اختیاری(دستی) اسکریپت ها را اجرا یا متوقف کنید.
    بعلاوه بهتر است برای مدیریت بهتر منابع ssh بسته دیگری به نام pdsh  نصب کنید.

نصب نرم افزارها:

اگر cluster شما نرم افزار های مورد نیاز را نداشت، لازم است که این نرم افزارها را نصب کنید.
برای مثال در نسخه اوبنتو لینوکس:

  $ sudo apt-get install ssh
  $ sudo apt-get install pdsh

دانلود:

برای دریافت یک توزیع هدوپ، از لینک زیر استفاده کرده و نسخه مورد نظر خود را دانلود کنید. (بهتر است یک نسخه پایدار که به تازگی منتشر شده را دانلود کنید.)

Apache Download Mirrors

برای راه اندازی یک Hadoop Cluster آماده شوید.

توزیع دانلود شده هدوپ را unpack کرده سپس فایل etc/hadoop/hadoop-env.sh درتوزیع ویرایش کنید تا پارامترهای زیر را تعریف کنید:

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest 

دستور زیر را امتحان کنید:

  $ bin/hadoop

این دستور documentation استفاده برای اسکریپت هدوپ به شما نمایش میدهد.
حالا شما آماده هستید تا با یکی از سه حالت پشتیبانی شده ، Cluster Hadoop خود را شروع کنید:

◘Local (Standalone) Mode
◘Pseudo-Distributed Mode
◘Fully-Distributed Mode

عملیات Standalone:

به طور پیش فرض ، Hadoop پیکربندی شده است تا در یک حالت non-distributed شده ، به عنوان یک فرآیند جاوا اجرا شود. این برای debugging مفید است.

مثال زیر یک دایرکتوری Config(پیکربندی) unpack شده را به عنوان ورودی گرفته و سپس با استفاده از regex جست و جوی خود را انجام داده و تمام مواردی که match شدند را نمایش میدهد و در آخر خروجی را در دایرکتوری که برایش تعریف کرده ایم مینویسد.

مقاله پیشنهادی: Regex چیست؟

$ mkdir input
$ cp etc/hadoop/.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’ $ cat output/

منتظر قسمت بعدی باشید.

مقالات مرتبط:

 Hadoop چیست؟

Hadoop چیست؟ ( Map – Reduce )

تیر ۱۷, ۱۳۹۹

۰ پاسخ به "نصب و پیکربندی هدوپ"

ارسال یک پیام

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

X