منوهای نصب در پنل مدیریت

  • ورود
  • هیچ محصولی در سبد خرید نیست.

نصب و پیکربندی هدوپ( Pseudo-Distributed)

در قسمت قبل مقاله نصب و پیکربندی هدوپ ما به نصب پیش نیاز های نرم افزاری و فراهم کردن بستر پیاده سازی هدوپ پرداختیم در این قسمت ما قرار است حالت (Pseudo-Distributed Mode) را پیاده سازی کنیم.

عملیات Pseudo-Distributed

Hadoop میتواند بر روی یک single-node در حالت Pseudo-Distributed هم اجرا شود که در این هر Hadoop Daemon در یک پروسه جداگانه جاوا اجرا میشود.

پیکربندی

Configuration

از موارد زیر استفاده کنید:

در فایل /etc/Hadoop/core-site.xml :

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

در فایل /etc/Hadoop/hdfs-site.xml :

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

تنظیم passphraseless ssh

حالا چک کنید که میتوانید بدون استفاده از passphrase به لوکال هاست خود از طریق ssh دسترسی پیدا کنید.

$ ssh localhost

اگر نتوانستید به لوکال هاست خود بدون passphrase از طریق ssh متصل شوید دستورات زیر را اجرا کنید.

$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

اجرا

دستورالعمل های زیر نحوه اجرای یک job به صورت محلی و MapReduce است.
اگر شما میخواهید این کار را با YARN انجام دهید در ادامه این مقاله به میپردازیم.
1- فایل سیستم را فرمت کنید:

$ bin/hdfs namenode -format

2- NameNode Daemon و Daemon DataNode را اجرا کنید:

$ sbin/start-dfs.sh

فایل لاگ output هدوپ در $HADOOP_LOG_DIR directory نوشته میشوند.

3- میتوانید با استفاده از web interface به NameNode دسترسی داشته باشید

NameNode – http://localhost:9870/ پیشفرض

4- دایرکتوری های مورد نیاز HDFS را که برای اجرای کارهای(Jobs) MapReduce بسازید.

$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/

5- فایل‌های ورودی را در سیستم فایل توزیع شده کپی کنید:

$ bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input

6- برخی از نمونه های ارائه شده را اجرا کنید:

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’

7- فایلهای خروجی را بررسی کنید: فایلهای خروجی را از سیستم فایلهای توزیع شده به سیستم فایلهای محلی کپی کنید و آنها را بررسی کنید:

$ bin/hdfs dfs -get output output
$ cat output/*

یا فایلهای خروجی را در سیستم فایل توزیع شده مشاهده کنید.

$ bin/hdfs dfs -cat output/*

8- وقتی کار خود را تمام کردید Daemon ها را متوقف کنید.

$ sbin/stop-dfs.sh

YARN در Single-Node

می توانید با تنظیم چند پارامتر و اجرای افزونه های دیگر از طریق ResourceManager Daemon و NodeManager ، یک کار MapReduce را در YARN به صورت pseudo-distributed انجام دهید.

با فرض اینکه شما مراحل 1 تا 4 از دستورالعمل بالا را اجرا کردید، ما درستور العمل زیر را اجرا میکنیم.

1- پارامترها را به شرح زیر پیکربندی کنید:
در فایل etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

در فایل etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

daemon و NodeManager daemon را اجرا کنید.

$ sbin/start-yarn.sh

3- میتوانید با استفاده از web interface به NameNode دسترسی داشته باشید.

ResourceManager – http://localhost:8088/ پیشفرض

4- یک کار(job) MapReduce اجرا کنید
5- وقتی کار خود را تمام کردید Daemon ها را متوقف کنید.

$ sbin/stop-yarn.sh

مقالات مرتبط:

نصب و پیکربندی هدوپ

 Hadoop چیست؟

Hadoop چیست؟ ( Map – Reduce )

تیر ۱۸, ۱۳۹۹

۰ پاسخ به "نصب و پیکربندی هدوپ( Pseudo-Distributed)"

ارسال یک پیام

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

X