hadoop 環境設定(datanode)

hadoop 環境設定(datanode)

# hadoop の環境設定(datanode)

mass00 以外に datanode を追加する手順のメモ。

hadoop 自体の環境設定は以下のページを参照 ~[hadoop 環境設定]

# 設定

hadoop 関連のファイルは $HOME/share/hadoop のなかに入っている。この設定方法は $HOME/share/hadoop/settingLog.txt にも書いてある。

datanode として追加したいPCにsshして以下のコマンドを実行

1
2
3
cd $HOME/share/hadoop/hadoop-2.0.0-alpha
sudo sh -v mkdir01.sh
./bin/hdfs namenode -format

(以下${HADOOP_PREFIX}を $HOME/share/hadoop/hadoop-2.0.0-alpha とする。)

次に、mass00 にログインをして、slaves に今追加したPCの address を追加する。

1
emacs ${HADOOP_PREFIX}/etc/hadoop/slaves

起動する。

1
 ${HADOOP_PREFIX}/sbin/start-all.sh

シャットダウンする。

1
${HADOOP_PREFIX}/sbin/stop-all.sh

ログを見たい時はそのノードの /var/local/hadoop/log/ 辺りをみるといい。

Licensed under CC BY-NC-SA 4.0
comments powered by Disqus
Built with Hugo
Theme Stack designed by Jimmy