Hadoop新增datanode與SecondaryNameNode

無論是新增namenode還是SecondaryNameNode,操作方法大致相同

一、如果新增datanode,需要保證namenode能無密碼ssh連接到新datanode

如果是添加SecondaryNameNode,則需保證其能無密碼ssh連接至各datanode和namenode,namenode也需要能無密碼連接到新SecondaryNameNode

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@datanodes

二、同步程序文件

hadoop的運行依賴JAVA環境,所以,以namenode為準,遷移java環境:

在namenode上運行:

# rsync -av /opt/jdk1.6.0_33 root@dest_server:/opt/

創建文件 /etc/profile.d/java.sh ,內容 為:

export JAVA_HOME="/opt/jdk1.6.0_33"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

在namenode主機上的conf/master文件中添加新SecondaryNameNode的IP地址:

106.186.122.165

(如果是只新增namenode則不需要上面這一步)

遷移hadoop軟件,日志文件不需要遷移:

# rsync -av --exclude "logs" /data/hadoop-1.1.1/ root@dest_server:/data/hadoop-1.1.1/


三、保證各結點時區一致(我們現有服務器時區五花八門,所以這一步很重要)

# rsync -av /etc/localtime root@dest_server:/etc/

四、在/etc/profile中重新定義PATH變量

在新結點上:

# echo "export PATH=$PATH:/opt/jdk1.6.0_33/bin:/data/hadoop-1.1.1/bin" >> /etc/profile

五、運行所需的服務

如果是新增datanode,在相應主機上運行:

# hadoop-daemon.sh start datanode
# hadoop-daemon.sh start tasktracker

如果是新增SecondaryNameNode,在相應主機上運行:

# hadoop-daemon.sh start secondarynamenode

以上均可用jps命令查看其運行狀況。

So easy~

原創文章,作者:紅豆殺,如若轉載,請注明出處:http://www.www58058.com/739

(0)
紅豆殺紅豆殺
上一篇 2015-03-08 21:34
下一篇 2015-03-08 21:42

相關推薦

  • 軟件包管理?

    1、 包管理器 包之間:可能存在依賴關系,甚至循環依賴    解決依賴包管理工具:yum(rpm包管理器的前端工具) 2、 庫文件 查看二進制程序所依賴的庫文件: #ldd /PATH/TO/BINARY_FILE 管理及查看本機裝載的庫文件: #ldconfig(安裝程序一般都帶有一些需要的庫文件,要把相應的庫文件配置于/etc/ld.…

    Linux干貨 2016-09-01
  • vim編輯器

      在linux系統中使用文本編輯器來編輯你的配置文件是一件很重要的事。vim是linux最常用的文本編輯器,具有以下優勢:所有的linux都內置vi文本編輯器。很多軟件都會主動調用vi,如crontab、visudo等. 所以我們必須學好vi,vim分為以下3種模式:   一般模式: 用 vi打開一個文件時,一進入該文件就是一般模式了。…

    Linux干貨 2016-06-09
  • 8.12作業

    作業: 1、查找/var目錄下屬主為root,且屬組為mail的所有文件   find /var  -user root  -group  mail -ls 2、查找/var目錄下不屬于root、lp、gdm的所有文件   find /var -not \( -user root  -o -user…

    Linux干貨 2016-08-15
  • N26-第五周作業

    1、顯示/boot/grub/grub.conf中以至少一個空白字符開頭的行; grep ‘^[[:space:]]\+’ /boot/grub2/grub.cfg 2、顯示/etc/rc.d/rc.sysinit文件中以#開頭,后面跟至少一個空白字符,而后又有至少一個非空白字符的行; grep ‘^#[[:space:]]\+’ /etc/rc.d/rc.…

    Linux干貨 2017-03-06
  • 磁盤管理(SWAP、dd、quota、RAID、LVM)

    2016-08-26: 授課內容: 1、SWAP交換分區的創建 2、dd命令的使用 3、設定文件系統配額 4、設定和管理軟RAID設備 5、配置邏輯卷、邏輯卷快照 1、swap (1)SWAP分區:模擬內存,當物理內存不足時,進程需要內存資源是,內存會把一部分沒有在用的進程分頁挪到硬盤的模擬內存中,騰出空間被現在需要使用內存資源的進程 即其作用是可以允許內存…

    Linux干貨 2016-09-01
  • 馬哥教育網絡班20期+第6周課程練習

    1、復制/etc/rc.d/rc.sysinit文件至/tmp目錄,將/tmp/rc.sysinit文件中的以至少一個空白字符開頭的行的行首加#; cp /etc/rc.d/rc.sysinit /tmp sed 's/^[[:space:]]/#&/' /tmp/rc.sysinit 2、…

    Linux干貨 2016-08-15
欧美性久久久久