Hadoop新增datanode與SecondaryNameNode

無論是新增namenode還是SecondaryNameNode,操作方法大致相同

一、如果新增datanode,需要保證namenode能無密碼ssh連接到新datanode

如果是添加SecondaryNameNode,則需保證其能無密碼ssh連接至各datanode和namenode,namenode也需要能無密碼連接到新SecondaryNameNode

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@datanodes

二、同步程序文件

hadoop的運行依賴JAVA環境,所以,以namenode為準,遷移java環境:

在namenode上運行:

# rsync -av /opt/jdk1.6.0_33 root@dest_server:/opt/

創建文件 /etc/profile.d/java.sh ,內容 為:

export JAVA_HOME="/opt/jdk1.6.0_33"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

在namenode主機上的conf/master文件中添加新SecondaryNameNode的IP地址:

106.186.122.165

(如果是只新增namenode則不需要上面這一步)

遷移hadoop軟件,日志文件不需要遷移:

# rsync -av --exclude "logs" /data/hadoop-1.1.1/ root@dest_server:/data/hadoop-1.1.1/


三、保證各結點時區一致(我們現有服務器時區五花八門,所以這一步很重要)

# rsync -av /etc/localtime root@dest_server:/etc/

四、在/etc/profile中重新定義PATH變量

在新結點上:

# echo "export PATH=$PATH:/opt/jdk1.6.0_33/bin:/data/hadoop-1.1.1/bin" >> /etc/profile

五、運行所需的服務

如果是新增datanode,在相應主機上運行:

# hadoop-daemon.sh start datanode
# hadoop-daemon.sh start tasktracker

如果是新增SecondaryNameNode,在相應主機上運行:

# hadoop-daemon.sh start secondarynamenode

以上均可用jps命令查看其運行狀況。

So easy~

原創文章,作者:紅豆殺,如若轉載,請注明出處:http://www.www58058.com/739

(0)
紅豆殺紅豆殺
上一篇 2015-03-08
下一篇 2015-03-08

相關推薦

  • shell編程、程序包管理及習題

    shell編程、程序包管理及習題 一、編程語句 1、while 循環 while CONDITION; do     循環體 done CONDITION :循環控制條件;進入循環之前,先做一次判 斷;每一次循環之后會再次做判斷;條件為“true” ,則執行 一次循環;直到條件測試狀態為“false” 終止循環 因此:…

    Linux干貨 2016-08-18
  • 學習宣言

      人生還有很多精彩時刻,需要你去探尋,linux 就是這個深淵的入口,我其實已迫不及待,伙伴們別怕,跟我來,一路披荊斬棘,踏尋生命的足跡!Fighting!

    Linux干貨 2016-10-25
  • OSI七層模型

      OSI模型的七層結構 首先,OSI是什么呢?OSI(Open System Interconnection),OSI是一個開放性的通行系統互連參考模型,是一個協議規范。它把網絡協議從邏輯上分為了7層。每一層都有相關、相對應的物理設備。OSI七層模型是一種框架性的設計方法 ,建立七層模型的主要目的是為解決異種網絡互連時所遇到的兼容性問題,其最主要…

    2017-09-02
  • MAN手冊各章節功能及快捷鍵

    前言: man是manual的簡稱,中文說法可以是手冊。而man手冊分為不同的各個章節,每個章節保存這不通類型的手冊。 各個章節功能:    Section 名稱      說明 1 用戶命令 可由任何人啟動的 2 系統調用 即由內核提供的函數 3 例程   …

    Linux干貨 2016-10-17
  • 17 正則表達式及作業

    17 正則表達式及作業     因為正則表達式類型較多且比較重要,因此單獨拿出一篇進行陳述。 正則表達式是各種文本處理工具的基礎,也是shell編程必須牢牢掌握的知識,其重要性不言而喻。 一、雜項知識整理 1、一個[:space:]包括一個tab。 2、區分好文件名通配(globing)和文件內容通配(正則表達式)。 …

    Linux干貨 2016-08-05
  • 用戶 組 和權限 以及權限的 分類

    關于文件的安全我們要從3A驗證 說起     1  Authentication:認證      2  Authorization:授權      3  Accouting|Audition:審計 由于系統文件的用戶太多為了便于管理 我們便把系統的用…

    系統運維 2016-08-04
欧美性久久久久