hadoop安全模式

hadoop安全模式
在分布式文件系統啟動的時候,開始的時候會有安全模式當分布式文件系統處于安全模式的情況下,文件系統中的內容不允許修改也不允許刪除,直到安全模式結束。安全模式主要是為了系統啟動的時候檢查各個DataNode上數據塊的有效性,同時根據策略必要的復制或者刪除部分數據塊。運行期通過命令也可以進入安全模式。在實踐過程中,系統啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示,只需要等待一會兒即可。SafeModeException 異常
運行hadoop程序時,有時候會報以下錯誤:
org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode.
那我們來分析下這個錯誤,從字面上來理解:“Name node is in safe mode.”

現在就清楚了,那現在要解決這個問題,我想讓Hadoop不處在safe mode 模式下,能不能不用等,直接解決呢?答案是可以的,

只要在Hadoop的目錄下輸入:

$bin/hadoop dfsadmin -safemode leave

也就是關閉Hadoop的安全模式,這樣問題就解決了。

safemode模式

NameNode在啟動的時候首先進入安全模式,如果datanode丟失的block達到一定的比例(1-dfs.safemode.threshold.pct),則系統會一直處于安全模式狀態即只讀狀態。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS啟動的時候,如果DataNode上報的block個數達到了元數據記錄的block個數的0.999倍才可以離開安全模式,否則一直是這種只讀模式。如果設為1則HDFS永遠是處于SafeMode。
下面這行摘錄自NameNode啟動時的日志(block上報比例1達到了閥值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold0.9990. Safe mode will be turned off automatically in 18seconds.
 1.修改dfs.safemode.threshold.pct為一個比較小的值,缺省是0.999。

 2. hadoop dfsadmin -safemode leave命令強制離開

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]
用戶可以通過dfsadmin -safemode value 來操作安全模式,參數value的說明如下:
enter – 進入安全模式
leave – 強制NameNode離開安全模式
get   – 返回安全模式是否開啟的信息
wait  – 等待,一直到安全模式結束。

轉自:http://blog.csdn.net/hguisu/article/details/7261480

原創文章,作者:s19930811,如若轉載,請注明出處:http://www.www58058.com/3086

(0)
s19930811s19930811
上一篇 2015-04-13
下一篇 2015-04-13

相關推薦

  • Linux udev-ASM(基于oracle5.8)

    之前有客戶有在Linux下使用udev來做ASM,操作系統版本為oracle5.8,實際跟rhel5.8差不多,當時只是做了簡單記錄,現在整理下來,與大家一起分享。 1)需求信息 磁盤分區操作 –省略– 分區后,使用parted讓磁盤生效 需求: 將/dev/sdc1 <–>/dev/asm-disk1 將/d…

    Linux干貨 2016-07-29
  • Linux基礎之權限管理(含SUID\SGID\STICKY和ACL)

    概述     Linux系統是一個多人多任務的操作系統,系統上同時可能有很多人登錄,每個人都會利用系統上的各類資源完成一定的操作。那么如何合理的規范這些用戶的行為,保證資源的合理分配,則就需要用到權限管理的相關內容了。權限管理是Linux系統上最基礎,也是最重要的一部分內容,本章就簡要說明下權限管理的相關內容。內容主要…

    Linux干貨 2016-08-04
  • 在vsftp中實現基于pam_mysql的虛擬用戶機制

    FTP簡介 在介紹vsftp相關內容前,簡單描述下FTP。FTP全稱File Transfer Protocol,文件傳輸協議。它是一個C/S架構的協議,在Linux中其服務端實現主要有vsftpd,pureftpd,proftpd,Filezilla,本文主要介紹的是vsftp??蛻舳藢崿F主要是ftp和lftp兩種工具。其工作方式:主要分為兩個層面的連接:…

    Linux干貨 2017-01-07
  • 曲徑通幽處,禪房花木深—-bash禪意腳本

    編程基礎 程序:指令+數據 程序編程風格: 過程式:以指令為中心,數據服務于指令 對象式:以數據為中心,指令服務于數據 shell程序:提供了編程能力,解釋執行 編程基本概念 編程邏輯處理方式: 順序執行 循環執行 選擇執行 shell編程:過程式、解釋執行 編程語言的基本結構: 數據存儲:變量、數組 表達式: a + b 語句:if shell腳本基礎 s…

    Linux干貨 2016-08-12
  • 為你的網絡傳輸加把鎖(OpenSSL)

    互聯網形成的初期,更多關注的是設備之間通過網絡相互訪問功能的實現,我們都知道,兩個設備之間要想相互通信,就必需遵循某種協議,于是早期的互聯網也出現來眾多的協議,比如傳輸層最著名的協議就是tcp和udp,而應用層比較著名的協議有:http、ftp、pop、smtp、dns、telnet等等,而這些協議這開發初期,更多是關注功能的實現,數據這網絡上傳輸是明文方式…

    Linux干貨 2015-12-06
  • 用shell腳本打等腰三角新

       *   ***  ***** *******   預覽圖形 發現圖形由三個變量組成 行數n 每行的空格數a 和每行的符號數b 關系是    a=n-當前行數    b=2xn-1   并且空格都在符號前 根據關系編寫腳本 #!/bin/bash read…

    Linux干貨 2016-08-22
欧美性久久久久