hadoop安全模式

hadoop安全模式
在分布式文件系統啟動的時候,開始的時候會有安全模式,當分布式文件系統處于安全模式的情況下,文件系統中的內容不允許修改也不允許刪除,直到安全模式結束。安全模式主要是為了系統啟動的時候檢查各個DataNode上數據塊的有效性,同時根據策略必要的復制或者刪除部分數據塊。運行期通過命令也可以進入安全模式。在實踐過程中,系統啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示,只需要等待一會兒即可。SafeModeException 異常
運行hadoop程序時,有時候會報以下錯誤:
org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode.
那我們來分析下這個錯誤,從字面上來理解:“Name node is in safe mode.”

現在就清楚了,那現在要解決這個問題,我想讓Hadoop不處在safe mode 模式下,能不能不用等,直接解決呢?答案是可以的,

只要在Hadoop的目錄下輸入:

$bin/hadoop dfsadmin -safemode leave

也就是關閉Hadoop的安全模式,這樣問題就解決了。

safemode模式

NameNode在啟動的時候首先進入安全模式,如果datanode丟失的block達到一定的比例(1-dfs.safemode.threshold.pct),則系統會一直處于安全模式狀態即只讀狀態。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS啟動的時候,如果DataNode上報的block個數達到了元數據記錄的block個數的0.999倍才可以離開安全模式,否則一直是這種只讀模式。如果設為1則HDFS永遠是處于SafeMode。
下面這行摘錄自NameNode啟動時的日志(block上報比例1達到了閥值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold0.9990. Safe mode will be turned off automatically in 18seconds.
 1.修改dfs.safemode.threshold.pct為一個比較小的值,缺省是0.999。

 2. hadoop dfsadmin -safemode leave命令強制離開

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]
用戶可以通過dfsadmin -safemode value 來操作安全模式,參數value的說明如下:
enter – 進入安全模式
leave – 強制NameNode離開安全模式
get   – 返回安全模式是否開啟的信息
wait  – 等待,一直到安全模式結束。

轉自:http://blog.csdn.net/hguisu/article/details/7261480

原創文章,作者:s19930811,如若轉載,請注明出處:http://www.www58058.com/3086

(0)
s19930811s19930811
上一篇 2015-04-13 22:52
下一篇 2015-04-13 22:52

相關推薦

  • 第八周作業

    第八周作業 1、寫一個腳本,使用ping命令推測172.16.250.1-172.16.250.254之間的所有主機的在線狀態; 在線的主機使用綠色顯示; 不在線的主機使用紅色顯示;   #!/bin/bash for i in {1..254};do if ping -c 1 -w 1 192.168.1.$i &> /dev/nu…

    Linux干貨 2017-11-13
  • Linux學習 Grep詳則。

    grep 功能說明:查找文件里符合條件的字符串。 語  法:grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<范本樣式>][-f<范本文件>][–help][范本樣式][文件或目錄&…

    Linux干貨 2017-07-24
  • Linux基礎—磁盤管理

    1、創建一個10G分區、并格式化為ext4文件系統 1)要求其block大小為2048,預留空間百分比2,卷標MYDATA,默認掛載屬性包含acl 2)掛載至/data/mydata目錄,要求掛載時禁止程序自動運行,且不更新文件的訪問時間戳 #mkfs.ext4 -b 2048 -m 2 -L my…

    Linux干貨 2016-11-17
  • 基于pxe部署系統

    一、前言 在生產環境中,我們經常遇到需要部署部署多臺服務器。如果我們每部署一臺服務器都要拿著系統盤到機房部署,守在服務器面前,那么我們的效率是十分低下的。況且有時候機房并不在我們身邊。那么我們可以通過讓機房值班人員為每臺服務器配置好遠程管理卡,運維人員通過遠程管理卡,遠程登入服務器進行操作。 二、pxe原理 pxe原理是通過服務器上網卡中支持的pxe啟動,通…

    Linux干貨 2015-09-14
  • 根據作業淺析正則表達式

        什么是正則?正則就是,那種體現出某種規律的不變性或者對稱性的物理量或關系。     正則表達式(Regular Expression):由一類特殊字符及文本字符所編寫的模式,其中有些字符(元字符)不表示字符字面意義,而表示控制或通配的功能(linux中,可以使用:man …

    Linux干貨 2017-07-30
  • 關于軟硬鏈接那些事兒

           小編這周接觸到了鏈接,那么重點來了,啥是鏈接呢小編覺得鏈接簡單來說就是一種共享的方式,比如我們去逛超市,超市的入口就是‘鏈接’。在Linux中,鏈接又分為軟連接和硬鏈接,想要了解他倆,就得先了解幾個基本概念。 一:Inode       我們知道文件包含數據和元數據,它的數據…

    Linux干貨 2017-07-22
欧美性久久久久