Hadoop poistaa 'Nimisolmu on vikasietotilassa'

Hadoop Removesname Node Is Safe Mode



2019 Unicorn Enterprise Heavy Gold Rekrutierung Python Engineer Standard >>>

Beim Ausführen des Hadoop-Programms wird manchmal der folgende Fehler gemeldet:



org.apache.hadoop.dfs.SafeModeException: / user / hadoop / input kann nicht gelöscht werden. Der Namensknoten befindet sich im abgesicherten Modus
Dieser Fehler sollte häufig auftreten (zumindest beim Ausführen).

Dann analysieren wir diesen Fehler und verstehen buchstäblich:
Der Namensknoten befindet sich im abgesicherten Modus

Erklären Sie, dass sich der NameNode von Hadoop im abgesicherten Modus befindet.
Was ist das Sicherheitsmodell von Hadoop?
Wenn das verteilte Dateisystem gestartet wird, gibt es zu Beginn einen Sicherheitsmodus. Wenn sich das verteilte Dateisystem im sicheren Modus befindet, darf der Inhalt des Dateisystems erst nach Beendigung des Sicherheitsmodus geändert oder gelöscht werden. Der Sicherheitsmodus besteht hauptsächlich darin, die Gültigkeit der Datenblöcke auf jedem DataNode beim Systemstart zu überprüfen und einige Datenblöcke gemäß der Richtlinie zu kopieren oder zu löschen. Der Sicherheitsmodus kann auch zur Laufzeit über den Befehl aufgerufen werden. Während des Übungsprozesses wird beim Starten des Systems zum Ändern und Löschen von Dateien eine Fehlermeldung angezeigt, dass der Sicherheitsmodus keine Änderungen zulässt. Es muss nur eine Weile warten.

Jetzt ist klar, jetzt, wo wir dieses Problem lösen müssen, möchte ich, dass Hadoop nicht im abgesicherten Modus ist. Können Sie es direkt lösen, ohne zu warten?
Die Antwort lautet ja, geben Sie einfach das Hadoop-Verzeichnis ein:
bin / hadoop dfsadmin -safemode verlassen

Das heißt, Sie müssen den Sicherheitsmodus von Hadoop deaktivieren, damit das Problem behoben ist.



Zuvor verwendete 'Strg + C'-Operation während der Hadoop-Ausführung
Erscheint bei erneuter Verwendung von Hadoop'Namensknoten ist im abgesicherten Modus'prompt:
root @ xxxxx: ~ / hadoop / hadoop-0.20.2 # bin / hadoop fs -put conf input
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Verzeichnis / user / root / input / conf kann nicht erstellt werden. Der Namensknoten befindet sich im abgesicherten Modus.

-----------------------------

Ich habe kürzlich Hadoop getestet, aber ich hatte nicht erwartet, auf 'Reduzieren' zu klicken.
Es gibt keine Möglichkeit zu Strg + c, aber dem Problem folgt XD.
Nachdem Sie hadoop gestartet haben, starten Sie hadoop erneut.
Wenn Sie dann die Daten in der DFS löschen möchten,
Wenn der Namensknoten im abgesicherten Modus angezeigt wird, können die Daten nicht gelöscht werden!
Es dauerte lange, bis die Antwort gefunden war.

bin/hadoop dfsadmin -safemode leave You can lift the safemode and worry about this problem for a long time. Orz -----------------------------safemode mode NameNode first enters safe mode when starting, if the datanode lost block reaches a certain proportion (1-dfs.safemode.threshold.pct), the system will remain in the safe mode state, that is, read-only. Dfs.safemode.threshold.pct (default value 0.999f) indicates that when HDFS is started, if the number of blocks reported by the DataNode reaches 0.999 times the number of blocks of the metadata record, the security mode can be left. Otherwise, this is always the case. Read-only mode. If set to 1, HDFS is always in SafeMode. The following line is excerpted from the log when the NameNode starts (block reporting ratio 1 reached the threshold of 0.9990) The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.hadoop dfsadmin -safemode leave has two ways to leave this safe mode 1. Modify dfs.safemode.threshold.pct to a small value. The default is 0.999. 2. hadoop dfsadmin -safemode leave command to force to leave http://bbs.hadoopor.com/viewthread.php?tid=61&extra=page%3D1 ----------------------------- Safe mode is exited when the minimal replication condition is reached, plus an extension time of 30 seconds. The minimal replication condition is when 99.9% of the blocks in the whole filesystem meet their minimum replication level (which defaults to one, and is set by dfs.replication.min). Safe mode exit prerequisite - Blocks of 99.9% (default 99.9%, can be set by dfs.safemode.threshold.pct) in the entire file system reach the minimum backup level (default is 1, can be set by dfs.replication.min) . dfs.safemode.threshold.pct float 0.999 The proportion of blocks in the system that must meet the minimum replication level defined by dfs.rep lication.min before the namenode will exit safe mode. Setting this value to 0 or less forces the name-node not to start in safe mode. Setting this value to more than 1 means the namenode never exits safe mode.----------------------------- The user can operate the safe mode with dfsadmin -safemode value. The parameter value is described as follows: Enter - enter safe mode Leave - forces the NameNode to leave safe mode Get - Returns information about whether security mode is enabled Wait - wait until the end of safe mode.

Nachdruck unter: https://my.oschina.net/sniperLi/blog/348397