Hadoop namenode(dfs) error

@slyberkut · Регистрация: 28.03.2012

Студворк — интернет-сервис помощи студентам

Приветствую форумчан! Те, кто работал с hadoop dfs может сталкивался с подобной проблемой:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
18/09/24 22:18:47 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=NameNode, sessionId=null
18/09/24 22:18:47 INFO metrics.NameNodeMetrics: Initializing NameNodeMeterics using context object:org.apache.hadoop.metrics.spi.NullContext
18/09/24 22:18:47 INFO namenode.FSNamesystem: fsOwner=hadoop
18/09/24 22:18:47 INFO namenode.FSNamesystem: supergroup=hadoop
18/09/24 22:18:47 INFO namenode.FSNamesystem: isPermissionEnabled=true
18/09/24 22:18:47 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
18/09/24 22:18:47 INFO metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext
18/09/24 22:18:47 INFO namenode.FSNamesystem: Registered FSNamesystemStatusMBean
18/09/24 22:18:47 INFO common.Storage: Number of files = 28540
18/09/24 22:18:47 INFO common.Storage: Number of files under construction = 0
18/09/24 22:18:47 INFO common.Storage: Image file of size 3940350 loaded in 0 seconds.
18/09/24 22:18:47 ERROR namenode.NameNode: java.lang.NullPointerException
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory.java:1088)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory.java:1100)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addNode(FSDirectory.java:1003)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.unprotectedAddFile(FSDirectory.java:206)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:637)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1034)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:845)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:379)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:99)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:343)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:317)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:214)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:394)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1148)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1157)

Суть в том, что storage нормально работал, сервис был перезагружен и теперь не запускается.... В какую сторону хотя бы рыть??

@xoraxax · 24.09.2018, 22:56

В сторону погуглить namenode npe , проблема может быть в чем угодно и причины могут отличаться от версии к версии

@slyberkut · 03.10.2018, 13:42 **[ТС]**

Вариантов действительно много возможных.....в моем случае оказалось файловая система повреждена.....пришлось форматировать хранилище и восстанавливаться из бекапа...благо он был

Новые блоги и статьи Все статьи Все блоги /
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.

@xoraxax 3639 / 2971 / 918 Регистрация: 05.07.2013 Сообщений: 14,220
	24.09.2018, 22:56
	В сторону погуглить namenode npe , проблема может быть в чем угодно и причины могут отличаться от версии к версии 0

@slyberkut 1 / 1 / 2 Регистрация: 28.03.2012 Сообщений: 49
	03.10.2018, 13:42 [ТС]
	Вариантов действительно много возможных.....в моем случае оказалось файловая система повреждена.....пришлось форматировать хранилище и восстанавливаться из бекапа...благо он был 1