1.首先检查端口是否已开启,就是配置文件里面的两个端口,我的是9000,9001。
logs会显示no route to host
解决办法:
用netstat -nat|grep 9000 看有没有信息
如果没有,那就是防火墙的原因,关闭即可
切换root用户,输入 service iptables stop
2.如果还不能解决,那日志文件应该有如下信息:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/sugar/hadoop-0.21.0/data1: namenode namespaceID = 1693206747; datanode namespaceID = 1929113024
这个形成的原因是格式化操作过于频繁,而data目录里current下VERSION记录的datanode的ID 是最初的,导致不匹配。
解决办法:
在namenode下stop-all.sh
删除两个datanode节点的data文件,就是配置文件里dfs.data.dir的文件
重新格式化HDFS
启动 start—all.sh
启动正常。
分享到:
相关推荐
Hadoop datanode重新加载失败无法启动解决.docx
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
Hadoop datanode启动失败:Hadoop安装目录权限的问题
DataNode职责
IBM大数据解决方案Enterprise DataNode Using X3690X5 and EXP2512
本地数据存储和管理,DataNode的实现包括两部分,一部分是对本地数据块的管理,另一部分,就是和其他的实体打交道。
当hdfs出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的...
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode ...
hadoop 源码解析-DataNode
1) 更改DataNode存储目录需要停止HDFS服务,在此期间集群无法正常对外提供服务 2)需要修改Ambari中HDFS中DataNode 对应的目录 操作步骤: 1)切换到hdfs 用户 su – hdfs 2)在HDFS客户端下,执行命令,以检查HDFS...
go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 Hadoop:service=DataNode,name=DataNodeActivity Hadoop:service=...
第6章 DataNode(面试开发重点) 6.1 DataNode工作机制 DataNode工作机制,如图3-15所示。 1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块...
解决办法: 方法一: 将namenode和datanode中的/root/hadptmp/dfs/data/current中的VERSION中的clusterID改为一样的就可以了。 方法二: 删除namenode、datanode的临时文件目录(hdptmp) 再次初始化namenode 重新...
HDFS体系结构(NameNode、DataNode详解)
TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs.datanode.https.address https 服务器 例子 docker ...
HDFS的概念-namenode和datanode.pdf 学习资料 复习资料 教学资源
本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等
hadoop 简介 以及总复习的流程 常见的启动错误 错误:启动完后,datanode的主机上没有出现datanode进程。...解决办法: 删除namenode、datanode的临时文件目录(hdptmp) 再次初始化namenode 重新开启start-dfs.sh