转 :
一、 Hadoop节点热拔插
在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。
2.在集群中添加节点:
a. 把新节点IP或者主机名字加入到主节点的slaves文件。
b. 登录到新节点,执行:
cd $HADOOP_HOME &&
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
3. 从集群中移走节点,且对移走节点的数据进行备份:
a. 在主节点的core-site.xml配置文件中添加
dfs.hosts.exclude
excludes
b. 在主节点的$HADOOP_HOME目录下新建文件excludes,每行为需要移走的节点,该例为s140。
c. 运行命令:hadoop dfsadmin -refreshNodes,该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。此刻datanode消失了,但是tasktracker还存在。
d. 然后通过 bin/hadoop dfsadmin -report查看,结果如下:
Name: 192.168.3.140:50010
Decommission Status : Decommission in progress
Configured Capacity: 310716715008 (289.38 GB)
DFS Used: 59891990052 (55.78 GB)
Non DFS Used: 20663939548 (19.24 GB)
DFS Remaining: 230160785408(214.35 GB)
DFS Used%: 19.28%
DFS Remaining%: 74.07%
Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010
Name: 192.168.3.136:50010
Decommission Status : Normal
Configured Capacity: 487925370880 (454.42 GB)
DFS Used: 101679245034 (94.7 GB)
Non DFS Used: 55873218838 (52.04 GB)
DFS Remaining: 330372907008(307.68 GB)
DFS Used%: 20.84%
DFS Remaining%: 67.71%
Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010
e. 在停掉节点Decommission Status不为Normal前, mapreduce操作会出现异常。
f. 节点移走64G数据需要十分钟左右。
二、 数据负载均衡
1. 在Hadoop集群中新添加一个Datanode时,需要对集群数据进行负载均衡。
2. 在主节点运行bin/start-balancer.sh命令,可以添加参数-threshold 5,threshold是平衡阈值,默认是10%,值越小负载越均衡,但需要更长的时间去执行
。
3. 添加s140到集群,执行负载均衡半个小时共负载了4G的数据
分享到:
相关推荐
Hadoop单节点安装教程 手册 环境搭建
文档详细介绍了hadoop在单节点工作模式下的配置,以及hadoop具有的测试用例对安装的hadoop进行测试
ubuntu搭建hadoop单节点.docx
Hadoop动态增加节点与删除节点,本人自己整理。。
在hadoop环境中,会要求各个节点之间的时间差不能超时。一般如果超过太长时间,节点上的hbase运行就会报错,所以要同步各节点的时间。例如,我们需要配置一个ntp时钟服务器,来给hadoop的各个节点进行时间同步。或者...
启动hadoop时,出现某个节点未出来,例namenode未出来,去日志logs中看一下namenode和datanode的id是否一样, 解决方法 法一:如果不一样,到指定路径下把tmp文件删除,然后重新格式化hadoop,然后重启 法二: 修改...
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
史上最全 多节点 hadoop 开发环境搭建详解
单节点Hadoop安装手册
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档,这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop,伪分布式足够了。
双节点hadoop安装文档。非常简单,一看就会
本指导经过本人亲自搭建安装,配置测试
本文档为初次学习大数据的学生提供单节点配置的简单教程,同时简单介绍了Hadoop的分布式文件系统HDFS的一些简单命令。
Hadoop动态新增节点
为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS(node capacity adaptive scheduling)。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;...
使用Ansible的Hadoop多节点集群 该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 ...
hadoop-serverspec 一组用于评估 Hadoop 节点运行状况的 Serverspec 测试。
用脚本自动杀出hadoop集群中的僵尸节点
1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和YARN的HA实现, HDFS Federation实现等 2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权...
基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf