1.部署hadoop 和普通的datanode一样。安装jdk,ssh
2.修改host 和普通的datanode一样。添加namenode的ip
3.修改namenode的配置文件conf/slaves 添加新增节点的ip或host
4.在新节点的机器上,启动服务
- [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
-
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker
5.均衡block
- [root@slave-004 hadoop]# ./bin/start-balancer.sh
[root@slave-004 hadoop]# ./bin/start-balancer.sh
这个会非常耗时
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
3)设置balance的带宽,默认只有1M/s
- <property>
-
<name>dfs.balance.bandwidthPerSec</name>
-
<value>1048576</value>
-
<description>
- Specifies the maximum amount of bandwidth that each datanode
- can utilize for the balancing purpose in term of
- the number of bytes per second.
-
</description>
-
</property>
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>1048576</value>
<description>
Specifies the maximum amount of bandwidth that each datanode
can utilize for the balancing purpose in term of
the number of bytes per second.
</description>
</property>
注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
分享到:
相关推荐
Hadoop单节点安装教程 手册 环境搭建
ubuntu搭建hadoop单节点.docx
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
hadoop构建数据仓库实践
Hadoop构建数据仓库实践1——王雪迎
文档详细介绍了hadoop在单节点工作模式下的配置,以及hadoop具有的测试用例对安装的hadoop进行测试
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
Hadoop动态增加节点与删除节点,本人自己整理。。
Hadoop豆瓣电影数据分析(Hadoop)操作源码
《Hadoop大数据处理》共10章涉及的主题包括大数据处理概论、基于Hadoop的大数据处理框架、MapReduce计算模式、使用HDFS存储大数据、HBase大数据库、大数据的分析处理、Hadoop环境下的数据整合、Hadoop集群的管理与...
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
Hadoop数据节点 配置Hadoop数据节点 先决条件 Ansible应该已安装和配置 应该安装和配置AWS CLI 角色的其他要求包含在特定角色的自述文件中 如何开始 克隆或下载存储库 根据需要更改变量的值 最后使用'ansible-...
针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,sqoop等插件,最后结合分析出来的数据进行可视化展示,需要用到Python(爬取数据集,可视化展示)...
Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据
Hadoop分析气象数据完整版源代码(含Hadoop的MapReduce代码和SSM框架) 《分布式》布置了一道小作业,这是作业的所有代码,里面包含了Hadoop的MapReduce代码、和SSM框架显示数据的代码
第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大...
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档,这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop,伪分布式足够了。
Hadoop大数据处理实战
本书介绍了Hadoop技术的相关知识,并将理论知识与实际项目相结合。全书共分为三个部分:基础篇、应用篇和总结篇。
本指导经过本人亲自搭建安装,配置测试