链接：https://pan.baidu.com/s/1GQ7PXjlK3J4eqkHNiG5b6g 

提取码：53xn 

 

1、掌握完全分布模式的整合平台中Hadoop的高可用完全分布模式的安装

2、完成Hadoop的高可用完全分布模式的安装

3、Hadoop的相关服务进程能够正常启动

4、HDFS能够正常使用

5、MapReduce示例程序能够正常运行

1、五台独立PC机或虚拟机

2、主机之间有有效的网络连接

3、每台主机内存2G以上，磁盘剩余空间500M以上

4、所有主机上已安装CentOS 7.4_64操作系统

5、所有主机已完成网络属性配置

6、所有主机已安装JDK

7、已完成Zookeeper集群的安装和部署

 

选用Hadoop的2.7.3版本，软件包名为Hadoop-2.7.3.tar.gz

Hadoop的 高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02，HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04、Cluster-05，数据同步通信节点可以使用集群中的任意主机，但因为其存放的是元数据备份，所以一般不与主节点使用相同主机。

    高可用完全分 布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点，同时数据同步通信节点工作原理同Zookeeper类似，需要三台或以上的奇数台主机，具体规划如下:：

主机名 IP地址 服务描述

 

Cluster-01

192.168.10.111 Hadoop主节点

Hadoop主节点控制切换服务

YARN主节点

 

Cluster-02

192.168.10.112 Hadoop备用主节点

Hadoop主节点控制切换服务

YARN备用主节点

 

Cluster-03

192.168.10.113 Hadoop数据服务

Hadoop同步通信服务

YARN节点管理服务

 

Cluster-04

192.168.10.114 Hadoop数据服务

Hadoop同步通信服务

YARN节点管理服务

 

Cluster-05

192.168.10.115 Hadoop数据服务

Hadoop同步通信服务

YARN节点管理服务