链接：https://pan.baidu.com/s/1We5EhoqAShwcHc8qmqUT0A 

提取码：3s77 

 

作用：

Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性，

Apache Ambari 从集群节点和服务收集了大量的信息，并把它们表现为容易使用的，集中化的接口：Ambari Web

 

功能：

显示诸如服务特定的摘要、图表以及警报信息

创建和管理 HDP 集群并执行基本的操作任务，例如启动和停止服务，向集群

中添加主机，以及更新服务配置

执行集群管理任务，例如启用 Kerberos 安全以及执行 Stack 升级

 

使用：

一、Dashboard（仪表盘）

使用集群仪表盘来监控 Hadoop 集群。通过单机 Ambari Web UI 主窗口顶端的 Dashboard 访问集群仪表盘。Ambari Web UI 显示仪表盘页作为主页。使用仪表盘来查看集群的操作状态。Ambari Web 左侧显示集群当前运行的 Hadoop 服务列表。仪表盘包括 Metrics, Heatmaps, 以及Config History 选项卡；默认显示 Metrics 选项卡。

1.1 Metrics在Metrics 页面上，有多个小程序(widget), 表现 HDP 集群服务的操作状态信息。多数小程序显示一个度量值(metric), 例如，HDFS Disk Usage 表示为一个负载图表和一个百分数指示。

HDFS：

        NameNode Heap        ：NameNode Java Virtual Machine (JVM) 堆内存使用的百分数。

        HDFS Disk Usage        ：分布式文件系统(DFS) 已使用的百分比，包括 DFS 和 non-DFS

        NameNode CPU WIO    ：CPU wait I/O 百分比

        Data Nodes Live        ：运转中的 DataNodes 的数量，由 NameNode 报告

        NameNode RPC        ：潜在 RPC 队列平均水平 (The average RPC queue latency)

        NameNode Uptime        ：NameNode 正常运行时间计算值(uptime calculation)

YARN：

        ResourceManager Heap    : 以使用的 ResourceManager JVM 堆内存百分比

        NodeManagers Live        ：运转中的 DataNodes 数量，由 ResourceManager 报告

        ResourceManager Uptime    ：ResourceManager uptime

        YARN Memory                ：可用的 YARN 内存百分数(used versus total available)

HBase：

        HBase Master Heap        : 已使用的 NameNode JVM 对内存百分数

        HBase Ave Load            ：HBase server 上的平均负载

        Region in Transition    ：转换中的 HBase regions 数量

        HBase Master Uptime        ：HBase master uptime

Storm：

     Supervisors Live        ：运转中的 supervisor 的数量，由 Nimbus Server 报告

Cluster-Wide：

     Memory usage    : 集群范围的内存使用，包括缓存的(cached)，交换的(swapped), 使用的(used), 以及共享的(shared)

     Network usage    : 集群范围的网络利用，包括输入和输出(including in-and-out)

     CPU Usage        : 集群范围的 CPU 信息，包括系统的，用户的及 wait IO (including system, user and wait IO)

     Cluster Load    : 集群范围负载信息，包括节点总数， CPU 总数，运行的进程数量，以及 1-min Load

 

1.2Heatmaps：评价指标可视化

如前所述，Ambari web 主页左侧被切分出一个状态摘要面板，并在顶部有 Metrics, Heatmaps, 和 Config History 选项卡，默认显示 Metrics 选项卡。

当要查看整个集群利用情况的图形表示时，单击 Heatmaps 选项卡，使用简单的颜色代码，称为 heatmap, 提供这类信息。

集群中每个主机表示为一个带颜色的块。将鼠标悬停在主机的颜色块上可以看到该主机更多的信息，在另一窗口上显示有关主机上安装的 HDP 组件的度量值。

在块中显示的颜色表示在一组选定的 metric 单元中的使用率。如果任何确定使用率的必要的数据不可用，这个块显示为 Invalid data. 通过修改 heatmap

默认的最大值解决这个问题，使用 Select Metric 菜单

1.3Config History：配置历史

 

二、Service

2.1 操作状态

Ambari Web 左侧的服务摘要列表列出了当前监控的所有 Apache 组件服务。图标的形状，颜色，以及每个条目左侧的动作指明了每个条目的操作状态：

实心绿 (solid green)        | All masters are running

闪烁绿(blinking green)    | Starting up 

实心红 (solid red)        | At least one master is down

闪烁红 (blinking red)        | Stopping

2.2链接到服务 UI (Linking to Service UIs)

HDFS Links 和 HBase Links widgets 列出 HDP 组件用于链接到更多的 metric 信息，可用的线程栈，日志，以及纯组件 UI. 例如，可以为 HDFS 链接到

NameNode, Secondary NameNode, 和 DataNode 。

单击 More 下拉列表从每个服务可用的链接列表中选择。Ambari Dashboard 包括如下服务的度量的附加链接：

HDFS：

    NameNode UI        ：Links to the NameNode UI

    NameNode Logs    ：Links to the NameNode logs

    NameNode JMX     ：Links to the NameNode JMX servlet

    Thread Stacks     ：Links to the NameNode thread stack traces

HBase：

    HBase Master UI     ：Links to the HBase Master UI

    HBase Logs             ：Links to the HBase logs

    ZooKeeper Info         ：Links to ZooKeeper information

    HBase Master JMX     ：Links to the HBase Master JMX servlet

    Debug Dump             ：Links to debug information

Thread Stacks         ：Links to the HBase Master thread stack traces

 

三、Hosts

作为集群系统管理员或集群操作员，需要知道每部主机的操作状态。也需要知道哪部主机有问题需要处理。可以使用 Ambari Web Hosts 页面来管理多个Hortonworks Data Platform (HDP) 组件，例如运行在整个集群上 DataNodes, NameNodes, NodeManagers, 和 RegionServers. 举例来说，可以重启所有的DataNode 组件，可选地控制滚动重启任务。Ambari Hosts 可以过滤进行管理的主机组件选取，基于操作状态，主机健康状况，以及定义的主机分组。

 

3.1理解主机状态 (Understanding Host Status)

可以在 Ambari Web Hosts 页面查看集群上单个主机的状态。主机以 fully qualified domain name (FDQN)的形式列出，并附有一个带有颜色的图标指示出

主机的操作状态。

 ● 红色三角形    ：该主机上至少有一个 master 组件挂掉了，鼠标悬停图标上查看一个工具提示列出受影响的组件。

 ● 橘色            ：该主机上至少有一个 slave 组件挂掉了，鼠标悬停图标上查看一个工具提示列出受影响的组件。

● 黄色            : Ambari Server 没有从该主机上收到心跳包超过 3 分钟。

● 绿色            ：正常运行状态。

● Maintenace Mode    ：黑色 "医药箱" 图标指出一部主机处于维护模式。

● Alert            ：红色方框带有一个数字指明该主机上的警报数量。

红色图标覆盖橘色图标，橘色图标覆盖黄色图标。换句话说，一部主机有 master component 宕机附有一个红色图标，即便它可能也有 slave component 和连接问题。主机处于维护模式或遇到警报，图标出现在主机名右侧。

3.2 查找主机页面 (Searching the Hosts Page)

可以查找完全主机列表，通过主机名，组件属性，以及组件操作状态过滤查找。也可以通过关键字查找，简单地在搜索框内输入一个单词。

主机搜索工具在主机列表上方

① 单击搜索框

 出现可用的搜索类型，包括：

通过主机属性搜索    ：通过 host name, IP, host status 以及其他属性

Search by Service    ：通过给定一个服务，查找运行此服务组件主机

Search by Component    ：查找运行某组件处于给定状态的主机，例如 started, stopped, maintenance mode, 等等。

Search by keyword    ：在搜索框输入任何单词描述要查找的内容，这成为一个文本过滤器。 

② 单击搜索类型

出现一个可用选项的列表，取决于在第一步中的选择

例如，如果选择单击了 Service, 当前服务出现

③ 单击一个选项

匹配当前搜索条件的列表显示到 Hosts 页面

④ 单击下一选项再次调整搜索