Hadoop监控

• 大数据的分布式存储和分布式处理一直是 IT 管理员需要面对的问题。这种对存储和处理大数据的需求日益增大，从而极大地推动了 Hadoop 框架的发展。凭借庞大的存储容量和超强的处理能力，Hadoop 允许用户管理不断增大数据并可轻松执行任务。但是，重要的是确保 Hadoop 框架的顺利运行。借助 Applications Manager，您可轻松了解 Hadoop 操作环境、通过 REST API 或 JMX 连接到 Hadoop 集群、保持分布式 Hadoop 集群的最佳运行状况，确保您的集群可用并快速准确地处理任务。

• 跟踪 Hadoop 集群的整体运行状况。

  • 监控 Hadoop 系统的可用性和运行状况。
  • 了解分布式文件系统 (DFS) 统计信息（DFS 容量、已使用空间、可用空间和非 DFS 已使用空间）。
  • 跟踪文件和目录增长情况，并避免因为文件数异常增加而可能导致的任何问题。
  • 跟踪数据块状态（丢失、损坏等等）以确保数据以最佳方式存储在 Hadoop DFS 中。

  

• 监控 Hadoop 分布式文件系统 (HDFS)。

  • 通过跟踪名称节点 JVM 和操作系统的状态来了解 HDFS 的容量和使用趋势。
  • 超过阈值时接收通知。
  • 监控各个数据节点的状态并在数据节点关闭时接收即时通知。
  • 跟踪 HDFS 内存，并在内存不足时接收通知。
  • 
   

• 了解 TaskTracker 或 NodeManager 的性能。

  • 跟踪来自 Hadoop MapReduce 的 Hadoop V1.x 中的 TaskTracker 和插槽的状态（活动、停止、进入灰名单等等）。
  • 查看队列状态以确定任务是在正常运行还是队列已阻塞。
  • 对于 V2.x，跟踪来自 Hadoop Yarn 的 NodeManager 的性能。
  • 了解处于不同状态（活动、已停用、不正常和已丢失）的节点计数。
  • 
   

• 轻松跟踪作业或应用程序的状态。

  • 随时了解给定时间正在运行的作业数或应用程序数。
  • 按状态对所有作业或应用程序进行分类。
  • 接收有关已失败作业数或应用程序数的通知，以便您可执行任何必要的更正操作。
  • 
  • 

• 报表和统计图表。

  只需点击几下就可了解详情。通过显示实时数据和历史数据的预置报表和统计图表，直观展示 Hadoop 集群的资源使用情况和性能。