首页

监控 Apache Spark

Apache Spark- 概述

Apache Spark是为速度而建的开源大数据处理框架，内置了流、SQL、机器学习和图形处理模块。Apache Spark有一个高级DAG执行引擎，支持无循环数据流和内存计算。Spark运行在Hadoop，Mesos，standalone或者云中。它可以访问各种数据源，包括HDFS、Cassandra、HBase和S3。 

监控 Apache Spark  - 监控内容

让我们来看看您需要什么来获得Spark应用程序的实时操作可见性，要收集的性能指标，以及如何确保您的搜索服务器在Application Manager中正常启动和运行:

  • 资源利用详细信息 - Applications Manager自动发现您的Spark组件，并显示Apache Spark集群（master和worker节点）的关键指标，监控内存和CPU，并通知您内存池资源消耗的变化。
  • 实时数据 -通过集群跟踪每个组件上的垃圾回收和内存，特别是执行者和驱动程序。获取有关应用程序和核心的有用信息
  • 更快地解决性能问题 - 当出现性能问题时，获取即时通知。 意识到性能瓶颈，并在最终用户发现问题之前采取快速补救措施。

Apache Spark - 添加新的监视器

使用REST API添加新的Apache Spark监视器:点击此处

要创建Apache Spark监视器，请遵循下面给出的步骤: 

  • 点击 添加 监视器 链接。选择 Apache Spark。
  • 指定 Apache Spark 监视器的显示名称。
  • 输入Apache Spark Master运行的主机名称 或IP地址。
  • 输入 Apache Spark Master的端口。默认情况下为8080。
  • 输入 轮询间隔 时间，单位为分钟。
  • 如果要测试对Spark服务器的访问权限，点击 测试凭证 按钮。
  • 从要与Spark 监视器关联的组合框中选择 业务组 (可选)。您可以选择多个组来关联您的监视器。
  • 点击 添加监视器。 这开始从网络中发现Spark并监控它。
注意:
在文件中取消下列文字SPARK_HOME/conf/metrics.properties.template 并将其保存为metrics.properties，并重新启动Apache Spark实例以收集指标:
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

您可以通过检查选项发现所有节点 来监控给定的Apache Spark Master下的Worker节点。

监控的参数

点击监视器 选项卡，到监视器类别视图。点击Web 服务器/服务 表下的Apache Spark Master或Apache Spark Worker 监视器。显示的是分布在三个选项卡中的Apache Spark散装配置视图:

  • 可用性 选项卡  显示过去24小时或30天的可用性历史。
  • 性能选项卡显示过去24小时或30天的健康状况和事件。
  • 列表视图使您能够执行批量管理配置。

点击监视器名称，查看以下选项卡下列出的所有服务器详细信息:

Apache Spark Master

概述

参数描述
节点详细信息
Node NameApache Spark worker节点的名称。
Used Memory   (%)Spark worker节点在机器上使用的总内存百分比。
Free Memory (%)机器上总空闲内存的百分比。
内存使用率
Used MemorySpark Master节点在机器上使用的总内存百分比。
Free MemorySpark Master节点的总空闲内存的百分比。
Total Memory允许Spark应用程序在机器上使用的内存总量
Used MemorySpark应用程序使用的内存总量。
MASTER 概述
Alive WorkersSpark集群的活跃的Workers数量。处于ALIVE状态的Worders可以接受应用。
Active Applications运行在Spark基础设施上活跃的应用数量。
Waiting Applications等待的应用数量。
Completed Applications已完成应用的数量。
Used CoresApache Spark Master上使用的CPU核数。

Workers

在独立模式下，workers是在单个节点上运行的进程，这些节点管理该节点的资源分配请求，并监控执行者。

特定Worker节点使用的CPU核数。

参数描述
WORKER详细信息
Web UI AddressWorker WebUI的URL。Web UI 是运行的Spark应用程序的Web接口，用于监控和检查Web浏览器中的Spark作业执行情况。
ID特定worker节点的ID可以独特地识别他们。
Cores Used   
Cores Free未使用的空闲CPU核心的数量。
Used Memory  (GB)Worker节点使用的总内存。
Free Memory   (GB)Worker节点中的总空闲内存。
Used Memory (%)Worker节点使用的内存百分比。
Time Since Last Heart Beat  (seconds)The time elapsed since last heart beat (i.e.) The last time when the Worker node contacted the Master Node.自上次心跳之后（即）。最后一次当Worker节点联系主节点时。
StateWorker节点的当前状态，例如，继续存在或已完成。

应用程序

参数描述
应用程序详细信息
Application Name您应用程序的名称。
ID应用程序由其ID引用。
User与特定应用程序关联的用户。
Memory Allocated Per Slave  (GB)分配给每个工作人员的内存量。
Running Duration  (分)从应用程序启动后的总运行时间。
State特定应用程序的当前状态，例如等待或运行

内存

Spark可以使用的最大堆内存。

参数描述
堆内存
Used Heap总使用堆内存的百分比。
Free Heap空闲堆内存的百分比。
Max Heap Size
Init Heap Size分配的最小堆内存。
Committed Heap Size提交堆内存的总量。
Used Heap Size总使用的堆内存。
非堆内存
Used Non Heap总使用的非堆内存百分比。
Free Non Heap空闲非堆内存的百分比。
Max Non Heap SizeSpark可以使用的最大非堆内存。
Initial Non Heap Size分配的最小非堆内存。
Committed Non Heap Size提交非堆内存的总量。
Used Non Heap Size总使用的非堆内存。
JVM 
Used JVM使用JVM内存的数量，以MB为单位。
Free JVMJVM可用内存的数量，以MB为单位。
Max JVM Size可用于内存管理的堆最大数量，以GB为单位
Initial JVM SizeJava虚拟机最初从操作系统请求堆的数量，以MB为单位。
Committed JVM Size提交JVM内存的总量。
Used JVM Size使用的JVM内存总量。
MARKSWEEP 和 SCAVENGE
MarkSweep Count在MarkSweep GC中发生了垃圾回收的次数。
MarkSweep Time 在MarkSweep GC中发生垃圾回收所花费的时间。
Scavenge Count在Scavenge GC中发生垃圾回收的次数。
Scavenge Time在Scavenge GC中发生垃圾回收所花费的时间。
内存池详细信息
Memory Pool内存池名称
Maximum   (MB)分配的最大池内存，以MB为单位。
Committed  (MB)提交池内存的总量。
Initial   (MB)池内存最初从操作系统的请求，以MB为单位。
Used   (MB)使用的池内存总量。
Utilization  (%)使用的池内存百分比。

RDD 详细信息

参数描述
编辑细节
Compilation Time (Mean)编译源代码文本所需的时间。
Compilation Count在加载文件时发生的汇编总数。
汇编详细信息
Generated Class Size (Mean)生成类中每个方法的大小。
Generated Method Size (Mean)生成类中每个方法的大小。
Source Code Size (Mean)编译源代码文本所需的时间。
Generated Class Count生成的类数。
Generated Method Count生成类中方法的数量。
Source Code Count加载到节点进行编译的源代码文件总数。
计算器
File Cache Hits发生的文件级缓存命中总数。
Files Discovered发现的文件总数。
Hive Client Calls发送到配置单元进行查询处理的客户端调用总数。
Parallel Listing Job Count并行运行的作业总数。
Partitions Fetched获取的分区总数。

配置

参数描述
配置详细信息
Master URL主节点的URL。
Total Workers集群中提供的Worker总数。
Available Cores允许Spark应用程序在机器上使用的CPU核数。
Total Memory分配给Spark 主节点的总内存。

Apache Spark Worker

概述

参数描述
内存利用率
Used Memory PercentageSpark worker节点在机器上使用的总内存百分比。
Free Memory Percentage机器上总空闲内存的百分比。
Used MemoryWorker节点从可用内存中使用的总内存。
Free MemoryWorker节点可用的总空闲内存。
WORKER概述
Active Executors主动Executors的数量
Finished Executors完成Executors的数量(Spark Executors在失败或相关应用程序退出时退出。)
Free Cores空闲并且可供特定Worker使用的核心总数。
Used Cores特定Worker使用的核心总数。

Executors

参数描述
EXECUTOR详细信息
Executor ID特定Executor的唯一ID。
Executor Memory   (GB)特定Executor可用的总内存。
Application ID与Executor关联的应用程序唯一的ID。
Application Name特定应用程序的名称。
User与特定应用程序关联的用户。
Memory Allocated Per Slave  (GB)分配给每个Worker的内存量。

内存

参数描述
堆内存
Used Heap使用的堆内存的总百分比。
Free Heap空闲的堆内存的总百分比。
Max Heap SizeSpark可以使用的最大堆内存。
Init Heap Size分配的最小堆内存。
Committed Heap Size提交堆内存的总量。
Used Heap Size总使用的堆内存。
非堆内存
Used Non Heap使用的非堆内存总百分比。
Free Non Heap空闲的非堆内存百分比。
Max Non Heap SizeSpark可以使用的最大非堆内存。
Initial Non Heap Size分配的最小非堆内存。
Committed Non Heap Size提交的非堆内存的总量。
Used Non Heap Size总使用的非堆内存。
JVM
Used JVM使用JVM内存的数量，以MB为单位。
Free JVMJVM可用内存的数量，以MB为单位。
Max JVM Size可用于内存管理堆的最大数量，以GB为单位。
Initial JVM SizeJava虚拟机最初从操作系统请求堆的数量，以MB为单位。
Committed JVM Size提交JVM内存的总量。
Used JVM Size使用的JVM内存总量。
MARKSWEEP 和 SCAVENGE
MarkSweep Count在MarkSweep GC中发生了垃圾回收的次数。
MarkSweep Time在MarkSweep GC中发生垃圾回收所花费的时间。
Scavenge Count在Scavenge GC中发生垃圾回收的次数。
Scavenge TimeScavenge GC中发生垃圾回收所花费的时间。
内存池详细信息
Maximum  (MB)分配的最大池内存，以MB为单位。
Initial   (MB)从操作系统请求的初始池内存，以MB为单位。
Committed   (MB)提交池内存的总量。
Used  (MB)使用的池内存总量。
Utilization  (%)使用过的池内存的百分比。

RDD详细信息

参数描述
汇编详细信息
Compilation Time (Mean)编译源代码文本所需的时间。
Compilation Count在加载文件时发生了总数汇编。
汇编详细信息系
Generated Class Size (Mean)生成类的大小。
Generated Method Size (Mean)生成类中每个方法的大小。
Source Code Size (Mean)编译后源代码文本的大小。
Generated Class Count生成类的数量。
Generated Method Count生成类中方法的数量。
Source Code Count加载到节点进行编译的源代码文件总数。
计算器
File Cache Hits发生的文件级缓存命中总数。
Files Discovered发现的文件总数。
Hive Client Calls发送到配置单元进行查询处理的客户端调用总数。
Parallel Listing Job Count并行运行的作业总数 。
Partitions Fetched获取的分区总数。

配置

参数描述
配置详细信息
Worker IDWorker由其ID引用。
Master URL主节点的URL。
Master Web UI URL主节点的Web UI的URL。
Total Memory为特定的Worker节点分配和可用的总内存。

受到世界各地客户的喜爱

"具有广泛监控功能的Standout工具"

★★★★★

它允许我们跟踪关键指标，如响应时间、资源利用率、错误率和交易性能。实时监控告警会及时通知我们任何问题或异常，使我们能够立即采取行动。

审稿人角色：研究与开发

我喜欢Applications Manager，因为它可以帮助我们检测服务器和SQL数据库中存在的问题。
卡洛斯·里韦罗

Lexmark技术支持经理

受到全球6000多家企业的信任

我们的客户