博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用jmxtrans监控Spark JVM信息到grafana显示
阅读量:4217 次
发布时间:2019-05-26

本文共 1841 字,大约阅读时间需要 6 分钟。

1、

jmxtrans作为agent部署在需要采集数据的节点上,主要用于数据采集和发送.

2、修改{jmxtrans}/conf下配置文件

配置文件内容需要json格式,名字可自取。

{  "servers" : [{       "port" : "8085",                                         // 采集jmx进程的通信端口    "host" : "10.88.61.73",                              // 表示采集数据所在host IP    "queries" : [ {      "obj" : "java.lang:type=MemoryPool,name=CMS Old Gen",     // 这里的obj是监控的bean对象,填写格式依据Jconsole所示      "attr" : [ "Usage" ],      "resultAlias":"jmxDB_sparkTS_CMS_Old_datapm",         // 数据存储的表别名,后面通过这个表名查到对应数据      "outputWriters" : [ {        "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",        "url" : "http://10.88.60.141:8086/",              // 表示grafana服务host地址        "username" : "admin",        "password" : "admin",        "database" : "jmxDB",        "tags"     : {"application" : "SparkTS"}      } ]    } ]},{       "port" : "8085",    "host" : "10.88.61.73",    "queries" : [ {      "obj" : "java.lang:type=MemoryPool,name=Par Eden Space",      "attr" : [ "Usage" ],      "resultAlias":"jmxDB_sparkTS_Par_Eden_datapm",      "outputWriters" : [ {        "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",        "url" : "http://10.88.60.141:8086/",        "username" : "admin",        "password" : "admin",        "database" : "jmxDB",        "tags"     : {"application" : "SparkTS"}      } ]    } ]}]}

3、修改待监控进程的配置信息

以spark进程为例,在spark-default.conf文件中加入参数开启jmx端口: 

export SPARK_DAEMON_JAVA_OPTS=’-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8085’

如果是spark长进程作业得重启后参数才生效,可以通过lsof -i:8085 判断端口是否生效

4、 启动jmx

启动jmxtrans开启数据拉取。 

命令格式:bin/jmxtrans.sh {start|stop|restart|status} [filename.json]

5、登入grafana的监控页面,配置相应的数据展示信息

  •  
    然后配置好grafana,这里我们使用influxDB。
  • 建立一个图表,配置类似如下参数 

è¿éåå¾çæè¿°

  • 然后就可以看到图了。 

            配置好后效果如下图 

             è¿éåå¾çæè¿°

你可能感兴趣的文章
java编程中的常见异常
查看>>
java读写文件大全
查看>>
Java垃圾回收器的工作机制
查看>>
SQL优化34条 java面试题
查看>>
java sql常见面试题
查看>>
Java同步、异步相关知识点
查看>>
java线程总结
查看>>
Java性能优化[1]:基本类型 vs 引用类型
查看>>
Java 短路运算符和非短路运算符
查看>>
XML的两种解析方式Dom和SAX的区别
查看>>
使用 SAX 处理 XML 文档
查看>>
session与cookie的区别
查看>>
java中数据类型转换
查看>>
Java运算符、 &&与&、||与|区别
查看>>
Java 算术运算符
查看>>
Spring 模板方法 vs 经典模板方法设计模式
查看>>
白话解说Spring 容器设计理念
查看>>
需求分析心得
查看>>
java笔试题以及答案详解 一
查看>>
Java Thread 应该注意的一些问题
查看>>