写在文章开头
之前几篇文章笔者介绍arthas
基础运维使用和线上问题技巧的使用,可能读者都会感觉,很多指令非常复杂难以记忆,基于此问题,笔者专门整理了一篇基于Arthas
插件快速生成指令完成操作的演示,希望对你有帮助。

Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项目 Java Guide 的维护者之一,熟悉 Java 也会一点 Go ,偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客,也还在研究并输出技术的路上,希望我的文章对你有帮助,非常欢迎你关注我的公众号: 写代码的SharkChili 。
因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。
基于Arthas idea故障排查演示
CPU100%问题
我们给出这样一段示例接口,可以看到该接口无限循环输出日志:
@RequestMapping("cpu-100")
public static void cpu() {
//无限循环输出打印
new Thread(() -> {
while (true) {
log.info("cpu working");
}
}, "thread-1").start();
}
当我们调用该接口后,通过arthas
的thread
指令进行巡检时即可发现CPU 100%
的问题线程:

随后我们就可以通过thread id
查看线程调用堆栈信息,以笔者为例对应的线程id为53,所以我们就键入指令:
thread 53
于是我们就定位到了问题发生在第25行

此时我们就可以通过反编译的方式进行35行实际的代码,在没有arhtas idea插件之前,我们jad指令都需要手动进行输入,有了idea插件之后,只需找到对应的java文件右键找到arthas command
点击jad
反编译即可生成指令

以笔者为例,本次通过快捷插件生成的指令为:
jad --source-only com.example.arthasExample.TestController
最终我们就定为到了问题代码:

查看当前类机器字段信息
没有插件之前我们查看某个类的实例变量等信息都需要手动编写sc命令,有了插件之后我们只需右键找到sd
指令并点击:

最终就会生成如下指令:
sc -d com.example.arthasExample.TestController
此时arthas
就会加载这个类的信息:

如果我们希望可以看到对应字段的情况,可以补充一个参数-f,对应的指令为:
sc -d -f com.example.arthasExample.TestController
对应的输出结果如下,可以看到所有的实例变量详情都打印了出来:

查看静态变量
这个算是笔者比较常用的指令,通过sc指令我们可以非常直观查看当前程序中字段的详情,如下所示,我们有这样一个接口,我们希望查看当前list的详情:
private static List<String> list = new ArrayList<>();
@RequestMapping("add")
public void add() {
for (int i = 0; i < 10; i++) {
list.add("val" + i);
}
}
选中字段之后,我们可以直接通过插件找到对应选项并点击

于是我们就可以快速生成指令,并粘贴到arthas中查看结果:

按照官网的说明,实际上对于静态变量的监控更推荐使用ongl
表达式,接下来笔者还是以list
变量演示一下ongl表达式的使用,首先我们通过arthas的sc获取到当前类的classLoader
的哈希码:

最终对应的指令和输出结果如下,可以看到classLoaderHash
的结果为68de145
:

然后选中字段右键点击生成ongl表达式:

最后将之前得到的哈希码粘贴并点击copy,后去list详情的ongl表达式就生成了:

最终表达式和结果如下,是不是很方便呢?

vmtool字段监控
以下面这段代码为例dateTimeStr
是实时变化的,如果我们希望实施监控它的变化就可以通过vmtool
查看:
private String dateTimeStr = DateUtil.formatDateTime(new Date());
@RequestMapping(value = "/getVal")
public String getVal() {
dateTimeStr = DateUtil.formatDateTime(new Date());
return "success";
}
还是老规矩,选中字段后点击生成表达式

然后点击copy sc command
,到arthas中得到classLoader
的hashcode
将其复制到面板上,如下图所示,完成后直接点击蓝色的copy invoke command
即可得到表达式:

最终生成的指令和输出结果如下:

运行耗时
之前的文章,我们介绍了trace命令,这个是定位接口耗时情况的有效武器,以下面这段代码为例,该接口要求传入用户id然后返回用户信息:
@GetMapping(value = "/user")
public JSONObject queryUser(Integer uid) throws Exception {
return userService.queryUser(uid);
}
考虑到完整性我们给出queryUser的逻辑,其步骤比较简单:
进行 id
校验,查看id是否是有效值。调用其他service。 到 redis
缓存中查看是否有该用户信息。若步骤3没有结果,则调用MySQL查询。
public JSONObject queryUser(Integer uid) throws Exception {
//入参校验
check(uid);
//调用其他service
invokeOtherservice(uid);
//redis查询
JSONObject jsonObject = redis(uid);
if (jsonObject != null) {
return jsonObject;
}
//返回MySQL查询结果
return mysql(uid);
}
如果我们想定位这个接口的耗时情况,可以直接点击插件找到trace选项

此时我们就会得到下面这样一条指令,他给出了我们要追踪的类的全路径以及方法名,默认情况下n为5,即执行5次,然后skipJDKMethod为false即不跳过jdk方法的执行追踪:
trace com.example.arthasExample.UserServiceImpl queryUser -n 5 --skipJDKMethod false
此时我们就可以很直观的看到的最耗时的方法:

方法执行情况监控
我们还是以上面的接口为例,我们希望查询单位时间内这个方法的执行成功、失败、以及平均耗时等情况,也就是monitor
监控指令,也可以直接通过插件快速生成:

默认情况下,生成的指令为会执行10次,每10s进行一次输出:
monitor com.example.arthasExample.UserServiceImpl queryUser -n 10 --cycle 10
以笔者为例对应的输出结果如下:

监控方法出入参
我们以上述接口的MySQL方法为例,我们希望通过watch查看出入参详情,对应方法内容如下:
public JSONObject mysql(Integer uid) throws Exception {
log.info("查询MySQL数据......");
TimeUnit.SECONDS.sleep(RandomUtil.randomInt(3, 4));
JSONObject jsonObject = new JSONObject();
jsonObject.putOnce("name", "xiaoming");
jsonObject.putOnce("age", 18);
return jsonObject;
}
生成指令的步骤还是一样的,对准方法然后右键通过插件快捷生成指令:

默认情况下指令的会打印出入参和异常,然后执行次数为5,输出的结果属性的遍历深度为3,对应的指令和执行结果如下:

监控方法调用路径
我们日常用stack追踪方法调用堆栈,我们还是以mysql方法为例,通过插件快速生成:

生成的指令默认情况下会给出我们选中的类的全路径和方法名,默认执行5次:
stack com.example.arthasExample.UserServiceImpl mysql -n 5
这样我们就可以快速的得到当前调用的堆栈信息

获取方法调用过程
我们可以用tt指令更加直观的看到某个请求执行情况和出入参,下面我们就用check方法为例,来演示一下uid小于0时出入参和错误信息我们如何定位的:
private boolean check(Integer uid) throws Exception {
if (uid == null || uid < 0) {
log.error("非法用户id,uid:{}", uid);
throw new Exception("非法用户id");
}
return true;
}
首先通过插件点击tt指令

然后点击第一行复制这个指令,可以看到这个指令会指明我们要监控的类和方法,默认情况下执行5次:

查看监控结果可以看到,第二次执行报错:

查看索引为1003,所以我们键入tt -i 1003
,此时我们就可以直观的看到入参和错误详情:

注意:tt 相关功能在使用完之后,需要手动释放内存,否则长时间可能导致OOM
。退出 arthas
不会自动清除 tt 的缓存 map
。
tt --delete-all
oom问题定位
arthas可以说是定位这类疑难杂症的神奇,我们就以下面这段代码为例不断请求,触发一个oom问题:
@RequestMapping(value = "/oom")
public String oom(HttpServletRequest request) {
poolExecutor.execute(() -> {
Byte[] c = new Byte[4 * 1024 * 1024];
localVariable.set(c);// 为线程添加变量
});
return "success";
}
在此之前我们先用memory指令观察一下程序当前的内存使用情况:

然后我们不断的请求该接口,随着时间推移,从dashboard中也直观看到这个:

此时我们就可以借助插件快速生成heapdump
指令:

从指令上看,默认情况下,内存快照会被dump到tmp目录下:
heapdump /tmp/dump.hprof
然后我们就可以通过MAT定位到出现问题的线程,然后根据名称取搜索问题线程和有相关threadLocal操作的变量即可:

线上替换代码
我们希望将线上环境这段代码条件由小于2改为小于等于0,对此我们可以通过arthas
的jad反编译、mc编译以及redefine完成热点代码更新:
@GetMapping(value={"/user/{id}"})
public JSONObject findUserById(@PathVariable Integer id) {
log.info("id: {}",id);
if (id != null && id < 2) {
throw new IllegalArgumentException("id < 1");
}
return new JSONObject().putOnce("name","user"+id).putOnce("age",18);
}
首先我们通过插件获取findUserById的反编译指令

生成指令后,我们手动设置导出路径/tmp/TestController.java
jad --source-only com.example.arthasExample.TestController >> /tmp/TestController.java
然后通过vim tmp/TestController.java
修改代码:

此时我们就完成的反编译后代码的修改工作,接下来我们就需要将其进行热点替换,在此之前我们需要通过arthas
得到当前类的hashCode
,这一点我们可以通过arthas
插件快速生成:

生成的指令和输出结果如下,我们记住这个hashCode
,因为后续要用到:

基于上述的hashCode
,我们通过mc
指令将tmp
下的Java
文件编译为字节码文件到/tmp
目录下:
mc -c 68de145 /tmp/TestController.java -d /tmp
经过上述步骤后,我们会生成一个包全路径的calss文件:

最后我们通过redifine将这个class文件到JVM里:
redefine /tmp/com/example/arthasExample/TestController.class
如果看到success
就说明我们的代码替换成功了:

此时我们请求id小于2就不会报错了:

获取spring上下文的骚操作
我们都知道spring中有个上下文叫applicationContext,它记录着所有的bean的信息,通过该容器我们可以得到所有的bean进行各种操作。
这意味着如果我们在spring项目中如果有什么特殊的执行操作,完全可以通过tt定位到包含上下文的类,然后获取其applicationContext完成特殊操作。
举个例子,我们的TestController有一个方法findUserById,我们希望通过tt指令定位到这个bean对应的上下文applicationContext并完成对这个方法的调用:
@GetMapping(value = {"/user/{id}"})
public JSONObject findUserById(@PathVariable Integer id) {
log.info("id: {}", id);
if (id != null && id < 2) {
throw new IllegalArgumentException("id < 1");
}
return new JSONObject().putOnce("name", "user" + id).putOnce("age", 18);
}
读过Spring MVC源码的读者可能都知道,每当又HTTP请求发送到web容器时请求进行映射转发处理时都会经过RequestMappingHandlerAdapter,从下面的类图不难看出它继承了WebApplicationObjectSupport,而该类有一个方法getWebApplicationContext可以让我们获取到spring容器的上下文,进而去分析管理spring容器。

所以我们通过插件生成RequestMappingHandlerAdapter
的tt指令:

然后等待用户请求后,定位到这个类,如下图对应1000索引就是笔者的请求:

基于这个索引对应的target,其实就是我们的RequestMappingHandlerAdapter,我们通过-w 像写java代码一样获取到applicationContext从而得到testController最终完成调用:
tt -i 1000 -w 'target.getApplicationContext().getBean("testController").findUserById(3)'
最终我们如愿完成了调用:

小结
本文笔者直接通过IDEA插件快速生成Arthas指令快速完成日常JVM运维和故障定位工作,可以看到有了插件的配合我们只需大概记住指令的作用即可,每当我们需要使用的时候,只需要结合插件生成一下指令进行相应简单调整即可快速得到想要的指令。
自此本文讲解结束,希望对你有帮助。
我是 sharkchili ,CSDN Java 领域博客专家,开源项目—JavaGuide contributor,我想写一些有意思的东西,希望对你有帮助,如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号: 写代码的SharkChili 。 因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。
参考
arthas 执行ognl表达式ClassNotFoundException:https://blog.csdn.net/w605283073/article/details/106535170




