Arthas 排查logger冲突问题案例

jlynet2021-08-072021-09-29

Start demo
Start arthas-boot
排查logger冲突问题
更多信息

Arthas

Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。在线排查问题，无需重启；动态跟踪Java代码；实时监控JVM状态。

Arthas 支持JDK 6+，支持Linux/Mac/Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。

当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决：

这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
是否有一个全局视角来查看系统的运行状况？
有什么办法可以监控到JVM的实时运行状态？
怎么快速定位应用的热点，生成火焰图？

本教程会以一个普通的Spring Boot应用为例，演示排查logger冲突问题。

Github: https://github.com/alibaba/arthas
文档: https://arthas.aliyun.com/doc/

Start demo

下载demo-arthas-spring-boot.jar，再用java -jar命令启动：

1	wget https://code.aliyun.com/middleware-container/handsonLabExternedFiles/raw/master/demo-arthas-spring-boot.jar;java -jar demo-arthas-spring-boot.jar

demo-arthas-spring-boot是一个很简单的spring boot应用，源代码：查看

启动之后，可以访问61000端口：点击查看

Demo Web

Start arthas-boot

在新的Terminal 2里，下载arthas-boot.jar，再用java -jar命令启动：

1	wget https://arthas.aliyun.com/arthas-boot.jar;java -jar arthas-boot.jar

arthas-boot是Arthas的启动程序，它启动后，会列出所有的Java进程，用户可以选择需要诊断的目标进程。

选择第一个进程，输入 1 ，再Enter/回车：

Attach成功之后，会打印Arthas LOGO。输入 help 可以获取到更多的帮助信息。

help

Arthas Boot

排查logger冲突问题

在这个案例里，展示排查logger冲突的方法。

查找UserController的ClassLoader

1	sc -d com.example.demo.arthas.user.UserController \| grep classLoaderHash

1 2	$ sc -d com.example.demo.arthas.user.UserController \| grep classLoaderHash classLoaderHash 1be6f5c3

注意hashcode是变化的，需要先查看当前的ClassLoader信息，提取对应ClassLoader的hashcode。

如果你使用-c，你需要手动输入hashcode：-c <hashcode>

1	$ ognl -c 1be6f5c3 @com.example.demo.arthas.user.UserController@logger

对于只有唯一实例的ClassLoader可以通过--classLoaderClass指定class name，使用起来更加方便：

$ ognl --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader  @org.springframework.boot.SpringApplication@logger
@Slf4jLocationAwareLog[
    FQCN=@String[org.apache.commons.logging.LogAdapter$Slf4jLocationAwareLog],
    name=@String[org.springframework.boot.SpringApplication],
    logger=@Logger[Logger[org.springframework.boot.SpringApplication]],
]

--classLoaderClass 的值是ClassLoader的类名，只有匹配到唯一的ClassLoader实例时才能工作，目的是方便输入通用命令，而-c <hashcode>是动态变化的。

确认应用使用的logger系统

以UserController为例，它使用的是slf4j api，但实际使用到的logger系统是logback。

1	ognl --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader '@com.example.demo.arthas.user.UserController@logger'

$ ognl --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader '@com.example.demo.arthas.user.UserController@logger'
@Logger[
    serialVersionUID=@Long[5454405123156820674],
    FQCN=@String[ch.qos.logback.classic.Logger],
    name=@String[com.example.demo.arthas.user.UserController],
    level=null,
    effectiveLevelInt=@Integer[20000],
    parent=@Logger[Logger[com.example.demo.arthas.user]],
    childrenList=null,
    aai=null,
    additive=@Boolean[true],
    loggerContext=@LoggerContext[ch.qos.logback.classic.LoggerContext[default]],
]

获取logback实际加载的配置文件

1	ognl --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader '#map1=@org.slf4j.LoggerFactory@getLogger("root").loggerContext.objectMap, #map1.get("CONFIGURATION_WATCH_LIST")'

使用classloader命令查找可能存在的logger配置文件

1	classloader --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader -r logback-spring.xml

$ classloader --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader -r logback-spring.xml
 jar:file:/Users/hengyunabc/code/java/spring-boot-inside/demo-arthas-spring-boot/target/demo-arthas-spring-boot-0.0.1-SNAPSHOT.jar!/BOOT-INF/classes!/logback-spring.xml

Affect(row-cnt:1) cost in 13 ms.

可以知道加载的配置的具体来源。

可以尝试加载容易冲突的文件：

1	classloader --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader -r logback.xml

1	classloader --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader -r log4j.properties