springboot 优雅重启 钩子函数执行完成之后进程未消失

[yangyuhan12138]

springboot1.x 优雅重启,钩子函数执行完成之后进程未消失,stop 脚本一直打印停止中,我也去看了 进程确实还在,但是请求也不再接收,而且钩子函数里的日志也打完了,说明钩子函数执行完成 测试环境测试无问题,生产上启动后过一会关闭也没问题,但是如果生产上程序跑了一两天,就关不了了

[leonard916]

為啥不升級到 Spring boot 2.2.x ？

[yangyuhan12138]

@leonard916 版本不是你想升 想升就能升

[qfdk]

优雅劝退 之前用过 actuator 里面有个重启的 boom

[yangyuhan12138]

@qfdk 我没用 actuator 就是加了个钩子函数关闭 tomcat 线程池 在外边杀进程用的是 kill-15 ,很奇怪就是生产上不行 而且看日志 线程池是关完了的 就是进程一直在

[dzh213]

之前遇到过，有任何线程关闭不了，都会造成程序假死，比如用过 Timer 写定时任务，kill -15 是杀不死的，手动申请的线程池没关闭等情况，尽量是优化代码。

[Kyle18Tang]

我们按照官方文档, 打包成的 jar 可以用 systemctl restart 重启, 不知道 1.x 支不支持.

[yangyuhan12138]

@dzh213 有没有办法看 java 中还在运行的所有线程啊 我这边没有单独开其他线程了 也没有定时任务

[yangyuhan12138]

@Kyle18Tang 我们并没有把他做成系统服务 稍后我可以试试

[yangyuhan12138]

systemctl 下边的停止命令还是自己写的啊 还不是得写 kill-15 应该没啥区别吧
@Kyle18Tang

[Kyle18Tang]

@yangyuhan12138 #9 停机也是使用的 stop, 不用自己写命令, 只是需要在打包的时候设置为可执行 jar 就行了, 但是要往 /etc/systemd/system/里新建一个.service 文件, 这个文件第一次建立就行了, 以后启动 jar 吧就可以使用 systemctl 了.

[dzh213]

@yangyuhan12138 我是用比较笨的方法，一边猜一边测出来的，然后把相关代码优化了，比如我刚开始启动然后 kill 掉也是没问题的，启动后再请求一个接口，里面执行了一个没关闭的线程池，就 kill 不掉了。确实不好排查，建议修改 stop 脚本，先 kill -15，一定时长关闭不了，就强制 kill -9。

[AmmeLid]

@dzh213 #11 可以 jstack 查线程状态

[yangyuhan12138]

@AmmeLid 收到 我下周再试试 这个不是必然发生的 测试环境基本没有过 生产我们是双机 昨天测试的时候一台没 kill 掉 一台 kill 掉了

[yangyuhan12138]

@Kyle18Tang 对啊 这个.service 文件里有 stop 的命令,但这个 stop 命令不还是自己写的吗 他只是把你写的 stop 命令执行了一下

[yangyuhan12138]

@dzh213 可能是还有别的线程池没关到吧 我也觉得 但具体是哪个有点不好找

[Lighfer]

jstack 进程 id，所有线程都列出来，看看线程执行栈信息，过滤掉非 daemon 线程，基本就能定位了

[Kyle18Tang]

@yangyuhan12138 没有 stop 命令，你可以看看官方文档。

[yangyuhan12138]

@Lighfer 终于被我逮住了 又发生了两次 我 jstack 看了 我把文件 down 下来了 怎么分享出来给大家一起看呢 V2EX 咋分享文件啊

[yangyuhan12138]

@Lighfer https://github.com/smartisanyyh/gracefulshutdowntrace 麻烦帮忙看看呢... 我看了下除掉 daemon 线程 有台机器上有些 rabbitmq 的连接没有关,另一台机器好像要正常许多 但是进程也没有掉

[yangyuhan12138]

正常点的那台机器上只有三个线程不是 daemon 都处于 waiting 状态

"DestroyJavaVM" #37 prio=5 os_prio=0 tid=0x00007f8d38008800 nid=0x49e waiting on condition [0x0000000000000000]
java.lang.Thread.State: RUNNABLE

"container-0" #20 prio=5 os_prio=0 tid=0x00007f8d39033800 nid=0x4bb waiting on condition [0x00007f8ce34f9000]
java.lang.Thread.State: TIMED_WAITING (sleeping)
at java.lang.Thread.sleep(Native Method)
at org.apache.catalina.core.StandardServer.await(StandardServer.java:427)
at org.springframework.boot.context.embedded.tomcat.TomcatEmbeddedServletContainer$1.run(TomcatEmbeddedServletContainer.java:177)



"Thread-3" #36 prio=5 os_prio=0 tid=0x00007f8ca8001000 nid=0x2e4e waiting on condition [0x00007f8ca0dda000]
java.lang.Thread.State: TIMED_WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for <0x0000000086ede2a8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
at java.util.concurrent.ThreadPoolExecutor.awaitTermination(ThreadPoolExecutor.java:1475)
at com.dooffe.epay.common.api.DooffeEpayApiApplication$GracefulShutdown.shutDownThreadPool(DooffeEpayApiApplication.java:79)
at com.dooffe.epay.common.api.DooffeEpayApiApplication$GracefulShutdown.onApplicationEvent(DooffeEpayApiApplication.java:69)
at com.dooffe.epay.common.api.DooffeEpayApiApplication$GracefulShutdown.onApplicationEvent(DooffeEpayApiApplication.java:53)
at org.springframework.context.event.SimpleApplicationEventMulticaster.doInvokeListener(SimpleApplicationEventMulticaster.java:172)
at org.springframework.context.event.SimpleApplicationEventMulticaster.invokeListener(SimpleApplicationEventMulticaster.java:165)
at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:139)
at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:393)
at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:347)
at org.springframework.context.support.AbstractApplicationContext.doClose(AbstractApplicationContext.java:991)
at org.springframework.context.support.AbstractApplicationContext$2.run(AbstractApplicationContext.java:929)
- locked <0x0000000085fe8e38> (a java.lang.Object)

[yangyuhan12138]

@Kyle18Tang 我把生产上的服务变成了 service 启动 ,观察后发现还是有这个问题 ,执行完钩子函数后应用没有停止,因为 service stop 有超时时间所以一段时间后会强制结束进程

[yangyuhan12138]

@Kyle18Tang 本质上和自己写脚本没有区别, 只是官方写了一段脚本让我们可以更方便的做成系统服务