V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hansonwang99
V2EX  ›  程序员

利用 Zipkin 追踪 Mysql 数据库调用链

  •  
  •   hansonwang99 ·
    hansonwang99 · 2018-05-07 07:33:34 +08:00 · 3640 次点击
    这是一个创建于 2400 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Profile


    概述

    在前面:微服务调用链追踪中心搭建 一文中我们利用 Zipkin 搭建了一个微服务调用链的追踪中心,并且模拟了微服务调用的实验场景。利用 Zipkin 的库 Brave,我们可以收集一个客户端请求从发出到被响应 经历了哪些组件哪些微服务请求总时长每个组件所花时长 等信息。

    本文将讲述如何利用 Zipkin 对 Mysql 数据库的调用进行追踪,这里同样借助 OpenZipkin 库 Brave 来完成。


    扩展 ZipkinTool 组件

    ZipkinTool 是在《微服务调用链追踪中心搭建》一文中编写的与 Zipkin 通信的工具组件,利用其追踪微服务调用链的,现在我们想追踪 Mysql 数据库调用链的话,可以扩展一下其功能。

    • pom.xml 添加依赖:
    <dependency>
            <groupId>io.zipkin.brave</groupId>
            <artifactId>brave-mysql</artifactId>
            <version>4.0.6</version>
    </dependency>
    
    • 在 ZipkinConfiguration 类中添加 MySQLStatementInterceptorManagementBean
        @Bean
        public MySQLStatementInterceptorManagementBean mySQLStatementInterceptorManagementBean() {
            return new MySQLStatementInterceptorManagementBean(brave().clientTracer());
        }
    

    添加 Mysql 数据库访问的微服务

    依然继承前文:《微服务调用链追踪中心搭建》,我们改造一下文中的 ServiceC 这个微服务,在其中添加与 Mysql 数据库的交互。

    • pom.xml 中添加 JDBC 和 Mysql 依赖
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-jdbc</artifactId>
            </dependency>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <scope>runtime</scope>
            </dependency>
    
    • application.properties 中添加 Mysql 连接的配置
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://你的 Mysql 服务所在 IP:3307/test?useSSL=false\
      &statementInterceptors=com.github.kristofa.brave.mysql.MySQLStatementInterceptor\
      &zipkinServiceName=mysqlService
    spring.datasource.username=root
    spring.datasource.password=XXXXXX
    
    • Controller 中添加 JdbcTemplate 访问数据库的代码
        @GetMapping("/mysqltest ”)
        public String mysqlTest() {
            String name = jdbcTemplate.queryForObject( "SELECT name FROM user WHERE id = 1", String.class );
            return "Welcome " + name;
        }
    

    启动 Mysql 数据库服务

    1. 启动 Mysql 容器

    docker run -d -p 3307:3306 \
    -v ~/mysql/data:/var/lib/mysql \
    -v ~/mysql/conf:/etc/mysql/conf.d \
    -e MYSQL_ROOT_PASSWORD=XXXXXX \
    --name mysql mysql
    

    2. 再启动一个 Mysql 容器,接入其中做一些设置

    • 首先进入 mysql 命令行
    docker run -it --rm \
    --link mysql:mysql mysql \
    mysql -hmysql -u root -p
    

    进入 Mysql 的命令行

    • 接下来创建数据库 zipkin: 用于存放 Zipkin 所收集的数据
    CREATE DATABASE `zipkin`
    
    CREATE TABLE IF NOT EXISTS zipkin_spans (
      `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit ’,
      `trace_id` BIGINT NOT NULL,
      `id` BIGINT NOT NULL,
      `name` VARCHAR(255) NOT NULL,
      `parent_id` BIGINT,
      `debug` BIT(1),
      `start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL ’,
      `duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration and maxDuration query ’
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
    
    ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `id`) COMMENT 'ignore insert on duplicate ’;
    ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`, `id`) COMMENT 'for joining with zipkin_annotations ’;
    ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTracesByIds ’;
    ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and getSpanNames ’;
    ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces ordering and range ’;
    
    CREATE TABLE IF NOT EXISTS zipkin_annotations (
      `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit ’,
      `trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id ’,
      `span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id ’,
      `a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1 ’,
      `a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB ’,
      `a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation ’,
      `a_timestamp` BIGINT COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp ’,
      `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null ’,
      `endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address ’,
      `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null ’,
      `endpoint_service_name` VARCHAR(255) COMMENT 'Null when Binary/Annotation.endpoint is null ’
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
    
    ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`, `span_id`) COMMENT 'for joining with zipkin_spans ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTraces/ByIds ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces ’;
    ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`) COMMENT 'for dependencies job ’;
    
    CREATE TABLE IF NOT EXISTS zipkin_dependencies (
      `day` DATE NOT NULL,
      `parent` VARCHAR(255) NOT NULL,
      `child` VARCHAR(255) NOT NULL,
      `call_count` BIGINT,
      `error_count` BIGINT
    ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
    
    ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);
    

    这里创建了三个数据表。

    该 Sql 文件可以从以下链接获得: https://github.com/openzipkin/zipkin/blob/master/zipkin-storage/mysql/src/main/resources/mysql.sql

    Sql 脚本执行完成后,可以看到 zipkin 相关的三个表已经建成:

    Zipkin 相关的三个表

    Zipkin 相关的三个表

    • 创建数据库 test:用作测试数据库
    CREATE DATABASE `test`
    CREATE TABLE `user` (
      `id` int(11) unsigned NOT NULL auto_increment,
      `name` varchar(100) DEFAULT NULL ,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET = utf8;
    
    insert into user values (1,” hansonwang99 ”)
    

    这里插入了一条数据用于实验。

    创建 test 数据库并插入一条数据


    启动 zipkin 服务

    docker run -d -p 9411:9411 \
    --link mysql:mysql \
    -e STORAGE_TYPE=mysql \
    -e MYSQL_HOST=mysql \
    -e MYSQL_TCP_PORT=3306 \
    -e MYSQL_DB=zipkin \
    -e MYSQL_USER=root \
    -e MYSQL_PASS=XXXXXX \
     --name zipkin openzipkin/zipkin
    

    启动 Mysql 数据库访问的微服务(即 ServiceC )

    在浏览器中输入:localhost:8883/mysqltest,如果看到以下输出,就可以证明数据库调用操作已经成功了!

    数据库调用操作已经成功


    Zipkin 追踪数据库调用实际实验

    • **浏览器输入:**http://localhost:9411/zipkin/

    打开 Zipkin Web UI,点击服务名下拉列表能看见已经成功识别了 Mysql 数据库调用服务

    成功识别 Mysql 数据库调用服务

    • 选中 mysqlservice 后,点击 Find Traces

    可以看到 首次查询 Mysql 的调用链追踪信息,有很多

    首次查询 Mysql 所产生的 Traces 信息

    随便点开某一个查看:

    随机查看某一个具体的 Trace 信息

    • **接下来浏览器中再次输入:**localhost:8883/mysqltest

    目的是再次触发 Mysql 的调用,然后再次 Find Traces,可以看到追踪数据类似下图:包含两次 Mysql 的 query 动作:

    两次 Mysql 的 query 动作

    点开第一个 query 查看,其实际上是在 尝试连接 Mysql 数据库

    第一个 query 详情

    点开第二个 query 查看,发现这里才是 实际查询业务

    第二个 query 详情

    从图形化界面上可以清楚地知道每个阶段的详细步骤与耗时,因此可以用来分析哪个 SQL 语句执行相对较慢。


    后记

    本文实验所用源码已经开源,需要的话请 自取

    作者更多的原创文章:在 V2EX

    参考文献:


    5 条回复    2018-05-07 12:14:41 +08:00
    tianzx
        1
    tianzx  
       2018-05-07 09:03:17 +08:00 via Android
    m
    yuhuan66666
        2
    yuhuan66666  
       2018-05-07 10:04:39 +08:00 via Android
    m
    hansonwang99
        3
    hansonwang99  
    OP
       2018-05-07 11:41:00 +08:00
    m
    onepunch
        4
    onepunch  
       2018-05-07 11:44:08 +08:00
    m
    xjroot
        5
    xjroot  
       2018-05-07 12:14:41 +08:00 via iPhone
    笔记,Mysql 慢查询
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2516 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:52 · PVG 13:52 · LAX 21:52 · JFK 00:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.