分母来咯 [email protected]

支持一下

@heyline 好的 研究研究

@yingqi1 flinkCDC 已经用上了，没法换了，现在要改进的是 ETL 。3 套从库的 ETL ，mysql 的存储过程都是一样的，每套都有 10 多张表，我想揉到一起管理

@yingqi1 目前数据开发就我一个人，项目不大，所以只简单用了 flinkCDC 做同步，mysql 存储过程+Dolphinscheduler 做 ETL 。谢谢大佬 我研究一下。flinkCDC 已经定好了做实时同步了 可能就没法改了

@noparking188 tidb 需要的资源呢，我们打算把 mysql 存储过程优化掉的原因就是因为存储过程太占资源，想用 java 去跑。

@noparking188 意思是 我把我的 ETL 任务 sql 放到 tidb 上，还是用 dolphin 去调度？ 那这个跟我使用 mysql 存储过程+dolphin 调度 一样的？

@dlmy 我现在启动了 3 套 flinkCDC ，每套只有一个 JOB ，分别将主站的数据，分 type 同步到 3 个库，然后在 3 个分库，再起 flinkCDC ，实时处理数据 到 dws 层？

@noparking188 我们这边需求有点不一样 BCD 库要能单独拿出来，所以是 3 个 mysql 地址。

@dlmy 我这边的情况是这样的， 有一个主站，每张表有‘type’字段 A,B,C 。 我用 flinkCDC 把 type 不同的数据 分离，分别同步到 A,B,C 库。接着，在各自的库，用 mysql 存储过程+海豚调度 处理数据，汇总，做 DWS 。如果不使用 mysql 存储过程，也就是要 再各部署 3 套 flinkCDC ，用 job 去做数据汇总么，还是说写好 job ， 丢到海豚调度上处理。目前海豚调度能使用 flink 的那个功能我还不知道怎么使用。

@dlmy 我现在是用的 flinkCDC 同步，你的意思是在同步的同时 又去处理数据，做汇总？

@haimianbihdata 我目前就是有用到 海豚调度去调度存储过程，flinkCDC 做的数据同步，但是 etl 方面要怎么做 没太理解，大佬细说

@kivmi 单干就别想了，为爱发电呢，得有钱，当体验生活，完成人生目标

@hhjuteman 确实有道理，但是没想到游戏公司加班这么厉害

@PythonYXY 那确实是这么个道理。

@sunny352787 我是可能感觉游戏公司的氛围会好点，能和同事对得上话题，能多聊天。

@haimianbihdata 🤣🤣 没接触过游戏公司，可能是我感觉数据岗位应该都比较闲，然后又热衷于游戏，所以向往游戏公司靠

@root71370 啊？ 米哈游 我不配