目前公司在做的一个项目需要对接第三方系统的数据,获取完数据都进行加工成标准化的数据存储,现在要考虑怎么整合接入不同的第三方系统,我简要画了个流程图,大致设想如下图:
现在不知道有没有成熟的方案,或者应该按什么关键词搜索?
要求:
1
xio 2019-08-01 17:46:19 +08:00
ETL ?
|
2
greenman0007 OP @xio 类似 ETL,但是我这种源数据是实时增加的,而且需要程序自动抓取
|
3
jingxyy 2019-08-01 17:53:57 +08:00
ELK 套装也许是你想要的 不过这一套偏向于检索 加工这一块比较弱
|
4
xio 2019-08-01 18:03:23 +08:00
@greenman0007 那你可以用队列做数据源啊。。抓取后进队列,ETL 消费队列不就好了么??
|
5
iPhoneXI 2019-08-01 18:04:07 +08:00 via Android
kafka ?
|
6
xio 2019-08-01 18:06:29 +08:00
@greenman0007 哦,好吧。。我理解错误
|
7
arrow8899 2019-08-01 18:07:10 +08:00
不同的数据源实现一个专门的采集器,然后转化成标准的数据格式就行了,你图上都画出来了;至于采集,直接使用定时任务就行了吧。
|
8
greenman0007 OP @jingxyy 新增的数据怎么办,能自动抓取吗?有推荐的么?
|
9
greenman0007 OP @arrow8899 定时任务做的话,如果时间间隔太短,可能会对第三方系统有影响,间隔太长,数据延迟太严重
|
10
arrow8899 2019-08-01 20:42:16 +08:00
@greenman0007 这个就要看外部系统能不能把数据直接推送给你吧,不支持的话只能定时主动拉取
|
11
greenman0007 OP @arrow8899 只能主动拉,定时增量拉的话,有一些问题,比如已经拉取的数据在外部系统被修改了,怎么监测到?这样的话是不是就每次得全量拉了?
|
12
snappyone 2019-08-02 14:45:27 +08:00
@greenman0007 按照时间戳去定时拉取,然后按照主键合并到自己系统
|