2000 万数据量不多，看了下 starrocks 支持流处理 https://docs.starrocks.io/docs/integrations/streaming/
我熟悉的类似这种实时同步到 AP 数仓或者数据湖的方案，一般都 Kafka 队列，然后用个消费端根据 interval 和 buffer 及时往目标库分小批次的写。
你给的信息不多，es 的数据是业务数据？那就同时写 es 和 starrocks ，可以加个离线任务每天对比两边数据是否一致

问主管 binlog 同步哪去了，之前 经历过是用 binlog 同步 HDFS ，Presto 查，千亿数据量

我的经验是，不要分库分表，其他都好说

@nothingistrue #129 我真是程序员，我还是个 PingCAP Certified TiDB Professional ，不过没啥用，之前公司用我就简单学了下原理实现。https://i.imgur.com/krir4IG.png TiDB 是 Share Nothing ，底层存储是 TiKV ，基于 RocksDB 开发的，TiFlash 是借鉴 ClickHouse 开发的。
简单讲，TiDB 底层数据结构是 LSM-Tree ，MySQL 是 B+Tree ，二开不了。
再告诉你个好玩的，他们一开始打算用 HDFS 做底层纯属引擎，用 Java 吭哧吭哧写入半年，然后删库重写。

可惜上海没有

@nothingistrue #28 https://github.com/pingcap/tidb#architecture

软考中高级 + 985 软工非全，咋样，英语学好

骑驴找马，佛系工作

@t202201 #6 感谢感谢

@t202201 #3 老哥能分享下，这些工作机会都是哪些行业啊

我有朋友越南的，下周他来我这出差找我玩，我问问他

@chinesehuazhou #4 感谢感谢

@chinesehuazhou #2 非常感谢，我看站点的图片地址都是 img.pythoncat.top ，你是自己搭了个图床吗

请问，能不能分享下您的站点是咋建的，Astro 的主题，部署在哪个服务上还是自己买的服务器，很早之前就订阅了 RSS ，感觉这个站浏览很丝滑，体验不错。

这种专门做数据的公司我呆过两家，都是垂直领域行业 Top ，对方应该也是个半吊子，内部数据架构还在摸索。
比不了电商、社交平台那种面向 C 端每天都有海量数据产生，单表数据过 T 不得了，各种冗余全加一起能达到 PB 级，数据维度多、价值高、关系杂、时效性高。
看完 DDIA 这本书，然后各找一个 OLTP/OLAP 数据库，还有 MPP 引擎学习一下原理和底层设计，这样大概肚子里有点货能吹牛皮了。
都是从💩开始糊起来的，想一步到位找到近似最优架构以后不换，很难办啊，先把💩糊了产品撑起来，以后再慢慢搞。
个人的话就多多关注下 Data Infra 领域的技术动向了，以前有个很不错的 DBWeekly 可惜早不更新了，那些云厂商的各种解决方案挺值得参考的。

你先看看这个 https://build-your-own-x.vercel.app/#build-your-own-web-server ，了解 web server 怎么设计实现的，
然后再去看 bottle 为什么这么设计。
我以前也打开过 bottle 源码，就学到了这个写法：
```
parser = ArgumentParser(prog=args[0], usage="%(prog)s [options] package.module:app")
opt = parser.add_argument
opt("--version", action="store_true", help="show version number.")
```

@Xmi080225 #34 看过《置身事内》吗，借用一句读书笔记，了解政府怎么做，比你自己觉得怎么做，要重要得多。
再推荐《八次危机》，可以解答你第二句前半部分的疑问，当然，那只是温铁军一家之言。

@purringpal #24 哦，这个人是清华经济学教授，讲宏观经济的，搬运的清华的线下课部分到 B 站，我觉得挺受用的。