sunrealzhang 最近的时间轴更新 sunrealzhang 最近的时间轴更新 |
sunrealzhangV2EX 第 660750 号会员，加入于 2023-11-06 14:54:26 +08:00 |
| 求大佬优化一下 3000 万数据的 NOT IN 查询 ClickHouse • sunrealzhang • 39 天前 • 最后回复来自 dyv9 | 21 |
sunrealzhang 最近回复了
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@sunrealzhang 说错了，是 UNION..
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@OOKAMI 感谢您的回复，我仔细看了下，语义应该和我的需求不符，如果某个 AAC001 未命中第一段 join 而只命中了第二段 join ，依然能被查出来，而它并不是 2018 年开始新参保，而是 2018 年之前有过参保记录。
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@Maboroshii 感谢回复，我想大概也得这样，同步数据时需要对数据进行额外处理，在 clickhouse 上缓存首次参保状态
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@9yu 谢谢嗷 0.0
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@9yu 感谢您的回复，实际上在 Oracle 上我们使用的 NOT EXISTS ，我想在 clickhouse 上，我们需要在数据同步时对数据本身进行额外的预处理来缓存首次参保状态，原封不动的使用 clickhouse 来支持完成业务需求是我们的一厢情愿 0.0
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@512357301 感谢您的回复，我也尝试了 LEFT JOIN 语法，基本等同于 2 楼的方案，性能没有提升
136 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@hicdn 动态查询，我们准备把 oracle 的部分可能会导致高负载的查询统计 sql 转移到统计分析类数据库 clickhouse 上
137 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
这个 sql 给我整不会了，开始感觉如果不对表结构和数据进行处理，无法通过这个数据库来满足我们的统计分析需求 0.0
137 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@OOKAMI 感谢您的回复，实际上，clickhouse 对 EXISTS 语法不完全支持，特别是子查询中无法引用外部表和列，这会导致执行时提示 Missing columns: 'A.AAC001'，这也是我将 oracle 中的 NOT EXISTS 改成 NOT IN 的原因
137 天前 回复了 sunrealzhang 创建的主题 › ClickHouse › 求大佬优化一下 3000 万数据的 NOT IN 查询 |
@sss15 感谢您的回复，首先连接处应该是 ON t0.TID = A.AAC001 ，然后，AAC001 是这张表的联合主键之一，类型为 Int64 ，未关联上时值不是 NULL 而是 0 （这一点我也不知道为什么要这么实现，按理说未关联上不应该是 NULL 吗），然后我执行了 该查询，依然很慢
```
EXPLAIN indexes = 1 SELECT
COUNT( 1 ) AS "新参保人数"
FROM
AC02_TEMP AS A
LEFT JOIN ( SELECT B.AAC001 AS TID FROM AC02_TEMP AS B WHERE B.AAC030 < '2018-01-01 00:00:00' ) AS t0 ON t0.TID = A.AAC001
WHERE
A.AAB301 IN ( SELECT AAB301 FROM AA26 WHERE AAA148 = '130800' )
AND A.AAE200 = '41'
AND A.AAC031 = '1'
AND A.AAC030 >= '2018-01-01 00:00:00'
AND t0.TID = 0;
```
执行计划
```
CreatingSets (Create sets before main query execution)
Expression ((Projection + Before ORDER BY))
Aggregating
Expression (Before GROUP BY)
Filter (WHERE)
Join (JOIN FillRightFirst)
Filter (( + Before JOIN))
ReadFromMergeTree (default.AC02_TEMP)
Indexes:
PrimaryKey
Keys:
AAE200
" Condition: (AAE200 in ['41', '41'])"
Parts: 2/2
Granules: 4821/4821
Expression ((Joined actions + (Rename joined columns + (Projection + Before ORDER BY))))
ReadFromMergeTree (default.AC02_TEMP)
Indexes:
PrimaryKey
Condition: true
Parts: 2/2
Granules: 4821/4821
CreatingSet (Create set for subquery)
Expression ((Projection + Before ORDER BY))
ReadFromMergeTree (default.AA26)
Indexes:
PrimaryKey
Condition: true
Parts: 1/1
Granules: 1/1
```
```
EXPLAIN indexes = 1 SELECT
COUNT( 1 ) AS "新参保人数"
FROM
AC02_TEMP AS A
LEFT JOIN ( SELECT B.AAC001 AS TID FROM AC02_TEMP AS B WHERE B.AAC030 < '2018-01-01 00:00:00' ) AS t0 ON t0.TID = A.AAC001
WHERE
A.AAB301 IN ( SELECT AAB301 FROM AA26 WHERE AAA148 = '130800' )
AND A.AAE200 = '41'
AND A.AAC031 = '1'
AND A.AAC030 >= '2018-01-01 00:00:00'
AND t0.TID = 0;
```
执行计划
```
CreatingSets (Create sets before main query execution)
Expression ((Projection + Before ORDER BY))
Aggregating
Expression (Before GROUP BY)
Filter (WHERE)
Join (JOIN FillRightFirst)
Filter (( + Before JOIN))
ReadFromMergeTree (default.AC02_TEMP)
Indexes:
PrimaryKey
Keys:
AAE200
" Condition: (AAE200 in ['41', '41'])"
Parts: 2/2
Granules: 4821/4821
Expression ((Joined actions + (Rename joined columns + (Projection + Before ORDER BY))))
ReadFromMergeTree (default.AC02_TEMP)
Indexes:
PrimaryKey
Condition: true
Parts: 2/2
Granules: 4821/4821
CreatingSet (Create set for subquery)
Expression ((Projection + Before ORDER BY))
ReadFromMergeTree (default.AA26)
Indexes:
PrimaryKey
Condition: true
Parts: 1/1
Granules: 1/1
```
Select Language