clickhouse 查询group 分组最大值的一行数据。

按照 sql_finger_md5 分组取query_time_ms 最大的一行数据。
使用any函数可以去匹配到的第一行数据,所以可以先让数据按照query_time_ms 排序,然后再使用group by 和any结合取第一行数据,就是最大值的那一行数据。

select
  any (time) as time ,
  any (query_time_ms) as query_time_ms ,
  any (sqltext) as sqltext,
  any (inst_id) as inst_id,
  any (inst_name) as inst_name,
  any (dbname) as dbname,
  any (host_address) as host_address,
  any (lock_times) as lock_times,
  any (parse_row_counts) as parse_row_counts,
  any (return_row_counts) as return_row_counts,
  any (sql_finger) as sql_finger,
  sql_finger_md5,
  any (sqltext_md5) as sqltext_md5
FROM
  (
    SELECT
      inst_id,
      inst_name,
      dbname,
      execution_start_time as time,
      host_address,
      query_time_ms,
      sqltext,
      lock_times,
      parse_row_counts,
      return_row_counts,
      sql_finger,
      sql_finger_md5,
      sqltext_md5
    FROM
      cmdb.rds_all_slow_sql_record_distributed
    WHERE
      (
        execution_start_time >= toDateTime(1711079437) 
        AND execution_start_time <= toDateTime(1711684237) 
      )
      AND (dbname = 'leopard_admin')
      AND host_address  not like '%root%' AND host_address  not like '%bi_user%' AND sqltext  not like '%insert%'
    order by sql_finger_md5 desc,
      query_time_ms desc
  ) a
group by
  a.sql_finger_md5
order by query_time_ms desc
limit
  1000

窗体函数在数据量大的时候性能堪忧,在clickhouse中还有其他的处理方式。比如使用any()、anyLast()函数。

按官方文档的定义:any() “selects the first encountered value.”,也就是返回遇到的首个值,看上去是很符合当前的情况。但文档又做了说明:因为查询可能是以任意顺序执行的,并且可能每次执行得顺序都不同(如同我们上面的select * from user_order返回的行顺序不同),所以这个函数的执行结果可能是不确定的。如果要获得确定的值,可以使用“min”或者“max”。或者,select的对象的是一个已经排序过的子查询。

参考资料:
http://www.tracefact.net/tech/112.html

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-30 05:18:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-30 05:18:05       101 阅读
  3. 在Django里面运行非项目文件

    2024-03-30 05:18:05       82 阅读
  4. Python语言-面向对象

    2024-03-30 05:18:05       91 阅读

热门阅读

  1. centos安装snap

    2024-03-30 05:18:05       37 阅读
  2. Flink 中 Slot 机制详解:概念、原理与开发实践

    2024-03-30 05:18:05       43 阅读
  3. 解决WordPress文章的段落首行自动空两格的问题

    2024-03-30 05:18:05       40 阅读
  4. k8s小白的学习初体验

    2024-03-30 05:18:05       50 阅读
  5. C#热门技术应用:跨平台、异步编程与云原生

    2024-03-30 05:18:05       37 阅读
  6. 《Linux 源码趣读》的读书笔记-第1部分

    2024-03-30 05:18:05       35 阅读
  7. vue-路由详解

    2024-03-30 05:18:05       39 阅读
  8. 微信小程序uniapp+vue3+ts+pinia的环境搭建

    2024-03-30 05:18:05       43 阅读
  9. MySQL 锁合集与事务隔离级别

    2024-03-30 05:18:05       41 阅读