es分组查询多个字段
创始人
2024-03-04 00:17:54
0

最近在做业务监控日志的展示, 公司用的es存储日志 ,所以也顺道学习了一波用java 的 RestHighLevelClient 查询es

    (1)普通查询   

           sql : where  id = xxx  ->  es : termQuery("id" , "xxxx")

                    where  id =XXXX and  name = xxxx   -> es : 这里要用到  BoolQueryBuilder , 也就是要用连接多个查询条件 , 

                    boolQueryBuilder.must(QueryBuilders.boolQuery().must(QueryBuilders.termsQuery("id ", xxx)).must(QueryBuilders.boolQuery().must(QueryBuilders.termsQuery("name ", xxx)))

       (2) 聚合查询 es中用桶的概念去做聚合查询, 首先将一堆数据根据什么条件分成一个一个的桶 , 也就是sql中的 group By 。每个桶中又有什么操作 , 比如  count , sum ,等。

      sql : group  by  id ->  es  : AggregationBuilders.terms("idCount").field("id") , 先给你的桶起一个叫 idCount 的名字,以便于在后边获取数据的时候根据这个桶id 拿到自己的桶分组结果 ,filed(id") 就是按照id分组了。

     分享一个聚合查询最常用的操作: topHits ,比方说 ,我现在 sql 想这样查  ,  select  count(id) , name , age  from person  group by  age , 按照 age 分组之后 , 我还想知道 name等其他字段 , 这个时候你就可以用tophits , 

     桶内查询:TermsAggregationBuilder aggregationBuilder = AggregationBuilders.terms("active_user_count").field(field).size(10000) .subAggregation(AggregationBuilders.topHits("time").fetchSource({“age” , "name"}, null).size(1) );

    最后的size(1) 就是最后分组里面 ,我就要一条数据, 当然你还可以根据其他条件进行桶内排序, 比方 ,找出 18岁的人中, 最小的前三位 , 这个时候 ,tophits 可以这个样写, 

TermsAggregationBuilder aggregationBuilder = // 桶名字叫 max_age , 按照age 分组 , 每个桶里面又按照出生日期倒序排列, 并且每个桶只取前三个值
AggregationBuilders.terms("max_age").field("age").size(10000).subAggregation(AggregationBuilders.topHits("time").fetchSource(new String[]{"age", "name" , "id" }, null).size(3).sort("borb_date", SortOrder.DESC));// 在 桶外, 我又想根据 年龄倒序排列 , 
MaxAggregationBuilder serverTime = AggregationBuilders.max("maxAge111111").field("age");
BucketOrder absTimeOrder = BucketOrder.aggregation("maxAge111111", true);
aggregationBuilder.order(absTimeOrder);
aggregationBuilder.subAggregation(serverTime);
sourceBuilder.aggregation(aggregationBuilder);

注意  maxAge111111 这个名字哦 ,大家在调试代码的时候 , 如果没有出结果 ,一定要把  SearchRequest 对象中的  source 拷贝出来运行一下哦,本质上java 代码还是在构建 查询语句的过程 ,所以你也可以先用kibana写es 查询,成功后再跟根据语句去写java代码。

还有一个需要注意的地方 ,分桶查询结果默认只返回十条, 所以如果你图省事儿, 直接设置10000 ,sourceBuilder.size(10000) , 但是当查询结果超过一万就没办法了 ,安全做法是用es 游标去循环取值。

 

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...