elasticsearch实践中遇到的问题总结

小编 2026-07-07 阅读:536 评论:0
转载请注明出处:https://blog.csdn.net/dhtx_wzgl/article/details/85229634 list查询返回结果最大只有10条。 原因:是Spring es的lis...

转载请注明出处:https://blog.csdn.net/dhtx_wzgl/article/details/85229634

list查询返回结果最大只有10条。

原因:是Spring es的list查询底层实现方法实际是分页查询,而PageSize的默认值是10,所以每次查询的最大返回结果只有10条。

解决办法:自己设置PageSize的大小\"\"

模糊查询时,参数为含多个字符时失效

原因:string类型在es5以上版本中已经被弃用,取而代之的是text和keyword两种形式,其中text会被自动分词,默认是一个字一个词,所以在进行模糊查询时,参数的长度为1才有效;keyword建索引时不会分词,所以进行模糊查询时参数的长度可以是任意长度的。

解决办法:将被查询的字段设置为keyword类型。

查询时对多个属性进行排序

解决办法:

spring的es jar包实现了三种对多个属性进行排序的方法,如下所示:
1、PageRequest.of(number, size, Sort.by(Sort.Order.asc(\"a\"), Sort.Order.desc(\"b\"))
2、PageRequest.of(number, size, Sort.by(Sort.Direction.DESC, \"a\", \"b\"))
3、PageRequest.of(number, size, Sort.Direction.DESC, \"a\", \"b\", \"c\")

时间查出来后比写入时早了一天

原因:es集群服务器的时区不是北京时区。

解决办法:将es的类型entity中的时间字段上的@JsonFormat(pattern = \"yyyy-MM-dd\")注解去掉,让es直接存long型的毫秒数,这样在查出来结构后再进行一次参数转换即可得到正确的时间值。

 

ES 或查询

实现类似于mysql的 p1=aa and (p2=xxx or p2 =yyy)的查询,spring的es api的实现方法如下:

p2=xxx

BoolQueryBuilder builder1 = boolQuery();
addLteTimeQuery(builder1, \"startTime\", query.getStartTime().getTime());
addGteTimeQuery(builder1, \"endTime\", query.getStartTime().getTime());

p2=yyy
BoolQueryBuilder builder2 = boolQuery();
addLteTimeQuery(builder2, \"startTime\", query.getEndTime().getTime());
addGteTimeQuery(builder2, \"endTime\", query.getEndTime().getTime());

p2=xxx or p2 =yyy

BoolQueryBuilder builder3 = boolQuery();
builder3.should(builder1);
builder3.should(builder2);

 p1=aa and (p2=xxx or p2 =yyy)

BoolQueryBuilder builder1 = boolQuery();

builder.must(builder3);

es查询窗口问题

修改方式:curl -XPUT \"http://{hostName}:{port}/{index_name}/_settings\" -d \'{ \"index\" : { \"max_result_window\" : 500000 } }\'

问题描述:ims的子订单索引按上述方式设置查询窗口时,已经提示成功了,但是实际上并没有成功。但是其他索引的按上述方式设置却可以成功。

解决办法:todo

es插入数据遇到聚类报错

问题描述:在向es中批量写入数据时,出现写入到一半被回滚的情况,而且是主订单索引和子订单索引同时遇到了这种情况。

异常信息:

Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [orderNumber] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.
        at org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:336) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.index.fielddata.IndexFieldDataService.getForField(IndexFieldDataService.java:111) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.index.query.QueryShardContext.getForField(QueryShardContext.java:166) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.sort.FieldSortBuilder.build(FieldSortBuilder.java:277) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.sort.SortBuilder.buildSort(SortBuilder.java:156) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.parseSource(SearchService.java:621) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.createContext(SearchService.java:472) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.createAndPutContext(SearchService.java:448) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.executeDfsPhase(SearchService.java:221) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.action.search.SearchTransportService$5.messageReceived(SearchTransportService.java:328) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.action.search.SearchTransportService$5.messageReceived(SearchTransportService.java:325) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.transport.RequestHandlerRegistry.processMessageReceived(RequestHandlerRegistry.java:69) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.transport.TcpTransport$RequestHandler.doRun(TcpTransport.java:1555) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingAbstractRunnable.doRun(ThreadContext.java:638) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37) ~[elasticsearch-5.5.0.jar:5.5.0]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) ~[na:1.8.0_91]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ~[na:1.8.0_91]
        ... 1 common frames omitted

分析:从异常来看,是说text类型的字段的Filedata默认是不可用的,而被写入的索引中orderNumber就是text类型的。出现该错误是因为写入时,按orderNumber进行了聚合操作,而在5.x版本之后,Elasticsearch对排序、聚合所依据的字段用单独的数据结构(fielddata)缓存到内存里了,但是在text字段上默认是禁用的,如果有需要单独开启,这样做的目的是为了节省内存空间。从异常信息提示来看,我们可以通过将orderNumber的filedata设置为true或者将其类型改为keyword来解决这个办法,因为keyword可以参与聚合或者排序操作。

主订单索引中的orderNumber设置的是text类型的,而在服务器上主订单索引的orderNumber竟然是一个复合类型的,相当于实际上有两个字段:一个是orderNumber,   一个是orderNumber.keyword,而在聚合查询时,text是不能聚合的。

\"\"

子订单的subOrderNumber设置的是text类型,在服务器里竟然也是复合类型的,但是这个字段从来没用作为查询条件,按dba的意思是只有有按该字段进行聚合查询时才会出现聚合。可是子订单也出现了回滚的情况,唯一能解释的是,spring的es分页查询时会自动做聚合查询(todo)。

\"subOrderNumber\":{\"type\":\"text\",\"fields\":{\"keyword\":{\"type\":\"keyword\",\"ignore_above\":256}}}

解决办法:将主订单索引中的orderNumber的类型改为keyword。

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
标签列表