Elasticsearch 索引数据多了,调优,部署方案

1:动态索引层面
基于 模板+时间+rollover api 滚动 创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

2: 存储层面
冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。

3:部署层面
一旦之前没有规划,这里就属于应急策略。结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等 规划合理 ,不需要重启集群也能完成动态新增的。

相关推荐

  1. Elasticsearch 索引数据部署方案

    2024-04-25 10:44:03       41 阅读
  2. 【OceanBase诊断 】—— 索引

    2024-04-25 10:44:03       34 阅读
  3. SQL方案

    2024-04-25 10:44:03       25 阅读
  4. Mysql数据库

    2024-04-25 10:44:03       38 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-25 10:44:03       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-25 10:44:03       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-25 10:44:03       87 阅读
  4. Python语言-面向对象

    2024-04-25 10:44:03       96 阅读

热门阅读

  1. 【产品经理修炼之道】- 政务G端产品建设指南

    2024-04-25 10:44:03       40 阅读
  2. C++认知

    C++认知

    2024-04-25 10:44:03      29 阅读
  3. 【go从入门到精通】反射的限制

    2024-04-25 10:44:03       40 阅读
  4. Day2: 5道C++ 面向对象高频题整理

    2024-04-25 10:44:03       39 阅读
  5. Linux常用命令

    2024-04-25 10:44:03       38 阅读
  6. Python搭建http下载服务器

    2024-04-25 10:44:03       37 阅读
  7. 使用Python实现批量删除MYSQL数据库的全部外键

    2024-04-25 10:44:03       30 阅读
  8. Node.js中fs模块实现配置文件的读写

    2024-04-25 10:44:03       36 阅读
  9. 微前端通信机制及其实现

    2024-04-25 10:44:03       30 阅读
  10. css 动画基础知识和案例

    2024-04-25 10:44:03       33 阅读
  11. Mysql 的char 和varchar的的区别

    2024-04-25 10:44:03       33 阅读