elk之简介

写在前面

本文看下es的简介。

1:简介

背后公司,elastic,08年纽交所上市,与腾讯,阿里等云厂商有合作,推出云产品,类似功能的产品由solr,splunk,但使用量es当前遥遥领先,下图是es与solr的对比图,可看到在03年左右es已经一骑绝尘了,如下图:
在这里插入图片描述
在这里插入图片描述
可看到,使用很大,并且使用的非常广泛,分布全球。

2:为什么会有es

es是基于lucene开发的一款分布式的搜索产品,但是已经有了lucene,为什么还需要es呢?为了了解这个问题,我们先来看下lucene,lucene是Doug Cutting开发的,其也是hodoop的作者,就是下图的哥们:
在这里插入图片描述
lucene是99基于Java语言开发,05年成为apache的顶级开源项目,优点是性能高,搜索能力强,但是也有如下的缺点:

1:只能基于Java语言开发,局限性比较大
2:学习曲线异常陡峭,本人就学过,已经世上无难事,只要肯放弃了
3:不支持水平扩展,想要支持大数据量的话,必须自己二次开发

基于以上的不足,就有大牛站出来带领像我这种小菜鸟走出困境了,这位大哥就是shaybanon:
在这里插入图片描述
04年基于Java语言开发,取名为compass,10重构comapass,取名为elasticsearch,优点如下:

1:支持水平扩展(此处应有掌声)
2:提供rest接口,可以跨语言使用
3:2降级了学习的门槛
4:支持jdbc(Java),odbc(微软)

3:es介绍

核心功能,搜索,聚合。10年正式发布,12年创立公司,半年时间就达到160万的下载量,并拿到1000万🔪的风险投资,具体版本历史如下:
在这里插入图片描述
任何一个产品都离不开良好的生态系统,es也一样,其生态圈我们叫做elastic stack,如下图:
在这里插入图片描述
各个组件作用如下:

1:logstash,beat
    数据收集,支持从不同的数据源收集数据,并做数据的处理,脱敏等
2:elasticsearch
    数据存储,搜索,聚合
3:kibana
    数据各种形式的展现,表格,报表等
4:X-pack
    扩展数据包,安全,告警,监控,机器学习等
5:云服务
    提供产品的云服务

其中beat有多种,如下图:
在这里插入图片描述

3.1:与数据库集成

因为es本身无法提供事务性的消息处理,所以这种场景还是需要依赖于MySQL ,但我们又想利用es高效的数据查询功能,该怎么办呢,这时就需要将mysql的数据同步到es中,此时一般采用如下的架构:
在这里插入图片描述

3.2:数据采集与展现

为了将各种数据源的数据,存储在es,并最终使用kibana进行展现,一般采用如下的流程:
在这里插入图片描述

写在后面

参考文章列表

相关推荐

  1. ELK简述

    2024-01-31 08:14:01       26 阅读
  2. ELK Stack入门部署EFK架构

    2024-01-31 08:14:01       20 阅读
  3. ELK优化Elasticsearch

    2024-01-31 08:14:01       28 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-31 08:14:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-31 08:14:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-01-31 08:14:01       87 阅读
  4. Python语言-面向对象

    2024-01-31 08:14:01       96 阅读

热门阅读

  1. 后端课程接口

    2024-01-31 08:14:01       53 阅读
  2. ARM与X86架构的区别与联系

    2024-01-31 08:14:01       55 阅读
  3. MySQL 函数参考手册(MySQL 高级函数)

    2024-01-31 08:14:01       38 阅读
  4. 基于paddlepaddle的yolo基本实现

    2024-01-31 08:14:01       46 阅读
  5. Android开发中自定义View实现RecyclerView下划线

    2024-01-31 08:14:01       42 阅读
  6. 面试问题(英语)

    2024-01-31 08:14:01       45 阅读
  7. Vue自定义事件

    2024-01-31 08:14:01       49 阅读
  8. 【Spring Boot 3】【@Scheduled】多线程执行定时任务

    2024-01-31 08:14:01       56 阅读
  9. redis持久化机制

    2024-01-31 08:14:01       54 阅读
  10. 动态口令【leetcode】

    2024-01-31 08:14:01       51 阅读
  11. .Net Core Policy 基于策略授权

    2024-01-31 08:14:01       58 阅读
  12. 雅克比矩阵求逆的几种情况

    2024-01-31 08:14:01       48 阅读
  13. Filebeat日志采集到Elasticsearch集群

    2024-01-31 08:14:01       55 阅读