Hadoop:大数据生态体系

一、技术层面

通过下面这张图,我们可以大概确定,在大数据行业里,自己的学习路线。

个人认为,Hadoop集群一旦搭建完工,基本就是个把人运维的事情
主要岗位应该是集中在数据计算层,尤其是实时计算!
实时计算框架比较实用的是Spark StreamingFlink

数据传输层,有叫数据采集层,将不同的数据源中的各种类型数据,采集到Hadoop中进行存储
Flume组件,个人觉得与Logstash组件等效。

这里的定时任务,任务之间是可以相互依赖的
在这里插入图片描述

二、业务层面

个人偏好推荐功能
在这里插入图片描述

相关推荐

  1. 浅谈基于中台模式的数据生态体系的理解

    2024-04-22 18:18:03       27 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-22 18:18:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-22 18:18:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-22 18:18:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-22 18:18:03       18 阅读

热门阅读

  1. 【LeetCode热题100】【矩阵】旋转图像

    2024-04-22 18:18:03       12 阅读
  2. 【LeetCode热题100】【矩阵】搜索二维矩阵 II

    2024-04-22 18:18:03       15 阅读
  3. Spring事务

    2024-04-22 18:18:03       14 阅读
  4. QT c++ 读写锁简单举例

    2024-04-22 18:18:03       16 阅读
  5. C# 中的策略模式:从基础到高级

    2024-04-22 18:18:03       18 阅读
  6. CSS3 动画

    2024-04-22 18:18:03       13 阅读
  7. 在react配置使用less的最优解

    2024-04-22 18:18:03       15 阅读
  8. git 命令大全(常用)

    2024-04-22 18:18:03       15 阅读