关于大数据技术栈的一些总结

什么是大数据平台?

基本都是基于hadoop生态圈的一个成熟的产品,像CDH、CDP、阿里云Dataworks等等,这种成熟的厂商把hadoop包装起来,然后提供卖给我们。包括厦航、兴业、国网电力等等都是买的这类的大数据平台

这种买来的大数据平台,自己不用去维护,出问题了就让厂商处理,提供的功能就是:把数据从原系统抽取到这个大数据平台,然后它的加工效率会比较高、抽取效率会比较高、计算能力会比较强、也不用我们去维护搭建hadoop集群等等
就比如兴业自己的业务数据,就通过阿里云的抽数工具,能很快的抽取到阿里云的云平台上。然后在他们的云平台上写sparkSQL或者别的分布式计算SQL,计算效率也高一些。最后再把SQL计算出来的结果,回写到兴业自己的业务系统这边来

其实整个逻辑就是这样,就蛮简单的,其实本质就是写SQL,然后数据建模,我觉得最核心的就是数据建模。一个表的表结构建的比较好的话,它用起来效率就很高,最核心的就是数据建模,然后SQL性能优化(我这五年的工作经验就总结这几句话了,已经被老铁学走了,你已经可以去改行做大数据了,到时候面试的时候就跟别人吹一下,就是这样,大家就觉得你很懂,然后就给你街薪了)

其他的都是搬砖,其他那些底层的东西,本质上没什么价值啦,就是说你自己搭一套,还不如说直接去Oracle买一个,或者是阿里云平台、CDH、CDP买一个。这个其实很简单嘛,没有什么,就是说没必要自己去种一个田,然后收割那些米,然后回家煮,现在都是市场上都都把菜把米都做好了,然后我们去把它买回来,最后做出我们自己想要的菜。阿里云平台、CDH、CDP,他们做的就是种田、种米等来提供原材料,提供厨房的启动环境

市场上都是把菜把米都做好了,就我们买回来,然后去炒菜就可以了,这种都是他们都是高效低成本,然后专业化的,那我们再自己去搞一套就。没有什么意义,那本质就是这样,阿里云它就是这样,就是一个这种东西

其实本质上你就可以理解为是一个Oracle数据库,因为Oracle也是买来的,它也可以提供数据存储、计算的服务,Oracle本身出了问题,就找Oracle厂商,业务计算SQL出了问题,当然就我们自己处理

它就是hadoop,因为hadoop它是开源的,然后阿里、CDH、CDP等等大数据平台厂商,他们就是再去把它封装,封装的更好用一点,那我们就省的去去安装hadoop、安装Spark,安装hive、然后还要考虑他们的兼容性啊,系统的兼容性啊,还要提升他的计算效率呀,这些都厂商来处理,因为这些他们很专业,就是相当于他是专门就是做大餐的,然后我们自己做一顿就没那么好吃

相关推荐

  1. 关于数据技术一些总结

    2024-07-20 22:06:02       18 阅读
  2. 数据技术-逐步完善

    2024-07-20 22:06:02       64 阅读
  3. 关于最近项目数字前端FLOW一些总结

    2024-07-20 22:06:02       16 阅读
  4. 关于C语言提高一些总结

    2024-07-20 22:06:02       50 阅读
  5. 关于QT实现绘图库技术考虑

    2024-07-20 22:06:02       17 阅读
  6. tsv文件在数据技术应用场景

    2024-07-20 22:06:02       42 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-20 22:06:02       52 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-20 22:06:02       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-20 22:06:02       45 阅读
  4. Python语言-面向对象

    2024-07-20 22:06:02       55 阅读

热门阅读

  1. 酒茶元宇宙:探索科技与传统文化的融合

    2024-07-20 22:06:02       12 阅读
  2. 移动支付行业现状及其特点

    2024-07-20 22:06:02       18 阅读
  3. Kubernetes v1.30:只读卷挂载可以实现只读了

    2024-07-20 22:06:02       19 阅读
  4. Unity运行时节点编辑器——互动电影案例

    2024-07-20 22:06:02       18 阅读
  5. flask渲染页码

    2024-07-20 22:06:02       17 阅读
  6. 23年oppo提前批B组笔试真题-小欧的卡牌

    2024-07-20 22:06:02       18 阅读
  7. Django已经登录但是还是提示登录

    2024-07-20 22:06:02       17 阅读
  8. Go语言入门之函数

    2024-07-20 22:06:02       18 阅读