数仓,大数据平台,数据中台,数据湖

        数据湖的概念分为侠义和广义的两种,侠义的数据湖指的是数据湖存储指可以存放各种格式的海量数据的地方,而广义的数据湖除了数据存储之外还包含数据的管理和分析提供数据目录、数据服务、以及统一的数据访问方式;这个一般完善的数据处理系统都能做。

        普通数据库的特点:数据量小,数据保存时间短,支持ACID,及时性高,以业务线为单位进行建设;但是随着时代的发展企业的数字化程度越来越高,数据量越来越大,对数据的重视程度也越来越高,为了满足企业对数据的存储以及分析需求,然后出现了以多个节点存储为基础的数据仓库,本质还是基于传统的关系性数据库技术然后在原来的基础上进行了分库分表操作使得数据在存储和分析上得到了很大的扩展,典型的数据仓库有TeraData、DB2、Oracle、SQLSever等等。数据仓库的主要目的是承载企业所有的运营数据,对企业的各个业务线的历史数据进行汇总和分析用于更好的为企业运营做决策。为了方便高效的支持各种不同的业务需求于是数据仓库提出了数据存储分层的概念,典型的分层有ODS、DWD、 DWM、 DWS、 ADS;分层的好处可以根据分析需求对数据进行复用。一般情况下数据仓库的数据源来源于企业的不同业务系统。普通数仓的特点:全量、离线、企业级、保存时间长、分析需求大。

        随着时代发展数据量急剧增加,为了处理这种情况,大数据平台出现了;目的是用大数据技术来统一来管理企业所有的数据;大数据平台的特点:架构复杂、开放源码、软件免费、超大数据量、全量分析、流批一体。

        但随着企业数据的不断沉淀和业务的扩张,对数据的需求也在不断变得灵活多变,此时对数据处理的性能、稳定性、成本、安全以及灵活性提出更高要求,然后就出现了数据中台。数据中台就是支持功能更多、包容数据量更大、能承载更多数据需求的大数据平台。

        数据湖本质也还是数据仓库和大数据平台的内容,兼容更多的数据源类型、数据计算类型、数据呈现方式,来对一堆能够完成企业数据使用的技术进行包装。

最近更新

  1. TCP协议是安全的吗?

    2024-03-24 17:50:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-24 17:50:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-24 17:50:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-24 17:50:03       20 阅读

热门阅读

  1. 基础时间线柱状图绘制

    2024-03-24 17:50:03       17 阅读
  2. docker小白采坑---启动失败---空间不足

    2024-03-24 17:50:03       19 阅读
  3. Docker Compose 中spring boot服务连接 mysql

    2024-03-24 17:50:03       18 阅读
  4. 数据结构奇妙旅程之链表

    2024-03-24 17:50:03       19 阅读
  5. c语言函数大全(D开头)

    2024-03-24 17:50:03       18 阅读
  6. 美国硅谷大带宽服务器怎么样

    2024-03-24 17:50:03       18 阅读
  7. Unity中关于SendMessage方法

    2024-03-24 17:50:03       17 阅读
  8. 【C++】学习记录--Thread线程库的使用

    2024-03-24 17:50:03       18 阅读