大数据架构

架构设计
离线数仓
实时数仓
湖仓一体
数据治理:数据质量管理、元数据管理、安全管理(Kerberos)、

数据仓库:面向主题的、集成的、相对稳定的、反应历史数据变化的数据集合、数仓中的数据时候有组织的存储数据集合、用于对管理决策过程的支持

大数据架构演进:

离线数仓大:

lambda架构(离线处理+实时链路)

lambda架构(离线数仓+实时数仓)

Kappa架构

实时数仓(流批一体)

湖仓一体实时架构

数据库与数据仓库的区别:
数据库是OLTP、数据仓库是OLAP
数据范围:数据库;当前状态数据、数据仓库:存储完整、反应历史数据变化的数据
数据变化:数据库:支持频繁的增删改、数据仓库:可增加、查询、无更新、删除操作,一般是T+1的数据,
应用场景:数据库:面向业务交易 数据仓库:面向分析、侧重决赛分析
处理数据量:数据库:频繁、小批次、高并发、低延迟;数据仓库:非频繁、大批量、高吞吐、有延迟

相关推荐

  1. 数据架构

    2024-03-10 18:06:01       38 阅读
  2. 数据」Kappa架构

    2024-03-10 18:06:01       39 阅读
  3. 数据」Lambda架构

    2024-03-10 18:06:01       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-10 18:06:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-10 18:06:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-10 18:06:01       82 阅读
  4. Python语言-面向对象

    2024-03-10 18:06:01       91 阅读

热门阅读

  1. typedef 别名的定义和使用

    2024-03-10 18:06:01       48 阅读
  2. springboot 下载 Excel 文件的 Controller 层案例

    2024-03-10 18:06:01       44 阅读
  3. AI辅助研发,引领科技新潮流

    2024-03-10 18:06:01       45 阅读
  4. C++核心编程

    2024-03-10 18:06:01       40 阅读
  5. 力扣背包问题

    2024-03-10 18:06:01       37 阅读
  6. 【微软技术】介绍

    2024-03-10 18:06:01       44 阅读
  7. 面试题之——SpringBoot的好处?

    2024-03-10 18:06:01       43 阅读
  8. django 的 filter 使用技巧

    2024-03-10 18:06:01       42 阅读