复杂的数仓项目,涵盖了从数据采集、处理、存储到可视化的整个流程

一个复杂的数仓项目,涵盖了从数据采集、处理、存储到可视化的整个流程。以下是对您提供信息的梳理和解释:

1. **项目架构**:
   - 包含实时流、离线流和配置流三条数据流。
   - 数据源使用MySQL,开启binlog日志。

2. **数据采集**:
   - 通过阿里Canal实现增量数据采集,对接Kafka。
   - 使用FullPuller实现全量数据拉取到ODS层。
   - Ogg监控MySQL的Binlog日志,并对接Kafka。

3. **ETL操作**:
   - 使用Flink版本的Sqoop进行ETL。
   - 典型ETL场景包括维表join、双流join、订单支付实时对账和CEP预警。

4. **存储层**:
   - 使用Phoenix与HBase映射,构建二级索引提升查询效率。
   - 使用Druid进行数据摄取和分析。

5. **数据处理**:
   - 使用Flink进行数据流处理,包括实时对账、CEP预警、PV/UV统计等。
   - 基于Flink SQL进行数据分析,如统计每小时成交量、独立用户数等。

6. **数据可视化**:
   - 使用Kibana进行数据可视化展示。
   - 使用FineBI和Zeppelin进行数据分析和交互式可视化。
   - 基于Storm实现实时区域用户量热力图。

7. **技术实现细节**:
   - 使用Flink的DataStream API实现PV/UV统计。
   - 结合Elastic Stack创建索引,通过Kibana进行展示。
   - 项目流程中,用户行为数据通过Kafka传递到Flink进行实时处理。

8. **具体技术点**:
   - **Canal-Kafka**:Canal用于捕获MySQL的增量数据,然后发送到Kafka。
   - **Flink**:用于实时数据处理和分析,包括ETL操作、实时对账、CEP预警等。
   - **Phoenix**:为HBase提供SQL接口,提高数据查询效率。
   - **Druid**:用于数据摄取、存储和实时分析查询。
   - **Ogg**:用于监控MySQL的Binlog日志,并将数据同步到Kafka。
   - **Kafka**:作为数据流的核心,连接各个组件,实现数据的实时传输。
   - **Elastic Stack**:包括Elasticsearch和Kibana,用于数据存储和可视化。
   - **Flink SQL**:简化数据分析过程,提供SQL接口进行数据处理。
   - **Storm**:用于实时处理流数据,生成热力图等。
   - **FineBI/Zeppelin**:用于交互式数据分析和可视化。

9. **项目流程**:
   - 用户行为数据首先被采集,然后通过Kafka传输到Flink。
   - 在Flink中进行实时处理,包括watermark生成、窗口计算等。
   - 自定义sink将处理结果输出到Elasticsearch和WebSocket,用于数据存储和实时展示。

整个项目涉及到的技术栈非常广泛,从数据采集到处理、存储、分析和可视化,每个环节都有对应的技术解决方案。这种架构能够实现数据的实时处理和分析,对于需要快速响应和决策支持的业务场景非常有用。
 

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 19:36:06       51 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 19:36:06       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-09 19:36:06       44 阅读
  4. Python语言-面向对象

    2024-07-09 19:36:06       55 阅读

热门阅读

  1. 你手上有offer吗?

    2024-07-09 19:36:06       28 阅读
  2. Node.js学习路线

    2024-07-09 19:36:06       29 阅读
  3. redis 一 认识redis

    2024-07-09 19:36:06       21 阅读
  4. Go1.19 爬虫框架:简化站点模板的自动化抓取

    2024-07-09 19:36:06       23 阅读
  5. kafka--发布-订阅消息系统

    2024-07-09 19:36:06       25 阅读
  6. 3160. 所有球里面不同颜色的数目

    2024-07-09 19:36:06       24 阅读