SQL分库分表

一、介绍

  • 问题分析

随着互联网及移动互联网的发展,应用系统的数据量也是成指数式增长,若采用单数据库进行数据存储,存在以下性能瓶颈:

1. IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络10瓶颈。

2.CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU出现瓶颈。

分库分表的中心思想都是将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。

  • 拆分策略

垂直分库:以表为依据,根据业务将不同表拆分到不同库中。

特点:

1.每个库的表结构都不一样。
2.每个库的数据也不一样。
3.所有库的并集是全量数据。

垂直分表:以字段为依据,根据字段属性将不同字段拆分到不同表中

特点:

1.每个表的结构都不一样。
2.每个表的数据也不一样,一般通过一列(主键/外键)关联。
3.所有表的并集是全量数据。

水平分库:以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。

特点:

1.每个库的表结构都一样。
2.每个库的数据都不一样。
3. 所有库的并集是全量数据。

水平分表:以字段为依据,按照一定的策略,将一个表的数据拆分到多个表中。

特点:

1. 每个表的表结构都一样。
2. 每个表的数据都不一样。
3. 所有表的并集是全量数据。

  • 实现技术

shardingJDBC:基于AOP原理,在应用程序中对本地执行的SQL进行拦截,解析、改写、路由处理。需要自行编码配置实现,只支持java语言,性能较高。

MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及前者。


二、Mycat概述

  • 介绍

Mycat是开源的、活跃的、基于java语言编写的MySQL数据库中间件。可以像使用mysql一样来使用mycat,对于开发人员来说根本感觉不到mycat的存在。

优势:

性能可靠稳定、强大的技术团队、体系完善、社区活跃。

  • 下载

下载地址:http://dl.mycat.org.cn/

  • 安装

Mycat是采用java语言开发的开源的数据库中间件,支持Windows和Linux运行环境,下面介绍MyCat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。
· MySQL
· JDK
· Mycat

  • 概念介绍


三、Mycat入门

  • 需求

由于 tb_order 表中数据量很大,磁盘IO及容量都到达了瓶颈,现在需要对tborder表进行数据分片,分为三个数据节点、每一个节点主机位于不同的服务器上,具体的结构,参考下图:

  • 环境准备

  • 分片配置(schema.xml)

相关推荐

  1. 数据库分库

    2024-05-12 13:12:04       31 阅读
  2. MySQL 分库

    2024-05-12 13:12:04       30 阅读
  3. 分库,,分区,分片

    2024-05-12 13:12:04       40 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-12 13:12:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-12 13:12:04       100 阅读
  3. 在Django里面运行非项目文件

    2024-05-12 13:12:04       82 阅读
  4. Python语言-面向对象

    2024-05-12 13:12:04       91 阅读

热门阅读

  1. Day45 初识HTML

    2024-05-12 13:12:04       34 阅读
  2. 关于python内置inspect

    2024-05-12 13:12:04       138 阅读
  3. iOS 生成SSH Key

    2024-05-12 13:12:04       34 阅读
  4. 记录一个git无法push的问题

    2024-05-12 13:12:04       34 阅读
  5. linux命令

    2024-05-12 13:12:04       38 阅读
  6. 整除C++

    整除C++

    2024-05-12 13:12:04      141 阅读
  7. 【AMBA Bus ACE 总线 9 -- Non-cache IO device】

    2024-05-12 13:12:04       33 阅读
  8. 编译OpenResty遇到找不到OpenSSL的解决办法

    2024-05-12 13:12:04       34 阅读