数据库优化sql的方案

一: 插入数据的优化

1.insert

如果我们需要一次性往数据库表中插入多条记录,可以从以下三个方面进行优化

  • 优化方案一
批量插入数据
Insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry'); 
  • 优化方案二

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,'Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,'Jerry');
insert into tb_test values(7,'Tom'),(8,'Cat'),(9,'Jerry');
commit;
  • 优化方案三

主键顺序插入,性能要高于乱序插入,由于B+树的原因,可以减轻检索重量,减低检索速度

主键乱序插入 : 8 1 9 21 88 2 4 15 89 5 7 3

主键顺序插入 : 1 2 3 4 5 7 8 9 15 21 88 89


2 大批量插入数据

一次性需要插入大批量数据(比如: 几百万的记录),使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入

-- 客户端连接服务端时,加上参数 -–local-infile
mysql –-local-infile -u root -p
-- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;
-- 执行load指令将准备好的数据,加载到表结构中
load data local infile '/root/sql1.log' into table tb_user fields terminated by ',' lines terminated by '\n' ;

二: 主键优化

在load时,主键顺序插入性能高于乱序插入

1. 数据组织方式

在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表

2. 页分裂

页可以为空,也可以填充一半,也可以填充100%,每个页包含了2-N行数据(如果一行数据过大,会行溢出),根据主键排列

  • 顺序插入:没有也分裂的现象

  • 乱序插入:出现页分裂

过程:当乱序插入,该页已经满了,但是我们还要插入数据的时候,将50%的数据移动到新页取,将数据插入以后,再建立新的连接

3. 页合并

当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用

过程:删除数据达到阈值的时候会进行合并页

4. 索引设计原则

  • 满足业务需求的情况下,尽量降低主键的长度

  • 插入数据时,尽量选择顺序插入,选择使用AUTO_INCREMENT自增主键

  • 尽量不要使用UUID做主键或者是其他自然主键,如身份证号

  • 业务操作时,避免对主键的修改

三: order by优化

  • Using filesort:

通过表的索引或全表扫描,读取满足条件的数据行,,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫FileSort排序

  • Using index:

通过有序索引顺序扫描直接返回有序数据,这种情况即为usingindex,不需要额外排序,操作效率高

  • A. 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则

  • B. 尽量使用覆盖索引,否则造成回表查询降低了查询速度

  • C. 多字段排序, 一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC/DESC)

  • D. 如果不可避免的出现filesort,大数据量排序时,可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)

四:group by优化

  • A. 在分组操作时,可以通过索引来提高效率

  • B. 分组操作时,索引的使用也是满足最左前缀法则的

五:limit优化

在数据量比较大时,如果进行limit分页查询,在查询时,越往后,分页查询效率越低。

优化思路:

一般分页查询时,通过创建 覆盖索引 能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化

explain select * from tb_sku t , (select id from tb_sku order by id
limit 2000000,10) a where t.id = a.id;

六:count优化

  • MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个数,效率很高; 但是如果是带条件的count,MyISAM也慢。

  • InnoDB 引擎就麻烦了,它执行 count(*) 的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数

如果说要大幅度提升InnoDB表的count效率,主要的优化思路:自己计数(可以借助于redis这样的数据库进行,但是如果是带条件的count又比较麻烦了)

 

七:update优化

InnoDB的行锁是针对索引加的锁,不是针对记录加的锁 ,并且该索引不能失效,否则会从行锁升级为表锁 

相关推荐

  1. SQL查询优化方案

    2024-06-06 12:06:08       8 阅读
  2. 优化SQL方法

    2024-06-06 12:06:08       13 阅读
  3. 优化SQL方法

    2024-06-06 12:06:08       15 阅读
  4. Oracle数据库进行sql优化思路和方法

    2024-06-06 12:06:08       21 阅读
  5. SQL优化方案示例

    2024-06-06 12:06:08       12 阅读
  6. SQL 优化手段

    2024-06-06 12:06:08       23 阅读
  7. SQL笔记 -- 数据库结构优化

    2024-06-06 12:06:08       34 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-06 12:06:08       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-06 12:06:08       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-06 12:06:08       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-06 12:06:08       20 阅读

热门阅读

  1. 前端 、Python 扁平化嵌套数组和应用场景

    2024-06-06 12:06:08       9 阅读
  2. 如何搭建开发一款看广告赚钱软件?

    2024-06-06 12:06:08       9 阅读
  3. spring整合kafka

    2024-06-06 12:06:08       6 阅读
  4. go语言接口之接口类型

    2024-06-06 12:06:08       8 阅读
  5. 爬山算法的详细介绍

    2024-06-06 12:06:08       9 阅读
  6. spring 事务失效的几种场景

    2024-06-06 12:06:08       8 阅读
  7. C#的线程锁

    2024-06-06 12:06:08       8 阅读
  8. django连接达梦数据库

    2024-06-06 12:06:08       9 阅读
  9. Lua使用方式介绍

    2024-06-06 12:06:08       11 阅读
  10. k8s中pod如何排错?

    2024-06-06 12:06:08       7 阅读
  11. C++学习笔记“类和对象”;运算符重载

    2024-06-06 12:06:08       11 阅读
  12. 二叉树的层平均值-力扣

    2024-06-06 12:06:08       9 阅读
  13. SQL小白10分钟快速入门

    2024-06-06 12:06:08       9 阅读