学习redis(待完善)

键值对数据库


特征


*键值型
*单线程(多线程情况 仅仅在于网络请求)
*低延迟,速度快(基于内存,IO多路复用,)
*支持持久化
*支持集群,分片
*支持多语言

常见的命令

数据结构:

string
hash
list
set
sorteSet
Geo
bitMap
发布/订阅

Keys  : 查找符合的key(谨慎使用-会阻塞)
Del :删除
existsx:是否存在
expire:设置有效期
TTL:查看有效时间(-2就是被移除,-1就是永久有效)

string类型


*最大512M,
*底层可以存string int float,底层都是字节 只是编码方式不同。
*int 和 float可以做自增或减
命令
set(增或改) ,get,mset(批量),mget
*incr: 加1,  incr key      整数
*incrby .加N,incrby key 6   减(负数)
*incrbyFloat 增加小数,
*setnx:添加一个string的健值对,前提是key不存在 否则不执行-setnx name zhangsan 返回1成功
*setex:添加一个string的健值对,并设置时长
 

hash类型

hash计算那个插槽(slot)是根据优先部分计算的(hash_tag)例如 {a}666,{a}777,根据a计算

散列,其value是无序下字典
结构 key-value(field+value)
命令
hset:加或改 ( hset no1  name 张三)
hget:获取(hget no1 name)
hmset
hmget
hgetall 获取所有的键值
hkeys
hvals 获取的一个key的所有值
hincrby 让ket自增长
hsetnx 添加一个hash类型的field值 前提的filed不存在 否则不执行

List类型


类似双向链表,linkList
*有序,可以重复,
*插入和删除快,
*查询速度一般

命令
*lpush:向左插入一个或者多个(头插入)
*rpush:向右插入一个或者多个(尾插入)
*lpop:移除并返回左侧第一个元素 没有就返回nil(取)
*rpop:移除并返回左侧第一个元素 没有就返回
*blpop和brpop,(阻塞)取 没有元素时候指定等待时间,不返回nil
*lrange ket star end 返回范围内的数据(不移除)
可以模拟 栈,队列,阻塞队列

栈:先进后出
队列:先进先出

Set类型

类似hashset  可以看作是值为null的hashMap

*无序
*不重复
*查询快
*支持交集,并集,差集的功能

命令
*sadd
key member: 加一个或者多个
*srem key member:移除一个或者多个
*scard key:返回set中元素个数
*smembers:获取set中所有元素

*sinter key1 key2:求连个key的交集
*sdiff:差集
*sunion:并集

Scan:非阻塞,可以获取不到最新的key
Redis 的事务是通过  multi和 exex 命令实现的。

SortSet类型

类似java的TreeSet
*可排序
*不重复
*查询速度快
经常被用于排行榜的功能

命令
*zadd增
*zrem删
*zscore key 获取取值
*zrank 获取排名
*zcard 获取元素个数
*zcount 在范围内计数
*zincrby自增
*zrange 获取排名内的元素
*获取分数值范围的元素
*求交几 差集 并集
*在Z后面加rev就是降序
 

redis的java客户端


jedis:简单,线程不安全,要创建连接池
lettuce:基于netty框架,支持同步,一般,线程安全,支持redis的哨兵模式 集群模式 管道模式
Redisson:基于redis实现分布式 可以伸缩的Java数据结构入Map queue lock Atomiclong
spring Data redis 整合了 jedis和lettuce


1:jedis

使用步骤:1引入依赖-2创建jedis对象连接,-3使用方法命令-4释放资源

jedis连接池
背景
:jedis是线程不安全,频繁创建和消耗对性能消耗很大。
封装并 提供一个放回jedis对象的静态方法

2:SpringDataRedis

特征
*提供了对jedis和lettuce的整合
*提供了redisTemplate统一API操作redis
*支持redis的发布/订阅模型
*支持redis的哨兵和集群模式
*支持lettuce的响应式编程
*支持基于jdk,json,字符串,spring对象的序列化和反序列化(存对象)
*支持基于redis的JDKcollection实现((分布式)重写集合)

封装了redis的各种操作API:(每种数据类型都有)如string list等

使用注意-序列化方案
1序列化和反序列化的类型选择,
1.1(选择json序列化器l为了反序列化会把对象的class写入json中,对redis带来很大额外开销)自动
1.2选择string序列化器,然后手动完成序列化和反序列化操作(使用StringRedisTemplate)手动

StringRedisTemplate对象 string序列化器
 

操作Hash类型
.put  .get

Redission分布式锁,

*可重入锁(对象是自己就可以进入,加入计数器)hash数据类型的方式


基于setnx()锁存在的问题
*不可以重入:同一个线程无法多次获取同一把锁
对象是自己就可以进入,基于hash结构加入计数器
*不可以重试:获取锁失败就直接返回,
加等待时间 ,默认看门狗时间30秒【可以先判断剩余时间和等待时间大小,订阅别人释放锁,再重试】等待, 换新 ,发布订阅
*超时释放:没有执行完的会有隐患(超时续约,看门狗机制
*主从一致性问题(集群多个独立的redis节点)multiLock原理

redis分布式缓存

单节点存在的问题:
*数据丢失
*存储能力
*并发
*故障恢复



redis持久化


*rdb持久化(数据备份)
        命令 save(会阻塞)-默认是服务停止的时候执行
        命令bgsave,开启子线程(fork主线程得到子线程)(生成新的文件代替旧的
配置文件定时(60秒)保存(触发bgsave),是否压缩(耗cpu,不建议启动)
恢复:开机读取
缺点1rdb执行时间长,两次之间会有数据丢失风险,2压缩和写出rdb文件都比较耗时

*aof持久化(追加文件)
        记录redis的操作日志,--命令日志文件

默认关闭,
开启方案:
        1总是开启,先写到磁盘-效率低
        2缓存区,先写道缓存,1秒后写磁盘  风险会丢失1秒数据(建议
        3系统写,让系统写到磁盘,风险高
恢复:开机执行

对比
rdb:整个快照 容易丢失数据,恢复快,压缩文件体积小,cpu高
aof:记录操作数据完整,恢复慢,cpu低。
 

redis主从架构

数据同步原理

主从第一步:全量同步,(主生成rdb发送)

redis哨兵(sentinel)架构


*监控(心跳机制)
(多数sentinel 认为下线就是下下线了)
*主从集群的自动故障恢复(自动将一个slave升级为master)
        1首先判断slave断开节点长短
        2判断slave优先级(配置文件)越小优先级越高 (0不选)
        3判断offset,数据更新时间,时间越新优先级越高
        4启动节点id,越小优先越高
*通知(充当redis客户端的作用,将故障信息发送到集群)

java用 配置redisTempalte配置哨兵地址
 

redis分片集群架构

作用
*海量数据存储
*高并发写的问题
特征
*多个master,每个数据不同
*每个master有多个slave
*master之间通过ping监控彼此健康状态
*客户端请求集群的任意节点,都会被转发到正确的节点(自动路由)

hash计算那个插槽(slot)是根据优先部分计算的(hash_tag)例如 {a}666,{a}777,根据a计算
 

java用 配置redisTempalte配置分片集群地址

redis的最佳实践
 

键值设计

优雅的设计key
*遵循基本格式:业务名称:数据名称:id(可读性 管理性)
*长度不超过44()
        key是String,底层包含了 int,embstr,raw
        embstr(连续,小于44字节,大了会升级为row),
        row(不连续,查询会慢)

*不包含特色字符


value
拒绝bigKey(耗cpu 内存,阻塞)
*单个key的value不小于10KB
*对接集合:小于1000个
redis-cli-bigkeys找到他们

批量优化

单节点
mset(批量)插入- (M操作)
|    
    缺点:数据类型和key都要求一样,复杂类型不好处理

pipeline(管道)
        *
处理复杂类型的数据
        *可以传各种命令
        缺点(按照顺序执行 不具有原子性)(原子性:要么全部执行,要么全部不执行)

集群模式下
*必须将命令放到应该插槽(slot)中,否则失败
解决方案:加一个相同的hash_tag 将key放同一个插槽(slot)


        

服务端优化

持久化
*缓存类型的不要持久化
*关rdb,建议用aof
*利用脚本在从节点做rdb 实现部分


慢查询
设置时间阈值-命令查出慢查询-优化

命令级安全优化
*设置密码
*禁止使用命令:()
        config set (修改配置)
        flushall(不可逆清空),flushdb(当前数据库)
        keys
*不要使用默认端口
 
内存配置   
    
数据内存
进程内存
缓存区内存

底层编码
String,底层包含了 int,embstr,raw
        embstr(连续,小于44字节,大了会升级为row),
        row(不连续,查询会慢)

 

相关推荐

  1. 学习redis完善

    2023-12-08 15:34:03       54 阅读
  2. gnuplot画图学习(完善)

    2023-12-08 15:34:03       35 阅读
  3. RocketMq实战(完善)

    2023-12-08 15:34:03       55 阅读
  4. Zookeeprt实战(完善)

    2023-12-08 15:34:03       47 阅读
  5. Pickle文件读取——(完善)

    2023-12-08 15:34:03       54 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-08 15:34:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-08 15:34:03       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-08 15:34:03       82 阅读
  4. Python语言-面向对象

    2023-12-08 15:34:03       91 阅读

热门阅读

  1. 基于MATLAB车辆防碰撞系统仿真

    2023-12-08 15:34:03       48 阅读
  2. 【力扣100】4.移动零

    2023-12-08 15:34:03       60 阅读
  3. ChatGPT的进化史

    2023-12-08 15:34:03       63 阅读
  4. openmmlab加载自训练权重

    2023-12-08 15:34:03       60 阅读
  5. 利用 Python 进行数据分析实验(六)

    2023-12-08 15:34:03       51 阅读
  6. vs2022专业版永久密钥

    2023-12-08 15:34:03       60 阅读
  7. C++提高编程—01.函数模板

    2023-12-08 15:34:03       49 阅读
  8. 一篇文章了解JDK的前世今生

    2023-12-08 15:34:03       54 阅读
  9. 面试题目总结(三)

    2023-12-08 15:34:03       54 阅读
  10. 微信小程序跳转到外部小程序

    2023-12-08 15:34:03       59 阅读
  11. 12.7每日一题(备战蓝桥杯双分支、多分支)

    2023-12-08 15:34:03       39 阅读