RocketMQ学习笔记:零拷贝

这是本人学习的总结,主要学习资料如下


1、零拷贝技术

1.1、什么是零拷贝

使用传统的IO,从硬盘读取数据然后发送到网络需要经过四个步骤。

  1. 通过DMA复制读取硬盘数据,复制到系统的内核缓冲区。
  2. 从内核缓冲区通过CPU将数据复制到应用程序缓冲区。这里涉及到内核态转用户态。
  3. 从应用程序缓冲区通过CPU复制数据到套接字缓冲区。这里涉及到用户态转内核态。
  4. 最后通过DMA从套接字缓冲区复制数据到网卡等网络设备。发送数据的事就交给网络设备。

请添加图片描述
DMA(Direct Memory Access)可以说是一个可以直接访问磁盘等硬件的设备,不过速度要比CPU要慢很多。

所以传统的IO有四次复制过程。零拷贝则是利用内存映射等技术,减少其中的一两个拷贝过程,大大提高效率。

1.2、mmap()

RocketMQ是通过mmap()内存映射技术来实现零拷贝。

mmap将磁盘上的文件位置和应用程序缓冲区做了一个一一对应的映射,使应用程序可以像读取应用程序缓冲区一样直接读取到磁盘的文件内容。

使用了mmap后就可以省去一次DMA的复制。变成下面的过程。

  1. 通过mmap复制数据到应用程序缓冲区。
  2. 从应用程序缓冲区通过CPU复制数据到套接字缓冲区。这里涉及到用户态转内核态。
  3. 最后通过DMA从套接字缓冲区复制数据到网卡等网络设备。发送数据的事就交给网络设备。

在这里插入图片描述


1.3、Java中的零拷贝

Java中可以通过MappedByteBuffer来实现mmap但是这种方式一次最多只能映射1.5 ~ 2G的文件,这也是RocketMQ的单个CommitLog文件默认是1G的原因。

File file = new File(path);
// 通过Channenl进行内存空间和磁盘空间的映射
FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();
// 该Buffer就是映射空间,可以看成是磁盘和内存共享的
MappedByteBuffer map = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 1024);
// 写内容
mmap.put("Content".getBytes());
// 写内容到磁盘
mmap.flip();
byte[] bb = new byte[4];
//读取数据
mmap.get(bb, 0, 4);
// 解除mmap
unmap(mmap);

相关推荐

  1. RocketMQ学习笔记

    2024-03-26 18:14:01       39 阅读
  2. 拷贝技术

    2024-03-26 18:14:01       61 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-26 18:14:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-26 18:14:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-03-26 18:14:01       87 阅读
  4. Python语言-面向对象

    2024-03-26 18:14:01       96 阅读

热门阅读

  1. ubuntu 22.04 LTS 内核从 5.15.0 升级到 6.6.0

    2024-03-26 18:14:01       42 阅读
  2. PHP学习笔记

    2024-03-26 18:14:01       32 阅读
  3. Spring Boot

    2024-03-26 18:14:01       38 阅读
  4. linux安装指定版本docker

    2024-03-26 18:14:01       45 阅读
  5. Python中,type() 和 isinstance() 的区别

    2024-03-26 18:14:01       44 阅读
  6. 12、Spring CLI中的角色使用

    2024-03-26 18:14:01       37 阅读
  7. leetcode ——匹配子序列的单词数

    2024-03-26 18:14:01       45 阅读