什么是数据同步服务RSYNC?

大家好呀!这里是码农后端。今天来介绍一下数据同步服务RSYNC,作为Linux/Unix系统中远程或本地复制同步(复制)文件和目录最常用的命令,相比于scp命令,其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

  • rsync 远程同步:remote  synchronous

数据同步过程

以保存文件为目标,sync数据同步会强制把缓存中的数据写入磁盘(立即保存),适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合批量数据同步的场景。

同步(Synchronous),异步(Asynchronous),远程同步(Remote Synchronous)

2、rsync特点

1)可以镜像保存整个目录树和文件系统

2)可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

3)传输效率高,使用同步算法,只比较变化的(增量备份)

如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器,使用rsync实现数据同步,会先比较,假设B服务器中存在file1.txt、file2.txt,则只会同步file3.txt。

4)支持匿名传输,方便网站镜像;也可以做验证,加强安全

3、rsync与scp的区别

两者都可以实现远程同步,但rsync相对更强一些。体现如下: 

1)支持增量备份

2)数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1)使用man命令查看帮助手册

man rsync

85a056f62597485d8d24b411a398ac7c.png

2)选项说明

OPTION选项说明(一般使用 -av)
-v    	详细模式输出
-a    	归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD

-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间(修改)
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件

-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令,ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH:推,即上传;PULL:拉,即下载

2、本地文件同步

本地文件同步可以理解为:把文件从一个位置(同步=>拷贝)到另一个位置(类似cp)

eg1:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}

rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

a1d246a095f1941bc689c542e6eb0e1d.png

eg2:rsync -R选项的应用(保留相对路径)

rsync -avR /dir1/ /dir2

eg3:rsync --delete(删除目标目录里多余的文件)

/dir1(file1、file2) 

/dir2(file1、file2、file3)

rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致

rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1)启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)

systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。则需要查看帮助手册:

man rsync
rsync --help
rsync --daemon --help

# CentOS6:rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务,作为后台运行
rsync --daemon

# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了

2)rsyncd服务的配置文件/etc/rsyncd.conf

man 5 rsyncd.conf

21749869ae98fed51e93b94de4680305.jpeg

三、任务解决方案(重点)

1、环境准备

用到的服务器及对应IP配置如下:

ecc8752d2c99969966bdf055a29ef961.jpeg

编号 IP地址 主机名称 角色
1 10.1.1.10 code.itweb.cn Code(MIS)
2 10.1.1.100 backup.itweb.cn Backup(Backup)

1)关闭防火墙与SELinux

# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0

vim /etc/selinux/config
SELINUX=disabled

2)更改主机名称

hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3)更改IP地址(静态IP)

# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"

# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明,如下图

99beaef6cf16bcca4f2463e3b2cb1b4e.png

4)关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

5)配置YUM源

可以使用官方默认的YUM,如有需要可自行配置。

6)时间同步

ntpdate cn.ntp.org.cn

2、远程文件同步

1)Push:上传文件到远程服务器端

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1:把linux.txt文档传输到远程服务器端(10.1.1.100)的root目录下

rsync -av linux.txt root@10.1.1.100:/root

eg2:把shop文件夹传输到远程服务器端(10.1.1.100)的root目录下

rsync -av shop root@10.1.1.100:/root

2)Pull:下载文件到本地服务器端

rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

rsync -av root@10.1.1.100:/etc/hosts ./

eg2:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

rsync -av root@10.1.1.100:/shop ./

扩展:

问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式

如果不想要密码同步,可以考虑使用SSH免密操作。

Code => Backup

Code:

# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2:如果Backup服务器端更改了SSH的默认端口(如更改为10086),又该如何同步?

# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码(扩展)

Code服务器:

1)打开/etc/rsyncd.conf配置文件

vim /etc/rsyncd.conf

[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2)在/etc目录下创建rsyncd.secrets文件

vim /etc/rsyncd.secrets

user1:123							 	=>   设置密码,用户名:密码
user2:123

3)更改密码文件权限为600

chmod 600 /etc/rsyncd.secrets

4)重启rsyncd服务

systemctl restart rsyncd

5)Backup备份服务器:

rsync -av user1@10.1.1.10::app ./
Password:123

好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!

最后,星标设置如下:

d3cdae46a269d0401846738c4f7a8203.png

如下即设置成功!

b69889df8f4db3f09267fa729c257af1.png

往期精彩文章推荐(点击下方蓝字即可阅读!)

往期推荐

SSH服务搭建及免密登录实现

SSH服务搭建之YUM源配置与静态IP配置

SSH基于用户名密码的认证原理

一文带你快速了解VMware的三种网络模式

什么是yum源?如何对其进行配置?

Linux有哪些常用的高级扩展命令?

相关推荐

  1. centos7.9 安装sersync+rsync 服务器数据实时同步

    2024-07-10 14:10:08       65 阅读
  2. 【Linux】rsync远程数据同步工具使用

    2024-07-10 14:10:08       29 阅读
  3. Linux-rsync 服务器客户端模式同步

    2024-07-10 14:10:08       57 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 14:10:08       99 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 14:10:08       107 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 14:10:08       90 阅读
  4. Python语言-面向对象

    2024-07-10 14:10:08       98 阅读

热门阅读

  1. android 使用系统工具bootchart统计开机时长

    2024-07-10 14:10:08       29 阅读
  2. 【工具分享】FOFA——网络空间测绘搜索引擎

    2024-07-10 14:10:08       26 阅读
  3. 物联网应用,了解一点 WWAN全球网络标准

    2024-07-10 14:10:08       27 阅读
  4. Jupyter Notebook详尽安装教程

    2024-07-10 14:10:08       23 阅读
  5. 实现淘客返利系统中的用户登录与权限管理

    2024-07-10 14:10:08       22 阅读
  6. 【力扣】每日一题—第70题,爬楼梯

    2024-07-10 14:10:08       26 阅读
  7. mysql快速精通(一)DQL数据查询语言

    2024-07-10 14:10:08       29 阅读
  8. 408第二轮复习 数据结构 第七章查找

    2024-07-10 14:10:08       27 阅读
  9. Python中的迭代器与可迭代对象的概念及其关系

    2024-07-10 14:10:08       28 阅读
  10. 大数据面试题之Greenplum(2)

    2024-07-10 14:10:08       20 阅读
  11. 准备GPU H20机器k8s环境时用到的链接

    2024-07-10 14:10:08       24 阅读