记录平凡生活,关注互联网,专注Linux运维技术.

利用rsync+sersync实现数据实时同步

sersync介绍

sersync主要用于服务器同步,web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ,另外一个是google开源项目Openduckbill(依赖于inotify- tools),这两个都是基于脚本语言编写的。相比较上面两个项目,本项目优点是:
sersync是使用c++编写,而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤(详细见附录,这个过滤脚本程序没有实现),所以在结合rsync同步的时候,节省了运行时耗和网络资源。因此更快。

– 相比较上面两个项目,sersync配置起来很简单,其中bin目录下已经有基本上静态编译的2进制文件,配合bin目录下的xml配置文件直接使用即可。
– 另外本项目相比较其他脚本开源项目,使用多线程进行同步,尤其在同步较大文件时,能够保证多个服务器实时保持同步状态。
– 本项目有出错处理机制,通过失败队列对出错的文件重新同步,如果仍旧失败,则按设定时长对同步失败的文件重新同步。
– 本项目自带crontab功能,只需在xml配置文件中开启,即可按您的要求,隔一段时间整体同步一次。无需再额外配置crontab功能。
– 本项目socket与http插件扩展,满足您二次开发的需要。

为什么要用Rsync+sersync架构

– sersync是基于Inotify开发的,类似于Inotify-tools的工具
– sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。

Rsync+Inotify-tools与Rsync+sersync区别

1. Rsync+Inotify-tools
– Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
– rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。
2. Rsync+sersync
– sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;
– rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。

注:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。

环境约定

服务端配置:
– 系统版本:Centos7
– IP地址:192.168.148.128
– 主机名:labs-1

客户端配置:
– 系统版本:Centos7
– IP地址:192.168.148.129
– 主机名:labs-2

– 测试同步目录:/var/www/html

配置前准备

以下操作在所有服务器上面都要配置
1.关闭防火墙及SELINUX

2.安装rsync

服务端配置

服务端仅需要配置rsync,并保证rsync正常运行即可。
1.增加开机启动

2.修改rsync.conf配置文件

3.创建rsyncd.password文件

4.启动rsync服务

客户端配置

客户端上面只需要保证rsync命令可用即可,无需启动rsync服务。
1.创建rsyncd.password文件,需要说明的是客户端的rsyncd.password文件中只需要写密码即可。(此处是坑,需要注意。)

2.首先来测试一下rsync是否正常使用。我们把测试同步目录(/var/www/html)下面的数据同步到服务端。

确认上述操作成功之后,开始配置sersync。

2.配置sersync

此时,客户端上面的/var/www/html下面的文件如果有变动的话,sersync会自动把变动的数据同步到服务端的。
附件:rsync配置笔记.txt

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注