博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
配置 Rsync + inotify 实现文件服务器数据实时双向同步
阅读量:7105 次
发布时间:2019-06-28

本文共 3880 字,大约阅读时间需要 12 分钟。

Rsync 概述

Rsync 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,且采用优化的同步算法,在传输钱执行压缩,因此非常适用于异地备份、镜像服务器等应用。

 
Rsync 的官方网站是 ,由 Wayne Davison 进行维护。作为一种最常见的文件备份工具, Rsync 往往是 Linux 和 UNIX 系统默认安装的基本组件之一。
 

  • Rsync 的优点

    Rsync与传统的cp、tar备份方式相比,具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

  • Rsync 的缺点

    随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

inotify 概述

inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,Linux内核从2.6.13起,加入了inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。

 
 
Rsync可以实现触发式的文件同步,但是通过Crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而Inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发Rsync同步,这样刚好解决了同步数据的实时性问题。

部署环境

主机 操作系统 IP地址 用于同步的目录 主要软件包
Server1 CentOS 7.4 x86_64 192.168.125.117 /test rsync-3.0.9-18.el7.x86_64、inotify-tools-v3.14-8.le7.x86_64
Server2 CentOS 7.4 x86_64 192.168.125.118 /test rsync-3.0.9-18.el7.x86_64、inotify-tools-v3.14-8.le7.x86_64

开始部署

在此我们部署服务使主机 Server1 的数据推向主机 Server2 ,而双向同步即在此基础上在主机 Server2 上部署服务使数据推向主机 Server1 。至此,我们只要在两台服务器的任意一台更改数据都会同步到另外一台,从而实现双机同步。

数据从Server1上同步到Server2

  • 两台机器配置rsync服务(配置文件要修改为对方主机)
  • 安装Rsync软件包

    tar zxvf rsync-3.1.3.tar.gz -C /optcd /opt/rsync_3.1.3./configuremake && make install
  • 修改rsync配置文件

    # vim /etc/rsyncd.conf……省略部分信息……uid = nobodygid = nobodyuse chroot = yes                                  //禁锢在源目录address = 192.168.125.117                  //监听地址port 873                                                   //监听端口log file = /var/log/rsyncd.log                    //日志文件路径pid file = /var/run/rsyncd.pid                    //进程ID文件路径hosts allow = 192.168.125.0/24            //允许访问的客户机地址 [wwwroot]                                              //共享模块名称    path = /web1/wwwroot                           //源目录的实际地址comment = www.wzn.cn                 read only = no                                 //是否为只读    dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2      //同步时 不再压缩的文件类型auth users = web1user                           //授权账户secrets file = /etc/rsyncd_users.db       //存放账户信息的数据文件
    • 为备份账户创建数据文件、源目录
      # vim /etc/rsyncd_users.dbbackuper:abc123 # chmod 600 /etc/rsyncd_users.db# mkdir -p /web1/wwwroot# chmod 777 /web1/wwwroot# chown -R nobody:nobody /web1/wwwroot
  • 启动rsync,并加入系统自启动文件

    # rsync --daemon    #运行参数为--daemon# ps -ef | grep rsync# echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local
  • Rsync命令的基本用法

    • -a 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD。
    • -z 对备份的文件在传输时进行压缩处理。
    • -H 保留硬链结。
    • -D 保持设备文件信息。
    • -A 保留ACL属性信息
    • --delete 删除那些目标位置有而原始位置没有的文件。
    • --checksum 打开校验开关,强制对文件传输进行校验。
  • 安装inotify-tools(需要gcc、gcc-c++软件包支持)

    # tar zxvf inotify-tools-3.14.tar.gz -C /opt# cd /opt/inotify-tools-3.14# ./configure# make && make install
  • Inotify命令的基本用法

    • -m 表示持续监控
    • -r 表示递归整个目录
    • -q 简化输出信息
    • inotifywait 可监控: modify 修改、 create 创建、move 移动、delete 删除
  • 编写shell脚本配置内容发布节点

    # vim /web/inotifyrsync.sh #!/bin/bashhost1=192.168.125.117src=/web/wwwroot/dst1=web1user1=web1user/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src \| while read filesdo    /usr/bin/rsync -vzrtopg --delete --progress --password-file= /etc/rsyncd_users.db $src $user1@$host1::$dst1 > /dev/null 2>&1    echo "${files} was rsynced." >> /tmp/rsync.log 2>&1done
  • 为脚本指定可执行权限,放入后台执行,并加入系统自启动文件
chmod 755 /web/inotifyrsync.sh/web/inotifyrsync.sh &echo "/web/inotifyrsync.sh &" >> /etc/rc.local
  • 调整inotify内核参数

    # vim /etc/sysctl.conffs.inotify.max_queued_events = 16384    监控事件队列(16384)fs.inotify.max_user_instances = 1024    最多监控实例数(1024)fs.inotify.max_user_watches = 1048576   每个实例最多监控文件数(1048576)
  • 此时我们在Server1服务器上变更数据会在Server2上同步,此时我们使用同样的方法使Server2的数据及时同步到Server1服务器,即可实现双机同步。

转载于:https://blog.51cto.com/13625676/2288073

你可能感兴趣的文章
Class<T>和Class<?>之间有什么区别
查看>>
java开发手册
查看>>
002SilverFox的介绍(01)
查看>>
蓝牙1.1~5.0不同版本特性简介(技术扫盲贴)
查看>>
名词王国里的死刑(翻译) - A Story of Hello World
查看>>
跟我学网站开发框架CodeIgniter之url篇
查看>>
表格响应式布局
查看>>
ssh connect no route
查看>>
iOS GCD队列dispatch简单的使用
查看>>
ARM11 paltform驱动代码完成,最简单的测试直接在装载设备中运行,实现秒读
查看>>
IDEA导入tomcat时无法导入javax.servlet.http包
查看>>
【工具使用系列】关于 MATLAB 图像处理工具箱,你需要知道的事
查看>>
对于一个程序员来说,什么最重要
查看>>
Chromium的智能指针/引用计数/Callback/Bind
查看>>
VIM自动补齐括号和引号
查看>>
MATLAB imresize 函数和 OpenCV resize 函数结果不同
查看>>
屏蔽Chrome(webkit)中的input、textarea的默认点击/聚焦高亮的样式
查看>>
tar安装包,linux 配置jdk1.7 按照步骤做就行
查看>>
初试刀 浅谈Java和C#在面向对象上语法的区别
查看>>
qmake中使用 pkgconfig
查看>>