Linux当中的Sersync实时同步服务及其实战举例
创始人
2024-05-02 01:16:46
0

目录

一、实时同步

1.定义

2.原理

3.实时同步场景

4.实时同步工具

(1)sersync

(2)Lysncd

二、实时同步实例

1.环境规划

2.配置思路

NFS存储服务如下:

(1)安装NFS

(2)配置NFS

(3)根据配置创建用户、目录以及授权

(4)启动NFS

4.配置Web服务

web服务器操作如下

(1)安装httpd、php

(2)配置httpd进程运行的身份(最好是和NFS的匿名用户保持一致)

(3)客户端挂载

(4)上传程序代码

(5)启动

(6)修改上传大小并重启服务(扩展项)

5.配置备份服务

备份服务器操作如下:

(1)安装Rsync

(2)配置rsync

(3)根据配置准备对应的用户、目录、权限

(4)重启Rsync

6.配置实时同步

NFS服务器操作如下

(1)安装sersync

(2)配置sersync

7.启动sersync,若需要同步多个目录,那么需要编写多个配置文件并启动

8.启动serync后一定要提取同步命令,手动运行一次,检查是否存在错误

9.停止sersync

10.使用lsyncd工具进行实时同步

(1)安装sersync、lsyncd

         (2)配置lsyncd、监控本地目录、触发则立即同步

(3)创建密码文件

11.平滑迁移场景

(1)NFS和backup两台服务器应该保持一致(NFS权限,共享目录)

         (2)启动NFS服务

         (3)修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

(4)进行一次数据推送,然后模拟NFS故障(挂起虚拟机)


 

一、实时同步

1.定义

只要当前目录发生变化则会触发一个时间,事件触发后将变化的目录同步至远程服务器。

2.原理

需要借助Inotify通知接口,用来监控本地目录的变化,若监控本地的目录发生变更,则触发动作,这个动作可以是进行同步操作,或其他操作

3.实时同步场景

(1)解决NFS单点故障,保证同步的数据连续性。NFS——Backup

(2)本地无缝迁移云端

4.实时同步工具

(1)sersync

是国人基于rsync+inotify基础之上开发的工具,强化了实时监控,文件过滤,简化配置等功能,帮助用户挺高运行效率,节省时间和网络资源。

(2)Lysncd

是一款开源的数据实时同步工具,基于inotify和rsync基础之上开发的,主要用于的网站备份,网站搬家等等

二、实时同步实例

1.环境规划

角色

外网

内网

工具

web01

eth:10.0.07

eth1:172.16.1.7

httpd,php

nfs-sever

eth0:10.0.0.32

eth1:172.16.1.32

nsf,sersyn

backup

eth0:10.0.0.31

eth1:172.16.1.31

rsync-server

2.配置思路

1.模拟用户通过程序上传视频至web,实际是写入至nfs服务器中

2.在备份服务器上新增data 模块,便于nfs的数据实时同步至备份服务器的 data 模块

3.配置sersync实时同步,将nfs的数据实时的同步到备份服务器/data目录

3.配置NFS存储

NFS存储服务如下:

(1)安装NFS

yum install nfs-utils -y

(2)配置NFS

[root@nfs ~] cat /etc/exports /data 
172.16.1.0/24(rw,sync,all_squash,anonuid=66 6,anongid=666)

(3)根据配置创建用户、目录以及授权

[root@nfs ~] groupadd -g666 www [root@nfs ~]# useradd -u666 -g666 www 
[root@nfs ~] mkdir /data [root@nfs ~]# chown -R www.www /data

(4)启动NFS

[root@nfs ~] systemctl restart nfs-server[root@nfs ~] sysytemctl enable nfs-server

4.配置Web服务

web服务器操作如下

(1)安装httpd、php

[root@web01 ~] yum install httpd php -y

(2)配置httpd进程运行的身份(最好是和NFS的匿名用户保持一致)

[root@web01 html] sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf[root@web01 htm1] sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf

(3)客户端挂载

[root@web01 ~] mount -t nfs 172.16.1.32: /data /var/www/html

(4)上传程序代码

[root@web01 ~] cd/var/www/html/[root@web01 html] wget http://cdn.xuliangwei.com/kaoshi.zip[root@web01 htm7]  unzip kaoshi.zip

(5)启动

[root@web01 ~] systemctl start httpd

(6)修改上传大小并重启服务(扩展项)

[root@web01 ~] vim /etc/php.ini 
upload_max_filesize = 200M;
post_max_size = 200M; [root@web01 ~] systemctl restart httpd

5.配置备份服务

备份服务器操作如下:

(1)安装Rsync

yum install rsync -y

(2)配置rsync

[root@backup ~] cat /etc/rsyncd.confuid = wwwgid = wwwport = 873fake super = yesuse chroot = nomax connections = 200timeout = 600read only = falselist = trueauth users = rsync_backupsecrets file = /etc/rsync.passwdlog file = /var/log/rsyncd.log#####################################[backup]path /backup[data]path = /data

(3)根据配置准备对应的用户、目录、权限
 

[root@backup ~] groupadd -g666 www
[root@backup ~] useradd -u666 -g666 www
[root@backup ~] cat /etc/rsync.passwd rsync_backup:123456
[root@backup ~] chmod 600 /etc/rsync.passwd
[root@backup ~] mkdir -p /data /backup
[root@backup ~] chown -R www.www /data/ /backup/

(4)重启Rsync

systemctl restart rsync

6.配置实时同步

NFS服务器操作如下

(1)安装sersync

yum install rsync inotify-tools -y
[root@nfs ~] wget https://raw.githubusercontent.com/wsgzao/se rsync/master/sersync2.5.4_64bit_binary_stab le_final.tar.gz 
[root@nfs ~] tar xf sersync2.5.4_64bit_binary_stable_final.tar. gz 
[root@nfs ~] mv GNU-Linux-x86/ /usr/local/sersync

(2)配置sersync

[root@nfs01 tools] cd /usr/local/sersync/
[root@nfs01 sersync] cp confxml.xml confxml.bak 
[root@nfs01 sersync] vim confxml.xml[root@nfs01 sersync] vim confxml.xml 
5  6   
7  
8  
9.  
10  
11  
12   
13  
14  
15  
16  
17  
18  
19  
20  
21 23  
24   
25  
28  29   
30  
31  
32  
33  
36  

7.启动sersync,若需要同步多个目录,那么需要编写多个配置文件并启动

[root@nfs ~] /usr/local/sersync/sersync2 dro /usr/local/sersync/confxml.xml

8.启动serync后一定要提取同步命令,手动运行一次,检查是否存在错误

[root@nfs ~] cd /data && rsync -az -R delete ./ --timeout=100 rsync_backup@172.16.1.31::data --password- file=/etc/rsync.pass

9.停止sersync

[root@nfs data] pkill sersync

10.使用lsyncd工具进行实时同步

(1)安装sersync、lsyncd

yum install rsync inotify-tools lsyncd -y

(2)配置lsyncd、监控本地目录、触发则立即同步

[root@nfs ~] cat /etc/1syncd.conf 
settings { logfile = "/var/log/1syncd/1syncd.log", statusFile = "/var/log/1syncd/1syncd.status",inotifyMode = "CloseWrite", maxProcesses = 8, 
} 
sync 
{default.rsync, source = "/data", target = "rsync_backup@172.16.1.31::data", delete= true, delay = 1 -同步事件时间1s rsync= { binary = "/usr/bin/rsync", archive = true, compress = true, verbose = true, password_file = "/etc/rsync.pass" _extra = {"--bwlimit=200"} } 
} [root@nfs ~] echo "123">/etc/rsync.pass

(3)创建密码文件

[root@nfs ~] chmod 600 /etc/rsync.pass 
[root@nfs ~] systemctl start lsyncd.service

11.平滑迁移场景

当NFS出现故障时,如何进行快速切换,尽量不影响服务

(1)NFS和backup两台服务器应该保持一致(NFS权限,共享目录)

[root@backup ~] yum install nfs-utils -y 
[root@backup ~] rsync -avz root@172.16.1.32:/etc/exports /etc/ 
[root@backup ~] groupadd -g 666 www 
[root@backup ~] useradd -u666 -g666 www

(2)启动NFS服务

[root@backup ~] systemctl start nfs-server

(3)修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

[root@backup ~] vim /etc/rsyncd.conf uid=www gid = www 
[root@backup ~] chown -R www.www /data/ backup/

(4)进行一次数据推送,然后模拟NFS故障(挂起虚拟机)

在Web上实现平滑迁移,卸载NFS的/data目录,重新挂载bcakup服务的/data目录

[root@web01 ~] umount -1f /var/www/html/ && mount -t nfs 172.16.1.31: /data /var/www/html/

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...