js333 > 计算机互联网 > inotify实现数据的实时备份,inotify实时数据的同步

原标题:inotify实现数据的实时备份,inotify实时数据的同步

浏览次数:99 时间:2019-11-06

一、rsync+inotify的组合为什么会出现??

rsync的优点与不足

在前面的博文中,我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份。

rsync缺陷:

与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

一、rsync的优点与不足  与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。
 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

1、由于rsync在实施大量数据备份时,工作方式是扫描整个数据文 件,其实发生更改  的只是一小部分,导致过多的占用系统资源。

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

二、 初识inotify  Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

2、rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据  可能出现不一致,无法在应用故障时完全的恢复数据。

inotify介绍

三、 安装inotify工具inotify-tools  由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify:
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
总计 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools了。
可以到下载相应的inotify-tools版本,然后开始编译安装:
[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz
root@localhost  ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。
inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

inotify优点:

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。

四、 inotify相关参数 inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。下面分别做简单介绍。
    /proc/sys/fs/inotify/max_queued_evnets    
       表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
    /proc/sys/fs/inotify/max_user_instances
        表示每一个real user ID可创建的inotify instatnces的数量上限。
    /proc/sys/fs/inotify/max_user_watches
        表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。 rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

在前面我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

五、 inotifywait相关参数 Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:
? -m, 即--monitor,表示始终保持事件监听状态。
? -r, 即--recursive,表示递归查询目录。
? -q, 即--quiet,表示打印出监控事件。
? -e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。
更详细的请参看man  inotifywait。

利用inotifywait监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

安装inotify和inotify-tools工具

金沙js333娱乐场 1

利用inotify+rsync实现Linux文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify。

inotify-tools+rsync实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

检测系统是否支持inotify

rsync同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

#Linux shell

二、安装inotify工具inotify-tools并简单解释基本用法   
    1、安装inotify得条件:内核版本必须得在2.6.13以上的版本才支持。   
    2、判断当前版本是否支持安装inotify   
        # uname -r   
        2.6.32-431.el6.x86_64 (看下内核版本)   
        或   
        # ll /proc/sys/fs/inotify(看下有没有下面这三个文件如果有则说明支持inotify)   
        total 0   
        -rw-r--r-- 1 root root 0 Aug 17 12:03 max_queued_events   
        -rw-r--r-- 1 root root 0 Aug 17 12:03 max_user_instances   
        -rw-r--r-- 1 root root 0 Aug 17 12:03 max_user_watches   
    3、安装inotify   
        (1)编译安装   
            下载源码包:   
            #tar xf inotify-tools-3.14.tar.gz   
            #cd inotify-tools-3.14   
            #./conifgure   
            #make && make install               
            # ll /usr/local/bin/inotifywa*(查看下是否生成了这两个文件)   
            -rwxr-xr-x 1 root root 44271 Aug 17 12:15 /usr/local/bin/inotifywait   
            -rwxr-xr-x 1 root root 41361 Aug 17 12:15 /usr/local/bin/inotifywatch   
        (2)yum安装   
            #yum install inotify-tools   
                (这里不做说明)   
        这里对生成的inotifywait和inotifywatch作下说明   
            inotify-tools安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。   
            inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息   
    4、 inotify相关参数   
        inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。下面分别做简单介绍。   
            /proc/sys/fs/inotify/max_queued_evnets   
              表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。   
            /proc/sys/fs/inotify/max_user_instances   
                表示每一个real user ID可创建的inotify instatnces的数量上限。   
            /proc/sys/fs/inotify/max_user_watches   
                表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:   
            echo 30000000 > /proc/sys/fs/inotify/max_user_watches   
    5、 inotifywait相关参数   
        Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:   
        -m, 即--monitor,表示始终保持事件监听状态。   
        -r, 即--recursive,表示递归查询目录。   
        -q, 即--quiet,表示打印出监控事件。   
        -e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。   

uname -a

更多详情见请继续阅读下一页的精彩内容: http://www.linuxidc.com/Linux/2014-08/105851p2.htm

Linux localhost 3.2.0-4-amd64 #1 SMP Debian 3.2.57-3 x86_64 GNU/Linux #内核大于2.6.13是支持的

金沙js333娱乐场 2

ll /proc/sys/fs/inotify

总用量 0

-rw-r--r-- 1 root root 0  5月 19 20:02 max_queued_events

-rw-r--r-- 1 root root 0  5月 19 20:02 max_user_instances

-rw-r--r-- 1 root root 0  5月 19 20:02 max_user_watches

如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools了。

安装inotify-tools

Debian系统

apt-get install inotify-tools

CentOS系统

yum install inotify-tools

源码方式

请到

ll /usr/bin/inotifywa*

inotify-tools安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。

inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

inotify参数介绍

inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。

cat /proc/sys/fs/inotify/max_queued_evnets

表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。

cat /proc/sys/fs/inotify/max_user_instances

表示每一个real user ID可创建的inotify instatnces的数量上限。

cat /proc/sys/fs/inotify/max_user_watches

表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:

echo 30000000 > /proc/sys/fs/inotify/max_user_watches

inotifywait相关参数

Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:

•-m, 即–monitor,表示始终保持事件监听状态。

•-r, 即–recursive,表示递归查询目录。

•-q, 即–quiet,表示打印出监控事件。

•-e, 即–event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。

更多详细参数请查看手册。

man  inotifywait #查看手册

--------------------------------------分割线

Rsync+inotify实现Git数据实时同步备份 http://www.linuxidc.com/Linux/2014-10/108298.htm

Rsync实现文件备份同步详解 http://www.linuxidc.com/Linux/2014-09/106967.htm

Rsync同步两台服务器 http://www.linuxidc.com/Linux/2014-09/106574.htm

CentOS 6.5下Rsync远程同步 http://www.linuxidc.com/Linux/2014-05/101084.htm

Ubuntu Linux下用Rsync进行数据备份和同步配制 金沙js333娱乐场 ,http://www.linuxidc.com/Linux/2014-03/97592.htm

Linux使用Rsync客户端与服务端同步目录进行备份 http://www.linuxidc.com/Linux/2014-02/97068.htm

Rsync 的详细介绍:请点这里
Rsync 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-02/112890.htm

金沙js333娱乐场 3

本文由js333发布于计算机互联网,转载请注明出处:inotify实现数据的实时备份,inotify实时数据的同步

关键词:

上一篇:没有了

下一篇:金沙js333娱乐场:的并行控制与数据存取冲突侦测