磁盘高可用解决方案(DBA).md

##机器1 Master-data1 
管理IP ：               ETH1:192.168.1.100/24
DRBD管理名称与挂载目录:  data /data
DRBD逻辑设备:           /dev/drbd0             #关键点
心跳连接以及数据同步：   ETH2:192.168.2.100/24  #不要配网关/也不要与局域网内其他机器起冲突
DRBD 存储设备：         /dev/sdb1
DRBD Meta设备：         /dev/sdb2[0]
虚拟IP(VIP) ：          ETH1:192.168.1.10


##机器2 Master-data2 
管理IP ：               ETH1:192.168.1.101/24
DRBD管理名称与挂载目录:  data /data
DRBD逻辑设备:           /dev/drbd0             #关键点 通过 逻辑设备写到磁盘里面
心跳连接以及数据同步：   ETH2:192.168.2.101/24  #不要配网关/也不要与局域网内其他机器起冲突
DRBD 存储设备：         /dev/sdb1
DRBD Meta设备：         /dev/sdb2[0]
虚拟IP(VIP) ：          ETH1:192.168.1.11


#推荐操作【把心跳地址写入/etc/hosts文件中】
192.168.2.100 Master-data1
192.168.2.101 Master-data2

1. 安装drbd以及磁盘分区,加载modproed内核
2. 配置资源文件（定义资料名称，磁盘，节点信息，同步限制等）
3. 将drbd加入到系统服务chkconfig --add drbd 
4. 初始化资源组 drbdadm create-md resource_name
5. 启动服务 service drbd start
6. 设置primary主机并同步数据
7. 分区、格式化/dev/drbd*
8. 一个节点进行挂载
9. 查看状态cat /proc/drbd

###### Step 1. 公共安装#########
service iptables stop                       //关闭iptables
setenforcing 0                                 //暂时关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux      //永久关闭selinux
ntpdate -u asia.pool.ntp.org # 时间同步

###### Step 2. drbd服务安装 (编译安装/yum安装)########
#drbd共有两部分组成：内核模块和用户空间的管理工具。
#其中drbd内核模块代码已经整合进Linux内核2.6.33以后的版本中，因此如果内核版本高于此版本的话，只需要安装管理工具即可；否则您需要同时安装内核模块和管理工具两个软件包，并且此两者的版本号一定要保持对应。
#yum 安装需要找到相应的源 
[[email protected]/2 drbd]$ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
[[email protected]/2 drbd]$ yum install https://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
#yum install https://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm (external link)
#keepcache = 1 yum配置文件就会保存下载的rpm
$ yum makecache
$ yum install kernel-devel kernel-header flex drbd84-utils kmod-drbd84  parted -y
Installed:
  drbd84-utils.i686 0:9.5.0-1.el6.elrepo              flex.i686 0:2.5.35-9.el6
  kernel-devel.i686 0:2.6.32-754.12.1.el6             kmod-drbd84.i686 0:8.4.11-1.el6_10.elrepo
Complete!  #表示安装成功
### 忽略以下内容
# 对应的内核模块的名字分别为 drbd-kmod
# 注意：drbd和drbd-kmdl的版本要对应；另一个是drbd-kmdl的版本要与当前系统的内核版本(uname -r)相对应。
#下载地址： http://www.rpmfind.net/linux/atrpms/el6-x86_64/atrpms/stable/
#          https://www.linbit.com/en/drbd-community/drbd-download/
# [[email protected] drbd]# wget https://www.linbit.com/downloads/drbd/utils/drbd-utils-9.6.0.tar.gz

############ Step3. 加载模块到内核 ###########
[[email protected]/2 ]$ modprobe drbd && lsmod | grep drbd  #临时生效,重启由需要添加 可用加入到 /etc/rc.local
drbd                  485533  0
libcrc32c                841  1 drbd
echo "modprobe drbd" >> /etc/rc.d/rc.local  #加载drbd到内核
echo "modprode drbd > /dev/null 2>&1" > /etc/sysconfig/modules/drbd.modules


####### Step4. 建立一个磁盘分区  #######
#【重要】需要VirtualBox为虚拟机添加一块磁盘 选择磁盘格式为 SCSI 分配 0.5 GB
主节点：512MB 
备节点：1024MB

[[email protected]/data2 ~]$ fdisk -l
Disk /dev/sda: 536 MB, 536870912 bytes
Disk /dev/sda: 1073 MB, 1073741824 bytes

# drbd服务 需要创建两个分区
/dev/sdb1  /data           存储数据目录           256MB / 768MB (数)
/dev/sdb2  mete data分区   存储drbd同步信息    总大小减去上面的大小

#注意：
1.这里的meta data 分区一定不能个数建立文件系统
2.分浩的分区现在不能进行挂载(mount)
3.生产环境中DRBD meta data 分区一般设置为1~2G

#【注意】 分区步骤 （注意如果 raid 磁盘阵列 超过2T 该命令不能使用 请是使用 parted）
[[email protected] ~]# fdisk /dev/sda
Command (m for help): p
Disk /dev/sda: 536 MB, 536870912 bytes
   Device Boot      Start         End      Blocks   Id  System
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1 #注意分区编号1
First cylinder (1-512, default 1): 1
Last cylinder, +cylinders or +size{K,M,G} (1-512, default 512): +256M

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 2  #注意这里是2
First cylinder (386-512, default 386): #默认回车即可
Last cylinder, +cylinders or +size{K,M,G} (386-512, default 512):

Command (m for help): p  #显示分区信息
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         385      394224   83  Linux   #存储数据 256
/dev/sdb2             386         512      130048   83  Linux   #drbd状态信息

w #分区写入

[[email protected] ~]$ fdisk /dev/sda  #同上
Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1          99      795186   83  Linux  #768M
/dev/sdb2             100         130      249007+  83  Linux  #缺省就行(回车)

$ partprobe #执行写入分区表刷新磁盘

####### Step5.[分区完成后可能需要重启] 下面不需要操作 ##########
# 在两端主机内创建分区： 出现5月 14 14:57:19 Mzabbix drbd[4097]: adjust disk: data:failed(apply-al:1)错误时候方法
# 数据区：     parted /dev/sda mklabel gpt && parted /dev/sdb mkpart logical ext4 700M 300M
#重读分区：  partprobe && cat /proc/partions
#数据盘/dev/sdb1进行格式化  #meta盘/dev/sdb2不用进行格式化直接挂载
[[email protected]/2 ~]$ mkfs.ext4 /dev/sda1   #执行的时候注意自己的磁盘名称(巨坑)
# tune2fs -c -1 /dev/sdb1  #让磁盘被被检测

#BACKUP 机器上,分区大小不同是有目的的，为后面的扩容做准备;
[[email protected] ~]$ fdisk -l #查看本地磁盘
[[email protected] ~]$ parted /dev/sdb mkpart primary 0 600
[[email protected] ~]$ parted /dev/sdb mkpart primary 600 1073
[[email protected] ~]$ parted /dev/sdb p
Number  Start   End     Size   File system  Name     Flags
 1      17.4kB  600MB   600MB               primary
 2      600MB   1073MB  473MB               primary

#对于新添加的磁盘快速分区方法
# echo -e "nnpnlnn+600Mnnnpn2nn+400Mnw" | fdisk /dev/sdb
partprobe #执行写入分区表刷新磁盘 #[重点]不重启系统添加磁盘并让kernel读取分区信息 yum -y install parted

########## Step 5. 默认配置文件与目录 ###############
global {
    usage-count no;  #是否参加DRBD使用者统计，默认是参加
}

common {
    protocol C;    
    startup {
        degr-wfc-timeout 240;
    }
    disk {
        on-io-error detach;
    }
    net { 
        cram-hmac-alg md5; #DRBD同步时使用的验证方式和密码
        shared-secret "testdrbd";
    }
    syncer {
        rate 100M;      #主节点和备用节点同步时最大的网络速率 工作中是100M~1000M
        verify-alg crc32c; #验证算法
    }
}
#资源设置
resource data{
    disk {
        on-io-error detach;  #磁盘出现IO错误处理
    }
    #两台主备节点配置 (关键点)
    on Mzabbix {
        device /dev/drbd0;  #drbd写设备有自己对应的分区
        disk /dev/sdb1;        #本地数据分区1
        address  192.168.56.103:7788;  #心跳/数据传输接口 (建议把这个地址设置到hosts中改成心跳线的网卡)
        meta-disk /dev/sdb2[0];  #meta data数据分区2
    }
    on data2 {
        device /dev/drbd0;
        disk /dev/sdb1;
        address  192.168.56.102:7788;
        meta-disk /dev/sdb2[0];
    }
}

####### Step 6. 然后在两台机器都启动服务 ##########
#step0.建议先执行防止create-md失败
dd if=/dev/zero of=/dev/sdb{1..2} bs=1M count=100;sync

#Step1.初始化DRBD的metadat(Create Device metadata)
#创建提供DRBD记录的信息的metadata分区
$ drbdadm create-md data
New drbd meta data block successfully created. drbd
#也可单独创建resource资源名称直接用;drbdadm create-md all,其中all表示我们在drbd.conf里定义所有的资源名称;

#Step2.启动DRBD
/etc/init.d/drbd start
$ drbdadm up data
#或者采用$ drbdadm up all

#Step3.查看drbd状态
$ drbdadm status
    data role:Secondary
    disk:Inconsistent
    peer connection:Connecting

$ cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by [email protected], 2018-09-28 19:36:27
#看到drbd状态已经变化,此时状态是正确的 ro：Secondary/Secondary表示两端都是从,处于无主primary状态

#Step4.配置主从同步
#一个资源自能在一端执行同步数据到对端命令 ;将 Master-data1 服务同步到 Master-data2 分区中;
$ drbdsetup /dev/drbd0 primary --force  #设置主节点
#$ drbdadm  -- --overwrite-data-of-peer primary data
# 只是在Master-data1执行,如果从端为空数据直接执行
$ drbdadm primary data   #会自动开始同步数据 [主节点执行]

#Step5.同步模式查看
[[email protected]/2  ~]$ cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
 0: (连接状态)cs:Connected (角色)ro:Secondary/Primary ds(数据状态):UpToDate/UpToDate(同步状态) C r-----
    ns(网络发送):0 nr(网络接收):292952 dw(磁盘写):292952 dr(磁盘读):0 al(活动日志):16 bm():0 lo():0 pe():0 ua:0 ap:0 ep:1 wo:f oos:0  #正常情况下是一致的

[[email protected] ~]$ drbdadm status
data role:Primary
  disk:UpToDate
  peer role:Secondary  #对端角色name
    replication:Established peer-disk:UpToDate

#Step6.创建同步文件夹及挂载drbd分区
#drbd实例利用主备模式进行实时同步数据到从服务器上面(Master-data2):
[[email protected] ~]$ mkfs -t ext4 -b 4096 /dev/drbd0 #挂载前格式
[[email protected] ~]$ mkdir /drbddata
[[email protected] ~]$ mount /dev/drbd0 /drbddata/  #注意这里是drbd逻辑分区
[[email protected] ~]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/drbd0            256M  792K  709M   1% /drbddata  #挂载成功


#Step7. 测试是否能进行文件同步
[[email protected]  ]$ touch `seq 0 10`  #在主中进行建立文件测试
[[email protected] ~]$ drbdadm down data #由于是主备模式,必须down才能让您挂载物理分区
[[email protected] ~]$ mount /dev/sdb1 /mnt/  #注意从服务器上是挂载的sdb1
[[email protected] ~]$ ls /mnt/
0  1  10  11  12  13  14  15  16  17  18  19  2  20  3  4  5  6  7  8  9  lost+found
[[email protected] ~]$ umount /mnt/  #退出挂载
[[email protected] ~]$ drbdadm up data  #启动资源池
[[email protected] ~]$ df -h  #注意这里存在一个坑 明明有768但是只显示有256M可用（备节点-课后坐月）
/dev/sdb1             256M  792K  709M   1% /mnt

## MASTER 机器上
[[email protected] ~]$parted /dev/sdb mkpart primary 0 300  #300MB
Warning: The resulting partition is not properly aligned for best performance.
Ignore/Cancel? ignore
Information: You may need to update /etc/fstab.

[[email protected] ~]$parted /dev/sdb mkpart primary 300 536  #236MB
Warning: The resulting partition is not properly aligned for best performance.
Ignore/Cancel? ignore
Information: You may need to update /etc/fstab.

[[email protected] ~]$parted /dev/sdb p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 537MB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End    Size   File system  Name     Flags
 1      17.4kB  300MB  300MB               primary
 2      300MB   536MB  236MB               primary
 
#(1) 建立数据存储m目录
##--overwrite-data-of-peer 覆盖对端的数据
drbdadm  -- --overwrite-data-of-peer primary data  #设置data1为主
#drbd配置完成并启动后的效果 （data1 == 主 primary/ data2 = 从 Secondary）
$ cat /proc/drbd
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
[[email protected]/2 ~]$ mkdir /data -p #在启用drbd时候

#使用/dev/drbd0分区必须格式化她drbd
#[[email protected] ~]$ mkfs -t ext4 -b 4096 /dev/drbd0
#[[email protected] ~]$ mount /dev/drbd0 /data  #挂载
mkfs.ext4 /dev/drbd0 && mount /dev/drbd0/data       #只需将数据写入/dData，drbd即把其同步到backupNode的/dev/sda2（仅需挂载逻辑设备，不挂载其下层的分区而由DRBD后台挂载用）


#(2) 从库查看同步的数据 （这时重启格式化/dev/drbd0就没有数据注意备份）
[[email protected] ~]$ drbdadm down data      #【备节点必须执行down数据名称】
[[email protected] ~]$ mount /dev/sdb1 /mnt   #【备节点挂载 sdb1 到/mnt中国】
[[email protected] ~]$ ls  #查看数据 （注意不能写入数据）
[[email protected] ~]$ umount /mnt  #取消挂载
[[email protected] ~]$ drbdadm up data        #启动drbd备节点(重新进行同步)
# 补充：drbd可以自启动而heartbeat不用进行自启动


#（3）主备切换 （做HA高可用的时候）
[[email protected] ~]umount /mnt #先将主上面的磁盘卸载掉并降级
[[email protected] ~]drbdadm secondary data

[[email protected] ~]drbdadm primary data  #在备机上升级为主机
[[email protected] ~]mount /dev/drbd0 /mnt # 挂载磁盘

$ drbdadm up all  #相当于如下三个命令组合 all 代表所有的资源池
drbdadm attach all
drbdadm syncer all
drbdadm connnect all

$ drbdadm down all  #down掉所有的资源同步
$ drbdadm disconnect data  #断开data资源池的同步

$ drbdadm status  #查看drbd状态
$ drbdadm role 资源名   #查看节点的角色：

##--overwrite-data-of-peer 覆盖对端的数据
$ drbdadm  -- --overwrite-data-of-peer primary data #配置主从同步模式(主执行) 
$ drbdadm primary data #会自动开始同步数据(主节点运行)
$ drbdadm secondary data #会自动开始同步数据(从节点运行)

$ drbdadm -- --discard-my-data connect data  #重新连接资源池
$ drbd-overview   #查看同步状态

drbdsetup /dev/drbd0 primary --force #将drbd1主机配置为主节点：(node1)

输出文件上面最开始是drbd的版本信息，然后就是数据同步的一些状态信息：
cs — connection state
st — node state (local/remote)
ld — local data consistency
ds — data consistency
ns — network send
nr — network receive
dw — disk wr
ite
dr — disk read
pe — pending (waiting for ack)
ua — unack’d (still need to send ack)
al — access log write count


#资源的连接状态；一个资源可能有以下连接状态中的一种
StandAlone 独立的：网络配置不可用；资源还没有被连接或是被管理断开（使用 drbdadm disconnect 命令），或是由于出现认证失败或是脑裂的情况
Disconnecting 断开：断开只是临时状态，下一个状态是StandAlone独立的
Unconnected 悬空：是尝试连接前的临时状态，可能下一个状态为WFconnection和WFReportParams
Timeout 超时：与对等节点连接超时，也是临时状态，下一个状态为Unconected悬空
BrokerPipe：与对等节点连接丢失，也是临时状态，下一个状态为Unconected悬空
NetworkFailure：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
ProtocolError：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
TearDown 拆解：临时状态，对等节点关闭，下一个状态为Unconected悬空
WFConnection：等待和对等节点建立网络连接
WFReportParams：已经建立TCP连接，本节点等待从对等节点传来的第一个网络包
Connected 连接：DRBD已经建立连接，数据镜像现在可用，节点处于正常状态
StartingSyncS：完全同步，有管理员发起的刚刚开始同步，未来可能的状态为SyncSource或PausedSyncS
StartingSyncT：完全同步，有管理员发起的刚刚开始同步，下一状态为WFSyncUUID
WFBitMapS：部分同步刚刚开始，下一步可能的状态为SyncSource或PausedSyncS
WFBitMapT：部分同步刚刚开始，下一步可能的状态为WFSyncUUID
WFSyncUUID：同步即将开始，下一步可能的状态为SyncTarget或PausedSyncT
SyncSource：以本节点为同步源的同步正在进行
SyncTarget：以本节点为同步目标的同步正在进行
PausedSyncS：以本地节点是一个持续同步的源，但是目前同步已经暂停，可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
PausedSyncT：以本地节点为持续同步的目标，但是目前同步已经暂停，这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
VerifyS：以本地节点为验证源的线上设备验证正在执行
VerifyT：以本地节点为验证目标的线上设备验证正在执行

$vim /etc/drbd.d/global_common.conf

#在配置文件中global段仅出现一次，且若所有配置信息都保存至同一个配置文件中而不分开为多个文件的话则global段必须位于配置文件最开始处
    目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。
global {
    usage-count no;  #是否参加DRBD使用者统计，默认是参加
}


#用于定义被每一个资源默认继承的参数，可在资源定义中使用的参数都可在common定义。实际应用中common段并非必须但建议将多个资源共享的参数定义在common段以降低配置复杂度
common {
  protocol C; #使用DRBD的第三种同步协议，表示收到远程主机的写入确认后认为写入完成 (重点)
  handlers {　　　
    pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
    pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
    local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
  }
  startup {
    wfc-timeout          60;
    degr-wfc-timeout     60; #启动时连接资源的超时时间
    outdated-wfc-timeout 06;
  }
  disk {
    on-io-error detach; #磁盘出现IO错误处理
  }
  net { 
    cram-hmac-alg sha1;    #DRBD网络同步时使用的验证方式和密码
    shared-secret "testdrbd";
    max-buffers 2048;
    max-epoch-size 2048; 
  }
  #同步时的速率限制及数据的验证算法   
  syncer {
    rate 30M;      #主节点和备用节点同步时最大的网络速率 工作中是100M~1000M
    verify-alg crc32c; #验证算法
  }
}


#资源设置|主从模式 一个资源 / 还能添加资源就是 data2 / data3
#资源在定义时必须为其命名每个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义
resource data{
    meta-disk internal; #meta-data和数据存放在同一个底层
    #两台主备节点配置 (关键点)
    on data1 {
        device /dev/drbd0;  #drbd写设备有自己对应的分区
        disk /dev/sdb1;        #本地数据分区1
        address  192.168.2.100:7788;  #心跳/数据传输接口 (建议把这个地址设置到hosts中改成心跳线的网卡)
        meta-disk /dev/sdb2[0];  #meta data数据分区2
    }
    on data2 {
        device /dev/drbd0;  #drbd写设备有自己对应的分区
        disk /dev/sdb1;        #数据
        address  192.168.2.101:7788;  #心跳/数据传输接口
        meta-disk /dev/sdb2[0];  #meta data数据分区
    }
}


# 用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。
cat /etc/drbd.d/nfsdrbd.res
resource nfsdrbd {
       on pz142 {
              device /dev/drbd0;
              disk   /dev/vg1/lv1;
              address 192.168.1.142:7789;
              meta-disk internal;
       }
       on pz144 {
              device /dev/drbd0;
              disk   /dev/vg1/lv1;
              address 192.168.1.144:7789;
              meta-disk internal;
       }
}

0: Failure: (119) No valid meta-data signature found.
        ==> Use 'drbdadm create-md res' to initialize meta-data area. <==
Command 'drbdsetup-84 attach 0 /dev/sdb1 /dev/sdb2 0 --on-io-error=detach --resync-rate=30M' terminated with exit code 10

0: cs:WFConnection ro:Secondary(本端角色)/Unknown ds:Inconsistent/DUnknown(问题点) C r----s
    ns:0 nr:0 dw:0 dr:0 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:795188

##备用节点：
#b.主节点查看drbd状态如果 cs:WFConnection 不是该状态需要手动进行链接
[[email protected] pz142 ~]# drbdadm secondary r0
[[email protected] pz142 ~]# drbdadm disconnect all
[[email protected] pz142 ~]# drbdadm -- --discard-my-data connect r0

##主节点：
[[email protected] pz144 ~]# drbdadm disconnect al
[[email protected] pz144 ~]# drbdadm connect r0
[[email protected] pz144 ~]# drbdsetup /dev/drbd0 primary
[[email protected] pz144 ~]# mount /dev/drbd0 /data/

#c.cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C
drbdadm -- --overwrite-data-of-peer primary drbd   #

#原因由于/dev/drbd0 未进行初始
[[email protected] log]# mount /dev/drbd0 /data
mount: /dev/drbd0 is write-protected, mounting read-only
mount: unknown filesystem type '(null)'

#解决方法
mkfs -t ext4 -b 4096 /dev/drbd0