yield-bytes

沉淀、分享与无限进步

VMware虚拟化——基于VCSA6.7搭建生产可用小型服务器集群(非共享存储方式)

项目背景:

  使用VMware做高可用集群的前提是服务器连接共享存储(当然VMware高level许可证以及网络都要保证),这种方式可以开启VM最惊艳的高可用功能:HA、DRS、FT,VM直接在PAAS层提供高可用,无需应用虚拟机配置。但也有一些特殊场景,不需要用HA、DRS、FT,服务器不连接共享存储,该业务仅是借助了VMware虚拟化技术,将多台独立带存储的物理机虚拟化后用VCSA6.7统一管理,这种业务中的虚拟机里跑的应用自带主备配置,分别在主ESXi开启主虚拟机,在备ESXi开启备虚拟机,在应用里面配置好master-slave,通过应用层实现的“应用层高可用”,物理层网络和物理服务器互相独立。

架构图如下:

img非共享存储服务器集群虚拟化后的大致架构图

点击并拖拽以移动

1、服务器物理位置

  机框1放置主服务器,机框2放置备服务器,两台构成主备虚拟化物理华三交换机可放置与机框1底下,或者放置到旁边位置(位置放太远不方便服务器网线连接交换机),参考第二点图:

2、物理链路连接

拓扑图拓扑图

点击并拖拽以移动

(1)以机框1的物理服务器1为例,服务器一般配置4个物理网卡,eth0、eth1为业务网口,eth2作为管理ESXi网络网口,将eth0连至主交换机端口,将eth1连至备交换机端口,服务器1与上联接入层两台交换机构成链路冗余,也即两台交换机其中一台停机,或者服务器两个网口其中一个网口配置出错等,业务口都可冗余物理连接。

(2)eth2作为ESXi的管理口,连接至主接入层交互机,管理口冗余,避免过多占用网口和交互机端口(例如以华三某较为高端二层48端口,减去主备虚拟化IRF2个端口+上联连至核心交互机1个端口,还剩45个端口,若一台物理服务器使用两个管理口,再加两个业务口,可提供11台服务器连接(一个机框可放置服务器的数量也就是12台这样),若服务器仅用三个网口,可连15台服务器),按实际工作上配置的三个网口,两台48端口接入层交换机,可连接三个机框的服务器,数量大致为30台高度为2个U的服务器。

(3)接入层主交换机上联连至上联主核心交换机trunk端口,接入备交换机上联连至上联备核心交换机trunk端口,并配置两个trunk端口为聚合端口,实现接入层与核心层交换机构成冗余连接

(4)所有的物理连接都统一采用千兆电口,六类网线连接

3、交换机IRF配置(又称堆叠,交换机虚拟化)

  服务器上联交换机(业务接入层交换机)做了虚拟化后,相当于主备模式,当将主业务端口绑定到对应备交换机端口,那么交换机侧不仅实现主备模式,还实现负载均衡,流量叠加(跨交换机链路聚合),实现下联服务器集群在二层物理连接的高可用,生产已使用。此外,通过将业务接入层交换机接入到上联的核心交换机,实现连接更多的物理服务器

  以两台华三某系列交换机为例,配置前提条件:支持irf,相同型号交换机,相同os版本

主备交换机物理链路连接。这里以23、24为千兆光口为连接说明,使用多模纤850交叉连接

img

点击并拖拽以移动

配置过程:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 # 设置主交换机成员号1
(1)irf member 1 renumber 1

# 设置本交换机优先级,值大优先级越高,越有可能成为master
(2) irf member 1 priority 20
(3) shutdown需要irf的物理端口23/24口

#创建虚拟化逻辑端口 1/1表示 member=1/portID=1 并把23和24口加入(绑定)该逻辑端口
(4) irf-port 1/1
port group interface 23
port group interface 24
“”“
这里需要注意:主sw使用irf-port 1/1,那么在备sw必须使用irf-port 2/2,也即portID必须互为不 同,否则irf报错,提示portID冲突,无法建立irf环境,
主sw的irf-port 1/1对应备sw的irf-port 2/2
或主sw的irf-port 1/2 对应备sw的irf-port 2/1,
不能Irf-port 1/1 搭配Irf-port 2/1 或者Irf-port 1/2 搭配Irf-port 2/2
”“”
(5)开启irf的23、24物理端口,并save保存配置

#激活irf配置,并重启
(6) irf-port-configuration active

# 备sw的配置过程同上,不同的地方
(1) 成员号配置为2,备sw交换机的端口前缀从默认的1/0/~变为2/0/~(若有第三台,配置为3,端口前缀变为3/0/~,这个成员号配置是sw堆叠后,方便区别端口是属于哪台sw)
(2) sw的优先级配为10,比主sw的低
(2) 因主sw的逻辑端口配为irf-port 1/1,故备sw需配置为irf-port 2/2

# 最后优化irf配置
undo irf mac-address persistent
irf auto-update enable
undo irf link-delay

查看irf状态 dis irf
MemberID Role Priority CPU-Mac Description
*+1 Master 20 00f0-a31p-6t02 ---
2 Standby 10 00f0-a31p-6t03 ---

查看irf端口状态
Member 1
IRF Port Interface Status
1 GigabitEthernet1/0/23 UP
GigabitEthernet1/0/24 UP
2 disable --
Member 2
IRF Port Interface Status
1 disable --
2 GigabitEthernet2/0/23 UP
GigabitEthernet2/0/24 UP

点击并拖拽以移动

4、每台物理服务器存储配置

  生产数据安全需优先,对每台物理服务器存储(SAS硬盘)配置RAID1,牺牲了一部分读写速度,这里RAID1的配置有个注意的地方,如果server提供的是非多媒体图片、视频等业务,读写都是“小块数据类”,那么RAID1 initial化stride设为最小256kb,若server提供的为图片、视频等业务,读写都是“大块数据类”,那么RAID1 initial化stride设为最大1024kb,以优化RAID的读写速度。

5、业务网段和管理网段分开

  在第二部分的物理链路拓扑图可以看到,数据链路和管理链路是分开的物理连接,实际使用场景中,一般会规划两个不同的网段使用,例如业务数据网段182.21.0.0/16,这个网段都是给vm虚拟机使用,网段大小可以自行根据vm数量规划,这里的掩码为16位,可以提供(2^{16}-2)个VM使用,当然实际场景,很多企业不可能达到这么大的主机数,掩码可以设/24;另外一网段则用于ESXI主机管理口,例如182.22.10.0/24。一般企业来说,ESXI主机数量不会太多,可以设一个掩码8位的小网段,可以提供254个ESXI服务器使用。