项目背景:
使用VMware做高可用集群的前提是服务器连接共享存储(当然VMware高level许可证以及网络都要保证),这种方式可以开启VM最惊艳的高可用功能:HA、DRS、FT,VM直接在PAAS层提供高可用,无需应用虚拟机配置。但也有一些特殊场景,不需要用HA、DRS、FT,服务器不连接共享存储,该业务仅是借助了VMware虚拟化技术,将多台独立带存储的物理机虚拟化后用VCSA6.7统一管理,这种业务中的虚拟机里跑的应用自带主备配置,分别在主ESXi开启主虚拟机,在备ESXi开启备虚拟机,在应用里面配置好master-slave,通过应用层实现的“应用层高可用”,物理层网络和物理服务器互相独立。
架构图如下:
非共享存储服务器集群虚拟化后的大致架构图
1、服务器物理位置
机框1放置主服务器,机框2放置备服务器,两台构成主备虚拟化物理华三交换机可放置与机框1底下,或者放置到旁边位置(位置放太远不方便服务器网线连接交换机),参考第二点图:
2、物理链路连接
拓扑图
(1)以机框1的物理服务器1为例,服务器一般配置4个物理网卡,eth0、eth1为业务网口,eth2作为管理ESXi网络网口,将eth0连至主交换机端口,将eth1连至备交换机端口,服务器1与上联接入层两台交换机构成链路冗余,也即两台交换机其中一台停机,或者服务器两个网口其中一个网口配置出错等,业务口都可冗余物理连接。
(2)eth2作为ESXi的管理口,连接至主接入层交互机,管理口冗余,避免过多占用网口和交互机端口(例如以华三某较为高端二层48端口,减去主备虚拟化IRF2个端口+上联连至核心交互机1个端口,还剩45个端口,若一台物理服务器使用两个管理口,再加两个业务口,可提供11台服务器连接(一个机框可放置服务器的数量也就是12台这样),若服务器仅用三个网口,可连15台服务器),按实际工作上配置的三个网口,两台48端口接入层交换机,可连接三个机框的服务器,数量大致为30台高度为2个U的服务器。
(3)接入层主交换机上联连至上联主核心交换机trunk端口,接入备交换机上联连至上联备核心交换机trunk端口,并配置两个trunk端口为聚合端口,实现接入层与核心层交换机构成冗余连接
(4)所有的物理连接都统一采用千兆电口,六类网线连接
3、交换机IRF配置(又称堆叠,交换机虚拟化)
服务器上联交换机(业务接入层交换机)做了虚拟化后,相当于主备模式,当将主业务端口绑定到对应备交换机端口,那么交换机侧不仅实现主备模式,还实现负载均衡,流量叠加(跨交换机链路聚合),实现下联服务器集群在二层物理连接的高可用,生产已使用。此外,通过将业务接入层交换机接入到上联的核心交换机,实现连接更多的物理服务器
以两台华三某系列交换机为例,配置前提条件:支持irf,相同型号交换机,相同os版本
主备交换机物理链路连接。这里以23、24为千兆光口为连接说明,使用多模纤850交叉连接
配置过程:
1 | # 设置主交换机成员号1 |
4、每台物理服务器存储配置
生产数据安全需优先,对每台物理服务器存储(SAS硬盘)配置RAID1,牺牲了一部分读写速度,这里RAID1的配置有个注意的地方,如果server提供的是非多媒体图片、视频等业务,读写都是“小块数据类”,那么RAID1 initial化stride设为最小256kb,若server提供的为图片、视频等业务,读写都是“大块数据类”,那么RAID1 initial化stride设为最大1024kb,以优化RAID的读写速度。
5、业务网段和管理网段分开
在第二部分的物理链路拓扑图可以看到,数据链路和管理链路是分开的物理连接,实际使用场景中,一般会规划两个不同的网段使用,例如业务数据网段182.21.0.0/16,这个网段都是给vm虚拟机使用,网段大小可以自行根据vm数量规划,这里的掩码为16位,可以提供()个VM使用,当然实际场景,很多企业不可能达到这么大的主机数,掩码可以设/24;另外一网段则用于ESXI主机管理口,例如182.22.10.0/24。一般企业来说,ESXI主机数量不会太多,可以设一个掩码8位的小网段,可以提供254个ESXI服务器使用。