The Go Blog

KVM Virtualization in KT.

bantana and vm1 vm2 vm3 vm4 vm5 vm6
6 September 2014

nginx (HA)

vm1-nginx1
vm2-nginx1

netty-nginx

vm3-netty-nginx

netty

vm1-netty
vm2-netty

tomcat(memcache实现session同步)

vm1-tomcat1
vm2-tomcat1
vm3-tomcat1
vm4-tomcat1
vm5-tomcat1
vm6-tomcat1

openfire(使用CM进行连接管理 )

vm1-cm1
vm2-cm1
vm3-cm1
vm4-cm1
vm5-cm1
vm6-cm1
vm4-openfire

redis

vm1-redis1
vm2-redis1
vm3-redis1

memcache

vm4-mc1
vm5-mc1
vm6-mc1

mongodb1

vm5-mongodb1
vm6-mongodb1

vm1
vm1-nginx1
vm1-tomcat1
vm1-redis1
vm1-netty1
vm1-cm1

vm2
vm2-nginx1
vm2-tomcat1
vm2-redis1
vm2-netty1
vm2-cm1

vm3
vm3-tomcat1
vm3-mysql1
vm3-redis1
vm3-netty-nginx
vm3-cm1

vm4
vm4-tomcat1
vm4-mysql1
vm4-mc1
vm4-cm1
vm4-openfire
vm4-cm1

vm5
vm5-tomcat1
vm5-mc1
vm5-mongodb1
vm5-cm1

vm6
vm6-tomcat1
vm6-mc1
vm6-mongodb1
vm6-cm1


vm1             2*6core/cpu     64G     disk    network      note
vm1-nginx1      4 core          4G      40G     wan+lan      a few static web site + logfile,nginx主要是静态文件和路由,对cpu和内存要求不高
vm1-tomcat1     4 core          8G      40G     lan          计算+日志
vm1-redis1      1 core          12G     10G     lan          不使用磁盘持久化,redis只能利用1个core
vm1-cm1         2 core          4G      10G     wan+lan      用于管理openFire连接
                11 core         34G     140G    2wan+5lan
                +1 core

vm2             2*6core/cpu     64G     disk    network      note
vm2-nginx1      4 core          4G      40G     wan+lan
vm2-tomcat1     4 core          8G      40G     lan
vm2-redis1      1 core          12G     10G     lan
vm2-netty1      4 core          6G      40G     lan
vm2-cm1         2 core          4G      10G     wan+lan       用于管理openFire连接
                15 core         34G     140G    2wan+5lan
                -3 core

vm3             2*6core/cpu     64G     disk    network      note
vm3-tomcat1     4 core          8G      40G     lan
vm3-redis1      1 core          12G     10G     lan
vm3-netty-nginx 4 core          4G      40G     wan+lan
vm3-cm1         2 core          4G      10G     wan+lan       用于管理openFire连接
                11 core         48G     400G    2wan+4lan
                +1 core

vm4             2*6core/cpu     64G     disk    network      note
vm4-tomcat1     4 core          8G      40G     lan
vm4-mc1         1 core          8G      10G     lan
vm4-cm1         2 core          4G      10G     wan+lan      用于管理openFire连接
vm4-netty1      4 core          6G      40G     lan
                11 core         36G     360G    1wan+4lan
                +1 core

vm5             2*6core/cpu     64G     disk    network      note
vm5-tomcat1     4 core          8G      40G     lan
vm5-mc1         1 core          8G      10G     lan
vm5-cm1         2 core          4G      10G     wan+lan
vm5-Dataserver1 4 core          16G     30G     lan          查价数据计算程序
                15 core         52G     490G    1wan+5lan
                -3 core

vm6             2*6core/cpu     64G     disk    network      note
vm6-tomcat1     4 core          8G      40G     lan
vm6-mc1         1 core          8G      10G     lan
vm6-mongodb1    4 core          16G     400G    lan
vm6-cm1         2 core          4G      10G     wan+lan      用于管理openFire连接
vm6-openfire    4 core          16G     20G     lan          openfire服务
                15 core         52G     48G     1wan+5lan
                -3 core

vm7             2*6core/cpu     64G     disk    network       note
vm7-mysql1      4 core          16G     300G    lan

vm8             2*6core/cpu     64G     disk    network       note
vm8-mysql1      4 core          16G     300G    lan

vm9             2*6core/cpu     64G     disk    network       note
vm9-mongodb1    4 core          16G     400G    lan

vm10            2*6core/cpu     64G     disk    network       note
vm10 backup

资源:

network:

wan ip : 9 公网ip需要9个
lan ip :

cpu:

超过 14 core (按6core/cpu,至少还需要6颗cpu(每机器2*6core/cpu)),选6core/cpu是目前性价比最好的配置。

内存:

mysql和mongodb内存是否足够,数据库要求索引文件全部在内存中, 还有尽量多的内存用于提供热数据,

静态备份机器:

日志服务器:

我们是有单独的日志服务器,所以每台服务器的磁盘空间不大;

监控服务器:

服务器采购:

dell R720 or R720xd:

cpu:

  2*6core/cpu(E5-2620) cpu 6core,每颗cpu价格比2602 4core的公开报价多2300元左右,(我一般是按公开报价的4.5~6.5折算),这个信价比较高;8 core 的cpu每颗公开报价多1万多,这个就不推荐了.

硬盘:

  数据库磁盘选15k rpm,300GB,600GB可选;

  非数据库选10k rpm,300GB,600GB,900GB可选;

  备份的可选7.2k rpm, 500GB, 1TB可选,也可选10k rpm的,但是价格相差1倍。

内存:

  64G 最小, 可选 x4 带宽的8G, 16G ; 或者 x8 带宽的4G, 8G, 容量价格一样,不同的是x4带宽的内存总量可以提升很大,如果内存总量不超过64G,选x8带宽的8G,用8条组成64G,或者x4带宽 16G ,6条,组成96G x4带宽内存,这2种组合再增加内存条都需要上双电源,上双电源就不划算了,大部分建议你选64G 8G*8 (x8带宽),redis,memecached(建议你选96G (4x)16G *6 );

iDRAC7 Enterprise (务必选上,这个很重要)远程管理卡;

dell R720

标准服务器6台: cpu: 2*E5-2620 cpu ram: 64G(x8带宽,8*8G) disk: 8*300G(10k rpm)(raid5+1hotspare or raid6) ((8-2)*300=1.8T磁盘空间) idrac7 enterprise PERC H710p 集成RAID控制器, 1GB NV 缓存, 迷你型 去掉pdu/ups线缆,选1根墙壁电源线缆 不要双电源,这个配置单电源足够;

数据库4台: cpu: 2*E5-2620 cpu ram: 64G(x8带宽,8*8G) disk: 8*300(15K rpm) (磁盘写优化:2*4 raid10 有效数据空间1.2T[4倍写性能 , 4倍读性能], 读优化:7 raid 5 + 1 hotspare,有效数据空间1.8T[1.5倍写性能,6倍读性能]) idrac7 enterprise PERC H710p 集成RAID控制器, 1GB NV 缓存, 迷你型 去掉pdu/ups线缆,选1根墙壁电源线缆 不要双电源,这个配置单电源足够

你可以要求dell调整成后面的disk配置,以前是可以这么做,现在估计要问一下dell方, disk(146G 15K or 300G 10k)+2组成raid1 系统盘+上面的8*300(15k rpm)组成数据盘;

R720xd:

静态备份(日志存储和处理)服务器 1台:(初期可选,正常业务开始的时候这个是必选的)

cpu: 2*E5-2620 cpu
ram: 64G(x8带宽,8*8G) (或者96G(x4带宽, 6*16G))
disk: 8*1T or 24*1T
idrac7 enterprise
PERC H710p 集成RAID控制器, 1GB NV 缓存, 迷你型
去掉pdu/ups线缆,选1根墙壁电源线缆
内存是96G or 24*1T磁盘的时候要双电源,

你可以要求dell调整成后面的disk配置,disk(146G 15K or 300G 10k)+2组成raid1 系统盘+上面的disk配置组成数据盘;

网络设备采购:

cisco 48口千兆无阻塞2层交换机选购3台: 1台外网, 1台内网,1台iDRAC 7网络

cisco WS-C2960S-48TD-L 交换机 2个万兆光口(Catalyst 2960S 48 GigE, 2 x 10G SFP+ LAN Base) (新款)

或者:

WS-C2960S-48TS-L 48口千兆,4个1GSFP光口(这个是老款,性能是足够,唯一问题是以后上联只有4个1G的光口,上面的有2个10G的光口;

上面2种型号都可以,问一下报价,选一种就可以了;下面这种价格在8k左右,上面的在13k左右;

Related articles