【案例分享】如何利用京东云建设高可用业务架构

京东云开发者
• 阅读 663

作者:京东云 张久志

本文以2022年一个实际项目为基础,来演示在京东云上构建高可用业务的整个过程。公有云及私有云客户可通过使用京东云的弹性IAAS、PAAS服务,创建高可用、高弹性、高可扩展、高安全的云上业务环境,提升业务SLA,提升运维自动化水平,降低资源成本及运维成本。有业务迁移上云需求,希望构建云上高可用业务架构的客户或对云上高可用架构规划有兴趣的读者可以一看。

客户业务为典型的web应用,在京东云上创建一个通过公网IP/域名访问的高可用的web网站,包含通用应用的标准框架,包括访问接入层、APP层、缓存层、数据库层。整体业务架构设计提供可用区(AZ)级别的高可用等级。

本文演示场景包括单AZ出现故障导致的主机故障、数据库故障、缓存故障场景下,业务能够提供持续访问能力。并保障数据的完整性和一致性,同时,能够在无人干预的条件下,实现业务的弹性扩展,保障业务高并发的场景下有良好的响应时间。

说明:

本文的架构为演示架构,_并未严格遵循生产环境_的业务性能及安全的整体规划步骤及要求,在生产环境中,至少应该对主机及CFS的存储性能进行压测,确保能够满足实际业务需求,同时,通过域名访问的web服务,建议使用WAF等安全防护产品,保障业务的入口安全。

1、京东云高可用架构设计

业务架构以某单位的业务需求为基础,模拟其业务生产环境,规划京东云上的业务整体架构,其中, NAT网关、负载均衡、堡垒机均创建在公网访问子网,其余主机及数据库等,创建在内部子网内。

【案例分享】如何利用京东云建设高可用业务架构

其中应用主机使用高可用组创建, LB后端直接挂载高可用组。

使用高可用组的目标是实现业务高峰期故障时,计算资源能自动加入负载均衡后端,自动化扩展业务处 理能力。减少运维干预成本。

2、资源需**求(所有IPURL均调整为非真实IP**URL

【案例分享】如何利用京东云建设高可用业务架构

3应用部

3.1 基础环境准备

业务以一个典型的wordpress的网站为例,业务容器化部署于云主机上,高可用依赖京东云的云主机高可用组,主机安装docker,并配置docker服务自动启动。

#创建应用数据目录 配置目录权限、安装docker等

 mkdir -p /wp

 chmod 777 /wp

 yum install docker vim -y

 systemctl enable docker

 systemctl start docker

 #挂载CFS文件作为应用数据目录

 yum install nfs-utils -y

 systemctl enable rpcbind    

 systemctl start rpcbind

 mount -t nfs -o vers=3 -o noresvport 10.0.0.200:/cfs /wp

#配置启动自动挂载CFS及启动服务,通过rc.local实现:

#[root@wpha0 wp]# cat /etc/rc.local

#!/bin/bash

# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES

#

# It is highly advisable to create own systemd services or udev rules

# to run scripts during boot instead of using this file.

#

# In contrast to previous versions due to parallel execution during boot

# this script will NOT be run after all other services.

#

# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure

# that this script will be executed during boot.

touch /var/lock/subsys/local

mount -t nfs -o vers=3 -o noresvport 10.0.0.200:/cfs /wp

#(说明,生产环境可在/etc/fstab挂载)

bash /root/start.sh

start.sh见以下代码

[root@wpha0 wp]# cat /root/start.sh

docker stop wordpress

sleep 3

docker rm wordpress

sleep 3

docker run -d --name=wordpress --restart=unless-stopped -p 443:443 -p 80:80 -v /wp:/var/www/html wordpress

#[root@wpha0 wp]#

#启动脚本编辑完成后,并写入rc.local后,rc.local调整成可执行,以实现启动主机运行脚本, rc.local实现了主机启动后自动挂载CFS到指定目录,然后,通过start.sh自动清除旧数据,重新拉起wordpress服务。

chmod +x /etc/rc.d/rc.local

#拉取应用所需镜像

 docker pull wordpress

#拉取镜像后,运行服务。

docker run -d --name=wordpress --restart=unless-stopped    -p 443:443 -p 80:80  -v /wp:/var/www/html  wordpress 

注意,这个场景下,主要调整了几个位置:

1、挂载CFS为wordpress的工作目录,这样,调整页面内容以及拉起新主机后,网站内容都保持一致。相关自动挂载方式为在/etc/rc.local加入挂载命令,同时chmod +x /etc/rc.d/rc.local 把这个文件加一下可执行权限。

2、需要把wp目录的权限改为777 (或docker内部的 33 tape等,不过不同版本可能有区别,改成777相对稳妥), 否则挂载后,docker内部的wordpress无法获取目录读写权限。

3、NFS挂载需要安装nfs插件 yum install nfs-utils -y 并启动rpc服务 systemctl enable rpcbind systemctl start rpcbind

WP目录为777 权限

【案例分享】如何利用京东云建设高可用业务架构

到这里基础主机环境准备完成。

下一步,进行wordpress应用的配置,实现高可用可视化的演示效果。

3.2 业务侧 wordpress配置

web应用使用wordpress部署。通过docker部署,并实现高可用组主机自动伸缩自动化拉起。

通过docker拉取wordpress

docker pull wordpress

拉取镜像后

docker run -d --name=wordpress --restart=unless-stopped -p 443:443 -p 80:80 -v /wp:/var/www/html wordpress

其中/wp 是挂载的CFS,作为多个应用主机共同挂载,作为wordpress的应用的应用文件目录。

启动wordpress容器,并挂载CFS目录为WP的应用目录。

以上部署在3.1中已经完成。

前置准备工作-负载均衡:

配置一个带公网IP的负载均衡,并配置监听器,监听器后端暂时配置一个已经拉起了docker的这台主机

前置准备工作-数据库:

在配置网站前,需要首先在云控制台的RDS那里为wordpress创建一个账户:wordpress,并设置密码,建立一个库:wordpress(因为后续演示方案有调整,我又创建了一个新库wordpressbackup,实际正常来讲一个库就可以了),并授权wordpress库给wordpress用户。

前置准备工作-redis:

在控制台购买一个redis,记录redis的URL,为后续配置redis 缓存做准备。

这样,基本的应用环境就绪了。

通过浏览器访问负载均衡(注意访问LB,不直接访问主机)的IP的80端口,即可进入wordpress的配置 页面, wordpress的配置,主要是数据库的地址以及数据库前缀的配置,输入正确的数据库的host 地址及密码即可,其余保持默认,其他依据官网手册指导保持默认配置即可。

配置完成后,wordpress会自动为网站创建相关的表,并提示配置wordpress的admin以及管理密码。

安装完成后,可以登录数据库查看创建的表,后续MySQL高可用演示时,也可以登录到数据库做些常规 操作,不受高可用切换影响。

到此,基本的应用就安装完成了。

【案例分享】如何利用京东云建设高可用业务架构

配置redis动态缓存加速:

redis的角色,在这个案例里边,在wordpress里 redis 作为一个动态加速缓存使用,对加速网站访问, 减轻数据库压力起到一定作用。

下载wordpress的redis插件,redis-cache。

下载后通过wordpress的管理页面-plugin --addnew 直接上传,然后依据插件操作手册安装配置即可。

【案例分享】如何利用京东云建设高可用业务架构

安装redis-cache以后,会在/wp/wp-content/plugins 目录下生成一个 redis-cache目录。需要同时在/wp/wp- content 下生成一个 object-cache.php文件,正常来讲,需要调整一个参数host改成redis的域名即可。如果配置了密码,就需要调整这个以及redis-cache目录下的配置文件把密码配置进去,这个因为是 演示环境,redis设置 了免密,生产环境一定要设置密码。

【案例分享】如何利用京东云建设高可用业务架构

安装配置完成后,在管理界面的setting里会有redis的配置选项,这个和版本有关系,有些版本可能会让 在这里做参数配置。直接改文件参数效果是一样的。

【案例分享】如何利用京东云建设高可用业务架构

mysqlredis管理及相关登录方式介绍:

MySQL的登录,没有安装client,使用了一个mysql的docker

相关命令:

docker run --name mysql -p 3306:3306 --restart=unless-stopped -v /root/dbackup/:/db -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

进入mysql的docker中:

docker exec -it mysql bash

连接wordpress使用的数据库:

mysql -h mysql-xxxea04fc4c52.jdcloud.com -u wordpress -p

use wordpressbackup;

show tables;

select id from wpbackup_posts;

--中间因为做了多次演练和数据库切换,中间做了wordpress数据库导出和导入操作

mysql 数据库导出(均在mysql的docker容器中执行命令):

mysqldump -h mysql-xxxa04fc4c52.jdcloud.com -uwordpress -p --databases wordpressbackup >/db/wordpressbackup-0322.sql

数据导入:

进入数据库,

use wordpressbackup;

source /db/wordpressbackup-0322.sql;

----redis验证

redis验证,同样是没有安装client,通过docker里的命令行去连接:

docker run -d --name redis --memory=1G -p 7379:6379 redis

docker exec -it redis bash

redis-cli -h redis-j49rpxxx.jdcloud.com

登入后,查看信息:

KEYS *

wordpress配置主页显示hostname及来源IP

---让wordpress获取hostname 并在页面展示+获取访客地址,以增强演示效果,明确看到访问的实际主 机位置。

为了让访问者看到访问的IP是哪个(证实高可用组的自动扩容及业务的自动拉起),需要在所使用的 theme 目录的function里加入相关代码。 /wp/wp- content/themes/twentytwentytwo/function.php

[root@AG-wordpress- HA-group1-c8705-2 twentytwentytwo]# vim /wp/wp-content/themes/twentytwentytwo/function.php

在里边加入以下代码,一个是show_ip函数,一个是show_hostname函数。

function get_the_user_ip() {
if ( ! empty( $_SERVER["HTTP_CLIENT_IP"] ) ) {
//check ip from share internet
$ip = $_SERVER["HTTP_CLIENT_IP"];
} elseif ( ! empty( $_SERVER["HTTP_X_FORWARDED_FOR"] ) ) {
//to check ip is pass from proxy
$ip = $_SERVER["HTTP_X_FORWARDED_FOR"];
} else {
$ip = $_SERVER["REMOTE_ADDR"];
}
return apply_filters( "wpb_get_ip", $ip );
}
add_shortcode("show_ip", "get_the_user_ip");

function get_hostname()
{
     $hostname = gethostname();
          echo "$hostname\n";
      return apply_filters( "hostname", $hostname );
}

add_shortcode("show_hostname", "get_hostname");

然后,在wordpress的site里加入短代码实现:

【案例分享】如何利用京东云建设高可用业务架构

保存后,看到页面可以显示相关的IP及hostname信息了。

【案例分享】如何利用京东云建设高可用业务架构

到这里, wordpress的应用环境配置完成。

下一步配置业务的高可用环境,实现跨AZ的高可用组及主机自动弹性伸缩。

3.3 实例模板及高可用组、LB配置

单台主机配置完成后,重启能自动拉起应用,进行确认后, 将现有主机打一个镜像。作为高可用组的实例模板。后续LB后端的高可用组通过这个模板创建主机。

其余包括数据库配置、网站数据、redis缓存配置等,均实现了服务及数据的分离,因此,在后期进行动 态弹性扩容时,使用这个模板的高可用组,可以直接拉起服务,实现动态弹性伸缩。

实例模板:

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

高可用组:

高可用组使用制作好了wordpress的应用主机的镜像。做到高可用组自动弹性伸缩出新主机--新主机自动 拉起wordpress应用--新主机自动挂载到LB接收业务流量的模式。

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

LB配置。

LB监听器选择后端服务为高可用组,并配置健康检查。

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

高可用组挂载到LB后端以后,应用环境已经搭建完成。

可以访问LB入口,访问到网站,并且会轮询到不同服务器,同时,访问单台服务器的外网IP 也可以访问网站业务:

LB访问截图(2张,分别访问到了两个主机)

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

单台主机访问截图(直接访问单台主机IP,刷新后不会轮询主机):

【案例分享】如何利用京东云建设高可用业务架构

演示环境就绪。

下一步,进行破坏性演练,检验高可用环境的效果。

4、应用演示

高可用演示脚本:

【案例分享】如何利用京东云建设高可用业务架构

高可用组信息,目前LB后端挂载的为高可用组:

测试页面信息(所有IP均为非真实IP):

业务入口(LB): http://100.126.35.4/

高可用组单台主机访问入口目前为:

http://100.126.38.13/

http://100.126.38.16

主机的高可用及自动伸缩:

演示所需的一些脚本:

一个是模拟生产环境,对业务主入口的LB持续访问,这个在测试过程中,一直可以访问到,不会中断。

#!/bin/bash
#for ((i=1;i<=10;i++))
for i in {1..15000}
 do
curl 100.126.35.4
echo $i
echo $(date +%T)
sleep 3
  done

一个是模拟单机环境,对业主机入口的持续访问,这个在测试过程中,当针对单机关机时,访问会卡住。

#!/bin/bash

#for ((i=1;i<=10;i++))

for i in {1..15000}

 do

curl 100.126.38.16

echo $i

echo $(date +%T)

sleep 3

  done

演示过程中,高可用组自动伸缩功能,能正常扩容出新的主机并提供业务访问。

高可用组的自动伸缩,通过 stress模拟压力

安装stress后,直接运行(主机为2C):

stress --CPU 2

通过top命令可以看到CPU被打满。

过2分钟(高可用组伸缩策略配置的时间),高可用组会自动扩展一台主机,并作为高可用组的一台主机自动挂载到LB的后端,可在LB及主机界面看到自动扩容的主机。

【案例分享】如何利用京东云建设高可用业务架构

在控制台将一台高可用组内主机关机,然后可见LB后端服务健康检查发现挂载的高可用组一台服务器异常,高可用组如配置最小的主机数量,则高可用组也自动扩出一台主机,继续提供服务。在此期间,流量会转发给后端正常主机,健康检查异常的主机不再接收流量,业务访问持续正常。

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

PAAS服务的高可用:

本演示以MySQL及redis研发在底层直接杀docker,然后业务访问不中断,控制台上会出现主从切换现象在这个过程中对业务的访问不会中断。

云数据库及缓存的破坏性操作,底层操作由研发操作。

底层进行RDS主备切换(kill掉RDS主库),业务访问同样不会中断,研发提供截图可以看到主从切换过程。

【案例分享】如何利用京东云建设高可用业务架构

【案例分享】如何利用京东云建设高可用业务架构

本文实际部署环境为京东为客户搭建的私有云环境(JDSTACK),公有云与私有云为相同技术栈,搭建及验证过程相似。限于篇幅,redis验证部分及主机可访问性脚本结果未截图,感兴趣的读者可自行在云上通过本文指引过程搭建验证。

点赞
收藏
评论区
推荐文章
浅谈传统企业的大数据平台如何上云
浅谈传统企业的大数据平台如何上云企业业务系统上云的最终目标,出于各种考量(有业务系统高可用的考量,也有不被云厂商绑定即vendorlockin的考量,也有生态系统合作伙伴即经济因素等多种考量),部署架构不会是单一的某个公有云,而是多个公有云和私有云的混合部署形态。1.趋势介绍与阐述:大数据和云计算进一步深度融合,拥抱云计算走向云原生化首先我们来解读下“
计算存储分离在京东云消息中间件JCQ上的应用
作者:田寄远JCQ全名JDCloudMessageQueue,是京东云自研、具有CloudNative特性的分布式消息中间件。JCQ设计初衷即为适应云特性的消息中间件;具有高可用、数据可靠性、副本物理隔离、服务自治、健康状态汇报、少运维或无运维、容器部署、
全栈混合云综合架构方案研究和落地
本文分享自天翼云开发者社区《》,作者:yn(一)业务背景随着云服务的便利性日益被市场接受,企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此,混合云成为云服务市场的重要发展趋势。广义上讲,混合云的形态可以包括云与
京东云开发者 京东云开发者
3个月前
【案例分享】如何利用京东云建设高可用业务架构
本文以2022年一个实际项目为基础,来演示在京东云上构建高可用业务的整个过程。公有云及私有云客户可通过使用京东云的弹性IAAS、PAAS服务,创建高可用、高弹性、高可扩展、高安全的云上业务环境,提升业务SLA,提升运维自动化水平,降低资源成本及运维成本。有
如何基于云产品搭建一个高可用性的网站
如何基于云产品搭建一个高可用性的网站?从传统机房服务器迁移至云计算平台,无论是可用性的提高,还是维护成本的降低,都是云计算带来的不可否认的优势。本案示例通过使用天翼云常用的三个云产品ECSELBRDS来帮助用户快速地在云端搭建具备高可用性的网站wordpress。
私有云容灾方案设计浅谈
在大型企业、金融机构建设私有云时,须考虑私有云各项服务的高可用和容灾/备份方案,防止因单机房故障引发的一系列故障导致业务不可用或整体停服,降低影响范围同时满足监管和等保等安全要求。
高并发、高可用、弹性扩展,天翼云护航企业云上业务
数字时代,云计算行业进入繁荣发展阶段,越来越多企业上云用数赋智,以提升自身服务力与竞争力,但与此同时,企业云上业务也面临着一定的挑战,业务连续性、高可用性较难保证。由于光缆被挖断,软件出现无法登录、网络异常等问题;由于遭受不明攻击,某订票网站及APP陷入瘫痪状态......各种突发原因导致服务中断、数据丢失的事件时有发生,给企业造成经济、名誉损失,因此,企业
京东云开发者 京东云开发者
4个月前
探讨打造「高可用架构」秘籍
​背景高可用性的文章多如牛毛,看得人眼花缭乱。今天,咱们换个花样,以终为始,来聊聊如何实现系统业务的高可用性这个宏伟目标。本文覆盖高可用架构设计、常见架构模式、高可用开发运维、大促高可用保障、业务高可用、COE复盘等方面的理念和思考。高可用性是个宏大的主题