分布式系统搭建实战(下) 分布式架构搭建

一、部署前准备 1.1 部署文件清单 1.2 部署架构图 1.3 服务器资源准备、检查及预装 二、消息队列 ActiveMQ 部署及策略 2.1 ActiveMQ 单点部署 2.2 ActiveMQ 集群部署 三、自动构建 DevOps 部署 3.1 Jenkins 部署 3.2 Gradle 部署 3.3 Sonar 部署 3.3.1 安装 sonar-scanner 3.3.2 安装 SonarQube 四、配置中心（Apollo）部署 4.1 安装 Apollo 五、MySQL 数据库部署

分布式系统技术栈用到了很多开源免费的中间件，例如 Keepalived、Lvs、Nginx、MongoDB、Redis、ZooKeeper、ActiveMQ、MyCat、Jenkins、Gradle、Sonar、Apollo、InfluxDB、Telegraf 等，那么如何部署这些中间件？我们应该采用怎样的部署策略？

分布式系统搭建就是搭建分布式系统的基础设施，也是开发、测试、运维人员的必修课，这是分系统系统搭建实战：下篇。

一、部署前准备

1.1 部署文件清单

在开始着手部署前，我们需要先明确部署类别，规划并准备好部署文件以及版本号等，把这些先列一个清单出来。

序号类别文件版本号1Java 库jdk-8u65-linux-x64.rpm1.82ActiveMQapache-activemq-5.13.0-bin.tar.gz5.133Jenkinsjenkins-awesome.tar2.114Gradlegradle-4.10-bin.zip4.105Sonar-Scannersonar-scanner-cli-3.0.3.778-linux.zip3.0.36SonarQubesonarqube-6.4.zip6,47Apolloapollo-assembly.zip1.38MySQLmysql_el6.zip5.6

1.2 部署架构图

1.3 服务器资源准备、检查及预装

按照微服务设计规划预估所需服务器数量，这里以 Linux 虚拟机为例，从物理机分配资源。

拿到服务器资源后，我们也首先列出服务器资源清单，包含主机名、IP 地址、CPU、内存、磁盘、IO、网络等配置，初步判断一下是否满足需求。然后再依次进行以下操作。

1. 服务器连接检查

使用 SecureCRT 或者 XShell 连接 Linux 虚拟机，检查是否能连通，需要注意的是在开发和测试环境可以用 root，要上生产环境时一定要用其它用户，把权限细分。然后检查防火墙，ZooKeeper、Dubbo、Redis、ActiveMQ、业务服务等所用到的端口，必须开放。

查看防火墙状态命令：

firewall-cmd --list-all

关掉防火墙命令：

systemctl stop firewalld.service systemctl disable firewalld.service

再检查一下操作系统内核版本，这一步很关键，有些软件对操作系统版本是有要求的。

uname -a

硬盘信息：

df -Th

内存用率：

free -m

2. 预装依赖软件 JDK

查看 Linux 上 open JDK 的安装：

rpm -qa|grep java

卸载 Open JDK：

rpm -e --nodeps 上一步骤列出的open jdk的rpm名称

安装 JDK：

rpm -ivh jdk-8u65-linux-x64.rpm

安装过程中按 y 确认安装即可。

修改 etc/profile，增加 JDK 环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_65（jdk路径）
export PATH=$ JAVA_HOME/bin:$ PATH export   
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

启用环境变量：

source /etc/profile

测试 JDK 是否安装成功：

java -version

3. 设置主机映射关系

vi /etc/hosts

4. 设置 Linux 默认的最大文件描述符

在 /etc/rc.local 加入：

ulimit -SHn 100000

在 /etc/security/limits.conf 加入：

* hard nofile 100000 * soft nofile 100000

二、消息队列 ActiveMQ 部署及策略

2.1 ActiveMQ 单点部署

1. 将 ActiveMQ 压缩包（apache-activemq-5.13.0-bin.tar.gz）解压到本地目录下，并使用 SFTP 软件上传导服务器目录（例如：/apache-activemq-5.13.0）。

2. 修改 ActiveMQ 文件属性，使脚本可以执行：

cd /apache-activemq-5.13.0
chmod 777 -R *.*

3. 启动 ActiveMQ：

cd /apache-activemq-5.13.0
nohup bin/activemq start &

4. 检测 ActiveMQ 是否安装成功

检测 ActiveMQ 端口 61616 是否监听：

netstat -an | grep 61616

浏览器验证 ActiveMQ 管理服务是否启动，在一台能访问 ActiveMQ 服务器的机器上的浏览器地址输入 http://<activemq服务器ip>:8161/admin/，如下图所示表示安装成功。

2.2 ActiveMQ 集群部署

1. 集群规划

• mq11、mq12、mq13 组成一个高可用集群 cluster1
• mq21、mq22、mq23 组成一个高可用集群 cluster2
• cluster1、cluster2 进行负载组成集群 mqcluster

2. 部署 ZooKeeper 集群

参照《分布式系统搭建实战（上）》的 ZooKeeper 部署。

3. 高可用集群配置

修改 conf/activemq.xml：

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="cluster1"        dataDirectory="${activemq.data}">
<persistenceAdapter>
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:0"
zkAddress="ip1:2181,ip2:2181,ip3:2181"
hostname="ip1"
sync="local_disk"
zkPath="/activemq/leveldb-stores/cluster1"/>
</persistenceAdapter>
<transportConnectors>
<transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="amqp" uri="amqp://0.0.0.0:5672?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="stomp" uri="stomp://0.0.0.0:61613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
<transportConnector name="ws" uri="ws://0.0.0.0:61614?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
</broker>

修改 conf/jetty.xml：

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
<property name="host" value="0.0.0.0"/>
<property name="port" value="8161"/>
</bean>

4. 集群配置

cluster1 集群的每个节点的 activemq.xml 中添加一下配置（在 persistenceAdapter 标签前配置）：

<networkConnectors>
<networkConnector uri="static:(tcp://ip1:61626,tcp://ip2:61626,tcp://ip3:61626)" duplex="true"/>
</networkConnectors>

cluster2 集群的每个节点的 activemq.xml 中添加一下配置（在 persistenceAdapter 标签前配置）：

<networkConnectors>
<networkConnector uri="static:(tcp://ip1:61616,tcp://ip2:61616,tcp://ip3:61616)" duplex="true"/>
</networkConnectors>

5. 启动 ActiveMQ

在每个 ActiveMQ 的 bin 目录下执行：

nohup ./activemq start &

6. 程序中配置

将 properties 中 component.amqUrl 配置为：

component.amqUrl = failover:(tcp://ip1:61616,tcp://ip1:61626,tcp://ip2:61616,tcp://ip2:61626,tcp://ip3:61616,tcp://ip3:61626)

7. 测命令

netstat -tulnp |grep java
netstat -an|grep 61616

三、自动构建 DevOps 部署

DevOps这里仅介绍其中的 Jenkins 和 Sonar 部署。

其流程图如下：

3.1 Jenkins 部署

1. 解压文件

cd jenkins-awesome

在 jenkins-awesome 目录下创建 OAS 目录：

mkdir OAS

2. 启动 Jenkins

./jenkins.sh

3. 测试是否安装成功

http://ip:8008/        //能打开页面表示成功

4. 配置 Jenkins

http://ip:8008/configure

修改 Jenkins Location 地址为访问 Jenkins 的服务器 IP 地址，点击保存按钮保存配置。

3.2 Gradle 部署

1. 安装软件

2. 配置环境变量

vim /etc/profile
export GRADLE_HOME=/OAS/gradle-4.10.3
export PATH=$PATH:$GRADLE_HOME/bin
source /etc/profile

3.3 Sonar 部署

3.3.1 安装 sonar-scanner

1. 安装软件

2. 修改名字

sonar-scanner-cli-3.0.3.778-linux 修改为 sonar_scanner_3.0.3。

3. 修改配置文件

cd /OAS/sonar_scanner_3.0.3/conf
vi sonar-scanner.properties

#----- Default SonarQube server
sonar.host.url=http://ip:9000 //sonarqube的访问url
#----- Default source code encoding
#sonar.sourceEncoding=UTF-8

4. 设置环境变量

vi /etc/profile

添加下面两句代码，保存：

export SONAR_SCANNER_HOME=/OAS/sonar_scanner_3.0.3
export PATH=$PATH:$SONAR_SCANNER_HOME/bin
source /etc/profile

5. 检查配置

sonar-scanner -v

3.3.2 安装 SonarQube

1. 创建数据库

在 MySQL 数据库中新建一个数据库，数据库名为 sonar。下面 JDBC 配置上数据库名要对应上。

2. 解压 SonarQube 压缩包

3. 修改 / OAS/sonarqube-6.4/conf/sonar.properties 配置文件（关键参数配置）：

sonar.jdbc.username=mysqladmin //数据库用户名
sonar.jdbc.password=123456 //数据库密码

#----- MySQL 5.6 or greater
sonar.jdbc.url=jdbc:mysql://ip:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false

#----- Connection pool settings
#sonar.jdbc.maxActive=60
#sonar.jdbc.maxIdle=5
#sonar.jdbc.minIdle=2
#sonar.jdbc.maxWait=5000
#sonar.jdbc.minEvictableIdleTimeMillis=600000
#sonar.jdbc.timeBetweenEvictionRunsMillis=30000

# WEB SERVER
sonar.web.javaOpts=-Xmx2048m -Xms1024m -XX:+HeapDumpOnOutOfMemoryError
sonar.web.host=ip      //服务器IP地址
sonar.web.context=       //SonarQube访问url中端口后的部分
sonar.web.port=9000         //端口号

#sonar.web.http.maxThreads=50
#sonar.web.http.minThreads=5
# The default value is 25.
#sonar.web.http.acceptCount=25
#sonar.auth.jwtBase64Hs256Secret=
#sonar.web.sessionTimeoutInMinutes=4320

# SSO AUTHENTICATION
#sonar.web.sso.enable=false
#sonar.web.sso.loginHeader=X-Forwarded-Login
#sonar.web.sso.nameHeader=X-Forwarded-Name
#sonar.web.sso.emailHeader=X-Forwarded-Email
#sonar.web.sso.groupsHeader=X-Forwarded-Groups
#sonar.web.sso.refreshIntervalInMinutes=5

# COMPUTE ENGINE
sonar.ce.javaOpts=-Xmx2048m -Xms1024m -XX:+HeapDumpOnOutOfMemoryError
#sonar.ce.javaAdditionalOpts=
#sonar.ce.workerCount=1

# ELASTICSEARCH
#sonar.search.javaOpts=-Xmx1G -Xms256m -Xss256k -Djna.nosys=true \
# -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 \
# -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError
#sonar.search.javaAdditionalOpts=
#sonar.search.port=9001
#sonar.search.host=

# UPDATE CENTER
#sonar.updatecenter.activate=true
#http.proxyHost=
#http.proxyPort=
#https.proxyHost=
#https.proxyPort=
#http.auth.ntlm.domain=
#socksProxyHost=
#socksProxyPort=
#http.proxyUser=
#http.proxyPassword=

# LOGGING
# individually (eg. if sonar.log.maxFiles=4, there can be at most 4 of each files, ie. 16 files in total).
# 2016.11.16 16:47:00 INFO ce[AVht0dNXFcyiYejytc3m][o.s.s.c.t.CeWorkerCallableImpl] Executed task | project=org.sonarqube:example-java-maven | type=REPORT | id=AVht0dNXFcyiYejytc3m | submitter=admin | time=1699ms
# Some logs, however, will follow the convention to provide data in payload in the format " | key=value"
# Especially, log of profiled pieces of code will end with " | time=XXXXms".
#sonar.log.level=INFO
#sonar.log.level.app=INFO
#sonar.log.level.web=INFO
#sonar.log.level.ce=INFO
#sonar.log.level.es=INFO
#sonar.path.logs=logs
#sonar.log.rollingPolicy=time:yyyy-MM-dd
#sonar.log.maxFiles=7
#sonar.web.accessLogs.enable=true
# Format of access log. It is ignored if sonar.web.accessLogs.enable=false
#sonar.web.accessLogs.pattern=%i{X-Forwarded-For} %l %u [%t] "%r" %s %b "%i{Referer}" "%i{User-Agent}" "%reqAttribute{ID}"
#sonar.web.accessLogs.pattern=%h %l %u [%t] "%r" %s %b "%i{Referer}" "%i{User-Agent}" "%reqAttribute{ID}"

# OTHERS
#sonar.notifications.delay=60
#sonar.path.data=data
#sonar.path.temp=temp

# DEVELOPMENT - only for developers
#sonar.web.dev=false
# http://lmenezes.com/elasticsearch-kopf/?location=http://localhost:9010
#sonar.search.httpPort=-1

4. 启动服务

cd /OAS/sonarqube-6.4/bin/linux-x86-64
./sonar.sh start  //启动
./sonar.sh stop  //停止
./sonar.sh restart   //重启

5. 访问 Sonarqube

• Web 地址：http://ip:9000
• 管理员账号和密码：admin/admin

进程示例：

四、配置中心（Apollo）部署

4.1 安装 Apollo

1. 上传 apollo-assembly.zip 文件到 Linux，解压三个文件到各自目录下

unzip apollo-assembly.zip -d apollo-assembly
chmod 755 apollo-assembly/*

2. 初始化数据库脚本

• 用拥有创库权限的用户登录 MySQL
• 创建 ApolloConfigDB 数据库
• 执行 apolloconfigdb.sql
• 创建 ApolloPortalDB
• 执行 apolloportaldb.sql

3. 修改数据库初始化配置，编辑 startup.sh 文件

db_url=jdbc:mysql://ip:3306/ApolloConfigDB?characterEncoding=utf8
db_username=mysqladmin
db_password=123456
printf start... configservice configservice
java -Dapollo_profile=dev -Dspring.datasource.url=$db_url -Dspring.datasource.username=$db_username -Dspring.datasource.password=$db_password -jar apollo-assembly.jar --configservice --adminservice &
db_portal_url=jdbc:mysql://ip:3306/ApolloPortalDB?characterEncoding=utf8
db_portal_username=mysqladmin
db_portal_password=123456
portal_login_username=xtadmin
portal_login_password=1
printf after 1 min start portal
sleep 60
printf start... portal
java -Dapollo_profile=dev -Ddev_meta=http://localhost:8080/ -Dserver.port=8070 -Dspring.datasource.url=$db_portal_url -Dspring.datasource.username=$db_portal_username -Dspring.datasource.password=$db_portal_password -jar apollo-assembly.jar --portal &

4. 启动配置中心服务

进入 apollo-assembly 目录下，执行 startup.sh：

./startup.sh

进入配置中心主页 http://ip:8070。

五、MySQL 数据库部署

安装 MySQL

mkdir -p /apps/

上传 mysql.zip 到 /apps，解压：

unzip mysql.zip
mkdir -p /apps/tmp/
mkdir -p /apps/dbdat/percona5.6_data3306

文件说明

• 日志文件：/apps/logs
• 数据文件：/apps/dbdat/percona5.6_data3306
• 数据库程序：/apps/svr/Percona-Server-5.6.20-rel68.0-656.Linux.x86_64
• 配置文件：/apps/conf/mysql/percona5.6_3306.cnf
• 启动文件：/apps/sh/percona5.6_3306.sh

创建软连接

cd /apps/svr/ && ln -s Percona-Server-5.6.20-rel68.0-656.Linux.x86_64 percona5.6
ln -s /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.6
ln -s /usr/lib64/libcrypto.so.10 /usr/lib64/libcrypto.so.6

根据服务器修改配置文件

调整 buffer pool 和 server id：

vi /apps/conf/mysql/percona5.6_3306.cnf
server-id=16554         //IP地址后两位组合
innodb_buffer_pool_size=5G      //服务器总内存的70%-80%
lower_case_table_names=1     //数据库表名忽略大小写

修改权限 && 新增用户

useradd apps

如果执行报错：

chattr -i /etc/passwd
chmod 755 -R /apps/svr chattr -i /etc/shadow
chown -R apps:apps /apps chattr -i /etc/group
chattr -i /etc/gshadow

初始化实例

/apps/svr/percona5.6/scripts/mysql_install_db --defaults-file=/apps/conf/mysql/percona5.6_3306.cnf --basedir=/apps/svr/percona5.6 --datadir=/apps/dbdat/percona5.6_data3306 --user=apps

启动数据库

sh /apps/sh/percona5.6_3306.sh start

设置环境变量

vi .bash_profile
cd /root
vi .bash_profile
PATH=$PATH:$HOME/bin:/apps/svr/percona5.6/bin
source .bash_profile

登陆数据库

mysql -S /tmp/mysql3306.sock

账号初始化授权

GRANT ALL PRIVILEGES ON *.* TO 'mysqladmin'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ;

设置 root 的密码

set password for root@localhost = password('root');

《分系统系统搭建实战》上下两篇，主要介绍了分布式系统常用到的中间件软件部署及策略。基本都是实操演练，所以就没写太多关于理论的知识，直接对着服务器开干。

本篇部署实战的架构经过实际系统的检验和压测，基本能满足 2000 并发、亿级数据量的性能和稳定性要求。文章中的部署架构图只是简单示例，并非实战项目的架构图，大型项目的部署架构要远比这个复杂，但策略也无外乎那几类的组合。中间件是死的，策略是活的，不同的架构和不同的应用场景使用的策略有不同，架构设计和部署策略绝对不是万能公式套用。

此外，还有 LVS 负载均衡部署、MySQL 主从部署、MySQL-PXC 集群部署、Mycat 部署、InfluxDB 时序数据库部署、Telegraf 埋点采集器部署等，由于篇幅原因，后续文章再单独整理分享给大家，欢迎大家订阅关注，谢谢！