百度360必应搜狗淘宝本站头条
vba高级教程svn连接scheduledtaskmybatis plus结构体数组
当前位置：网站首页 > 编程网 > 正文

故障注入与服务网格:测试和验证的利器

yuyutoo 2024-10-12 00:31 1 浏览 0 评论

背景

故障注入

故障注入技术最初是在航空航天领域中开发的，用于模拟和测试飞机、导弹等复杂系统的可靠性。后来，这项技术逐渐被应用到其他领域，包括计算机软件、汽车、医疗设备等。

随着互联网和软件系统的快速发展，复杂度和规模不断扩大。因此，系统中的故障和异常在所难免。为了确保系统在遇到故障时能够保持稳定运行并尽快恢复，开发人员和运维团队需要提前预测和处理潜在的故障。故障注入慢慢地在计算机软件中得到应用。

故障注入的重要性在于它可以帮助开发人员更好地理解系统的行为，并确定哪些部分可能存在缺陷。通过模拟各种可能的故障情况，开发人员可以评估系统在不同条件下的响应能力，并将这些信息用于改进软件设计和实现。

故障注入的功能

  • ? 使开发和测试人员方便地进行可靠性测试，发现潜在的问题并优化系统设计，进而提升系统的健壮性。

  • ? 帮助验证系统的异常和故障处理机制是否有效，确保系统在遇到故障时能够正确地执行故障处理策略。

  • ? 服务降级是在系统发生故障时，暂时关闭部分功能以确保整体的可用性。故障注入可用于评估服务降级策略，通过模拟故障场景检验服务降级的实际表现。

服务网格

服务网格是一种架构模式，用于处理分布式系统中的服务间通信和服务治理问题。服务网格通常由一组网络代理和服务间通信协议组成，用于管理和控制服务之间的通信。服务网格可以提供诸如服务发现、负载均衡、安全认证、流量控制、故障恢复等功能，以帮助开发人员和运维人员管理分布式系统的复杂性和可靠性。

Flomesh 服务网格

Flomesh 服务网格使用可编程代理 Pipy[1] 为核心提供东西、南北向的流量管理和丰富的服务治理能力。通过基于 L7 的流量管理能力，突破计算环境间的网络隔离，建立一个虚拟的平面网络，使不同计算环境中应用可以互相通信，实现覆盖多集群的“大网格”。

故障注入与服务网格

服务网格中的代理对服务的流量进行拦截，可以实现流量的控制。拦截到服务流量时，可以通过注入故障或者异常来测试服务的容错性和健壮性。比如可以通过服务网格来模拟服务的延迟、错误响应等等。

当我们使用传统的故障注入时，通常需要在应用程序中嵌入特定的代码或者 SDK 来实现对应用程序行为的修改和控制，比如 Chaos Monkey[2]。而由于服务网格的网络代理与应用本身的天然解耦合，可以实现无侵入的故障注入。这种无侵入的故障注入不仅可以减少对应用程序的影响，还可以提高故障注入的灵活性和可靠性。

今天就为大家来介绍如何使用 Flomesh 服务网格的故障注入功能。

Flomesh 服务网格的故障注入

Flomesh 服务网格秉持着简单、易用的设计原则，提供满足用户的最小功能集。故障注入功能并未包含在其中，但通过灵活的 插件扩展功能[3] 可以轻松地为服务网格扩展新的功能，这个在之前的文章 使用插件扩展服务网格 中也有过详细介绍。

这下面的演示中，我们将使用 故障注入插件[4] 实现对目标服务的故障注入。首先我们看一下可注入的故障类型：

  • ? 延迟响应：在服务调用时，为一定比例的响应人为地加入的延迟，模拟目标服务的不稳定来测试服务的容错能力、优化负载均衡策略等。

  • ? 终止响应：模拟服务响应异常终止的情况，从而测试系统的容错性和健壮性。比如验证重试机制、降级能力等等。

功能配置

  • ? config 故障类型及配置

    • ? httpStatus：终止响应时的响应状态码，比如 400、501、503

    • ? percentage.value：终止的百分比，0.5 表示对 50% 的响应会被终止

    • ? fixedDelay：设置延迟的时长，1s 表示为响应假如 1 秒钟的延迟

    • ? percentage.value：延迟的百分比，0.5 表示对 50% 的响应注入延迟

    • ? delay 延迟

    • ? abort 终止

  • ? plugin: 表示这个配置是插件 http-fault-injection 的配置

  • ? destinationRefs: 表示配置生效的负载。比如命名空间 pipy 下的 Service pipy-ok

kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 delay:
 percentage:
 value: 0.5
 fixedDelay: 1s
 abort:
 percentage:
 value: 0.5
 httpStatus: 400
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy

演示

创建集群

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --disable servicelb --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

安装服务网格

下载 CLI。

system=$(uname -s | tr [:upper:] [:lower:]) 
arch=$(dpkg --print-architecture) 
release=v1.3.3 
curl -L https://github.com/flomesh-io/osm-edge/releases/download/${release}/osm-edge-${release}-${system}-${arch}.tar.gz | tar -vxzf - 
./${system}-${arch}/osm version 
cp ./${system}-${arch}/osm /usr/local/bin/

安装服务网格。

osm install

部署示例应用

kubectl create namespace curl
osm namespace add curl
kubectl apply -n curl -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/curl.yaml

kubectl create namespace pipy
osm namespace add pipy
kubectl apply -n pipy -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/pipy-ok.pipy.yaml

# Wait for pods to be up and ready

sleep 2
kubectl wait --for=condition=ready pod -n curl -l app=curl --timeout=180s
kubectl wait --for=condition=ready pod -n pipy -l app=pipy-ok -l version=v1 --timeout=180s
kubectl wait --for=condition=ready pod -n pipy -l app=pipy-ok -l version=v2 --timeout=180s

验证服务访问。

curl_client="$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items[0].metadata.name}')"

kubectl exec ${curl_client} -n curl -c curl -- curl -ksi http://pipy-ok.pipy:8080 ; echo "";

你将会看到如下的响应，多次请求可以发现 v1 和 v2 版本的服务轮流响应。

HTTP/1.1 200 OK
content-length: 20
connection: keep-alive

Hi, I am PIPY-OK v1!

启用插件特性

默认情况下，服务网格是没有开启插件特性的。可以通过下面的命令开启：

kubectl patch meshconfig osm-mesh-config -n osm-system -p '{"spec":{"featureFlags":{"enablePluginPolicy":true}}}' --type=merge

故障注入插件

插件的应用包含了两个部分：

  • ? 声明插件：也就是创建插件的过程。插件声明后，才可以被其他资源引用。

  • ? 配置插件链：服务治理的功能分布于流量处理的各个阶段，比如 4 层的处理、7 层的路由、负载均衡等等。插件链则是对插件进行编排，指定其工作的阶段以及作用的资源。

声明插件

执行下面的声明插件。插件是使用 PipyJS[5] 开发的，对故障注入插件感兴趣的同学可以访问 Github 浏览 源码[6]。

kubectl apply -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml

配置插件链

插件链 http-fault-injection-chain：

  • ? metadata.name：插件链资源名称 http-fault-injection-chain

  • ? spec.chains

    • ? name：所处的插件链名称，4 个插件链之一，这里是 inbound-http 也就是出站流量的 HTTP 协议处理阶段。

    • ? plugins：要插入到插件链的插件列表，这里将 http-fault-injection 插入到插件链中。

  • ? spec.selectors：插件链作用的目标，使用的是 Kubernetes 标签选择器[7] 方案。

    • ? podSelector：pod 选择器，选择标签 app=pipy-ok 的 pod。

    • ? namespaceSelector：命名空间选择器，选择命名空间被网格纳管的命名空间，即 openservicemesh.io/monitored-by=osm

kubectl apply -f - <<EOF
kind: PluginChain
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-chain
 namespace: pipy
spec:
 chains:
 - name: inbound-http
 plugins:
 - http-fault-injection
 selectors:
 podSelector:
 matchLabels:
 app: pipy-ok
 matchExpressions:
 - key: app
 operator: In
 values: ["pipy-ok"]
 namespaceSelector:
 matchExpressions:
 - key: openservicemesh.io/monitored-by
 operator: In
 values: ["osm"]
EOF

此时，我们执行前面命令进行验证，可以发现服务扔可正常访问。这是因为还缺少故障注入的配置。

配置注入故障

注入延迟

这里我们配置为 50% 的响应加上 2s 的延迟。

kubectl apply -n pipy -f - <<EOF
kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 delay:
 percentage:
 value: 0.5
 fixedDelay: 2s
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy
EOF

为了方便看到效果请求前后我们打印下当前的时间。多次请求后可以发现一半的请求响应时间超过 5s。

date; kubectl exec ${curl_client} -n curl -c curl -- curl -ksi http://pipy-ok.pipy:8080 ; echo ""; date
Mon Apr 3 11:21:58 UTC 2023
HTTP/1.1 200 OK
content-length: 20
connection: keep-alive

Hi, I am PIPY-OK v1!
Mon Apr 3 11:22:00 UTC 2023

终结响应

接下来我们修改插件配置，去掉 delay 的配置，为 abort 添加配置：50% 的情况下返回 500 的响应。

kubectl apply -n pipy -f - <<EOF
kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 abort:
 percentage:
 value: 0.5
 httpStatus: 500
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy
EOF

经过验证，50% 的响应会返回状态码 500。

HTTP/1.1 500 Internal Server Error
content-length: 0
connection: keep-alive

总结

故障注入技术作为一种重要的测试方法，在软件工程中已经得到广泛的应用。随着云计算和微服务架构的普及，故障注入在分布式系统和服务网格中的应用也越来越受到重视。结合服务网格技术，故障注入可以做到更加的自动化和智能化，良好兼容更多的应用场景。

通过扩展故障注入功能，我们再一次体验了可扩展服务网络的灵活性。功能可扩展的服务网格通过更强的可定制性、更好更灵活的扩展性，可以满足用户多元的需求、复杂的场景。

引用链接

[1] Pipy: https://github.com/flomesh-io/pipy
[2] Chaos Monkey: https://github.com/Netflix/chaosmonkey
[3] 插件扩展功能: https://osm-edge-docs.flomesh.io/docs/guides/operating/plugins/
[4] 故障注入插件: https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml
[5] PipyJS: https://flomesh.io/pipy/docs/en/reference/pjs
[6] 源码: https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml
[7] Kubernetes 标签选择器: https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/


相关推荐

MySQL5.5+配置主从同步并结合ThinkPHP5设置分布式数据库

前言：本文章是在同处局域网内的两台windows电脑，且MySQL是5.5以上版本下进行的一主多从同步配置，并且使用的是集成环境工具PHPStudy为例。最后就是ThinkPHP5的分布式的连接，读写...

thinkphp5多语言怎么切换（thinkphp5.1视频教程）

thinkphp5多语言进行切换的步骤：第一步，在配置文件中开启多语言配置。第二步，创建多语言目录。相关推荐：《ThinkPHP教程》第三步，编写语言包。视图代码：控制器代码：效果如下：以上就是thi...

基于 ThinkPHP5 + Bootstrap 的后台开发框架 FastAdmin

FastAdmin是一款基于ThinkPHP5+Bootstrap的极速后台开发框架。主要特性基于Auth验证的权限管理系统支持无限级父子级权限继承，父级的管理员可任意增删改子级管理员及权限设置支持单...

Thinkphp5.0 框架实现控制器向视图view赋值及视图view取值操作示

本文实例讲述了Thinkphp5.0框架实现控制器向视图view赋值及视图view取值操作。分享给大家供大家参考，具体如下：Thinkphp5.0控制器向视图view的赋值方式一（使用fetch()方...

thinkphp5实现简单评论回复功能（php评论回复功能源码下载）

由于之前写评论回复都是使用第三方插件：畅言所以也就没什么动手，现在证号在开发一个小的项目，所以就自己动手写评论回复，没写过还真不知道评论回复功能听着简单，但仔细研究起来却无法自拔，由于用户量少，所以...

ThinkPHP框架——实现定时任务，定时更新、清理数据

大家好，我是小蜗牛，今天给大家分享一下，如何用ThinkPHP5.1.*版本实现定时任务，例如凌晨12点更新数据、每隔10秒检测过期会员、每隔几分钟发送请求保证ip的活性等本次分享，主要用到一个名为E...

BeyongCms系统基于ThinkPHP5.1框架的轻量级内容管理系统

BeyongCms内容管理系统(简称BeyongCms)BeyongCms系统基于ThinkPHP5.1框架的轻量级内容管理系统，适用于企业Cms,个人站长等，针对移动App、小程序优化；提供完善简...

YimaoAdminv3企业建站系统，使用 thinkphp5.1.27 + mysql 开发

介绍YimaoAdminv3.0.0企业建站系统，使用thinkphp5.1.27+mysql开发。php要求5.6以上版本，推荐使用5.6,7.0,7.1，扩展(curl,...

ThinkAdmin-V5开发笔记（thinkpad做开发）

前言为了快速开发一款小程序管理后台，在众多的php开源后台中，最终选择了基于thinkphp5的，轻量级的thinkadmin系统，进行二次开发。该系统支持php7。文档地址ThinkAdmin-V5...

thinkphp5.0.9预处理导致的sql注入复现与详细分析

复现先搭建thinkphp5.0.9环境...

thinkphp5出现500错误怎么办（thinkphp页面错误）

thinkphp5出现500错误，如下图所示：相关推荐：《ThinkPHP教程》require():open_basedirrestrictionineffect.File(/home/ww...

Thinkphp5.0极速搭建restful风格接口层

下面是基于ThinkPHPV5.0RC4框架，以restful风格完成的新闻查询（get）、新闻增加（post）、新闻修改（put）、新闻删除（delete）等server接口层。1、下载Thin...

基于ThinkPHP5.1.34 LTS开发的快速开发框架DolphinPHP

DophinPHP（海豚PHP）是一个基于ThinkPHP5.1.34LTS开发的一套开源PHP快速开发框架，DophinPHP秉承极简、极速、极致的开发理念，为开发集成了基于数据-角色的权限管理机...

ThinkPHP5.*远程代码执行高危漏洞手工与升级修复解决方法

漏洞描述由于ThinkPHP5框架对控制器名没有进行足够的安全检测，导致在没有开启强制路由的情况下，黑客构造特定的请求，可直接GetWebShell。漏洞评级严重影响版本ThinkPHP5.0系列...

Thinkphp5代码执行学习（thinkphp 教程）

Thinkphp5代码执行学习缓存类RCE版本5.0.0<=ThinkPHP5<=5.0.10Tp框架搭建环境搭建测试payload...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表