max_fails和fail_timeout配置不合理,造成服务故障
536 次浏览
发表于 2020-05-28 10:30

1、现象:

    1)通过NGINX访问ppm服务开始超时。

image.png

    2)不久大量服务开始报no live upstream,造成部分服务不可用,导致了业务影响。

image.png

2、解决过程:

    1) 查看路由控制台管理界面,发现NGINX中有ppm的服务被超时下架。

image.png

    2)重启超时被下架的ppm服务,重启nginx解决。

3、根源分析:

生产环境中,应用启动后,需要动态注册到路由nginx中。请求到达接入层nginx后,通过负载把请求发给路由层nginx,再根据路由规则,分发到docker资源池的不同服务实例。

1) 在本次故障中,因为路由层nginx调用后端ppm多次服务超时,因此路由把ppm的服务下架。

2) 下架后接入层nginx把访问ppm的请求转发给路由层nginx,导致请求失败。

3) 多次失败后接入层nginx把路由层nginx下架。

4) 在路由层所有nginx都下架后,访问其他服务也就没有可以访问的live upstream,从而导致了到其他服务实例访问都失败。

接入层nginx 访问后端的upstream通过两个参数来进行控制:max_fails, fail_timeout, 比如:max_fails=10, fail_timeout=5s,则认为5秒超时为1个失败,10次失败后则不再访问后端的该upstream

因此为避免某个服务超时导致路由nginx被下架,需要对接入层nginx的这两个参数进行调整:

1) fail_timeout需要设置为 > 服务端应用的最大执行时间。

     2增大max_fails, 并对no live upstream进行监控告警。

image.png


如果您觉得不错,就打赏支持一下吧〜
已有 2 人进行打赏
  • NGINX官方账号
  • 阿尔巴
发表评论
  • 0学0

    实战经验分享,杠杠滴!👍🏻👍🏻

    2020-05-28 15:37
    1
    回复
发表者

陈友行

暂无个人介绍

  • 5

    文章

  • 1

    关注

  • 18

    粉丝

活动推荐
版权所有©F5 Networks,Inc.保留所有权利。京ICP备16013763号-5