百度360必应搜狗淘宝本站头条
vba高级教程svn连接scheduledtaskmybatis plus结构体数组
当前位置：网站首页 > 编程网 > 正文

nginx出现大量499响应码怎么办? nginx499报错

yuyutoo 2024-11-10 13:47 4 浏览 0 评论

一、问题现象

监控发现Nginx服务日志中出现较多的499状态码，499状态码在Nginx中代表的是客户端在服务端返回之前主动断开了连接，由于客户端设置的超时时间为2s，故到达2s未收到服务端响应客户端主动断开了连接造成了499响应码。

二、可能的故障点

  1. 服务器的问题，例如CPU使用率高，队列堵塞，导致无法及时处理请求，从而导致客户端超时断开连接
  2. 网络出现问题，丢包或者出现网络堵塞
  3. 专线线路存在问题
  4. 后端服务存在性能瓶颈，当流量变大时，响应时间提高，导致客户端超时断开连接

三、排查服务器问题

  1. 使用top命令，查看CPU使用率低于10%，内存使用率低于20%，没有明显的性能波动。
  2. 使用vmstat 1 20命令，发现CPU队列为1，服务器具备4个CPU，使用率较低，未有明显异常，io情况也正常。

初步判断与服务器无关。

四、排查网络问题

  1. 使用ethtool eth0命令查看网络带宽配置情况，发现 Speed: 1000Mb/s，Duplex:Full，千兆的网卡全部打满，没有进行带宽限制。
  2. 使用sar -n DEV 1 20命令查看网络的实时流量，可以看到rxkB/s峰值1800多，txkB/s峰值2400多，远远未达到网络上的流量限制，通过sar -n EDEV 1 20查看有网络错误的流量，发现均为0
  3. 使用抓包工具在网络出口上进行抓包，发现网络数据包均正常发送，未有明显延时的情况

初步判断网络设备没有问题。

五、排查专线线路问题

后端服务是合作方的服务，通过专线相连接，专线有主、备两条，分别属于电信和移动运营商，主线经过电信的排查带宽无问题，排查期间将线路切换到备线，问题依旧存在。

初步判断与专线线路无关。

六、排查后端服务性能问题

由于超过2s客户端主动断开了连接，无法判断后端服务是否收到了请求且是否正常响应。在nginx location模块的配置中添加配置: proxy_ignore_client_abort on;，添加此配置以后，虽然客户端到达2s以后会主动断开连接，但是nginx会继续转发到后端服务且等待后端服务返回，并打印日志。

添加完此配置以后，发现日志中已经没有出现499的响应码，查看response time大于2s的请求，发现均正常返回，但是响应时间超过2s，高峰之时，响应时间最高超过10s。

由此可以判断，后端服务是能够正常收到请求的，只是由于后端服务网络设备或者是后端服务在大流量的情况下性能不足，导致响应缓慢，从而出现大量499响应码。

七、排查结果

当流量升高时，大约1000TPS左右，响应时间显著提高，从原来毫秒级别变成最大超过10秒钟，此时使用ping发现没有网络延时，可以确定是后端服务存在性能问题。

以上排查主要是提供的排查的方法，逐步排查各个可能的故障点，实际生产排查中一般根据经验调整排查的顺序，例如直接就先排查后端的服务的响应时间，这个就依赖于个人的经验了。

相关推荐

Mysql和Oracle实现序列自增（oracle创建序列的sql）

Mysql和Oracle实现序列自增/*ORACLE设置自增序列oracle本身不支持如mysql的AUTO_INCREMENT自增方式，我们可以用序列加触发器的形式实现，假如有一个表T_WORKM...

关于Oracle数据库12c 新特性总结（oracle数据库19c与12c）

概述今天主要简单介绍一下Oracle12c的一些新特性，仅供参考。参考：http://docs.oracle.com/database/121/NEWFT/chapter12102.htm#NEWFT...

MySQL CREATE TABLE 简单设计模板交流

推荐用MySQL8.0(2018/4/19发布,开发者说同比5.7快2倍)或同类型以上版本....

mysql学习9:创建数据库（mysql5.5创建数据库）

前言：我也是在学习过程中，不对的地方请谅解showdatabases;#查看数据库表createdatabasename...

MySQL面试题-CREATE TABLE AS 与CREATE TABLE LIKE的区别

执行"CREATETABLE新表ASSELECT*FROM原表;"后，新表与原表的字段一致，但主键、索引不会复制到新表，会把原表的表记录复制到新表。...

Nike Dunk High Volt 和 Bright Spruce 预计将于 12 月推出

在街上看到的PandaDunk的超载可能让一些球鞋迷们望而却步，但Dunk的浪潮仍然强劲，看不到尽头。我们看到的很多版本都是为女性和儿童制作的，这种新配色为后者引入了一种令人耳目一新的新选择，而...

美国多功能舰载雷达及美国海军舰载多功能雷达系统技术介绍

多功能雷达AN/SPY-1的特性和技术能力，该雷达已经在美国海军服役了30多年，其修改-AN/SPY-1A、AN/SPY-1B（V）、AN/SPY-1D、AN/SPY-1D（V），以及雷神...

汽车音响怎么玩，安装技术知识（汽车音响怎么玩,安装技术知识视频）

全面分析汽车音响使用或安装技术常识一:主机是大多数人最熟习的音响器材，有关主机的各种性能及规格，也是耳熟能详的事，以下是一些在使用或安装时，比较需要注意的事项：LOUDNESS：几年前的主机，此按...

【推荐】ProAc Response系列扬声器逐个看

有考牌(公认好声音)扬声器之称ProAcTablette小音箱，相信不少音响发烧友都曾经，或者现在依然持有，正当大家逐渐掌握Tablette的摆位设定与器材配搭之后，下一步就会考虑升级至表现更全...

#本站首晒# 漂洋过海来看你 — BLACK&DECKER 百得 BDH2000L无绳吸尘器 开箱

作者：初吻给了烟sco混迹张大妈时日不短了，手没少剁。家里有了汪星人，吸尘器使用频率相当高，偶尔零星打扫用卧式的实在麻烦（汪星人：你这分明是找借口，我掉毛是满屋子都有，铲屎君都是用卧式满屋子吸的，你...

专题|一个品牌一件产品(英国篇)之Quested(罗杰之声)

Quested(罗杰之声)代表产品：Q212FS品牌介绍Quested(罗杰之声)是录音监听领域的传奇品牌，由英国录音师RogerQuested于1985年创立。在成立Quested之前，Roger...

常用半导体中英对照表(建议收藏)（半导体英文术语）

作为一个源自国外的技术，半导体产业涉及许多英文术语。加之从业者很多都有海外经历或习惯于用英文表达相关技术和工艺节点，这就导致许多英文术语翻译成中文后，仍有不少人照应不上或不知如何翻译。为此，我们整理了...

Fyne Audio F502SP 2.5音路低音反射式落地音箱评测

FyneAudio的F500系列，有新成员了！不过，新成员不是新的款式，却是根据原有款式提出特别版。特别版产品在原有型号后标注了SP字样，意思是SpecialProduction。Fyne一共推出...

有哪些免费的内存数据库(In-Memory Database)

以下是一些常见的免费的内存数据库：1.Redis：Redis是一个开源的内存数据库，它支持多种数据结构，如字符串、哈希表、列表、集合和有序集合。Redis提供了快速的读写操作，并且支持持久化数据到磁...

RazorSQL Mac版(SQL数据库查询工具)

RazorSQLMac特别版是一款看似简单实则功能非常出色的SQL数据库查询、编辑、浏览和管理工具。RazorSQLformac特别版可以帮你管理多个数据库，支持主流的30多种数据库，包括Ca...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表