nginx出现大量499响应码怎么办? nginx499报错
yuyutoo 2024-11-10 13:47 2 浏览 0 评论
一、问题现象
监控发现Nginx服务日志中出现较多的499状态码，499状态码在Nginx中代表的是客户端在服务端返回之前主动断开了连接，由于客户端设置的超时时间为2s，故到达2s未收到服务端响应客户端主动断开了连接造成了499响应码。
二、可能的故障点
- 服务器的问题，例如CPU使用率高，队列堵塞，导致无法及时处理请求，从而导致客户端超时断开连接
- 网络出现问题，丢包或者出现网络堵塞
- 专线线路存在问题
- 后端服务存在性能瓶颈，当流量变大时，响应时间提高，导致客户端超时断开连接
三、排查服务器问题
- 使用top命令，查看CPU使用率低于10%，内存使用率低于20%，没有明显的性能波动。
- 使用vmstat 1 20命令，发现CPU队列为1，服务器具备4个CPU，使用率较低，未有明显异常，io情况也正常。
初步判断与服务器无关。
四、排查网络问题
- 使用ethtool eth0命令查看网络带宽配置情况，发现 Speed: 1000Mb/s，Duplex:Full，千兆的网卡全部打满，没有进行带宽限制。
- 使用sar -n DEV 1 20命令查看网络的实时流量，可以看到rxkB/s峰值1800多，txkB/s峰值2400多，远远未达到网络上的流量限制，通过sar -n EDEV 1 20查看有网络错误的流量，发现均为0
- 使用抓包工具在网络出口上进行抓包，发现网络数据包均正常发送，未有明显延时的情况
初步判断网络设备没有问题。
五、排查专线线路问题
后端服务是合作方的服务，通过专线相连接，专线有主、备两条，分别属于电信和移动运营商，主线经过电信的排查带宽无问题，排查期间将线路切换到备线，问题依旧存在。
初步判断与专线线路无关。
六、排查后端服务性能问题
由于超过2s客户端主动断开了连接，无法判断后端服务是否收到了请求且是否正常响应。在nginx location模块的配置中添加配置: proxy_ignore_client_abort on;，添加此配置以后，虽然客户端到达2s以后会主动断开连接，但是nginx会继续转发到后端服务且等待后端服务返回，并打印日志。
添加完此配置以后，发现日志中已经没有出现499的响应码，查看response time大于2s的请求，发现均正常返回，但是响应时间超过2s，高峰之时，响应时间最高超过10s。
由此可以判断，后端服务是能够正常收到请求的，只是由于后端服务网络设备或者是后端服务在大流量的情况下性能不足，导致响应缓慢，从而出现大量499响应码。
七、排查结果
当流量升高时，大约1000TPS左右，响应时间显著提高，从原来毫秒级别变成最大超过10秒钟，此时使用ping发现没有网络延时，可以确定是后端服务存在性能问题。
以上排查主要是提供的排查的方法，逐步排查各个可能的故障点，实际生产排查中一般根据经验调整排查的顺序，例如直接就先排查后端的服务的响应时间，这个就依赖于个人的经验了。
相关推荐
- jQuery VS AngularJS 你更钟爱哪个?
-
在这一次的Web开发教程中，我会尽力解答有关于jQuery和AngularJS的两个非常常见的问题，即jQuery和AngularJS之间的区别是什么？也就是说jQueryVSAngularJS？...
- Jquery实时校验，指定长度的「负小数」，小数位未满末尾补0
-
在可以输入【负小数】的输入框获取到焦点时，移除千位分隔符，在输入数据时，实时校验输入内容是否正确，失去焦点后，添加千位分隔符格式化数字。同时小数位未满时末尾补0。HTML代码...
- 如何在pbootCMS前台调用自定义表单?pbootCMS自定义调用代码示例
-
要在pbootCMS前台调用自定义表单，您需要在后台创建表单并为其添加字段，然后在前台模板文件中添加相关代码，如提交按钮和表单验证代码。您还可以自定义表单数据的存储位置、添加文件上传字段、日期选择器、...
- 编程技巧:Jquery实时验证，指定长度的「负小数」
-
为了保障【负小数】的正确性，做成了通过Jquery，在用户端，实时验证指定长度的【负小数】的方法。HTML代码<inputtype="text"class="forc...
- 一篇文章带你用jquery mobile设计颜色拾取器
-
【一、项目背景】现实生活中，我们经常会遇到配色的问题，这个时候去百度一下RGB表。而RGB表只提供相对于的颜色的RGB值而没有可以验证的模块。我们可以通过jquerymobile去设计颜色的拾取器...
- 编程技巧:Jquery实时验证，指定长度的「正小数」
-
为了保障【正小数】的正确性，做成了通过Jquery，在用户端，实时验证指定长度的【正小数】的方法。HTML做成方法<inputtype="text"class="fo...
- jquery.validate检查数组全部验证
-
问题：html中有多个name[]，每个参数都要进行验证是否为空，这个时候直接用required:true话，不能全部验证，只要这个数组中有一个有值就可以通过的。解决方法使用addmethod...
- Vue进阶(幺叁肆):npm查看包版本信息
-
第一种方式npmviewjqueryversions这种方式可以查看npm服务器上所有的...
- layui中使用lay-verify进行条件校验
-
一、layui的校验很简单，主要有以下步骤：1.在form表单内加上class="layui-form"2.在提交按钮上加上lay-submit3.在想要校验的标签，加上lay-...
- jQuery是什么?如何使用? jquery是什么功能组件
-
jQuery于2006年1月由JohnResig在BarCampNYC首次发布。它目前由TimmyWilson领导,并由一组开发人员维护。jQuery是一个JavaScript库，它简化了客户...
- django框架的表单form的理解和用法-9
-
表单呈现...
- jquery对上传文件的检测判断 jquery实现文件上传
-
总体思路：在前端使用jquery对上传文件做部分初步的判断，验证通过的文件利用ajaxFileUpload上传到服务器端，并将文件的存储路径保存到数据库。<asp:FileUploadI...
- Nodejs之MEAN栈开发(四)-- form验证及图片上传
-
这一节增加推荐图书的提交和删除功能，来学习node的form提交以及node的图片上传功能。开始之前需要源码同学可以先在git上fork：https://github.com/stoneniqiu/R...
- 大数据开发基础之JAVA jquery 大数据java实战
-
上一篇我们讲解了JAVAscript的基础知识、特点及基本语法以及组成及基本用途，本期就给大家带来了JAVAweb的第二个知识点jquery，大数据开发基础之JAVAjquery，这是本篇文章的主要...
- 推荐四个开源的jQuery可视化表单设计器
-
jquery开源在线表单拖拉设计器formBuilder(推荐)jQueryformBuilder是一个开源的WEB在线html表单设计器，开发人员可以通过拖拉实现一个可视化的表单。支持表单常用控件...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)