- 类型:硬件驱动大小:631.5M语言:中文 评分:0.0
- 标签:
凌晨业务突增后,Linux主机上的SYN-RECV持续上涨,客户端却频频超时;也有握手已经完成、accept队列塞满,服务仍突发拒绝连接的情况。在戴尔PowerEdge服务器使用ESXi 8.0.0 U3 A10官方ISO部署后,Linux虚机同样会遇到。根因往往是半连接或全连接队列在不同阶段耗尽。
如果你正在选机器,或者想先把线路和配置跑通再谈长期方案,可以先看看这几家的线路说明和技术参数:flashid(海外服务器),先看清带宽线路、流量策略和退款条款,再决定要不要迁。
一、两个队列分别在什么阶段耗尽
收到SYN后,内核先建立request sock;三次握手尚未完成时,连接停留在SYN-RECV,占用SYN半连接队列。其容量主要受net.ipv4.tcp_max_syn_backlog限制。队列满后,内核可丢弃新SYN,或在tcp_syncookies=1时发送SYN Cookie,把状态编码进序号,通常不再增加半连接表项。

ACK验证通过后,连接进入全连接队列;此时它已能收发数据,但应用尚未执行accept,暂不提供服务。该队列受listen backlog与net.core.somaxconn约束,ss -lnt中的Recv-Q表示等待应用接收的数量,Send-Q才是监听项的队列上限。队列满时,SYN-ACK可能被丢弃或忽略,客户端只能重传握手,最终表现为超时、高重传和突发连接拒绝。
二、用ss、nstat和日志区分攻击与过载
排查时先保留快照:ss -lnt查看监听端口的Recv-Q与Send-Q,ss -ant state syn-recv按来源统计半连接;nstat -az重点观察TcpExtListenOverflows、ListenDrops、TCPReqQFullDoCookies和SyncookiesSent。再将dmesg中的listen queue overflow、Possible SYN flooding、nf_conntrack table full,与上游流量、CPU软中断及应用日志对齐。Recv-Q贴近上限且accept变慢,常见于线程池不足、锁竞争或描述符耗尽;SYN-RECV来源高度分散、总量陡增,更像SYN洪泛;来源集中且握手后应用处理不过来,则更像正常过载。两种现象也可能同时出现,不能只凭SYN-RECV数量下结论。

处置前先记录原值,再按合法峰值设置tcp_max_syn_backlog,使listen backlog、somaxconn与应用并发能力匹配;保持tcp_syncookies=1,启用tcp_abort_on_overflow前要评估RST影响。随后扩容accept线程,核对worker数、ulimit -n和nf_conntrack_max。在隔离环境分别执行阶梯式SYN突发、完整握手并发和慢客户端压测,记录队列峰值、重传率、延迟及conntrack丢弃。生产环境每次只改一项并观察15分钟;若p99延迟、重传或丢包恶化,立即回滚原sysctl与listen参数,按原方式重载监听进程,再确认ss、nstat计数及业务成功率恢复。
两类队列的溢出路径
SYN 半连接队列保存已经收到 SYN、但三次握手尚未完成的请求,主要由 tcp_max_syn_backlog 约束。队列耗尽后,未启用 SYN Cookie 时通常丢弃新的握手请求;启用时则发送 Cookie,把关键状态暂存到客户端。短时间大量半连接既可能是 SYN Flood,也可能只是客户端重试过猛,不能只凭数量定性。
全连接队列也称 accept 队列,保存握手已完成、却尚未被应用调用 accept 取走的连接。其容量通常受 listen 的 backlog 和 net.core.somaxconn 共同限制,二者取较小值。应用线程被慢查询、锁、磁盘或事件循环卡住时,队列很快就会满。队列满后,后续握手可能无法完成:内核可能丢弃最终 ACK,也可能发送 RST,具体行为受 tcp_abort_on_overflow 和内核版本影响,客户端表现为超时、重试或连接重置。
因此要区分连接已进入内核和应用已接收:前者由握手速率决定,后者由 accept 吞吐决定。只要前者长期高于后者,即使 SYN 半连接队列正常,全连接队列仍会持续上涨。队列溢出是过载结果,不是单纯调大 backlog 就能根治的问题。

定位溢出并执行检查
先执行 ss -lnt 查看监听端口的 Recv-Q 与 Send-Q:前者是已完成握手但等待 accept 的数量,后者是当前监听队列上限。Recv-Q 接近或等于 Send-Q,说明全连接队列已经饱和。随后用 ss -ant state syn-recv 观察半连接,并通过 nstat -az 对照 TcpExtListenDrops、TcpExtListenOverflows、TcpExtTCPReqQFullDoCookies:前者提示 SYN 请求被丢弃,ListenOverflows 指向 accept 队列溢出,Cookie 计数增长说明请求队列曾经拥塞。
这些内核计数是累计值,必须与突发拒绝发生的时间对齐;应用日志中的 accept 慢、客户端超时或网关重试也要同时核对。SYN_RECV 多不等于 SYN 队列一定满,因为 SYN Cookie 会在不保存完整半连接状态时继续握手。
可执行检查清单:
1. 连续采样 ss -lnt、ss -s、accept 速率、CPU、文件描述符和错误日志,标出队列首次饱和的时刻。
2. 核对 tcp_max_syn_backlog、somaxconn、tcp_syncookies、tcp_abort_on_overflow 及程序传给 listen 的 backlog,确认容器值未被宿主机覆盖。
3. 在同一时间窗口对照 ListenOverflows、ListenDrops 和 Cookie 计数,分别判断 accept 队列与握手请求是否拥塞。
4. 全连接队列饱和时,先消除 accept 路径中的阻塞并增加消费者;SYN 队列饱和时,再评估 Cookie 和半连接上限。
5. 逐步压测,观察水位、握手成功率、accept 延迟和失败类型;调整 backlog 前先验证应用吞吐,盲目扩容只会推迟拒绝。
6. 对齐客户端重传、RST、超时和网关日志,排除防火墙、conntrack、临时端口及健康检查造成的假性拒绝。
排查结束后,应形成“握手速率队列水位accept 吞吐失败类型”的时间线。全连接队列溢出首先是服务端消费能力不足;SYN 队列溢出更接近握手状态容量或异常流量。调参只能争取缓冲时间,真正修复仍要同时提高消费能力并控制异常连接。

喜欢
顶
难过
囧
围观
无聊





