一台服务器配16队列网卡,25GbE链路跑满后,12个CPU几乎空闲,CPU23软中断却超过90%,同时出现队列丢包和尾延迟。网卡并非发不满,而是RX队列未把工作均匀交给处理器。RSS提供多流并行,不保证逐包均分;只看总带宽,容易把“链路满载”误判为“负载均衡”。
如果你正在选机器,或者想先把线路和配置跑通再谈长期方案,可以先看看这几家的线路说明和技术参数:ipdeep(海外服务器),先看清带宽线路、流量策略和退款条款,再决定要不要迁。
一、RSS为何把流量集中到少数CPU
RSS通常按报文四元组计算哈希,再选择RX队列。同连接通常得到相同哈希,一条大流会反复进入同一队列;它不拆单流,也不按包轮询。少量长连接主导业务时,队列倾斜就可能出现。更关键的是,队列号不等于CPU号:网卡分流后,Linux还要将队列中断绑定到特定CPU,驱动、IRQ亲和性和NUMA关系都可能让16个队列落在少数核心。

软中断负责网卡中断后的协议栈处理。若某队列IRQ固定在CPU6,该核便独自承担收包、缓存和入栈,其他核心不会自动接管。排查要分三层:RSS决定包进哪个队列,IRQ亲和性决定哪个CPU处理,RPS则在队列不足时分发流量。
二、从队列计数定位到中断绑定
先用命令核对实际状态。ethtool -l eth0看硬件组合,ethtool -x eth0看RSS队列数、密钥与哈希类型;ethtool -S eth0中的RX packets、drops可按队列比较,字段名随驱动略有差异。若一个队列承接多数包,多半是RSS哈希或流形态问题;若各队列接近而某CPU软中断偏高,应转查IRQ。/proc/interrupts可观察IRQ增长位置,/proc/irq/中断号/smp_affinity_list显示绑定范围。

再对齐软中断证据。/proc/net/softnet_stat按CPU给出processed、dropped、time_squeeze等累计值,能发现热点核,却不是队列计数,不能直接反推RX队列。time_squeeze持续上升,说明CPU清理速度跟不上;还要检查IRQ是否挤在同核超线程、是否跨NUMA访存,以及丢包发生在硬件、驱动还是协议栈。
调整遵循“先队列、后CPU”:确认驱动启用预期队列数,保留足够RSS键值区分连接;再按队列找到IRQ,用/proc/irq/*/smp_affinity_list写入目标CPU列表,将它们分散到不同物理核心,并用udev或系统策略固化。irqbalance可能覆盖手工绑定,须核对最终结果。队列多于CPU时,可评估/sys/class/net/eth0/queues/rx-*/rps_cpus掩码;不要让所有IRQ指向同一组CPU。修改前记录原值,部分参数变更会重置链路并短暂断流。
最后以相同流量复测每队列包数、每CPU软中断增量、time_squeeze、丢包与P99延迟,而非只看总吞吐。若业务只有一条巨型流,应从多连接或上游分流入手;若多队列均衡而单核仍满,则修正IRQ与RPS映射。这样才能分清哈希偏斜、亲和性错配和单核能力不足。
从 RSS 队列追到软中断调度
确认网卡启用 RSS 后,用 ethtool -l eth0 查看队列组合,再用 ethtool -x eth0 核对 RSS indirection 表;桶位集中,流量便偏向少数队列,队列多不等于实际并行。
多队列网卡只提供并行入口。RSS 按四元组哈希,连接数不足、长连接主导或哈希碰撞,都会把多个流送入同一队列。对照各队列 packets、bytes、dropped、backlog;若一队列长期满载而其余空闲,根因通常是流分布或哈希,而非 CPU 不足。

接着区分 硬中断亲和性与软中断亲和性。/proc/interrupts 显示 IRQ 所在 CPU,/proc/softirqs 的 NET_RX 显示软中断执行位置。IRQ 均衡不等于软中断均衡;irqbalance 或脚本重复干预,可能让两者错位。
RSS 队列通常对应 IRQ。若全部 IRQ 绑在同一 CPU,分散流量会重新汇聚,形成 单队列吞吐瓶颈。此外单连接本身有上限,连接并发不足时,增加队列也消除不了应用侧串行化,须结合连接数与单流速率判断。
常见误区与可执行检查清单
不要把 /proc/net/softnet_stat 的 dropped 都归咎于软中断,它也可能来自 backlog 溢出、队列过短或内存压力;更不能只重启 irqbalance。应记录 NUMA 拓扑、网卡插槽和亲和性,避免自动策略覆盖手工配置。
按序检查:① ethtool -S eth0 对比各队列 rx_packets、rx_drops;② 固定窗口读取 /proc/interrupts 与 /proc/softirqs,统计各 CPU 的 NET_RX 增量;③ 查看 softnet_stat 的 processed、dropped、time_squeeze;④ 核对 RPS/RFS/XPS 掩码及 ethtool -c eth0 的中断合并参数;⑤ 结合连接数决定是否调整哈希键、间接表或 IRQ 分布。
每次只改一个变量,在同等流量下复测队列速率、CPU 利用率、软中断时间、丢包和重传。目标不是绝对平均,而是高流量队列不长期独占 CPU,IRQ 与 NET_RX 靠近同一 NUMA 节点,且连接数足以喂饱多个队列。
最终联合验证 RSS队列分布、中断负载均衡与软中断亲和性:队列不均先查流量与哈希,中断不均再调亲和性,单流受限则回到连接并发和发送路径。三者都通过压测与监控,才能确认多队列能力真正转化为吞吐。


喜欢
顶
难过
囧
围观
无聊





