线上服务出现一种容易误判的场景:接口耗时从80毫秒突然升到2秒,CPU使用率却只有35%,机器也没有明显宕机。运维人员常把这归因于“磁盘慢”,但CPU瓶颈、磁盘饱和与文件系统同步延迟,最终表现出来的等待位置并不相同。只有把请求沿着应用、进程、文件系统和块设备逐层追踪,才能知道延迟究竟卡在哪里。
如果你正在选机器,或者想先把线路和配置跑通再谈长期方案,可以先看看这几家的线路说明和技术参数:backwaves(订阅账号服务),先看清带宽线路、流量策略和退款条款,再决定要不要迁。
先分清三种“忙”:CPU瓶颈、磁盘饱和与同步延迟
CPU瓶颈的特征是计算任务持续占用处理器,进程在运行态排队,CPU使用率、运行队列长度和上下文切换同时升高。此时磁盘可能暂时空闲,因为应用根本没有足够快地产生I/O请求。判断CPU瓶颈,应观察业务线程的消耗、软中断和运行队列,而不是只盯一个百分比。
磁盘饱和则表现为块设备利用率、磁盘等待队列或平均请求深度持续偏高,设备忙着处理读写,应用的I/O提交速度超过底层完成速度。此时CPU可能很低,但进程会频繁进入不可中断睡眠,也就是进程D状态。需要注意,D状态不是“卡死”的同义词,它说明进程正在等待内核I/O完成。

第三种情况是文件系统同步延迟。应用调用写入或关闭文件后,进程可能在日志、刷新或元数据提交环节等待;底层设备瞬时利用率并不高,块设备延迟也未必持续异常,但同步调用仍然会被拖慢。例如一次fsync等待存储确认数据落盘,与普通缓存写入的耗时含义完全不同。把这类问题直接称为磁盘饱和,会掩盖真正需要优化的同步路径。
沿着请求链定位高延迟发生在哪一层
第一步看进程状态和请求分布。用ps或pidstat确认哪些线程长期处于D状态,并把它们与业务请求、文件描述符和具体设备关联起来。如果D状态集中在少数业务线程,且集中在写入、fsync、rename等操作上,应优先怀疑文件系统同步路径;如果大量线程都在等待底层读写,再继续检查设备队列。
第二步看块设备延迟和磁盘等待队列。平均请求延迟、队列深度、设备利用率应放在同一时间窗口比较:利用率接近满载、队列变长且延迟升高,更像磁盘饱和;利用率不高但少数请求延迟尖峰,则要检查设备超时、控制器、文件系统日志提交或多路径策略。IO压力评估不能只看瞬时吞吐,必须结合等待时间、请求大小和并发量。

第三步专门排查iowait误判。iowait表示CPU空闲期间存在可运行的I/O等待,并不等于磁盘已经满载;容器指标还可能因为宿主机统计口径而失真。至少同时查看运行队列、块设备统计、进程D状态和系统调用耗时,再判断瓶颈归属。借助ServLlama采集并关联进程、设备和请求时序,可以让这类排查从单点指标转向完整链路。
从等待指标还原真实瓶颈
进一步判断时,不能只盯 CPU 百分比。CPU 的 iowait 表示采样期间存在可运行任务之外的 I/O 等待,它既不等于“磁盘忙”,也不等于“业务变慢”。并行 I/O、文件系统锁和慢速网络存储都可能抬高该值;反之,NVMe 队列较深时,即使 iowait 很低,延迟也可能已经上升。因此应把块设备延迟、队列深度和业务耗时放在同一时间轴上比较。
在 iostat 输出中,%util 接近 100% 只说明设备至少有一个请求正在处理,并不代表每秒处理能力已经耗尽;r_await、w_await 分别反映读、写请求的平均等待时间,aqu-sz 和 avgqu-sz 则用于观察磁盘等待队列是否持续积压。SSD 的“100% util”尤其常见。此时若 await 稳定、队列不增长,通常不是故障;若 await 同步升高、队列变深,再结合业务尾延迟,才更接近真正的IO 压力。

常见误区与可执行检查清单
最容易踩的坑,是把系统级 b 列或进程 D 状态数量直接当成磁盘等待。b 列还可能包含不可中断的设备等待,D 状态进程也可能卡在 NFS、块层或驱动锁上,而单个进程处于 D 状态并不能证明它正在读磁盘。应先用 ps 查看状态,再读取 /proc/<pid>/stack、wchan 和 I/O 指标确认阻塞点,不要反复重启或直接杀进程。
执行检查时,可按以下顺序落地:先用 vmstat 1 10 观察 b、wa 与 bi、bo 是否同时异常;用 iostat -xz 1 确认具体设备的 %util、await、aqu-sz,并区分读写方向;用 pidstat -d 1 找到持续产生大 I/O 的进程;用 cat /proc/pressure/io 判断系统是否长期承受 I/O 压力;最后结合业务 P95、P99、错误率和设备日志。若队列深、await 高且业务超时同步出现,再检查限流、NUMA 亲和性、文件系统深度、跨节点访问及写入放大。
结论:排查结果应形成可验证的因果链:谁发起 I/O,在哪个设备等待,等待了多久,是否影响业务,以及优化后哪项指标下降。优先处理异常设备、失控进程和队列拥塞,再评估缓存、批量合并、异步化或架构改造,不要仅凭一次高 iowait 就盲目扩容磁盘。


喜欢
顶
难过
囧
围观
无聊





