基于eBPF的procstat软件追踪程序Offcpu时间

在现代计算机系统中，性能调优和问题诊断是大家经常会面临的问题，解决这些性能问题是确保程序高效运行的关键。有时不知为何程序的吞吐量和时延出现抖动，有一种可能就是程序发生了Offcpu。了解程序的 Offcpu 时间有助于识别潜在的性能瓶颈和系统资源调度问题。今天，我们将介绍一款强大的性能追踪软件——procstat，它使用 eBPF 技术来追踪程序的Offcpu时间，并通过一个小例子展示它的使用方法。
之前写过关于procstat软件的文章，使用procstat软件检测死锁问题和使用procstat软件追踪加锁和持有锁的时间，欢迎大家阅读。

什么是 Offcpu

Offcpu 时间指的是一个线程在非运行状态下所花费的时间。这可能是由于被其他线程抢占、等待 I/O 操作完成或其他原因。有很多时候，程序发生的性能抖动是由于Offcpu导致。通过分析程序的Offcpu 情况，我们可以更好地理解线程调度和系统资源的使用情况，从而进行性能优化。

procstat软件简介

procstat是一款基于eBPF的监控工具软件，运行在Linux平台，主要用于跟踪目标程序的运行状态，并报告异常指标，是分析程序性能问题的一大利器。procstat能够用于追踪程序的Offcpu时间。该软件通过eBPF技术，可以深入到Linux内核内部，监控操作系统的调度行为，实时捕捉程序的调度状态。当检测到Offcpu时间超过阈值的情况时，procstat会在日志中输出详细的信息，帮助开发者快速定位问题根源。接下来我们将通过一个小实验来展示一下procstat软件是如何追踪程序Offcpu时间的。
此软件可以在以下链接中下载到，并提供免费试用，后续还会有版本更新迭代，使用时需要能连互联网环境。
Github下载链接

Offcpu示例代码

我们通过一个简单的 C++ 程序来演示如何使用 procstat 追踪Offcpu时间。以下是我们的示例程序：

#include <iostream>
#include <thread>
#include <chrono>
int main()
{
    while (1) {
        std::this_thread::sleep_for(std::chrono::milliseconds(1));
    }
    return 0;
}
// g++ offcpu.cpp -o offcpu -g -std=c++11 -pthread -O2

这个程序简单地在一个无限循环中每次休眠 1 毫秒，然后继续运行。程序的休眠在实际应用中可能代表等待 I/O 或者其他资源的情况。

使用procstat追踪Offcpu

编译并启动上述代码后，使用procstat软件来监控该程序并检测Offcpu状态。本实验中，编译后的程序名为offcpu。首先，将procstat软件的配置中将offcpu的阈值设置为900000，单位是纳秒，意思是当进程发生Offcpu时长超过阈值900微秒就会输出日志。
配置设置
配置文件位置在procstat目前下的conf目录中，名为config.json。

"schedule_stat": {
        "offcpu_duration": 900000
},

我们可以通过以下命令启动procstat进行监控：sh start.sh -p 进程号。其中，<进程号>是正在运行的offcpu程序的进程ID。
运行程序

[root@VM-8-2-centos bin]# ps -ef | grep offcpu
root     2896306 2894954  0 14:38 pts/2    00:00:12 ./offcpu
root     2911886 2911344  0 15:29 pts/4    00:00:00 grep --color=auto offcpu
[root@VM-8-2-centos bin]# sh start.sh -p 2896306
Start Loading...!
Start Stating...!

启动监控后（输出“Start Stating…!”后就已开始监控了），procstat会持续监控该程序的运行状态，并在日志中记录时间超过配置文件中设定的阈值的Offcpu操作（时长可配置）。

procstat软件日志

接下来我们查询procstat的日志信息，并搜索SCHED OFFCPU关键字。
在日志中发现offcpu进程非常频繁地进入Offcpu状态，从结果图中也可看出，被监控的offcpu进程的确进入过Offcpu状态，我们截取几条日志分析一下。

1. 第13667行，是表示该进程发生Offcpu的时长超过了阈值，各字段含义：
   （1）comm=offcpu，表示发生Offcpu的进程的启动命令是offcpu；
   （2）tid=2896306，表示发生Offcpu的线程id是2896306；
   （3）state=1，表示Offpu的类型，1是可打断的，2是不可打断的；
   （4）duration=[1068527]ns，表示本次Offcpu的时长是1068527纳秒，约为1ms；
   （5）preempt_pid=0，表示抢占该进程的抢占者进程id是0；
   （6）preempt_tid=0，表示抢占该进程的抢占者线程id是0；
   （7）preempt_comm=swapper/0，表示抢占该进程的抢占者进程命令是swapper/0；
   （8）waker_pid=0，表示唤醒该进程的唤醒者进程id是0；
   （9）waker_tid=0，表示唤醒该进程的唤醒者线程id是0；
   （10）waker_comm=swapper/0，表示唤醒该进程的唤醒者进程命令是swapper/0。
2. 第13668行是发生Offput时的线程堆栈信息，可以看到是由于用户空间调用了sleep导致进程被调度出运行队列导致的Offcpu。
3. 第13683行是唤醒offcpu进程的线程的堆栈信息，可以看到是定时器发生了中断，之后唤醒了offcpu进程，也就是sleep的时间到了被唤醒了。
4. 第13701行是50ms输出一次的Offcpu状态的统计信息，其包含的字段意义如下：
   （1）tid = 2896306，表示发生Offcpu的线程id；
   （2）pid = 2896306，表示发生Offcpu的进程id；
   （3）comm = offcpu，表示发生Offcpu的进程的启动命令是offcpu；
   （4）total_duration = 25574161ns，表示该统计周期内此进程发生Offcpu的总时长是25ms；
   （5）avg_duration = 1065590ns，表示该统计周期内此进程发生Offcpu的平均时长是1ms；
   （6）max_duration = 1071927ns，表示该统计周期内此进程发生Offcpu的最大时长是1ms；
   （7）max_index = 18，表示该统计周期内时长最大的Offcpu发生在第18次；
   （8）count = 24，表示该统计周期内一共发生了24次Offcpu。

通过分析这些信息就能知道发生Offcpu的真正原因，在分析程序的性能抖动时非常有帮助！

总结

procstat 是一个功能强大的工具，通过 eBPF 技术实现了对程序 Offcpu 时间的全面追踪。通过本文的介绍和示例，相信你已经对 procstat 有了基本的了解。希望你能在实际工作中充分利用这个软件，提高程序的性能和稳定性。
procstat软件还可以监测很多的程序异常状态，随着eBPF技术的不断发展和procstat软件不断的迭代，希望能够帮助大家定位程序的性能问题和异常问题，进一步提升对软件和操作系统的监控能力，欢迎大家试用，有问题请私信我，共同学习、交流，共同进步！