使用funcgraph-retval和bpftrace/kprobe快速定位并解决cpu控制器无法使能的

别人笑我太低调

版本

Linux 6.5
背景

在学习cgroupv2的时候，想给子cgroup开启cpu控制器结果失败了：

1. # 查看可以开启哪些控制器
2. root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.controllers
3. cpuset cpu io memory hugetlb pids rdma misc
5. # 上面看到，是支持cpu控制器的，通过下面命令查看目前子cgroup开启了哪些控制器
6. root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.subtree_control
7. memory pids
9. # 通过下面的命令给子cgroup开启cpu控制器
10. root@ubuntu-vm:/sys/fs/cgroup# echo +cpu > cgroup.subtree_control
11. -bash: echo: write error: Invalid argument

复制代码

在给子cgroup开启cpu控制器时提示参数无效，即-EINVAL，错误码是-22.
定位

之前给linux内核的function graph增加了显示函数返回值的功能，正好可以派上用场。

• 使用下面的命令配置ftrace
  

1. echo 0 > /sys/kernel/debug/tracing/tracing_on
2. echo 14080 > /sys/kernel/debug/tracing/buffer_size_kb
3. echo ksys_write > /sys/kernel/debug/tracing/set_graph_function
4. echo $$ > /sys/kernel/debug/tracing/set_ftrace_pid
5. echo 1 > /sys/kernel/debug/tracing/options/funcgraph-retval
6. echo 1 > /sys/kernel/debug/tracing/options/funcgraph-retval-trim
7. echo function_graph > /sys/kernel/debug/tracing/current_tracer

复制代码

目前社区版本还不支持funcgraph-retval-trim，这个是为了对返回值进行裁剪

然后使用下面的方法抓取log：

1. > /sys/kernel/debug/tracing/trace;echo 1 > /sys/kernel/debug/tracing/tracing_on; echo +cpu > cgroup.subtree_control;echo 0 > /sys/kernel/debug/tracing/tracing_on

复制代码

收集到trace日志后，从上往下搜索-22错误码，看到下面的内容：

1. 4)               |                cgroup_migrate_execute() {
2. 4)               |                  cpu_cgroup_can_attach() {
3. 4)               |                    cgroup_taskset_first() {
4. 4)   0.190 us    |                      cgroup_taskset_next(); /* = 0xffff8881003b0000 */
5. 4)   0.551 us    |                    } /* cgroup_taskset_first = 0xffff8881003b0000 */
6. 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
7. 4)   0.180 us    |                    cgroup_taskset_next(); /* = 0xffff888100994e00 */
8. 4)   0.171 us    |                    sched_rt_can_attach(); /* = 0x1 */
9. 4)   0.180 us    |                    cgroup_taskset_next(); /* = 0xffff88810bed4e00 */
10. 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
11. 4)   0.191 us    |                    cgroup_taskset_next(); /* = 0xffff8881083d1a00 */
12. 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
13. 4)   0.170 us    |                    cgroup_taskset_next(); /* = 0xffff888108e20000 */
14. 4)   0.181 us    |                    sched_rt_can_attach(); /* = 0x0 */
15. 4)   4.248 us    |                  } /* cpu_cgroup_can_attach = -22 */

复制代码

可以看到，cpu_cgroup_can_attach先返回了-22错误码，具体分析源码：

1. #ifdef CONFIG_RT_GROUP_SCHED
2. static int cpu_cgroup_can_attach(struct cgroup_taskset *tset)
3. {
4.         struct task_struct *task;
5.         struct cgroup_subsys_state *css;
7.         cgroup_taskset_for_each(task, css, tset) {
8.                 if (!sched_rt_can_attach(css_tg(css), task))
9.                         return -EINVAL;
10.         }
11.         return 0;
12. }
13. #endif

复制代码

结合日志和源码，是由于sched_rt_can_attach返回了0，才会返回-EINVAL。
继续查看sched_rt_can_attach：

1. int sched_rt_can_attach(struct task_group *tg, struct task_struct *tsk)
2. {
3.         /* Don't accept realtime tasks when there is no way for them to run */
4.         if (rt_task(tsk) && tg->rt_bandwidth.rt_runtime == 0)
5.                 return 0;
7.         return 1;
8. }

复制代码

返回0的条件：进程是实时进程，但是目的task group没有给实时任务设置时间份额。
在内核文档中有下面的描述：

WARNING: cgroup2 doesn't yet support control of realtime processes and the cpu controller can only be enabled when all RT processes are in the root cgroup. Be aware that system management software may already have placed RT processes into nonroot cgroups during the system boot process, and these processes may need to be moved to the root cgroup before the cpu controller can be enabled.

上面的意思是说，在开启CPU控制器之前，需要首先将实时任务移动到根cgroup下。
那这里是哪个实时进程导致的呢？sched_rt_can_attach函数的第二个参数就是task_struct地址，可以借助bpftrace查看这个对应的哪个进程：

1. # cat trace.bt
2. #!/usr/bin/env bpftrace
4. kprobe:sched_rt_can_attach
5. {
6.         printf("task: %lx, comm: %s\n", arg1, ((struct task_struct *)arg1)->comm);
7. }

复制代码

运行上面的脚本，然后再次执行开启CPU控制器的操作，可以看到下面的日志：

1. root@ubuntu-vm:~# ./trace.bt
2. Attaching 1 probe...
3. task: ffff8881003b0000, comm: systemd
4. task: ffff888107e38000, comm: agetty
5. task: ffff888107f3ce00, comm: agetty
6. task: ffff888107e39a00, comm: systemd-journal
7. task: ffff88810862b400, comm: multipathd

复制代码

可以看到，最后一个进程是multipathd，这个进程是否为实时进程呢？

1. # ps -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm | grep -E 'PID|multipathd'
2.     PID     TID CLS RTPRIO  NI PRI PSR %CPU STAT WCHAN          COMMAND
3.     153     153 RR      99   - 139   6  0.0 SLsl futex_wait_que multipathd

复制代码

可以看到确实是实时进程。
下面手动将这个进程加到根cgroup下：

1. root@ubuntu-vm:/sys/fs/cgroup# cat /proc/153/cgroup
2. 0::/system.slice/multipathd.service
4. root@ubuntu-vm:/sys/fs/cgroup# echo 153 > cgroup.procs
6. root@ubuntu-vm:/sys/fs/cgroup# cat /proc/153/cgroup
7. 0::/

复制代码

然后再次开启CPU控制器：

1. root@ubuntu-vm:/sys/fs/cgroup# echo +cpu > cgroup.subtree_control
3. root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.subtree_control
4. cpu memory pids

复制代码

到这里，这个问题就解决了。
如果bpftrace不能用的话，可以使用kprobe_event，下面是comm在task_struct中的偏移：

1. (gdb) p &((struct task_struct *)0)->comm
2. $1 = (char (*)[16]) 0x840

复制代码

或者：

1. crash> *task_struct.comm -ox
2. struct task_struct {
3.    [0x840] char comm[16];
4. }

复制代码

用下面的命令添加kprobe_event，同时对ftrace进一步配置：

1. echo 'p sched_rt_can_attach $arg* +0x840($arg2):string' > dynamic_events
2. echo kprobe_ftrace_handler > /sys/kernel/debug/tracing/set_graph_notrace
3. echo 1 > events/kprobes/p_sched_rt_can_attach_0/enable

复制代码

上面$arg*的用法是新版本的内核才有的，借助BTF来获取函数的入参，比之前方便多了，可以用来输出函数的全部入参

这个方法跟funcgraph-retval结合起来，既实现了输出内核函数的入参，同时也输出了内核函数的返回值

再次按照之前的方法复现一次，可以抓到下面的log：

1. 2)               |                cgroup_migrate_execute() {
2. 2)               |                  cpu_cgroup_can_attach() {
3. 2)               |                    cgroup_taskset_first() {
4. 2)   0.190 us    |                      cgroup_taskset_next(); /* = 0xffff8881003b0000 */
5. 2)   0.581 us    |                    } /* cgroup_taskset_first = 0xffff8881003b0000 */
6. 2)               |                    sched_rt_can_attach() {
7. 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1c00 tsk=0xffff8881003b0000 arg3="systemd" */
8. 2)   4.529 us    |                    } /* sched_rt_can_attach = 0x1 */
9. 2)   0.291 us    |                    cgroup_taskset_next(); /* = 0xffff888107e38000 */
10. 2)               |                    sched_rt_can_attach() {
11. 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107e38000 arg3="agetty" */
12. 2)   1.603 us    |                    } /* sched_rt_can_attach = 0x1 */
13. 2)   0.251 us    |                    cgroup_taskset_next(); /* = 0xffff888107f3ce00 */
14. 2)               |                    sched_rt_can_attach() {
15. 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107f3ce00 arg3="agetty" */
16. 2)   1.413 us    |                    } /* sched_rt_can_attach = 0x1 */
17. 2)   0.241 us    |                    cgroup_taskset_next(); /* = 0xffff888107e39a00 */
18. 2)               |                    sched_rt_can_attach() {
19. 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107e39a00 arg3="systemd-journal" */
20. 2)   2.324 us    |                    } /* sched_rt_can_attach = 0x1 */
21. 2)   0.250 us    |                    cgroup_taskset_next(); /* = 0xffff88810862b400 */
22. 2)               |                    sched_rt_can_attach() {
23. 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff88810862b400 arg3="multipathd" */
24. 2)   2.014 us    |                    } /* sched_rt_can_attach = 0x0 */
25. 2) + 15.820 us   |                  } /* cpu_cgroup_can_attach = -22 */

复制代码

kprobe_event的好处是，可以跟function_graph的日志一块结合起来看，也比较方便。上面的日志显示调用sched_rt_can_attach时，当进程是multipathd时，返回了0，进而导致cpu_cgroup_can_attach返回了-22.

来源:https://www.cnblogs.com/pengdonglin137/p/17880808.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！