发帖
翼度科技»论坛 › 编程开发 › .net › 查看内容

记一次 某智能制造MES系统CPU 爆高分析

柳下瑶琴舞一曲

9

主题

9

帖子

27

积分

新手上路

Rank: 1

积分
27
显示全部楼层
一：背景

1. 讲故事

前段时间有位朋友找到我，说他 docker 中的web服务深夜cpu被打满，让我帮忙看一下，很多朋友问docker中怎么抓dump，我一般都推荐使用 procdump 这款自动化工具，谁用谁知道，有了 dump 之后，接下来就是分析了。
二：WinDbg 分析

1. cpu 真的爆高吗

有很多朋友问 linux 上的dump可以用 windbg 分析吗？这里统一回复下，是可以的，现在的 WinDbg 可以全平台分析，不信看下图：

不过有一点吐槽的是，Linux 不是微软的，所以在 操作系统层级 上的调试支持是不够的，也不是 WinDbg 能力所触及范围之内，所以相比 Windows 有很多的不便。
接下来我们用 !tp 看一下当前的 cpu 到底是多少？
  1. 0:000> !tp
  2. CPU utilization: 393 %
  3. Worker Thread: Total: 19 Running: 5 Idle: 10 MaxLimit: 32767 MinLimit: 4
  4. Work Request in Queue: 0
  5. --------------------------------------
  6. Number of Timers: 4
  7. --------------------------------------
  8. Completion Port Thread:Total: 0 Free: 0 MaxFree: 8 CurrentLimit: 0 MaxLimit: 1000 MinLimit: 4
复制代码
从卦中看当前的 cpu=393% ，这表示什么意思呢？在Linux上是这样的，一个核占用 100%，可以理解成当前有 4 个核被打满。
那当前 docker 中给了多少 cpu 核呢？在 Windows 平台上可以用 !cpuid，在 Linux 上肯定用不了了，没关系，熟悉 CLR 的朋友应该知道，ServerGC 的heap个数默认按照cpu 的个数来的，也就是说当前多少个heap，也就有多少个 cpu core。
有了这个思路，使用 !eeversion 来看下 gc 模式吧。
  1. 0:000> !eeversion
  2. 4.700.21.56803 (3.x runtime)
  3. 4.700.21.56803 @Commit: 28bb6f994c28bc91f09bc0ddb5dcb51d0f066806
  4. Server mode with 4 gc heaps
  5. SOS Version: 7.0.8.10101 retail build
复制代码
从卦中的 Server mode with 4 gc heaps 来看，当前docker使用 4 个 cpu 核，所以 393% 就表示了当前被完全打满。
2. 为什么会被打满

一般来说cpu的跌宕起伏都是由 thread 诱发的，一个好的思路就是看下此时各个线程都在做什么，可以使用 ~*e !clrstack 观察，经过仔细对比发现有 4 处 SqlDataReader 貌似在读什么东西，刚好对应到了 CPU 核数，输出如下：
  1. 0:000> ~*e !clrstack
  2. OS Thread Id: 0x3f89 (24)
  3.         Child SP               IP Call Site
  4. 00007F9FA14A0628 00007fa4803e2a93 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
  5. 00007F9FA14A0640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
  6. 00007F9FA14A0670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
  7. 00007F9FA14A0690 00007fa47f99e424 System.Data.SqlClient.SqlDataReader.TryReadInternal(Boolean, Boolean ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 3286]
  8. 00007F9FA14A06F0 00007fa4804742e5 System.Data.SqlClient.SqlDataReader+c__DisplayClass190_0.b__1(System.Threading.Tasks.Task) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 4448]
  9. 00007F9FA14A0720 00007fa480a239ea System.Data.SqlClient.SqlDataReader+c__DisplayClass194_0`1[[System.Boolean, System.Private.CoreLib]].b__0(System.Threading.Tasks.Task`1<System.Object>) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 4804]
  10. 00007F9FA14A0770 00007fa4803fa6ce System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.__Canon, System.Private.CoreLib],[System.__Canon, System.Private.CoreLib]].InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/TaskContinuation.cs @ 191]
  11. 00007F9FA14A07B0 00007fa4803d5551 System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(System.Threading.Thread, System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/ExecutionContext.cs @ 315]
  12. 00007F9FA14A07F0 00007fa4803d1c2c System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2421]
  13. 00007F9FA14A0870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
  14. 00007F9FA14A0C80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fa14a0c80]
  15. OS Thread Id: 0x3f8a (25)
  16.         Child SP               IP Call Site
  17. 00007F9FA3154580 00007fa4803bc857 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
  18. ...
  19. 00007F9FA3154670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
  20. 00007F9FA3154690 00007fa47f99e424 System.Data.SqlClient.SqlDataReader.TryReadInternal(Boolean, Boolean ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 3286]
  21. ...
  22. 00007F9FA3154870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
  23. 00007F9FA3154C80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fa3154c80]
  24. OS Thread Id: 0x5211 (37)
  25.         Child SP               IP Call Site
  26. 00007F9FD2FFC570 00007fa4803bc921 System.Data.SqlClient.TdsParserStateObject.TryReadUInt16(UInt16 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParserStateObject.cs @ 1519]
  27. 00007F9FD2FFC580 00007fa4803bc891 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
  28. 00007F9FD2FFC5C0 00007fa4803e2c06 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
  29. 00007F9FD2FFC640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
  30. ...
  31. 00007F9FD2FFC870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
  32. 00007F9FD2FFCC80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fd2ffcc80]
  33. OS Thread Id: 0x5212 (38)
  34.         Child SP               IP Call Site
  35. 00007F9FB3FFE580 00007fa4803bc839 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
  36. 00007F9FB3FFE5C0 00007fa4803e2c06 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
  37. 00007F9FB3FFE640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
  38. 00007F9FB3FFE670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
  39. ...
  40. 00007F9FB3FFE7F0 00007fa4803d1c2c System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2421]
  41. 00007F9FB3FFE870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
  42. 00007F9FB3FFEC80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fb3ffec80]
复制代码
从卦中看，虽然异步写的很爽，可逆向分析起来真的是上刀山下火海。。。 接下来思路在哪里呢？可以这么想，既然是和 SqlDataReader 有关系，那就挖一挖，看看里面有什么sql。
  1. 0:025> !dso
  2. OS Thread Id: 0x3f8a (25)
  3. RSP/REG          Object           Name
  4. rdx              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
  5. rdi              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
  6. r9               00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
  7. r12              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
  8. r13              00007fa128ad9b70 System.Data.SqlClient.TdsParser
  9. ...
  10. 00007F9FA31546B0 00007fa3297b8fb8 System.Data.SqlClient.SqlDataReader
  11. ...
  13. 0:025> !DumpObj /d 00007fa3297b84d0
  14. Name:        System.String
  15. MethodTable: 00007fa477db0f90
  16. EEClass:     00007fa477d1e230
  17. Size:        2496(0x9c0) bytes
  18. File:        /usr/share/dotnet/shared/Microsoft.NETCore.App/3.1.22/System.Private.CoreLib.dll
  19. String:      select xxx,xxx,xxx,xxx from template_xxxreport where 1=1
  20. Fields:
  21.               MT    Field   Offset                 Type VT     Attr            Value Name
  22. 00007fa477daa0e8  400022a        8         System.Int32  1 instance             1237 _stringLength
  23. 00007fa477da6f00  400022b        c          System.Char  1 instance               73 _firstChar
  24. 00007fa477db0f90  400022c      108        System.String  0   static 00007fa027fff360 Empty
复制代码
从 sql 看貌似是读了 template_xxxreport 表, 而且还没有筛选条件，看样子是深夜跑什么数据把 CPU 给抬起来了，那接下里的问题是什么地方会执行这条sql呢？
3. 到底在哪里执行的

刚才的线程栈看不到一句用户代码，我们还可以用 !gcroot 追踪下这个 sql 的祖宗，可能会有新的发现哦。
  1. 0:025> !gcroot 00007fa3297b84d0
  2.     00007F9FA3154770 00007FA4803FA6CE System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.__Canon, System.Private.CoreLib],[System.__Canon, System.Private.CoreLib]].InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/TaskContinuation.cs @ 191]
  3.         rbx:
  4.             ->  00007FA233579680 System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.Object, System.Private.CoreLib],[System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]], System.Private.CoreLib]]
  5.             ->  00007FA233579748 System.Threading.Tasks.UnwrapPromise`1[[System.Boolean, System.Private.CoreLib]]
  6.             ...
  7.             ->  00007FA329BE4BB0 System.Threading.Tasks.StandardTaskContinuation
  8.             ->  00007FA329BE4B18 System.Threading.Tasks.ContinuationTaskFromResultTask`1[[System.Boolean, System.Private.CoreLib]]
  9.             ->  00007FA329BE4AD8 System.Action`1[[System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]], System.Private.CoreLib]]
  10.             ->  00007FA329BE2AE8 System.Data.SqlClient.SqlDataReader+<>c__DisplayClass195_0`1[[System.Boolean, System.Private.CoreLib]]
  11.             ->  00007FA32982AE50 System.Threading.Tasks.TaskCompletionSource`1[[System.Boolean, System.Private.CoreLib]]
  12.             ->  00007FA32982AE68 System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]]
  13.             ->  00007FA3297B91B0 System.Runtime.CompilerServices.AsyncTaskMethodBuilder`1+AsyncStateMachineBox`1[[xxx.xxx.Template_xxxxReport, xxx.xxx],[Dapper.SqlMapper+<QueryRowAsync>d__34`1[[xxx.xxxx.Template_xxxxReport, xxx.xxxx]], Dapper]]
  14.             ->  00007FA3297B84D0 System.String
复制代码
从引用链条看，这条sql使用 Dapper 的 QueryRowAsync 查询，实体类是 xxx.xxxx.Template_xxxxReport，有了这些信息就好办了，反馈给朋友后，让朋友看下这是哪里的sql和model。
据朋友调查后，说是用的某商业数据访问sdk 内部逻辑不严谨造成的，参考代码如下：
  1.     public async Task<T> FindEntity<T>(object param) where T : class
  2.     {
  3.         //核心问题
  4.         if (param == null)
  5.         {
  6.             param = new { };
  7.         }
  9.         var parameters = param.ToObject();
  11.         //参数拼接
  12.         foreach (var item in parameters)
  13.         {
  14.             // xxxxx
  15.         }
  16.     }
复制代码
当 param =null 时，底层用 param = new { }; 当无参数处理，这就导致全表sql的发生，朋友说现在想想都有点后怕。。。

三：总结

这次事故主要是由 某商业数据访问sdk 在异常参数处理时逻辑不严谨所致，毕竟 抛异常 比 全量查询 要好得多，大家在买商业组件的时候，且行且珍惜。


来源:https://www.cnblogs.com/huangxincheng/archive/2023/05/12/17395212.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x

上一篇: RHCE认证(RedHat8)

下一篇: 在C#中使用默认值初始化字符串数组的3种方式

发表于 2023-5-12 16:26:48

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4