首页 > 系统相关 >记一次 .NET某游戏币自助机后端 内存暴涨分析

记一次 .NET某游戏币自助机后端 内存暴涨分析

时间:2024-06-12 09:13:55浏览次数:26  
标签:src 机后 00000000 0.00% System Threading 游戏币 NET PAGE

一:背景

1. 讲故事

前些天有位朋友找到我,说他们的程序内存会偶发性暴涨,自己分析了下是非托管内存问题,让我帮忙看下怎么回事?哈哈,看到这个dump我还是非常有兴趣的,居然还有这种游戏币自助机类型的程序,下次去大玩家看看他们出币的机器后端是不是C#写的?由于dump是linux上的程序,刚好windbg可以全平台分析,太爽了,直接用windbg开干吧。

二:WinDbg 分析

1. 到底是哪里的泄漏

在 windows 平台上相信有很多朋友都知道用 !address -summary 命令看,但这是专属于windows平台的命令,在分析linux上的dump不好使,参考如下输出:


0:000> !address -summary

--- Usage Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
<unknown>                              1685     7ffc`d6725c00 ( 127.988 TB) 100.00%  100.00%
Image                                  7102        0`0b524400 ( 181.142 MB)   0.00%    0.00%

--- Type Summary (for busy) ------ RgnCount ----------- Total Size -------- %ofBusy %ofTotal
                                       2248     7ffc`02549000 ( 127.984 TB)          100.00%
MEM_PRIVATE                            6539        0`df701000 (   3.491 GB)   0.00%    0.00%

--- State Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
                                       2248     7ffc`02549000 ( 127.984 TB) 100.00%  100.00%
MEM_COMMIT                             6539        0`df701000 (   3.491 GB)   0.00%    0.00%

--- Protect Summary (for commit) - RgnCount ----------- Total Size -------- %ofBusy %ofTotal
PAGE_READWRITE                         2099        0`dd75e000 (   3.460 GB)   0.00%    0.00%
PAGE_EXECUTE_WRITECOPY                   33        0`00d4c000 (  13.297 MB)   0.00%    0.00%
PAGE_READONLY                          2736        0`00b01000 (  11.004 MB)   0.00%    0.00%
PAGE_EXECUTE_READ                      1671        0`00756000 (   7.336 MB)   0.00%    0.00%

--- Largest Region by Usage ----------- Base Address -------- Region Size ----------
<unknown>                                 0`00000000     55cb`2dc3b000 (  85.794 TB)
Image                                  7f71`9dbdd000        0`01b16000 (  27.086 MB)

卦中的内存段分类用处不大,也没有多大的参考价值,那怎么办呢?其实 coreclr 团队也考虑到了这个情况,它提供了一个 maddress 命令来实现跨平台的 !address,更改后输出如下:


0:000> !sos maddress
Enumerating and tagging the entire address space and caching the result...
Subsequent runs of this command should be faster.
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
 | Memory Kind            |        StartAddr |        EndAddr-1 |         Size | Type        | State       | Protect                | Image                                                             | 
 +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
 | Stack                  |     7f6e356ec000 |     7f6e35eec000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e35eed000 |     7f6e366ed000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e366ee000 |     7f6e36eee000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e36eef000 |     7f6e376ef000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 ...
 +-------------------------------------------------------------------------+ 
 | Memory Type            |          Count |         Size |   Size (bytes) | 
 +-------------------------------------------------------------------------+ 
 | Stack                  |            423 |       3.29gb |  3,528,859,648 | 
 | Image                  |          7,102 |     181.14mb |    189,940,736 | 
 | PAGE_READWRITE         |            206 |      89.18mb |     93,511,680 | 
 | GCHeap                 |              3 |      37.75mb |     39,587,840 | 
 | HighFrequencyHeap      |            395 |      24.66mb |     25,858,048 | 
 | LowFrequencyHeap       |            316 |      22.20mb |     23,277,568 | 
 | LoaderCodeHeap         |             13 |      17.00mb |     17,825,792 | 
 | ResolveHeap            |              2 |     732.00kb |        749,568 | 
 | HostCodeHeap           |              8 |     668.00kb |        684,032 | 
 | DispatchHeap           |              1 |     196.00kb |        200,704 | 
 | PAGE_EXECUTE_WRITECOPY |              6 |     184.00kb |        188,416 | 
 | CacheEntryHeap         |              3 |     164.00kb |        167,936 | 
 | IndirectionCellHeap    |              3 |     152.00kb |        155,648 | 
 | LookupHeap             |              3 |     144.00kb |        147,456 | 
 | StubHeap               |              2 |      76.00kb |         77,824 | 
 | PAGE_EXECUTE_READ      |              1 |       4.00kb |          4,096 | 
 +-------------------------------------------------------------------------+ 
 | [TOTAL]                |          8,487 |       3.65gb |  3,921,236,992 | 
 +-------------------------------------------------------------------------+ 

从卦中可以看到当前程序总计 3.65G 内存占用,基本上都被线程栈给吃掉了,更让人意想不到的是这个线程栈居然占用 8M 的内存空间,这个着实有点大了,而且 linux 不像 windows 有一个 reserved 的概念,这里的 8M 是实实在在的预占,可以观察这 8M 的内存地址即可,都是初始化的 0, 这就说不过去了。


0:000> dp 7f6e356ec000 7f6e35eec000
00007f6e`356ec000  00000000`00000000 00000000`00000000
...
00007f6e`35eebfc0  00000000`00000000 00000000`00000000
00007f6e`35eebfd0  00000000`00000000 00000000`00000000
00007f6e`35eebfe0  00000000`00000000 00000000`00000000
00007f6e`35eebff0  00000000`00000000 00000000`00000000

2. 如何修改栈空间大小

一般来说不同的操作系统发行版有不同的默认栈空间配置,可以先到内存搜一下当前是哪一个发行版,做法就是搜索操作系统名称主要关键字。


0:000> s-a 0 L?0xffffffffffffffff "centos"
...
000055cb`2ecf08c8  63 65 6e 74 6f 73 2e 37-2d 78 36 34 00 00 00 00  centos.7-x64....
...

从卦中可以看到当前操作系统是 centos7-x64,在 windows 平台上修改栈空间大小可以修改 PE 头,在 linux 上有两种做法。

  • 修改 ulimit -s 参数

root@ubuntu:/data# ulimit -s
8192
root@ubuntu:/data# ulimit -s 2048
root@ubuntu:/data# ulimit -s
2048

  • 修改 DOTNET_DefaultStackSize 环境变量

DOTNET_DefaultStackSize=180000

更多可以参考文章: https://www.alexander-koepke.de/post/2023-10-18-til-dotnet-stack-size/

上面是解决问题的第一个方向,接下来我们说另一个方向,为什么会产生总计 423 个线程呢?

3. 为什么会有那么多线程

要找到这个答案,需要去看每一个线程此时都在干嘛,这个可以使用 windbg 专属命令。


0:000> ~*e !clrstack
...
OS Thread Id: 0x4e (24)
        Child SP               IP Call Site
00007F70B20FC4B0 00007f71a4131ad8 [InlinedCallFrame: 00007f70b20fc4b0] /app/Confluent.Kafka.dll!Unknown
00007F70B20FC4B0 00007f7130299970 [InlinedCallFrame: 00007f70b20fc4b0] /app/Confluent.Kafka.dll!Unknown
00007F70B20FC4A0 00007f7130299970 ILStubClass.IL_STUB_PInvoke(IntPtr, IntPtr)
00007F70B20FC530 00007f7130309fab /app/Confluent.Kafka.dll!Unknown
00007F70B20FC880 00007f7131c5a75d /app/Confluent.Kafka.dll!Unknown
00007F70B20FC8A0 00007f7130303ebe /app/DotNetCore.CAP.Kafka.dll!Unknown
00007F70B20FC980 00007f71302f4854 /app/DotNetCore.CAP.dll!Unknown
00007F70B20FCA50 00007f7129b187f4 System.Threading.Tasks.Task.InnerInvoke() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2387]
00007F70B20FCA70 00007f7129b1d316 System.Threading.Tasks.Task+c.<.cctor>b__272_0(System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2375]
00007F70B20FCA80 00007f7129b03d6b System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/ExecutionContext.cs @ 183]
00007F70B20FCAD0 00007f7129b18524 System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2333]
00007F70B20FCB50 00007f7129b18418 System.Threading.Tasks.Task.ExecuteEntryUnsafe(System.Threading.Thread) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2271]
00007F70B20FCB70 00007f7129b21a67 System.Threading.Tasks.ThreadPoolTaskScheduler+c.<.cctor>b__10_0(System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/ThreadPoolTaskScheduler.cs @ 35]
00007F70B20FCB80 00007f7129af88c2 System.Threading.Thread.StartCallback() [/_/src/coreclr/System.Private.CoreLib/src/System/Threading/Thread.CoreCLR.cs @ 105]
00007F70B20FCCF0 00007f71a37ab9c7 [DebuggerU2MCatchHandlerFrame: 00007f70b20fccf0] 
...

从卦中数据看有很多的 Unknown,说明dump取得不好,可能不是用正规的 dotnet-dump 或者 procdump,但不管怎么说,还是可以看到大量的和 Kafka 有关的链接库,并且从 InnerInvoke 这个执行 m_action 来看,应该是有大量线程卡在 Kafka 中的某个函数上。

有了这些知识,最后给到朋友的建议如下:

  • 修改 DOTNET_DefaultStackSize 参数

可以仿照 windows 上的 .netcore 默认 1.5M 的栈空间设置,因为8M真的太大了,扛不住,也和 Linux 的低内存使用不符。

  • 观察 Kafka 的相关逻辑

毕竟有大量线程在 Kafka 的等待上,个人觉得可能是订阅线程太多,或者什么业务执行时间长导致的线程饥饿,尽量把线程压下去。

三:总结

Linux 上的 .NET 调试生态在日渐丰富,这是一件让人很兴奋的事情,最后再给 WinDbg 点个赞,它不仅可以全平台dump分析,还可以实时调试 Linux 进程,现如今的WinDbg真的是神一般的存在。
图片名称

标签:src,机后,00000000,0.00%,System,Threading,游戏币,NET,PAGE
From: https://www.cnblogs.com/huangxincheng/p/18243233

相关文章

  • 在.NET Core,除了VB的LikeString,还有其它方法吗?(四种LikeString实现分享)
    Like运算符很好用,特别是它所提供的其中*、?这两种通配符,在Windows文件系统和各类项目中运用非常广泛。但Like运算符仅在VB中支持,在C#中,如何实现呢?以下是关于LikeString的四种实现方式,其中第四种为Regex正则表达式实现,且在.NETStandard2.0及以上平台支持。Operators.LikeStr......
  • 通讯协议转换Modbus转Profinet网关
    Modbus转Profinet网关是工业通信转换设备,能够实现Modbus协议与Profinet协议之间的有效转换和稳定传输。通过该网关,工业设备之间可以实现数据交换和通信,提高生产效率和智能化程度。支持ModbusRTU主从站。此外,Modbus转Profinet网关自带网络和串口,支持485/232接口打开地图并创建......
  • 【结构识别】Reconstructing propagation networks with natural diversity and ident
    摘要从数据中重构复杂网络结构和动力学的能力是理解和控制复杂系统集体动力学的基础。尽管最近在这方面取得了进展,但利用随机动态过程的有限时间序列重建网络仍然是一个尚未解决的问题。我们提出了一个基于压缩感知的框架去重构发生随机扩散动力学的复杂网络。我们将该方法应用于......
  • ASP.NET第五章 --案例
    第五章一、1.打开VisualStudio2.新建ASP.NET项目Demo3.创建web窗体,名字叫index14.打开Global.asax.csprotectedvoidSession_Start(objectsender,EventArgse){       Response.Write("开始一个新的会话!Session_Start<br/>");    }prote......
  • .NET Framework 旧系统新增SSO单点登录实例
    最近公司的很多项目都要改单点登录了,不过大部分都还没敲定,目前立刻要做的就只有一个比较老的项目先改一个试试手,主要目标就是最短最快实现功能首先因为要保留原登录方式,所以页面上的改动就是在原来登录页面下加一个SSO登录入口用超链接写的入口,页面改造后如下图:其中超链接的......
  • 基于.Net 框架实现WebSocket 简单通信——服务端
    新建项目创建一个.Net框架的控制台程序。添加包 项目→管理NuGet程序包打开包管理窗口,添加SuperWebSocket程序包。实现项目→添加类打开添加新项窗口,添加一个C#类。启动监听 WebSocketServersocket=newWebSocketServer();Console.WriteLine("IP:"+ip......
  • 云原生周刊:Kubernetes 十周年 | 2024.6.11
    开源项目推荐KubernetesGoatKubernetesGoat是一个故意设计成有漏洞的Kubernetes集群环境,旨在通过交互式实践场地来学习并练习Kubernetes安全性。kube-state-metrics(KSM)kube-state-metrics是一个用于收集Kubernetes集群状态信息的开源项目,它能够提供各种有用的指......
  • NET8中增加的简单适用的DI扩展库Microsoft.Extensions.DependencyInjection.AutoActiv
    这个库提供了在启动期间实例化已注册的单例,而不是在首次使用它时实例化。单例通常在首次使用时创建,这可能会导致响应传入请求的延迟高于平时。在注册时创建实例有助于防止第一次Request请求的SLA以往我们要在注册的时候启动单例可能会这样写://注册:services.AddSingleton<Fil......
  • yolov5-7.0更改resnet主干网络
    参考链接ClearML教程:https://blog.csdn.net/qq_40243750/article/details/126445671b站教学视频:https://www.bilibili.com/video/BV1Mx4y1A7jy/spm_id_from=333.788&vd_source=b52b79abfe565901e6969da2a1191407开始github地址:https://github.com/z1069614715/objec......
  • unity游戏开发之网络篇netcode
    在多人游戏过程中需要复杂的状态同步机制来支撑多个玩家的状态同步,其中包括位置信息、场景信息、动画信息等等,unity提供了netcode插件来轻松完成这些复杂的网络功能,上手也是非常简单的。下面是该插件使用的基本步骤和注意事项:1.安装网络组件netcode2.配置netcode环境(必备)......