首页 > 系统相关 >【linux之clickhouse的问题记录】记由于clickhouse服务内存打满导致cpu/mem都飙升然后网卡ip消失

【linux之clickhouse的问题记录】记由于clickhouse服务内存打满导致cpu/mem都飙升然后网卡ip消失

时间:2024-11-21 16:40:00浏览次数:1  
标签:随后 mem ip ping 网卡 节点 clickhouse

在记录相关文档的过程中发现监控中关于该节点的clickhouse数据异常,随后在node节点监控中也不见该节点信息
于是找到相关机器进行检查,堡垒机发现无法连接clickhouse的节点,随后找同网段的机器尝试ping一下测试连通性,
随后发现无法ping通
错误信息:

From 172.21.0.1 icmp_seq=1 Destination Host Unreachable
From 172.21.0.1 icmp_seq=2 Destination Host Unreachable

随后找到云平台,发现该机器状态是正常的,但是为啥无法ping通呢?
只能通过云平台登录到机器中进行排查
1、网络相关验证

直接执行命令验证ip的问题
ip a
或者ipconfig

进去之后直接验证,果然ip没了,因为之前有出现过这个节点的clickhouse崩了的情况,但是没有出现现在这个情况
无法判断具体情况的原因下,本着先解决当前的情况为主,就排查一下ip的问题了
验证网卡是否出现问题,
验证/etc/sysconfig/network-scripts/ifcfg-eth0
image
发现内容没有什么异常
随后直接尝试重启网络服务能否恢复
执行
service network restart
执行完成之后执行ip a发现ip恢复
随后回到堡垒机中进行排查
首先通过同网段机器发现当前节点机器已经可以ping通,随后进入该节点进行排查
能够发现确实是clickhouse这边的服务内存打满导致的异常(至少目前看到的情况是clickhouse是异常的)
进入clickhouse-client
报错:

 Cannot load data for command line suggestions: Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 45.52 GiB (attempt to allocate chunk of 4665408 bytes), current RSS 1.60 GiB, maximum: 23.27 GiB. OvercommitTracker decision: Query was selected to stop by OvercommitTracker.. (MEMORY_LIMIT_EXCEEDED) (version 24.9.2.42 (official build))

然后找相关异常的文章进行调整,
然后重启clickhouse之后服务恢复
随后各个指标也恢复正常

记录调整配置以适应内存不至于clickhouse崩溃(待观察)

<clickhouse>
    <!-- See also the files in users.d directory where the settings can be overridden. -->

    <!-- Profiles of settings. -->
    <profiles>
        <!-- Default settings. -->
        <default>
          <max_memory_usage>50000000000</max_memory_usage>
        <max_memory_usage_for_user>60000000000</max_memory_usage_for_user>
        <max_memory_usage_for_all_queries>100000000000</max_memory_usage_for_all_queries>
          <max_bytes_before_external_group_by>50000000000</max_bytes_before_external_group_by>
<memory_overcommit_ratio_denominator>536870912</memory_overcommit_ratio_denominator>
        </default>

        <!-- Profile that allows only read queries. -->

虽然当前已经正常,但是后续还需要对这个节点进行关注一下

标签:随后,mem,ip,ping,网卡,节点,clickhouse
From: https://www.cnblogs.com/queryH/p/18561092

相关文章

  • MemoryProfiler中Graphics/No Name内存怎么排查
    1)MemoryProfiler中Graphics/NoName内存怎么排查2)通过代码加载出来的Mesh,释放的时候该怎么处理3)动态解析顶点数据加载出来的Mesh还需要做对象池吗4)MeshCollider重刷Bound怎么做这是第410篇UWA技术知识分享的推送,精选了UWA社区的热门话题,涵盖了UWA问答、社区帖子等技术知识点,助力......
  • 网卡-国家码
    交互大屏、笔记本等产品出口海外,也是网络相关设备,会发出AP热点网络,所以出口海外要符合当地法规。 大屏需要以自带网卡开出本地热点,用于投屏、设备间协同等操作。热点这块受限影响的是信道,每个国家都有雷达信道以及其它军事等受限信道,使用信道时避开这些雷达信道。另外,信道列表......
  • 2-memory-management-ex
    内存管理习题普通内存管理内存管理基础知识内存管理内容例题下面关于存储管理的叙述中,正确的是()。A.A.A.存储保护的目的是限制内存的......
  • Memcached&Redis构建缓存服务器 (主从,持久化,哨兵)
    许多Web应用都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果,减少数据库访问次数,......
  • langchain long term memory
    Messagehistorieshttps://python.langchain.com/docs/integrations/memory/众多数据库支持。 redis数据库https://www.cnblogs.com/mangod/p/18243321fromlangchain_community.chat_message_historiesimportRedisChatMessageHistoryfromlangchain_core.promptsimpo......
  • Linux日志报错 fork:Cannot allocate memory
    现象描述日志中出现报错信息“fork:Cannotallocatememory”。如下图所示:可能原因可能是进程数超限导致。系统内部的总进程数达到了pid_max时,再创建新进程时会报“fork:Cannotallocatememory”错。解决思路1.参见处理步骤,查看实例内存使用率是否过高。2.核实......
  • 无线网卡找不到了,WiFi丢失怎么办?
    1.问题昨天更新Windows24H2正常,今天又更新了下24H2的累计补丁,然后重启之后就没有网络了。具体表现为右下角WiFi图标显示未连接,点开看不到无线连接,也没有无线信号列表。打开设备管理器,没有发现我的IntelAX200无线网卡。这个网卡3年来一直工作很稳定,从未出过问题,今天这是怎么......
  • mac_OS虚拟机VMware Fusion定制虚拟网卡IP地址
     cd/Library/Preferences/VMware\FusionvimnetworkingVERSION=1,0answerVNET_1_DHCPyesanswerVNET_1_DHCP_CFG_HASH4C38E57B8B33183E68351DF648C7C5182A8EDC90answerVNET_1_HOSTONLY_NETMASK255.255.255.0answerVNET_1_HOSTONLY_SUBNET172.16.224.0answe......
  • GC优化:栈内存、span、NativeMemory、指针、池化内存 笔记
    stackalloc使用栈内存,减少GC压力varwordMatchCounts=stackallocfloat[wordCount];SpanSpan支持reinterpret_cast的理念,即可以将Span强制转换为SpanSpan支持reinterpret_cast的理念,即可以将Span强制转换为Span(其中,Span中的索引0映射到Span的前四个字节......
  • delphi 新版内存表 FDMemTable
    c++builderXE官方demo最全60多个http://community.embarcadero.com/blogs?view=entry&id=8761  FireDAC.Comp.Client 用好FDMemTable代替之前的ClientDataSet,以前ClientDataSet内存表转换太繁琐了步骤。 TClientDataSet*cds=newTClientDataSet(this);  DataSetP......