• 2024-05-26银行家算法—安全状态
    银行家算法中设置4个数据结构:Max:进程对资源的最大需求数Allocation:已分配给该进程的资源数Need:目前该进程还需要的资源数(在已分配部分资源情况下)******    且   Need=Max-Allocation  ******Available:系统中可用资源的数目
  • 2024-04-15comcat白名单(十)leak
    0为什么used不好用PlatformDependent.usedDirectMemory始终返回-1跟踪下来,io.netty.util.internal.PlatformDependent0#hasDirectBufferNoCleanerConstructor始终返回false  关于mxbeanhttps://blog.51cto.com/u_16175492/7224266https://segmentfault.com/a/1190000044
  • 2024-03-28Java 什么操作会导致cpu过高 java应用cpu过高原因
    top获取占用CPU高的进程IDtop进程pid=26850top显示信息,需要关注的相关信息:loadaverage:反映了任务队列的平均长度。如果此值超过了CPU数量,则表示当前CPU数量不足以处理任务,负载过高%us:用户CPU时间百分比。如果此值过高,可能是代码中存在死循环、或是频繁GC等%sy:系统CPU时
  • 2024-03-20Elasticsearch运维指南
    1.常用监控工具1.1cerebro⼯具地址:https://github.com/lmenezes/cerebro1.2KibanaStackMonitoring地址:https://www.elastic.co/guide/en/kibana/current/xpack-monitoring.html2.关键指标监控2.1集群健康维度:分⽚和节点通过GET_cluster/health监视群集时,可以查询
  • 2023-11-13es 开启重新分配和修改水位线
    出现如下图磁盘水平线报警问题会导致副本unassigned 定位问题:有两个datanode磁盘容量为90%以上。解决问题:将磁盘容量将低到80%以下后,自动平衡完成。开启重分配命令:复制curl-XPUT'localhost:9200/_cluster/settings'-d'{"transient":{"cluster.routing.allocation.e
  • 2023-11-01elastic索引管理
    常用API2,索引压缩实际上是压缩的分片,并非在原有索引上压缩,而是生成了一个新的索引,由于使用了hash路由算法以及索引不可变的特性---操作步骤---reindex不会把mapping和seting复制过去 删除副本删除副本"index.numberof_replicas":0设置只读"index.blocks.write":true 案例
  • 2023-10-12简单易学的机器学习算法——Latent Dirichlet Allocation(理论篇)
    引言LDA(LatentDirichletAllocation)称为潜在狄利克雷分布,是文本语义分析中比较重要的一个模型,同时,LDA模型中使用到了贝叶斯思维的一些知识,这些知识是统计机器学习的基础。为了能够对LDA原理有清晰的认识,也为了能够对贝叶斯思维有全面的了解,在这里对基本知识以及LDA的相关知识进
  • 2023-10-02LINUX:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
     如图,问题表现为linux中可直接通过hive进行数据插入但在通过datagrip却更改不了此时,可能时yarn的运行分配的内存较少,或堆内存溢出。在yarn-site.xml中更改,以及mapred-site.xml中更改,完成。yarn的<property><name>yarn.scheduler.minimum-allocation-mb</name>
  • 2023-09-04Scheduling and Resource Allocation
    ModuleaimsReal-lifeproblemsarisingincomputerscience,computationalmanagementandeconomicsofteninvolvedecidingthebestwaytouseagivensetofresources(e.g.,servers,networks,routes)tocompleteadesiredsetoftaskswithinconstraints
  • 2023-08-26Elasticsearch性能优化
    GET_search{"query":{"match_all":{}}}GET_cat/indicesGET_cat/shardsPUT/server-2023.02.09/_settings{"number_of_replicas":0}PUT/_cluster/settings{"persistent":{"clus
  • 2023-08-09Programming abstractions in C阅读笔记:p88-p90
    《ProgrammingAbstractionsInC》学习第44天,p88-p90总结。一、技术总结1.内存分配内存分配可以分为:staticallocation、automaticallocation、dynamicallocation。内存分配使用的函数为:malloc()。二、英语总结1."up to this point"是什么意思?答:point: a particular
  • 2023-06-24Elasticsearch专题精讲—— REST APIs —— Cluster APIs —— Cluster reroute API
    RESTAPIs——ClusterAPIs——ClusterrerouteAPIhttps://www.elastic.co/guide/en/elasticsearch/reference/8.8/cluster-reroute.html#cluster-rerouteChangestheallocationofshardsinacluster.更改集群中分片的分
  • 2023-06-24Elasticsearch专题精讲—— REST APIs —— Cluster APIs —— Cluster allocation explain API(解释分配给索引或分片的节点选择过程的AP
    RESTAPIs——ClusterAPIs——ClusterallocationexplainAPI(用于提供关于特定分片当前分配情况的解释)https://www.elastic.co/guide/en/elasticsearch/reference/8.8/cluster-allocation-explain.html#cluster-allocation-explainProvidesanexplanationforashar
  • 2023-06-04在HBase中应用MemStore-Local Allocation Buffers解决Full GC问题
      译者注:上个月写了一遍博文,介绍一种高效的Java缓存实现http://maoyidao.iteye.com/blog/1559420。其本质是模仿Memcached的Slab,通过分配连续定长的byte[]减少大规模使用JavaHeap作为缓存时不可避免的GC问题。虽然当时构思和实现这一思路时并没有参照其他开源产品,但这一思路在很
  • 2023-06-04hbase gc MemStore-Local Allocation Buffer
     ArenaAllocation,是一种GC优化技术,它可以有效地减少因内存碎片导致的FullGC,从而提高系统的整体性能。本文介绍ArenaAllocation的原理及其在Hbase中的应用-MSLAB。背景假设有1G内存,我顺序创建了1百万个对象,每个对象大小1K,Heap会被渐渐充满且每个对象以创建顺序相邻。此时,如果我
  • 2023-05-31es根据磁盘使用情况来决定是否分配shard
    注意两个地方说法有出入,待实测!es可以根据磁盘使用情况来决定是否继续分配shard。默认设置是开启的,也可以通过api关闭:cluster.routing.allocation.disk.threshold_enabled:false在开启的情况下,有两个重要的设置:cluster.routing.allocation.disk.watermark.low:控制磁盘最小使用率。
  • 2023-05-31ES跨版本升级?——难道升级集群发生shard allocation是因为要分配replica节点???
    FullclusterrestartupgradeElasticsearchrequiresafullclusterrestartwhenupgradingacrossmajorversions.Rollingupgradesarenotsupportedacrossmajorversions.Consultthis table toverifythatafullclusterrestartisrequired.Theprocesstop
  • 2023-05-263 - Dynamic Memory Allocation 动态内存分配
    DynamicMemoryAllocation动态内存分配我的博客程序源码本章介绍现代操作系统中编程的关键元素,动态内存分配与内存释放。glibcmalloc(3)API家族在虚拟内存那一章中,我们介绍过在虚拟内存中有段可以用作动态内存分配,这个段是堆段。GNUC库glibc提供强大的API允许开发
  • 2023-05-20P1937 [USACO10MAR]Barn Allocation G
    BarnAllocationG题目描述农夫约翰最近开了一个新的牲口棚屋,并且现在接受来自奶牛的分配畜栏请求因为其中的一些畜栏有更好风景。畜栏包括N个畜栏(1≤N≤100,000),方便起见,我们把它们编号为1..N,畜栏i能容纳Ci只牛(1≤Ci≤100,000),第i只牛需要连续编号畜栏(从Ai到Bi)来漫
  • 2023-04-01[directx]一个allocation的旅行
    在directX的世界里面,会有一个叫做allocationd的东西,平日里面,在app层,看到的都是createresource之后,有一个handle的存在,他其实对应了一整块gpu上面的memory。首先,分配allocation,这个是在usermodecallOS的allocatecb去实现的,然后d3druntime会去callKMD的gfxdriver去实现。
  • 2023-03-27EME 08 Resource allocation
    ResourceallocationIdentifytheresourceswhichprojectneeds.BalancetheneedsofresourcesinSDLC.Createactivityscheduleandresourceschedule.Then
  • 2023-02-13联邦学习论文阅读笔记06 Fair Resource Allocation in Federated Learning
    参考链接:https://www.zhihu.com/people/hidisan/posts        本文提出q-FFL优化算法,在模型准确率不变的情况下,引入q参数化的权重,使损失大的参与者权重更
  • 2023-02-11联邦学习论文阅读笔记05 Profit Allocation for Federated Learning
    参考笔记:https://zhuanlan.zhihu.com/p/600585351 前人提到过用Shapley值计算联邦学习数据提供者的贡献,但是计算成本太大复杂度达到了0(N!)。本文定义了一个基于Shapley的
  • 2023-01-08malloc() , calloc()
    Thereisabriefintroductiontobothfunctions:Ifaprogrammerwanttoallocateablockofmemories,theymustrequirethepermissionofOSthenhaveitallo
  • 2023-01-013.深入理解Oracle中的latch
    1.串行化概述串行化-数据库系统本身是一个多用户并发处理系统,在同一个时间点上,可能会有多个用户同时操作数据库,多个用户同时在相同的物理位置上写数据时,不能发生