• 2024-09-10Keras备忘录
    为了记录Keras基本API,本博客展示一次极简机器学习全流程。建立模型 定义一个简单的线性回归模型,使用Keras模块来构建和编译模型。以最简单的单层网络为例,设置1个输出节点,输入节点的数量为特征的种数。keras.Sequential(layers=None,trainable=True,name=None)是model
  • 2024-09-07prometheus学习笔记之kube-state-metrics
    一、kube-state-metrics简介Kube-state-metrics:通过监听APIServer生成有关资源对象的状态指标,比如Deployment、Node、Pod,需要注意的是kube-state-metrics只是简单的提供一个metrics数据,并不会存储这些指标数据,所以我们可以使用Prometheus来抓取这些数据然后存储,
  • 2024-09-06Kubernetes学习指南:保姆级实操手册07——calico安装、metric-server安装
    七、Kubernetes学习指南:保姆级实操手册07——calico安装、metric-server安装一、calicoCalico是一个开源的虚拟化网络方案,支持基础的Pod网络通信和网络策略功能。官方文档:https://projectcalico.docs.tigera.io/getting-started/kubernetes/quickstart1、calico安装###在Master控
  • 2024-09-03jmeter监控服务器工具jp@gc - PerfMon Metrics Collector(ServerAgent)
    需要在被测服务器上安装ServerAgent。然后在jmeter上安装插件jpgc-StandardSet一、在服务器上安装ServerAgentSeverAgent:这个工具,可以和jmeter集成,在jmeter的GUI界面可以看到数据。链接:https://pan.baidu.com/s/1k3xlXk35YfPmS17-2ZFBnA?pwd=5s4n提取码:5s4n
  • 2024-08-28OpenTelemetry 实战:从零实现应用指标监控
    前言在上一篇文章:OpenTelemetry实战:从零实现分布式链路追踪讲解了链路相关的实战,本次我们继续跟进如何使用OpenTelemetry集成metrics监控。建议对指标监控不太熟的朋友可以先查看这篇前菜文章:从Prometheus到OpenTelemetry:指标监控的演进与实践名称作用语言版本
  • 2024-08-26使用 SpanMetrics Connector 将 OpenTelemetry 跟踪转换为指标
    原文:https://last9.io/blog/convert-opentelemetry-traces-to-metrics-using-spanconnector/如果您已经实施了跟踪但缺乏强大的指标功能怎么办?SpanConnector是一个通过将跟踪数据转换为可操作指标来弥补这一差距的工具。这篇文章详细介绍了SpanConnector的工作原理,提供了有
  • 2024-08-24Superset BI封装自定义组件(堆叠柱状图)
    目录前言封装步骤一、创建组件文件夹二、预设组件信息三、使用组件往期回顾前言Superset是一个现代化的、易于使用的、轻量级的数据可视化工具,它允许用户通过简单的点击操作来创建和分享图表。如果你想在Superset中创建自定义组件,你可能需要进行一些扩展工作。
  • 2024-08-22安装metrics-server遇到Readiness probe failed HTTP probe failed with statuscode 500报错
    安装metrics-server后显示Running,但是READY状态一直为0/1,通过describe查询到如下内容Readinessprobefailed:HTTPprobefailedwithstatuscode:5001.报错内容root@master:~/metrics-server#kubectlgetpods-nkube-systemmetrics-server-dd7677d75-grfcqNAME
  • 2024-08-19Android开发 - DisplayMetrics 类控制布局图形的缩放显示解析
    DisplayMetrics是什么DisplayMetrics类在Android中用于获取设备的显示属性(像素等)DisplayMetrics的主要属性metrics.density:屏幕密度,用于决定屏幕上每英寸的像素数DisplayMetricsmetrics=newDisplayMetrics();density=metrics.density;常见值:0.75(低密度)、1.0
  • 2024-08-19k8s实践——HPA实践实例
    0x01水平自动扩缩HPA指statefulset和deployment这些负载,可以根据系统的负载压力,自动扩容应对业务高峰,并在低峰时自动缩容,降低资源消耗。0x02准备要求已经有一个1.23以上的k8s集群,在其中部署metrics-server。示例用的1.25,运行时为containerd。kubectlapply-fhttps://githu
  • 2024-08-12Opentelemetry collector用法
    Opentelemetrycollector用法目录Opentelemetrycollector用法ServiceExtensionshealthcheckextensionPipelinesreceiverOTLPReceiverprometheusreceiverfilelogreceiverProcessor数据归属Importantmemorylimiterprocessorbatchprocessorattributesprocessor&&Resourc
  • 2024-08-08IgniteFAQ-12-Ignite报OOm
    Ignite报堆外内存OOM,最直接原因是现在是纯堆外内存存储,没有持久化数据量太大导致堆外内存不足,从而导致OOM,开发、测试环境排查可以先给比较大的内存,启动起来,通过如下两个sql查询真实数据量和占用内存大小来排查;如果是长期方案:1、建议合理评估数据量,针对堆外内存进行配置,针对数据
  • 2024-08-06Sanic 中的 Prometheus 指标
    我正在尝试向我的Sanic应用程序添加指标。Prometheus提供作为ASGI应用程序运行的Python客户端-https://prometheus.github.io/client_python/exporting/http/asgi/.问题是如何同时运行2个ASGI应用程序。|||我发现Starlette可以提供帮助:安装并工
  • 2024-08-046-3使用GPU训练模型
    深度学习的训练过程常常非常耗时,一个模型训练几个小时是家常便饭,训练几天也是常有的事情,有时候甚至要训练几十天。训练过程的耗时主要来自于两个部分,一部分来自数据准备,另一部分来自参数迭代。当数据准备过程还是模型训练时间的主要瓶颈时,我们可以使用更多进程来准备数据。当
  • 2024-08-046-2训练模型的三种方法
    Pytorch通常需要用户编写自定义训练循环,训练循环的代码风格因人而异。有三类典型的训练循环代码风格:脚本形式训练循环,函数形式训练循环,类型是训练循环。下面以minis数据集的多分类模型的训练为例,演示这3种训练模型的风格。importtorchimporttorchkerasprint('torch.__ve
  • 2024-07-24TruePositive 如何是 keras.metrics.TruePositives 中的十进制数?
    我正在尝试在图像数据集上训练CNN模型,但我被获取TruePositives、TrueNegatives、FalsePositives和FalseNegatives的十进制值所困扰。这怎么可能?ERRORsampleEpoch1/336/36━━━━━━━━━━━━━━━━━━━━69s2s/step-false_negatives:30.1351-false_
  • 2024-07-17不能求二阶导的metrics,不是好的objective?!
    接上一篇。今天我们要分析MAPE这个函数在论文中的使用。以此为契机,适当深入一点机器学习的原理,讲以下两个知识点:1.损失函数和度量函数2.XGBoost模型,因子数据是否要标准化损失函数与度量函数在机器学习中,有两类重要的函数,一类是目标函数(objectivefunctio
  • 2024-07-12Iceberg metrics导致的问题
    一、问题描述在icebergrewrite时报错:org.apache.iceberg.exceptions.ValidationException:Cannotcommit,foundnewdeleteforreplaceddatafile看信息像是对于要删除的DataFile,有新的DeleteFile作用于它,不应该直接删除DataFile。但是我们很明确并没有DeleteFile作用于其
  • 2024-07-02编译安装Kubernetes 1.29 高可用集群(7)--Metrics Server节点监控配置
    1.部署MetricsServer节点监控1.1在任意k8s-master节点上下载MetricsServer的创建文件https://github.com/kubernetes-sigs/metrics-server/releaseswgethttps://github.com/kubernetes-sigs/metrics-server/releases/download/v0.7.1/components.yaml1.2修改单机版配置
  • 2024-07-02YOLOv10添加输出各类别训练过程指标
    昨天有群友,在交流群【群号:392784757】里提到了这个需求,进行实现一下V10官方代码结构相较于V8稍微复杂一些yolov10是基于v8的代码完成开发,yolov10进行了继承来简化代码开发因此V10的代码修改基本和V8这篇一致https://blog.csdn.net/csy1021/article/details/1344
  • 2024-07-011-3.文本数据建模流程范例
    文章最前:我是Octopus,这个名字来源于我的中文名–章鱼;我热爱编程、热爱算法、热爱开源。所有源码在我的个人github;这博客是记录我学习的点点滴滴,如果您对Python、Java、AI、算法有兴趣,可以关注我的动态,一起学习,共同进步。importos#mac系统上pytorch和matplotlib在ju
  • 2024-06-24[本科项目实训] Hugging Face Transformers 模型部署与微调
    TransformersHuggingFaceTransformer提供了模型的加载、推理、微调接口,使用该库可以轻松完成自然语言模型的部署微调工作,其有继承自AutoClass的四个最为常见的接口,且调用方式均为AutoClass.from_pretrain("model_name"):AutoTokenizer:用于文本分词AutoFeatureExtractor:用
  • 2024-06-22在线方式部署k8s+prometheus集群(kubesphere环境)
    前言:半月前在公司生产环境上离线部署了k8s集群和Prometheus+Grafana监控平台的搭建,下面我租用3台华为云服务器演示在线方式部署k8s(单master节点)+prometheus集群。下期再出一版离线方式部署k8s(双master节点)集群。安装步骤:安装Docker安装Kubernetes安装KubeSphere前置环境安
  • 2024-06-12K8S部署Metrics-Server
    K8S部署Metrics-Server1)下载manifest的YAMLwgethttps://github.com/kubernetes-sigs/metrics-server/releases/latest/download/high-availability-1.21+.yaml2)编辑需要在添加-–kubelet-insecure-tlscontainers:-args:---kubelet-insecure-t
  • 2024-06-10.NET 使用 OpenTelemetry metrics 监控应用程序指标
    上一次我们讲了OpenTelemetryLogs与OpenTelemetryTraces。今天继续来说说OpenTelemetryMetrics。随着现代应用程序的复杂性不断增加,对于性能监控和故障排除的需求也日益迫切。在.NET生态系统中,OpenTelemetryMetrics可用于实时监控和分析应用程序的性能指标。比如监控