• 2024-07-01consul集群搭建
    consul集群搭建consulagent-data-dir/tmp/node0-node=node0-bind=192.168.64.59-datacenter=dc1-ui-client=192.168.64.59-server-bootstrap-expect1consulagent-data-dir/tmp/node1-node=node1-bind=192.168.64.94-datacenter=dc1-uiconsulagent-data-d
  • 2024-07-0154、Flink 测试工具测试 Flink 作业详解
    测试Flink作业a)JUnit规则MiniClusterWithClientResourceApacheFlink提供了一个名为MiniClusterWithClientResource的Junit规则,用于针对本地嵌入式小型集群测试完整的作业。叫做MiniClusterWithClientResource.要使用MiniClusterWithClientResource,需要添加
  • 2024-07-01初识Kubernetes
    前言:Kubernetes(通常简称为K8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。以下是从入门到精通Kubernetes的详细指南:一、Kubernetes基础概述Kubernetes由Google开源,旨在自动化容器的部署、扩展和管理。它提供了一个平台,用于运行分布式系统,具有出色
  • 2024-06-30kafka 和Zookeeper 集群架构设计对比分析
    kafka和Zookeeper集群架构设计对比分析Kafka和Zookeeper是两个关键的分布式系统组件,它们在集群架构设计上有显著的差异。下面是对它们在集群架构设计方面的对比分析。1.Kafka集群架构设计1.1基本架构Kafka是一个分布式消息系统,由多个Broker组成。每个Broke
  • 2024-06-30LVS集群
    LVS集群LVS调度算法ipvsscheduler:根据其调度时是否考虑各RS当前的负载状态分为两种:静态方法:不管后端真实服务器的状态,根据自身算法进行调度动态方法:会根据后端服务器的状态来进行调度仅根据算法本身进行调度静态:1、RR:roundrobin,轮询,较常用2、WRR:WeightedRR,加权
  • 2024-06-23k8s手撕架构图+详解
    1.架构图这个架构图展示了一个典型的Kubernetes集群的结构和各个组件的作用。以下是详细解释2.架构图整体介绍 ControllerPlane(控制平面)负责管理和控制整个Kubernetes集群。包含以下组件:etcd:一个分布式键值存储,存储集群的所有数据。Scheduler(调度器):负责将Pod
  • 2024-06-23实战教你ElasticSearch-8.13集群搭建
    elasticsearch8.13集群部署elasticsearch8.13analysis-ikelastiknn环境准备(每台节点都需要修改)修改系统参数-----https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html(官方推荐)#vim/etc/security/limits.conf新增内容如下:*har
  • 2024-06-23深入探索YARN集群:NodeManager内存配置与管理全攻略
    深入探索YARN集群:NodeManager内存配置与管理全攻略引言ApacheHadoopYARN(YetAnotherResourceNegotiator)作为Hadoop生态系统中的一个关键组件,为集群资源管理和作业调度提供了强大的支持。在YARN集群中,NodeManager(NM)扮演着资源管理和任务执行的重要角色。本文将深入探讨
  • 2024-06-23HBase:从基础操作到集群管理
    HBase简介HBase,一个由Apache软件基金会开发的分布式、面向列的NoSQL数据库,以其高性能和可扩展性在大数据领域占据着重要地位。HBase的基本概念HBase是基于Google的Bigtable模型构建的,它是一个分布式、可扩展、面向列的存储系统,适合于存储大量的非结构化和半结构化的稀疏数据集
  • 2024-06-22MapReduce和YARN
    一:MapReduce概述MapReduce是hadoop三大组件之一,是分布式计算组件Map阶段:将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果Reduce阶段:将Maptask执行的结果进行汇总,按照Reducetask的计算规则获得一个唯一的结果我们在MapReduce计算框架的使用过程
  • 2024-06-22k8s集群搭建及对一些组件的简单理解(一)
    背景k8s的学习环境(用kubeadm方式搭建),我也搭过几次了,但都有点问题。要么在云服务器上弄,这个的问题是就只有一台轻量服务器,只能搭个单节点的;后来买了一台便宜的,所以就有了两台,但是不在一个zone,一个是广州,一个是成都,内网不通,感觉搭起来很麻烦,还没试过。要么是在本机的虚拟机上搞(vm
  • 2024-06-22zookeeper-05
    zookeeper负载均衡和nginx负载均衡区别   Zookeeper和Nginx都是常见的负载均衡解决方案,但在功能和应用场景上有一些区别。功能:Zookeeper负载均衡:Zookeeper是一个分布式协调系统,可以用于服务发现和负载均衡。它通过管理和维护一组服务节点的元数据信息,来实现请求的
  • 2024-06-21Redis集群搭建及原理详解
    1.Redis集群方案比较1.1哨兵模式在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态,如果master节点异常,则会做主从切换,将某一台slave作为master,哨兵的配置略微复杂,并且性能和高可用性等各方面表现一般,特别是在主从切换的瞬间存在访问瞬断
  • 2024-06-20nacos集群部署
    #3个主机安装jdk环境yuminstalljava-1.8.0-openjdk-devel-y#查看版本java-version#部署mysql5.7数据库省略#下载地址:https://github.com/alibaba/nacos/releases/download/2.2.3/nacos-server-2.2.3.tar.gz#解压并编辑配置文件1、mvnacos-server-2.2.3.tar.gznacos-serv
  • 2024-06-20docker swarm集群部署
      1、创建docker集群manger(要保存初始化后token,因为在节点加入时要使用token作为通讯的密钥)dockerswarminit--advertise-addr10.1.62.59上面命令执行后,加入swarm集群,输出的信息中包含了节点加入集群的方式:[root@hadoop1~]#dockerswarminit--advertise-addr10.
  • 2024-06-20最快方式搭建docker大数据 测试集群
    平时搭建一套测试集群找包找的累死,现在使用docker搭建cdh版本的 1.首先在服务器上安装dockeryuminstalldocker2.配置国内阿里云docker仓库服务 https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 换成地址,重启docker服务sudomkdir-p/etc/dockers
  • 2024-06-20迎接智算新挑战,天翼云亮相全球架构师峰会!
    近日,ArchSummit全球架构师峰会在深圳隆重开幕,本次大会以“智能进阶.架构重塑”为主题,探讨AI浪潮下,企业架构如何适应大模型和云原生的时代趋势,寻找既有应用成果又有成本效益的解决方案。国内外100余名顶尖专家齐聚一堂,围绕AI、大模型、云原生等话题展开深度交流。天翼云云网产品事
  • 2024-06-20【Kubernetes】集群学习
    常见的Kubernetes集群类型Kubernetes集群可以根据不同的标准进行分类,但通常我们根据其部署环境和用途来区分集群类型。以下是几种常见的Kubernetes集群类型:开发集群(DevelopmentCluster):用于开发和测试环境,通常部署在本地机器或开发者的私有云中。这种集群用于验证应
  • 2024-06-19Kafka集群保姆级部署教程
    目录资源列表基础环境修改主机名关闭防火墙关闭selinux安装JAVA安装Kafka下载Kafka解压修改配置文件kafka01kafka02kafka03启动服务启动ZK启动Kafka验证测试创建topic查看topic        今天给大家分享的是Kafka分布式集群部署,上次分享的单机版的k
  • 2024-06-19255页10万字大数据中心架构、存储、基础设施建设和运维方案WORD(文末附123相关资料下载方式)
    原文《大数据中心架构、大数据存储、数据中心基础设施建设和运维方案》更多参考资料及相关文档下载见文末​大数据中心架构是一个集数据存储、处理、分析和管理于一体的综合性平台。其设计旨在实现高效的数据吞吐、稳定的运行性能和灵活的资源扩展。整个架构采用分层设计,
  • 2024-06-18Centos7升级K8S集群
    Centos7升级K8S集群适用于使用kubeadm部署的k8s环境。Kubernetes版本以x.y.z表示,其中x是主要版本,y是次要版本,z是补丁版本。升级时不可以跳过次版本。例如,你只能从1.y升级到1.y+1,而不能从1.y升级到1.y+2。版本偏差说明:https://kubernetes.io/zh-cn/relea
  • 2024-06-18MongoDB 的集群架构与设计
    本文涉及的产品云数据库MongoDB,通用型2核4GB推荐场景:五天玩转MongoDB训练营  简介:MongoDB的集群架构与设计一、前言MongoDB有三种集群架构模式,分别为主从复制(Master-Slaver)、副本集(ReplicaSet)和分片(Sharding)模式。Master-Slaver是一种
  • 2024-06-182、k8s-集群环境的搭建-docker安装部署-k8s组件(kubelet)安装部署-集群初始化-fannel网络的配置
    kubernetes集群分为两类:·一主多从:一台master节点和多台node节点、搭建简单、但是有单机故障的风险、适合用于测试环境·多主多从:多台master节点和多台node节点、搭建麻烦、安全性高、适用于生产环境 ===================================一主多从搭建=============
  • 2024-06-181、k8s-容器编排工具-简介-组件-概念
     k8s是谷歌开源的工具本质:一组服务器的集群、它可以在集群的每个节点上运行特定的程序,来对节点中的容器进行管理、他的目的就是实现资源管理的自动化、主要提供了如下的主要功能:·自我修复:一旦某一个容器崩溃,能够在1秒钟左右迅速启动新的容器·弹性伸缩:可以根据需要,
  • 2024-06-17MongoDB分片部署(windows)
    【CSDN博客】MongoDB分片操作详解与实践OS:win10MongoDB:4.4.24伪分布式分片架构从图中可以看出,分片集群中主要由三个部分组成,即分片服务器(Shard)、路由服务器(Mongos)以及配置服务器(ConfigServer)组成。其中,分片服务器有三个,即Shard1、Shard2、Shard3;路由服务器