• 2024-10-11redis运维手册
    目录redis集群资源配置建议Productionenvironmentbasicreplication配置replication的特性replication中的网络连接replication过程replicationID重启和故障转移下的部分同步Read-onlyreplicareplication的可靠性replicationexpirekeysreplica和master的认证Redis的配置静态
  • 2024-10-11mysql8: 主从复制,从库跳过错误
    一,主从复制,从库报错,因为主库上执行了一条针对从库上不存在数据库的sql 二,解决:1,执行下面的sql即可,stopreplica;SETGLOBALSQL_SLAVE_SKIP_COUNTER=1;startreplica;需要注意以前的stopslave/startslave不可用了2,也可以用下面的sql:MASTER_HOST:主库ip,MASTER_USER:
  • 2024-10-0131_分布式文档系统_图解写一致性原理以及quorum机制深入剖析
    (1)consistency,one(primaryshard),all(allshard),quorum(default)我们在发送任何一个增删改操作的时候,比如说put/index/type/id,都可以带上一个consistency参数,指明我们想要的写一致性是什么?put/index/type/id?consistency=quorumone:要求我们这个写操作,只要有一个primaryshard是activ
  • 2024-10-0132_分布式文档系统_document查询内部原理图解揭秘
    1、客户端发送请求到任意一个node,成为coordinatenode2、coordinatenode对document进行路由,将请求转发到对应的node,此时会使用round-robin随机轮询算法,在primaryshard以及其所有replica中随机选择一个,让读请求负载均衡3、接收请求的node返回document给coordinatenode4、coor
  • 2024-10-0110_shard&replica机制再次梳理以及单node环境中创建index图解
    1、shard&replica机制再次梳理2、图解单node环境下创建index是什么样子的1、shard&replica机制再次梳理(1)index包含多个shard(2)每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力(3)增减节点时,shard会自动在nodes中负载均衡(4)primaryshard和
  • 2024-10-0112_分布式原理_图解横向扩容过程,如何超出扩容极限,以及如何提升容错性
    1、图解横向扩容过程,如何超出扩容极限,以及如何提升容错性(1)primary&replica自动负载均衡,6个shard,3primary,3replica(2)每个node有更少的shard,IO/CPU/Memory资源给每个shard分配更多,每个shard性能更好(3)扩容的极限,6个shard(3primary,3replica),最多扩容到6台机器,每个shard可以占用单
  • 2024-07-13Docker部署Redis
    查看可用的redis版本dockersearchredis拉取redis最新镜像dockerpullredis:latest查看本地镜像dockerimages创建挂在文件点击查看代码mkdir-pv/test1/docker_volume/redis/datamkdir-pv/test1/docker_volume/redis/confcd/test1/docker_volume/re
  • 2024-07-07副本集选举
    副本集使用选举来确定哪个成员将成为主成员。副本集可以响应各种事件触发选举,例如:向副本集添加新节点,initiatingareplicaset,使用诸如rs.stepDown()或rs.reconfig()和之类的方法执行副本集维护次要成员与主成员失去连接的时间超过配置的时间timeout(默认为10秒)。
  • 2024-06-07厂区车间佩戴安全帽检测系统 TensorFlow
    厂区车间佩戴安全帽检测系统提升了工作人员安全帽佩戴和面部实名认证管理效率和监管水平。厂区车间佩戴安全帽检测系统根据搜集现场施工作业人员的脸部信息内容和监控画面视频图像检测优化算法,可以设置访问限制。假如作业人员不戴头盔,作业人员将被禁止进入施工区域,并会语音播报
  • 2024-06-06clickhouse 同步mysql数据
    1、mysql端1.1、配置mysql启动二进制复制vim/etc/my.conf在[mysqld]下添加[mysqld]server-id=1log-bin=mysql-binbinlog_format=ROWgtid_mode=ONenforce_gtid_consistency=ONdefault_authentication_plugin=mysql_native_password 修改配置需要重启mysql服务 
  • 2024-05-11hj_podman_20240510
    略创建文件夹&容器停止&删除yuminstallpodmanyumupdate/apt-getupdate#podmanexec-u0-ita4a89d953992/bin/bash这是root账户进入-u0~~~#mysql8.0.37podmanpullmysql:8.0.37mkdir-p/home/hj/hj_mysql8.0.37_3307cd/home/hj/hj_mysql8.0.37_33
  • 2024-03-09Kubernetes Replica Sets 和 Kubernetes Replica Controller的区别
    ReplicaSet(RS)是ReplicationController(RC)的升级版本。ReplicaSet和 ReplicationController之间的唯一区别是对选择器的支持。ReplicaSet支持labelsuserguide中描述的set-based选择器要求, 而ReplicationController仅支持equality-based的选择器要求。标签选择器用来选择包
  • 2024-02-06在K8S中,Replica Set和Replication Controller之间有什么区别?
    在Kubernetes(K8s)中,ReplicaSet和ReplicationController(RC)都是用于确保集群中特定数量的Pod副本始终运行的服务。尽管它们有相似的功能,但在功能演变过程中,ReplicaSet是对ReplicationController的改进和升级。ReplicationController(RC):在早期版本的Kubernetes
  • 2024-01-22SQL Server 2012 AlwaysON 同步延迟时间
     SELECTavailability_mode_desc,role_desc,replica_server_name,last_redone_time,GETDATE()now,DATEDIFF(ms,last_redone_time,GETDATE())diffMSFROM((sys.availability_groupsASagJOINsys.
  • 2024-01-21【docker-compose】Redis安装教程
    仅供学习参考,请勿轻易在生产环境使用0.文件目录下面的文件按照这个目录层级放置,首先创建/docker/redis文件夹,/docker/redis对应下边图中REDIS。1.创建目录mkdir-p/docker/redis/conf/docker/redis/data/docker/redis/logschmod-R777/docker/redis/conf/doc
  • 2023-12-06性能调优
    Broker线程数##broker处理消息的最大线程数,默认为3,建议设为cpu核数+1num.network.threads=9##broker处理磁盘IO的线程数,建议设为cpu核数x2num.io.threads=16数据落盘策略##每当producer写入10000条消息时,刷数据到磁盘log.flush.interval.messages=10
  • 2023-12-05Kafka集群调优+能力探底
    一、前言我们需要对4个规格的kafka能力进行探底,即其可以承载的最大吞吐;4个规格对应的单节点的配置如下:标准版:2C4G铂金版:4C8G专业版:8C16G企业版:16C32G另外,一般来讲,在同配置下,kafka的读性能是要优于写性能的,写操作时,数据要从网卡拷贝至堆内存,然后进行一堆数据校验、解
  • 2023-11-199、Redis复制(replica)【面试重点】
    一、是什么二、能干嘛三、怎么玩1、权限细节2、基本操作命令四、案例演示1、架构说明2、小口诀3、修改配置文件细节操作4、常用3招4.1一主二仆4.1.1方案1:配置文件固定写死(1)从机配置replicaof及masterauth(2)先启动master后启动两
  • 2023-11-19docker跑mongo主从复制
    docker跑mongo主从复制这是docker-compose.ymlversion:'3.1'services:mongo:container_name:'mongo'hostname:'mongo'image:mongorestart:alwaysvolumes:-./root/mongo:/root/mongo-./root/mon
  • 2023-11-16redis官方集群搭建
    1.下载releases7.2.0(最好下载源码在服务器编译):https://packages.redis.io/redis-stack/redis-stack-server-7.2.0-v6.rhel7.x86_64.tar.gz?_gl=1*jh1xlt*_ga*MTA3MjY3MzAyMi4xNjgwNzQ0NTE2*_ga_8BKGRQKRPV*MTcwMDEzNzc3NS41LjEuMTcwMDEzNzgwNi4yOS4wLjA.*_gcl_au*MTI3NTM4NTEwNi4xN
  • 2023-11-02SHOW REPLICA STATUS 结果简化分析
    root@localhost(none)>showreplicastatus\G***************************1.row***************************Replica_IO_State:WaitingforsourcetosendeventSource_Host:192.168.1.1Source_User:repl
  • 2023-10-23redis 配置文件 - 启动redis 使用文件配置启动
    #Redisconfigurationfileexample.##Notethatinordertoreadtheconfigurationfile,Redismustbe#startedwiththefilepathasfirstargument:##./redis-server/path/to/redis.conf#Noteonunits:whenmemorysizeisneeded,itispos
  • 2023-10-17Amazon MSK 可靠性最佳实践
    1.AmazonMSK介绍Kafka作为老牌的开源分布式事件流平台,已经广泛用于如数据集成,流处理,数据管道等各种应用中。 亚马逊云科技也于2019年2月推出了ApacheKafka的云托管版本,AmazonMSK(ManagedStreamingforApacheKafka)。相较于传统的自建式Kafka集群,MSK有如下几点优势:快速
  • 2023-10-16Redis系列---【Linux系统离线安装redis5.0.7】
    Linux系统离线安装redis5.0.71.下载redis安装包方式一:shell命令下载wgethttp://download.redis.io/releases/redis-5.0.7.tar.gz方式二:手动官网下载官网地址:https://redis.io/download2.上传到服务器上传到/opt/app/middles/目录下3.解压并安装tar-zvxfredi
  • 2023-09-25docker部署开发环境
    version:'3'services:mysql:image:mysql:5.6container_name:mysqlhostname:mysqlrestart:alwaysports:-3306:3306networks:-devvolumes:-./mysql/conf:/etc/mysql/conf.d-./mysql/da