• 2024-09-30掌握RocketMQ消息中间件——基本概念和系统架构篇
    简述RcoketMQ概念:RocketMQ是一个开源的分布式消息中间件,由阿里巴巴开发并贡献给Apache软件基金会。它用于处理高吞吐量、低延迟的消息传递,并广泛应用于现代分布式系统中。1 基本概念1.1消息 (Message)    概念:消息是信息传递的物理载体,生产和消费数据的最小单位,
  • 2024-09-30手把手教你搭建物联网平台,轻松实现远程设备管理
    嘿,大家好!我是你们的技术小伙伴小米,今天要和大家分享一个超有趣的主题——物联网平台接入。现在是万物互联的时代,越来越多的智能设备如同雨后春笋般冒出来。想象一下,灯、空调、洗衣机,甚至农田里的传感器,都可以通过物联网平台实现远程控制,听起来是不是很酷?今天我将带你了解物联网平台
  • 2024-09-27礼物9月
        搭建微信公众号AI助手https://developer.aliyun.com/topic/enterprise/aiwechat完成搭建微信公众号AI助手、发布作品截图两个任务,即可领取多功能折叠桌1个。限量150  10分钟在钉钉上增加一个AI机器人https://developer.aliyun.com/topic/aidingding完成在钉
  • 2024-09-26kafka生产者、消费者-命令行模式模拟
    win环境下,如果是linux,切换目录,用sh脚本就行kafka安装在上一篇https://www.cnblogs.com/qcy-blog/p/18428599Kraft启动kafkakafka-server-start.bat..\..\config\kraft\server.properties生产者,启动之后,命令行输入要生产的消息kafka-console-producer.bat--topictest-top
  • 2024-09-24kafka负载均衡迁移(通过kafka eagle)
    在grafana监控中发现kafka的各个节点磁盘不均匀出现这样的情况是因为kafka默认是以文件数作为平衡的条件的。换句话说,kafka不会管一个副本有多大,只会看磁盘中有多少个副本文件。解决方式:1、修改策略,改为按照磁盘大小平衡数据2、手动迁移数据,将磁盘使用率高的节点数据迁移
  • 2024-09-23xmind&百度脑图之导入导出
    背景应公司业务要求,开发一款支持多人在线编辑思维导图的产品,且要做到思维导图文件导入导出。前端组件vue-testcase-minder-editor,组件作者:https://github.com/chenhengjie123/vue-testcase-minder-editor?tab=readme-ov-file数据格式对比#百度脑图数据格式{'data':{'id':
  • 2024-09-23RocketMQ 基本概念
    RocketMQ的由来随着使⽤中队列和虚拟主题的增加,阿⾥巴巴团队使⽤的ActiveMQIO模块达到了瓶颈。为了尽⼒通过节流、断路器或降级来解决这个问题,但效果不佳。所以开始关注当时流⾏的消息传递解决⽅案Kafka。不幸的是,Kafka⽆法满⾜要求(在这么多消息队列中间,kafka
  • 2024-09-23python获取kafka队列长度
    #pipinstallkafka-pythonfromkafkaimportKafkaConsumerfromkafka.structsimportTopicPartitiondefget_queue_length(topic_list,kafka_host,kafka_group):partition_list=[TopicPartition(it[1],0)foritintopic_list]consumer=KafkaCons
  • 2024-09-22迭代器模式:如何实现遍历数据时的职责分离?
    迭代器模式是我们学习一个设计时很少用到的、但编码实现时却经常使用到的行为型设计模式。在绝大多数编程语言中,迭代器已经成为一个基础的类库,直接用来遍历集合对象。在平时开发中,我们更多的是直接使用它,很少会从零去实现一个迭代器。今天,我们就一起来看看迭代器模式的原理和实现,帮
  • 2024-09-20RocketMq详解:一、RocketMQ 介绍及基本概念
    文章目录前言1.RocketMQ简介2.RocketMQ特点3.核心特性4.应用场景5.RocketMQ优势6.RocketMQ四大核心组件6.1NameServer1.NameServer作用2.NameServer被设计为无状态的原因3.和NameServer和Zookeeper的区别4.NameServer的高可用保障6.2Broker1.Broker部署方式2.高可用与负
  • 2024-09-19分布式消息服务Kafka版的详细解析和配置方式
    分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,它向用户提供计算、存储和带宽资源独占式的Kafka专享实例。以下是对分布式消息服务Kafka版的详细解析和配置方式的介绍。一、分布式消息服务Kafka版解析1.Kafka概述Kafka是一个开源的分布式消息系统,由Apa
  • 2024-09-18RocketMQ QandA
    RocKetMQ消费消息是推送还是拉取在RocketMQ中,消息的消费可以是推送(Push)模式,也可以是拉取(Pull)模式。拉取模式(Pull):消费者主动去Broker端拉取消息。消费端会定期或按需拉取消息,根据自己的消费速度进行控制。这种模式下,消费者可以控制自己什么时候拉取消息以及拉取的速率,更适合
  • 2024-09-16MQ学习笔记(一)Kafka简介
    什么是MQ?MessageQueue消息队列,在消息的传递过程中保存消息的容器。父亲==》书架《==儿子好处:应用解耦,异步提速,限流削峰使用成本:引入复杂度,最终一致性,高可用性何时使用:生产者不需要从消费者处获得反馈能够容忍短暂的不一致性效果要大于副作用应用场景应用解耦场
  • 2024-09-14kafka集群架构设计原理详解
    目录从Zookeeper数据理解Kafka集群工作机制Kafka的Zookeeper元数据梳理1、zookeeper整体数据2、ControllerBroker选举机制3、LeaderPartition选举机制4、LeaderPartition自动平衡机制5、Partition故障恢复机制6、HW一致性保障-Epoch更新机制7、总结从Zookeeper
  • 2024-09-13Kafka 中消息保留策略详解
    个人名片
  • 2024-09-12kafka原理剖析及实战演练
    一、消息系统概述 一)消息系统按消息发送模型分类1、peer-to-peer(单播)特点:一般基于pull或polling接收消息发送对队列中的消息被一个而且仅仅一个接收者所接收,即使有多个接收者在同一队列中侦听同一消息即支持异步“即发即弃”的消息传送方式,也支持同步
  • 2024-09-11kafka入门(千峰)学习笔记
    前言视频链接https://www.bilibili.com/video/BV1Xy4y1G7zA一、kafka介绍1、为什么使用消息队列实现异步通信2、消息队列的流派消息队列解决了通信问题(1)、有broker(类似消息中转站)a.重topic:kafka、activemq、rocketmqb.轻topic:rabbitmq(2)、无broker:zeromq3、kafka安
  • 2024-09-09实现一个基于 Spring Boot 和 Vue.js 的实时消息推送系统
    在现代互联网应用中,实时消息推送已经成为一个非常重要的功能。不论是即时通讯、通知系统,还是其他需要实时互动的应用场景,消息的实时性直接影响到用户的体验和应用的效率。在这篇文章中,我将详细介绍如何使用SpringBoot和Vue.js创建一个实时消息推送系统,并确保每个用户只
  • 2024-09-07Kafka原理剖析之「Topic创建」
    一、前言Kafka提供了高性能的读写,而这些读写操作均是操作在Topic上的,Topic的创建就尤为关键,其中涉及分区分配策略、状态流转等,而Topic的新建语句非常简单bashkafka-topics.sh\--bootstrap-serverlocalhost:9092\//需要写入endpoints--create--topictopicA //要创
  • 2024-09-05一个故事理解消息队列-下
    这是一篇迟到一月有余的文章。在7月18号,我用了一个故事作为案例,介绍了消息队列的基本功能和应用场景。本打算第二天介绍消息队列的主要功能特性的,由于文章排期等其他因素影响,故更新搁置了。这篇文章,接上篇《一个故事理解消息队列-上》,以Kafka为例,为大家介绍消息队列的主要功能
  • 2024-09-04python操作kafka
    一、参考阿里云的官方链接:        使用PythonSDK接入Kafka收发消息_云消息队列Kafka版(Kafka)-阿里云帮助中心二、安装python环境  三、添加python依赖库pipinstallconfluent-kafka==1.9.2四、新建一个setting.py文件配置信息kafka_setting={'sas
  • 2024-09-03kafka基础知识(持续更新中~)
    #broker.id属性在kafka集群中必须要是唯⼀broker.id=0#kafka部署的机器ip和提供服务的端⼝号listeners=PLAINTEXT://192.168.65.60:9092#kafka的消息存储⽂件log.dir=/usr/local/data/kafka-logs#kafka连接zookeeper的地址zookeeper.connect=192.168.65.60:2181./
  • 2024-08-30kafka指定key进行分区遇到的问题
    问题描述:kafka在指定key进行分区的时候,若某一个分区异常,则发往这个分区的数据均会失败;没有指定key进行分区的便不会出现改问题。看一下producer的源码:publicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalue,byte[]valueBytes,Clustercluster){
  • 2024-08-28Kafka安装和使用(Windows)
    下载和安装阿里云镜像下载地址:kafka_2.13-3.6.2.tgz清华大学镜像下载地址:kafka_2.13-3.6.2.tgz下载完成后解压即可,目录如下:配置和使用kafka的部署离不开zookeeper的,所以需要zookeeper。但是从kafka3的版本之后自带了zookeeper,所以不需要我们去考虑zookeeper,只需配置
  • 2024-08-28Kafka Topic 中明明有可拉取的消息,为什么 poll 不到
    开心一刻今天小学女同学给我发消息她:你现在是毕业了吗我:嗯,今年刚毕业她给我发了一张照片,怀里抱着一只大橘猫她:我的眯眯长这么大了,好看吗我:你把猫挪开点,它挡住了,我看不到她:你是sb吗,滚我解释道:你说的是猫呀可消息刚发出,就出现了红色感叹号,并提示:消息已发出,但被对方拒收了kafka