- 2024-09-11kafka入门(千峰)学习笔记
前言视频链接https://www.bilibili.com/video/BV1Xy4y1G7zA一、kafka介绍1、为什么使用消息队列实现异步通信2、消息队列的流派消息队列解决了通信问题(1)、有broker(类似消息中转站)a.重topic:kafka、activemq、rocketmqb.轻topic:rabbitmq(2)、无broker:zeromq3、kafka安
- 2024-09-09实现一个基于 Spring Boot 和 Vue.js 的实时消息推送系统
在现代互联网应用中,实时消息推送已经成为一个非常重要的功能。不论是即时通讯、通知系统,还是其他需要实时互动的应用场景,消息的实时性直接影响到用户的体验和应用的效率。在这篇文章中,我将详细介绍如何使用SpringBoot和Vue.js创建一个实时消息推送系统,并确保每个用户只
- 2024-09-07Kafka原理剖析之「Topic创建」
一、前言Kafka提供了高性能的读写,而这些读写操作均是操作在Topic上的,Topic的创建就尤为关键,其中涉及分区分配策略、状态流转等,而Topic的新建语句非常简单bashkafka-topics.sh\--bootstrap-serverlocalhost:9092\//需要写入endpoints--create--topictopicA //要创
- 2024-09-05一个故事理解消息队列-下
这是一篇迟到一月有余的文章。在7月18号,我用了一个故事作为案例,介绍了消息队列的基本功能和应用场景。本打算第二天介绍消息队列的主要功能特性的,由于文章排期等其他因素影响,故更新搁置了。这篇文章,接上篇《一个故事理解消息队列-上》,以Kafka为例,为大家介绍消息队列的主要功能
- 2024-09-04python操作kafka
一、参考阿里云的官方链接: 使用PythonSDK接入Kafka收发消息_云消息队列Kafka版(Kafka)-阿里云帮助中心二、安装python环境 三、添加python依赖库pipinstallconfluent-kafka==1.9.2四、新建一个setting.py文件配置信息kafka_setting={'sas
- 2024-09-03kafka基础知识(持续更新中~)
#broker.id属性在kafka集群中必须要是唯⼀broker.id=0#kafka部署的机器ip和提供服务的端⼝号listeners=PLAINTEXT://192.168.65.60:9092#kafka的消息存储⽂件log.dir=/usr/local/data/kafka-logs#kafka连接zookeeper的地址zookeeper.connect=192.168.65.60:2181./
- 2024-08-30kafka指定key进行分区遇到的问题
问题描述:kafka在指定key进行分区的时候,若某一个分区异常,则发往这个分区的数据均会失败;没有指定key进行分区的便不会出现改问题。看一下producer的源码:publicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalue,byte[]valueBytes,Clustercluster){
- 2024-08-28Kafka安装和使用(Windows)
下载和安装阿里云镜像下载地址:kafka_2.13-3.6.2.tgz清华大学镜像下载地址:kafka_2.13-3.6.2.tgz下载完成后解压即可,目录如下:配置和使用kafka的部署离不开zookeeper的,所以需要zookeeper。但是从kafka3的版本之后自带了zookeeper,所以不需要我们去考虑zookeeper,只需配置
- 2024-08-28Kafka Topic 中明明有可拉取的消息,为什么 poll 不到
开心一刻今天小学女同学给我发消息她:你现在是毕业了吗我:嗯,今年刚毕业她给我发了一张照片,怀里抱着一只大橘猫她:我的眯眯长这么大了,好看吗我:你把猫挪开点,它挡住了,我看不到她:你是sb吗,滚我解释道:你说的是猫呀可消息刚发出,就出现了红色感叹号,并提示:消息已发出,但被对方拒收了kafka
- 2024-08-27消息队列MQ
MQ概述1.MQ简介MQ,MessageQueue,是一种提供消息队列服务的中间件,也称为消息中间件,是一套提供了消息生产、储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。2.MQ用途限流削峰MQ可以将系统的超量请求暂存其中,以便系统后期可以慢慢进行处理,从而避免了请求
- 2024-08-26Kafka的基本概念
目录1.Kafka的介绍1.1介绍1.2Kafka的概念1.3.Kafka实现的日志聚合1.4简单的收发消息1.5其他消费模式1.5.1指定消费进度1.5.2分组消费1.5.3查看消费者组的偏移量1.6基于Zookeeper的Kafka集群1.6.1使用集群的原因1.6.2Kafka集群架构1.6.3Topic下的Partition分布情况
- 2024-08-24kafka
消息队列的流派MQ是什么MessageQueue(MQ)是一种消息队列中间件。MQ的主要作用是通过分离消息的发送和接收来实现应用程序的异步和解耦。然而,MQ的核心目的是通信:它屏蔽了底层复杂的通信协议,并定义了一套更简单的应用层通信协议。在分布式系统中,模块间通信通常使用HTTP
- 2024-08-242.ros2创建话题+发布消息(VScode环境搭建+编写)
前言:这是在1.ROS2安装-创建节点的基础上进行改进的,由于ubuntu自带的nano和vim在编写的时候不是很方便,在这教大家怎么用VScode进行编写代码1.Vscode安装1.1下面是Vscode的deb网盘连接,你也可以去官网下载 官网连接:DownloadVisualStudioCode-Mac,Linux,
- 2024-08-24Java实现MQTT通信(发布订阅消息)
文章目录前言一、相关pom依赖二、相关代码1.MQTT工具类2.MQTT回调函数3.订阅消息4.发布消息三、安装mosquitto1.mosquitto简介2.下载四、安装MQTT.fx1.MQTT.fx简介2.下载3.使用五、java订阅消息六、java发布消息前言MQTT是一种轻量级的物联网通信协议,基于客户端-
- 2024-08-22BufferQueue的试用笔记
简介BufferQueue是一个用.NET编写的高性能的缓冲队列实现,支持多线程并发操作。源码网站:https://github.com/eventhorizon-cli/BufferQueue功能设计支持创建多个Topic,每个Topic可以有多种数据类型。每一对Topic和数据类型对应一个独立的缓冲区。支持创建多个Cons
- 2024-08-21kafka集群扩容
环境:节点 zookeeper端口 kafka端口 备注172.17.0.81 12181 19092 原有节点172.17.0.82 12181 19092 原有节点172.17.0.83 12181 19092 原有节点172.17.0.90 12181 19092 扩容节点172.17.0.91 12181 19092 扩容节点步骤:一、扩容zookeeper节点#修改配置文件,需注意新节点my
- 2024-08-21Linux CentOS 7 Kafka 单机版安装
Kafka从2.6.0开始,默认使用Java11,3.0.0开始,不再支持Java8,详见:https://kafka.apache.org/downloadsProducer:消息生产者,就是向kafkabroker发消息的客户端:Consumer:消息消费者,向kafkabroker取消息的客户端;ConsumerGroup:消费者组,由多个consumer组成。消费者组
- 2024-08-19kafka学习
kafka学习kafka应用场景Kafka入门实战教程(1)基础概念与术语-EdisonZhou-博客园(cnblogs.com)kafka设计kafka架构图架构图来源:一文带你搞懂Kafka的系统架构(深度好文,值得收藏)_kafka架构-CSDN博客kafka名词解释Broker:一台kafka服务器就是一个broker。一个集群由
- 2024-08-18事件驱动架构的事件版本管理
有一种办法:发送会议邀请给所有团队,经过101次会议后,发布维护横幅,所有人同时点击发布按钮。或...可用适配器,但微调。没错!就像软件开发中90%问题一样,有种模式帮助你找到聪明解决方案。1问题你已经有了一个模式,消费者已知咋处理它,所以他们依赖你保持兼容性,但实际上,你要打破这种兼
- 2024-08-18RabbitMQ-消息队列之topic使用
1、安装rabbitmq怎么安装rabbitmq请查看之前课程,如果已经安装,请略过此步。2、创建vendor文件夹或是直接采用PHP框架mkdirvendor3、进入文件cdvendor4、安装php扩展composerrequirephp-amqplib/php-amqplib5、进入上级创建topic文件夹cd../mkdirtopic6、进入to
- 2024-08-16合宙Air780EP模组LuatOS脚本开发MQTT应用示例
本文详细讲解了基于合宙Air780EP模组LuatOS开发的多个MQTT应用示例。本文同样适用于合宙的以下型号:Air780EPA/Air780EPT/Air780EPSAir780E/Air780EX/Air201…一、相关准备工作1.1硬件准备合宙EVB_Air780EP开发板一套,包括天线、SIM卡;USB线PC电脑1.2软件准备登录合宙
- 2024-08-15SpringBoot优雅的封装不同研发环境下(环境隔离)RocketMq自动ack和手动ack
1.RocketMq的maven依赖版本:<dependency><groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-spring-boot-starter</artifactId><version>2.3.0</version></dependenc
- 2024-08-14windows下php安装kafka
下载zookeeperKafka依赖Zookeeper进行分布式协调,所以需要下载Zookeeper,当然你也可以使用kafka包里自带的一个默认配置的Zookeeper。这里我们单独下载一个访问Zookeeper官方下载页面在页面中找到最新的稳定版本,点击相应的下载链接,下载Zookeeper的压缩包文件解压Zo
- 2024-08-13个人技能总结-kafka部分
kafka集群部分技能总结kafka集群架构Kafka集群的规划和架构设计是构建高性能、高可用性和可扩展性的分布式消息系统的关键。以下是关于Kafka集群规划和架构的详细说明:Kafka集群的基本组成Kafka集群主要由以下几个核心组件构成:生产者(Producer):负责向Kafka主题(Topic)发送消息的
- 2024-08-09SpringBoot集成Kafka详解
1、构建项目1.1、引入依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.2.5.RELEASE</version> </parent> <dependencies> <dependency>