- hive grouping sets
HiveGroupingSets在大数据处理中，数据聚合是一项非常重要的任务。在Hadoop生态系统中，ApacheHive是一种常用的数据仓库基础架构，它提供了一个类SQL的界面，用于查询和分析大规模数据集。Hive的一个强大功能是"GroupingSets"，它允许我们按多个列进行分组，并同时计算多个聚合。什么是G......
- linux系统，kafka常用命令
kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来查看/创建topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server。[root@kwephis1160698bin]#./kafka-topics.sh--list--zookeeperlocalhost:2181Exceptioninthread"main"joptsimple.Unrecognized......
- windows10下安装kafka
安装JDK下载地址：www.oracle.com/java/technologies/downloads我是装的java17.0.8X64Installer，不是javer所以不懂区别。下好以后开始安装，一路下一步就是了，安装目录装在的D盘 D:\kafka\jdk-17.0.1现在开始添加环境变量在用户变量path里添加 %JAVA_HOME%\bin和 %JAVA_HO......
- 【项目实战】Java 开发 Kafka 生产者
......
- 【项目实战】Java 开发 Kafka 消费者
......
- kafka分区分配策略
前言现有主流消息中间件都是生产者-消费者模型，主要角色都是：Producer->Broker->Consumer，上手起来非常简单，但仍有需要知识点需要我们关注，才能避免一些错误的使用情况，或者使用起来更加高效，例如本篇要讲的kafka分区分配策略。在开始前我们先简单回顾一下kafka消息存储设计，如下图......
- 修改docker的cggroup
如何修改docker的cgroup简介Docker是一种开源的容器化平台，允许开发者将应用程序及其依赖项打包成一个可移植的容器。cgroup（ControlGroup）是Linux内核提供的一种机制，用于限制和隔离组内的进程资源。在Docker中，我们可以通过修改cgroup参数来限制容器的资源使用情况。本文将指导刚......
- 使用 Apache SeaTunnel 实现 Kafka Source 解析复杂Json 案例
版本说明：SeaTunnel：apache-seatunnel-2.3.2-SNAPHOT引擎说明：Flink：1.16.2Zeta：官方自带前言近些时间，我们正好接手一个数据集成项目，数据上游方是给我们投递到Kafka，我们一开始的技术选型是SpringBoot+Flink对上游数据进行加工处理（下文简称：方案一），由于测试不到位，后来到线上，发现......
- springcloud stream kafka实践
SpringCloudStream是SpringCloud提供的一个用于构建消息驱动的微服务的框架。它简化了消息系统（如Kafka，rabbitMQ）的使用和集成，使开发者可以更专注于业务逻辑的实现。项目结构如下 一、移入依赖创建一个springbootweb项目引入依赖1<properties>2<java.version>1......
- keycloak~EventListenerProvider初始化kafka引出的类加载问题
EventListenerProvider初始keycloak提供的事件处理机制，可以通过实现EventListenerProvider接口来实现自定义的事件处理逻辑。在keycloak启动时，会通过ServiceLoader机制加载所有的EventListenerProvider实现类，并将其注册到keycloak的事件处理机制中。构造方法，在每个keycloak后台......