• 2024-07-01LeetCode 1013. Partition Array Into Three Parts With Equal Sum
    原题链接在这里:https://leetcode.com/problems/partition-array-into-three-parts-with-equal-sum/description/题目:Givenanarrayofintegers arr,return true ifwecanpartitionthearrayintothree non-empty partswithequalsums.Formally,wecanpartition
  • 2024-06-24fdisk时WARNING: Re-reading the partition table failed with error 16: 设备或资源忙 的问题解决方案
    WARNING:Re-readingthepartitiontablefailedwitherror16:设备或资源现象:划分磁盘有警告, WARNING:Re-readingthepartitiontablefailedwitherror16:设备或资源忙.Thekernelstillusestheoldtable.Thenewtablewillbeusedatthenextrebootoraft
  • 2024-06-20oracle partition by 语法
    参考链接:https://www.cnblogs.com/xfeiyun/p/17765225.html数据准备建表createtablexzq_person(--行政区人口表provincevarchar(10),cityvarchar(10),personsnumber(10));插入数据insertintoxzq_personvalues('江苏','苏州',10);insert
  • 2024-06-11mysql之数据聚合
    官方文档SUM(column)用于计算指定列的总和。示例:计算每个部门员工的总工资SELECTdepartment,SUM(salary)AStotal_salaryFROMemployeesGROUPBYdepartment;AVG(column)用于计算指定列的平均值。示例:计算每个部门员工的平均工资SELECTdepartment,AVG(sal
  • 2024-06-06Kafka源码分析(六)——Producer:Sender线程——Batch筛选
    作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬学习必须往深处挖,挖的越深,基础越扎实!阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析
  • 2024-06-05一文搞懂Kafka,在项目里面更加得心应手的使用
    1.kafka关键概念与术语1.1简单的例子说明kafka的使用场景Apachekafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前kafka已经可以做更多的事情。举个例子:生产者消费者,生产者生产鸡蛋
  • 2024-06-04pt-online-schema-change 在线无缝修改表
    pt-online-schema-change支持在不妨碍读写操作的情况下修改表的结构。这种方法允许管理员无缝地修改表,同时保持数据的完整性,并最大限度地减少中断。为了完成在线修改的目标,pt-online-schema-change工具遵循定义明确的步骤:·创建空副本:pt-online-schema-change会为将要修改的
  • 2024-05-30Kafka的结构
    Kafka的结构与工作原理Kafka是一种分布式流处理平台,广泛应用于实时数据处理和数据管道。它的核心组件包括Producer、Topic、Partition、Broker、Consumer和ConsumerGroup。以下是Kafka从生产到消费端的工作流程及其关键概念的解释。1.生产者(Producer)功能:生产者负责将数据发送
  • 2024-05-29golang kafka例子
    packagemain//生产者代码import( "fmt" "github.com/IBM/sarama" "time")//基于sarama第三方库开发的kafkaclientvarbrokers=[]string{"127.0.0.1:9092"}vartopic="hello_kafka0"//同步消息模式funcsyncProducer(conf
  • 2024-05-28OceaBase 分区表创建技巧
    最近遇在干个核心的金融项目,规模很大,客户主要是用oracle数据库,现在需要适配ob,原来在oracle就是分区表的迁来ob以后需要进行改造。oracle默认使用是堆表(ht),而ob使用的是索引组织表(iot),表原理不一样所以分区表会稍微有点区别。 1、表无主键,创建范围分区表CREATETABLEsales_or
  • 2024-05-27查看分区范围
    查看分区范围SELECTSCHEMA_NAME(t.schema_id)ASSchemaName,t.nameASTableName,i.nameASIndexName,p.partition_numberASPartitionNumber,f.nameASPartitionFunctionName,p.rowsASRows,rv.valueASBoundaryValue,CASEWHENISNULL(rv.value,rv2.value)ISN
  • 2024-05-27mssql分区表创建
    使用分区表提高并发能力和查询处理性能(需命中分区)CREATEPARTITIONFUNCTIONRangePF1(INT)ASRANGELEFTFORVALUES(10,100,1000);SELECT$PARTITION.RangePF1(1000);CREATEPARTITIONSCHEMERangePS1ASPARTITIONRangePF1ALLTO('PRIMARY');CREATETABLEd
  • 2024-05-20Doris:概念与基础操作
    Doris一款现代化的MPP分析性数据库产品支持亚秒级响应支持10PB以上数据集兼容MySQL协议基础概念doris有3种基础表:明细表(Duplicate):一张普普通通的表,doris默认表模式,支持数据预排序主键表(Unique):一种特殊的聚合表,如果主键重复,会自动更新其他值聚合表(Aggregate):聚合模
  • 2024-05-16openGauss 执行修改表分区操作时报错
    执行修改表分区操作时报错问题现象执行ALTERTABLEPARTITION时,报错如下。ERROR:startvalueofpartition"XX"NOTEQUALup-boundaryoflastpartition.原因分析在同一条ALTERTABLEPARTITION语句中,既存在DROPPARTITION又存在ADDPARTITION时,无论它们在语句中的顺序是
  • 2024-05-10使用spring.cloud.stream来发送kafka消息,并根据某字段将消息发送到固定partition上
    1、问题:在进行功能开发的时候遇到一个需求,具体需求如下:在某个服务A中接收到消息,对消息体进行校验,判断消息体中的数据是否需要产生告警,若产生告警,则将告警信息发送到kafka中,由另一个服务B接收到消息并记录到mongo中;当A服务在此接收到消息,发现以前的某个告警已经恢复,则再
  • 2024-05-09Kafka存储机制
    Kafka之所以有那么高的吞吐量,很大程度取决于它的存储机制,一个主题可以有多个partition,每个partition有一个leader和多个副本,读写主要通过leader,副本的主要功能还是为了保证数据的安全性和保证可靠性,当某个partition的leader出现异常后,剩余副本可以选举出新的leader;每个partition
  • 2024-05-01kafka核心概念Broker、Topic、Partition和Replication
    在Kafka中,Broker、Topic、Partition和Replication是四个核心概念,它们各自扮演了不同的角色并共同协作以确保数据的可靠性、可扩展性和高性能。以下是关于这四个概念的详细解释:Broker(代理)*Broker是Kafka集群中的一个节点,负责存储和转发消息。Kafka集群由多个Broker组成。*Brok
  • 2024-04-30d-oris 动-态分区
    doris动态分区会根据dynamic_partition.start和dynamic_partition.end自动创建分区和删除分区,且不支持手动创建、删除分区。动态分区表插入数据时不会自动创建分区,如果没有分区会报错。(自动分区功能2.1版本后才有)droptabletest.student_dynamic_partition2;createtabletes
  • 2024-04-30openGauss 创建和管理分区表
    创建和管理分区表背景信息openGauss数据库支持的分区表为范围分区表、间隔分区表、列表分区表、哈希分区表。范围分区表:将数据基于范围映射到每一个分区,这个范围是由创建分区表时指定的分区键决定的。这种分区方式是最为常用的,并且分区键经常采用日期,例如将销售数据按照月份进
  • 2024-04-29openGauss 创建和管理分区表
    创建和管理分区表背景信息openGauss数据库支持的分区表为范围分区表、间隔分区表、列表分区表、哈希分区表。范围分区表:将数据基于范围映射到每一个分区,这个范围是由创建分区表时指定的分区键决定的。这种分区方式是最为常用的,并且分区键经常采用日期,例如将销售数据按照月份进
  • 2024-04-24为什么使用消息队列
    消息队列的基本作用解耦异步削峰引入消息队列会导致什么1.降低系统的可用性:系统引入的外部依赖越多,越容易挂掉2.系统的复杂度变高:使用MQ后可能需要保证消息没有被重复消费、处理消息丢失的情况、保证消息传递的顺序性等等问题3.一致性问题:A系统处理完了直接返回成功
  • 2024-04-23lv扩容操作
    对lv进行扩容操作操作应考虑大因素: 1lv扩容对数据会不会产生影响-如果正常操作对数据没有影响2考虑物理磁盘是MBR分区还是GPT分区,MBR分区最大分区只能2t,只能分4个分区;GPT可进行大容量分区,支持128个分区 操作方法一1通过分区,创建新的pv,加入的vg中再扩容l
  • 2024-04-17Kafka 采用 RoundRobinPartitioner 时仅向偶数分区发送消息
    背景及问题说明使用Kafkaclient版本3.4.0目前的默认分区策略如下:NOTEthispartitionerisdeprecatedandshouldn'tbeused.Tousedefaultpartitioninglogicremovepartitioner.classconfigurationsetting.SeeKIP-794formoreinfo.Thedefaultpartitioni
  • 2024-04-10Oracle分析函数- count()/sum() over(partition by 分组 order by 排序) 详解
    优点:代码简单明了,并且执行效率高,(不影响总的记录数)如果不用这种函数去写,按照平时我们的思路首先想到的可能是子查询,那么将至少会走4次以上的全表扫描:(1)每个订单中产品数量大于3的产品至少1个(003,004)(2)每个订单中折扣标志为'1'的产品至少有2个(002,004)(3)每个订单
  • 2024-04-09Kafka 进阶
    1、为什么有消息系统解耦合异步处理例如电商平台,秒杀活动。一般流程会分为:1:风险控制、2:库存锁定、3:生成订单、4:短信通知、5:更新数据通过消息系统将秒杀活动业务拆分开,将不急需处理的业务放在后面慢慢处理;流程改为:1:风险控制、2:库存锁定、3:消息系统、4:生成订单、5:短信通知