• 2024-11-19StarRocks 物化视图刷新流程及原理
    前段时间给StarRocks的物化视图新增了一个特性,那也是我第一次接触StarRocks,因为完全不熟悉这个数据库,所以很多东西都是从头开始了解概念。为了能顺利的新增这个特性(具体内容可以见后文),我需要把整个物化视图的流程串联一遍,于是便有了这篇文章。在开始之前简单了解下物化视图的
  • 2024-11-11编写starrocks的自定义函数
    编写StarRocks的自定义函数前提条件StarRocks使用udf函数需要满足以下条件:安装jdk1.8开启udf功能,在FE的配置文件fe/conf/fe.conf中设置配置项enable_udf为true,并且重启FE节点使配置生效开发使用UDF函数创建maven项目,并且用java实现udf函数创建maven项目并且添加以
  • 2024-10-31以外部表 (External Table) 的形式,接入其他数据源
    外部表|StarRockshttps://docs.starrocks.io/zh/docs/data_source/External_table/外部表StarRocks支持以外部表(ExternalTable)的形式,接入其他数据源。外部表指的是保存在其他数据源中的数据表,而StartRocks只保存表对应的元数据,并直接向外部表所在数据源发起查询。目
  • 2024-10-12Starrocks表的数据库字段类型及与MySQL 的差异
    最近有用到Starrocks,实际使用中基本可以当作mysql来使用,但是数据库字段还是有所不同的。与MySQL相同或相似的基础类型数值类型TINYINT、SMALLINT、INT/INTEGER、BIGINT:在Starrocks和MySQL中的定义和用途基本相似。都是用于存储整数,范围也和MySQL中的对应类型相同,例如TI
  • 2024-10-12Starrocks的表引擎选择及表属性的设置详细说明
    表引擎选择OLAP引擎特点与适用场景:这是StarRocks中用于数据分析场景的主要引擎。它针对海量数据的复杂分析查询进行了优化,能够高效地处理聚合、分组、排序等操作。例如,在数据仓库场景下,当需要对销售数据进行按地区、时间等维度的统计分析时,OLAP引擎能够快速返回结
  • 2024-10-08Starrocks模型表(一)
    主键表优势:支撑实时数据更新的同时,也能保证高效的复杂即席查询性能主键表中的主键具有唯一非空约束,用于唯一标识数据行,如果新数据的主键值与表中原数据的主键值相同,则存在唯一约束冲突,此时新数据会替代原数据应用场景实时对接事务型数据至StarRocks。事务型数据库中,除了插
  • 2024-10-08StarRocks基本架构原理
    概念StarRocks是新一代高性能分析型数据仓库,支持实时、多维、高并发的数据分析;StarRocks支持从各种数据源进行实时和批量数据推流,它还允许您直接分析存储在数据湖中的数据,无需数据迁移StarRocks非常适合对新数据进行实时分析。可以高速摄取数据,并实时更新和删除数据场景St
  • 2024-09-15StarRocks实时分析数据库的基础与应用
    1.什么是StarRocks?StarRocks是一款开源的在线分析处理(OLAP)数据库,专为实时、低延迟的分析场景而设计。它以其大规模并行处理(MPP)架构和列式存储设计,极大地提高了查询性能和处理效率。通过支持实时数据摄入、快速查询和高并发,StarRocks已经广泛应用于金融、互联网、广告、
  • 2024-07-17使用ETLCloud实现MySQL数据库与StarRocks数据库同步
    在现代数据架构中,数据同步是保证数据一致性和分析准确性的关键步骤之一。本文将介绍如何利用ETLCloud技术实现MySQL数据库与StarRocks数仓数据库的高效数据同步,以及其在数据管理和分析中的重要性。数据同步的重要性在数据驱动的时代,企业依赖于准确、实时的数据分析来做出战略决
  • 2024-07-11StarRocks跨集群迁移最佳实践|得物技术
    一、引言2024年之前,DBA维护的StarRocks集群存在在用低版本多、稳定性受组件bug影响大的问题,给日常运维带来一定压力,版本升级迫在眉睫。于是,我们在今年年初安排了针对2.5以下版本升级2.5.13的专项。这里和大家分享下,针对因版本兼容问题而不能原地升级的场景下,进行跨集群升级
  • 2024-07-09什么是 Flink SQL 解决不了的问题?
    简介在实时数据开发过程中,大家经常会用FlinkSQL或者FlinkDataStreamAPI来做数据加工。通常情况下选用2者都能加工出想要的数据,但是总会有FlinkSQL覆盖不了的问题,但SQL的易用性又难以让人释怀。所以有些场景在使用FLinkSQL开始就与需要额外注意,下面就介绍一种多
  • 2024-07-07StarRocks 容器镜像构建
    StarRocks官方只提供了单节点运行的镜像,如果是构建可以分布式运行的StarRocks的容器镜像,那么基于基础镜像可以有两种选择,分别是:starrocks/artifacts-ubuntu和starrocks/allin1-ubuntu,这两个都是基于Ubuntu22.04的基础镜像。其中前者是其中只包含StarRocks编译好的安装文
  • 2024-07-05StarRocks数据导入慢问题解决
    一、问题描述依据StarRocks官网快速开始安装教程,用dockercompose安装了starrocks,log模块从rabbitMq的队列批量获取log消息,发现队列消息有堆积,一晚上下来大概能对接4000条消息。经单元测试发现insertinto到starrocks中时间竟然相差几百倍。mysql每条insertsql执行3.5mss
  • 2024-07-02StarRocks 入门指南:创建和管理数据库及表
    本文介绍如何在StarRocks中创建数据库和表,插入数据,执行常用的系统管理命令,以及一些常用配置的修改方法,快速了解上手StarRocks。设置环境变量首先,我们需要设置JAVA_HOME环境变量,以便StarRocks能够找到Java运行时环境。exportJAVA_HOME="/data3/starrocks/jdk-17.0.11"
  • 2024-06-18现代分布式数据库 数据分布方式 Round-Robin、Range、List 和 Hash
    现代分布式数据库中,常见的数据分布方式有如下几种:Round-Robin、Range、List和Hash。如下图所示: 数据分布|StarRockshttps://docs.starrocks.io/zh/docs/table_design/Data_distribution/StarRocks的数据分布方式​StarRocks支持单独和组合使用数据分布方式。说明除
  • 2024-06-04【数据库】StarRocks、Hive、ClickHouse、Tidb的对比及使用场景
    特性StarRocksHiveClickHouseTiDB数据存储列存储(ColumnarStorage)行存储(RowStorage)列存储(ColumnarStorage)混合存储(行存储和列存储)查询性能高低高高主要用途实时分析(Real-timeAnalytics)大数据批处理(BatchProcessing)实时分析(Real-timeAnalytics)OLTP与O
  • 2024-05-16hive写入star,csv格式的streamload-简单版
    hive写入star,csv格式的streamload注意字符串中的转移字符直接拼接\n而要显示\\是非转义字符publicclassGcyDataTrans{privatestaticStringSTARROCKS_HOST="IP";privatestaticStringSTARROCKS_HTTP_PORT="8030";privatestaticStringSTARROCKS_DB
  • 2024-05-14ClickHouse vs StarRocks 全场景MPP数据库选型对比
    ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了,Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本,Hadoop也渐渐地失去了原本
  • 2024-05-11Doris、StarRocks 压测对比
    先说结论:0、本次测试,未调优二者的参数,开箱起服务,直接测试的,部署架构一致。1、在单表查询下,StarRocks在部分场景下优于Doris,但是二次查询,二者不分伯仲。2、在多表查询下,仅在一个场景下Doris速度逊于StarRocks,大部分场景是Doris优于StarRocks的。3、在cpu和内存的使用上,dori
  • 2024-04-29OLAP
    KylinApacheKylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的表。 在OLAP(在线分析处理)和数据仓库的上下文中,星型模型(StarSchema)和雪花模
  • 2024-04-15StarRocks 集群安装
    当前按照官网上的提供的安装包方式安装,版本是3.2.2,部署模式为存算一体,安装的操作系统是Ubuntu22.04,JDK版本为OpenJDK11,这里选择3个节点进行安装,节点的hosts定义如下:10.0.1.25ec2510.0.1.26ec2610.0.1.27ec27由于StarRocks安装包比较大,所以选择在每个节点上都
  • 2024-03-08Flink CDC 写 StarRocks
    Flink版本:1.17.1CDC版本:2.3.0StarRocks版本:2.5.8前言最近需要实时同步几个Mysql表到StarRocks,薅出之前写的Demo代码,简单改造了一下,加了个配置文件,可以通过修改配置文件指定source、sink表,这样就不用讲表名什么的写死到代码里面。再利用flinksession模式,把一堆任
  • 2024-01-26Starrocks扩展FileSystem代码分析
    Starrocks扩展FileSystem代码分析Starrocks支持使用FILES()算子对接文件系统例如可以使用insertintofiles("path"="hdfs://xxx.xx.xxx.xx:9000/unload/data1","format"="parquet","compression"="lz4")select*fromsales_reco
  • 2024-01-11实战营|阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站
    简介:1月20日深圳阿里中心,阿里云xStarRocks邀你现场体验云上极速湖仓实战营,从0-1轻松上手StarRocks湖仓分析。StarRocks自3.0大版本起,实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。通过存算分离架构,帮助用户降低存储成本、提升计算弹性;通过数据湖分析、
  • 2023-12-22DataSophon集成StarRocks分析数据库
    DataSophon集成StarRocks分析数据库StarRocks官方文档:StarRocks|StarRocksStarRocks下载地址:DownloadStarRocksFree|StarRocks选择自己要安装的版本下载,StarRocks-3.2.1.tar.gzwgethttps://releases.starrocks.io/starrocks/StarRocks-3.2.1.tar.gz准备StarRocks