• 2024-07-01[AIGC] 常用的OLAP数据库:为数据分析提供强大的支持
    导语:在大数据时代,数据分析成为了企业决策的重要依据。为了高效地处理和分析海量的数据,OLAP数据库应运而生。本文将介绍几种常用的OLAP数据库,为数据分析提供强大的支持。一、SnowflakeSnowflake是一种云原生的OLAP数据库,以其强大的数据处理能力和灵活的架构而闻名。它具有
  • 2024-06-18ClickHouse 入门基本介绍
    一、简介官网:clickhouse.techClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。OLAP:联机分析处理,以ClickHouse等分析型数据库为代表,适合对数据进行一次插入多
  • 2024-06-18【java】为什么高并发下数据写入不推荐关系数据库?
    一、问题解析说到高并发写,就不得不提及新分布式数据库HTAP,它实现了OLAP和OLTP的融合,可以同时提供数据分析挖掘和关系查询。事实上,HTAP的OLAP并不是大数据,或者说它并不是我们印象中每天拿几T的日志过来用于离线分析计算的那个大数据。这里更多的是指数据挖掘的最后一环,也就是
  • 2024-06-10不同数据库背后的数据存储方案
    在大数据和AI时代,数据库成为各类应用不可或缺的重要组成部分。而数据库中的数据依赖存储引擎进行管理,包括数据的存储、查询、更新和删除等。因此,在设计系统时,选择正确的数据库存储引擎方案变得尤为重要。这篇文章将以关系型、NoSQL和NewSQL数据库,以及OLTP、OLAP和HTAP处理方
  • 2024-06-09存储引擎解析:选择最佳方案以提升数据库性能【文末送书】
    文章目录什么是存储引擎?01关系型数据库&NoSQL数据库&NewSQL数据库02OLTP&OLAP&HTAP对比03总结《深入浅出存储引擎》【文末送书】在计算机科学领域中,存储引擎是数据存储和检索的核心组件之一。它们是数据库系统的重要部分,负责管理数据的持久化存储和快速检索。本文
  • 2024-06-05【包邮送书】不同数据库背后的数据存储方案
    欢迎关注博主Mindtechnist或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。关注公粽号《机器和智能》回复关键词“python项目实战
  • 2024-06-03【粉丝福利社】《深入浅出存储引擎》(文末送书-进行中)
  • 2024-05-28研发提效:想快速定制一个OLAP应用?你可以这么做
     在日常项目中,经常能遇到多维度、多指标自由组合分析的OLAP系统建设场景,这类需求往往具有分析关系复杂、开发周期长和数据量大等特点,需要研发投入比较大的精力进行建设。针对OLAP的场景,目前开源界大部分项目都是针对存储层的实现,如ClickHouse、Doris等OLAP数据库。很少针对
  • 2024-04-29OLAP
    KylinApacheKylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的表。 在OLAP(在线分析处理)和数据仓库的上下文中,星型模型(StarSchema)和雪花模
  • 2024-04-27OLAP开源引擎对比之历史概述
    前言OLAP概念诞生于1993年,工具则出现在更早以前,有史可查的第一款OLAP工具是1975年问世的Express,后来走进千家万户的Excel也可归为此类,所以虽然很多数据人可能没听过OLAP,但完全没打过交道的应该很少。这个概念主要是在大数据圈里流传,而在大数据领域里,目前主流的OLAP开源引擎都诞
  • 2024-04-25火山引擎ByteHouse:OLAP如何支持超高QPS点查?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在当今高速发展的互联网时代,信息传播迅速,用户数量激增。在面对如此庞大的用户群体和高频的访问需求时,系统高并发访问的性能问题成为了无法回避的挑战。为了满足业务场景中对数据并发查询的即
  • 2024-04-15实时数仓构建:Flink+OLAP查询的一些实践与思考
    今天是一篇架构分享内容。1.概述以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓,其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。很多人一提起实时数仓,就直接大谈特谈Hudi,Flink的流批一体等,但实
  • 2024-04-07【优化】使用绑定变量 OR 不使用绑定变量,这不是问题的根源?
    就目前现状来看,大家有点过分强调绑定变量的作用了。任何一种优化方法都尤其适用场景,绑定变量技术也不例外。不可盲目的将其信奉为影响性能的罪魁祸首。1.分清系统是OLTP还是OLAP类型很重要通常来说,我们把业务分为两类,在线事务处理系统(OLTP)和在线分析系统(OLAP)或者决策支持系统(DSS)。
  • 2024-03-30毕业设计:基于python的药品销售数据分析可视化系统 大数据
    目录前言课题背景和意义实现技术思路一、算法理论基础1.1 ETL技术1.2OLAP技术1.3数据可视化二、 数据集三、实验及结果分析3.1 实验环境搭建3.2 模型训练最后前言  
  • 2024-03-29客快物流大数据项目(八十五):实时OLAP分析需求 一些组件的特点 一般有用 看1
    ​实时OLAP分析需求一、​​​​​​​背景介绍在之前的文章学习了离线数仓的构建,但是离线数仓的最大问题即:慢,数据无法实时的通过可视化页面展示出来,通常离线数仓分析的是“T+1”的数据,针对于时效性要求比较高的场景,则无法满足需求,例如:快速实时返回“分组+聚合计算+排序聚合指标
  • 2024-03-21OLAP数据库选型指南:Doris与ClickHouse的深入对比与分析
    码到三十五:个人主页心中有诗画,指尖舞代码,目光览世界,步履越千山,人间尽值得!在当今数据驱动的时代,数据的存储、处理和分析变得尤为重要。为了满足这一需求,市场上涌现出了许多优秀的数据处理和分析工具。其中,Doris和ClickHouse是两个备受关注的开源项目。本
  • 2024-03-18提升地理空间分析效率,火山引擎ByteHouse上线GIS能力
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在数字化时代,地理空间分析(GeospatialAnalytics)成为辅助企业市场策略洞察的重要手段。无论是广告投放的精准定位,还是电商物流的效率优化,都离不开对地理空间数据的查询、分析和可视化处理,以便
  • 2024-03-17OLAP与数据仓库和数据湖
    OLAP与数据仓库和数据湖本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品(通义千问、文心一言)来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。预热GPT>你现在是一位OLAP的专家
  • 2024-03-13提升地理空间分析效率,火山引擎ByteHouse上线GIS能力
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在数字化时代,地理空间分析(GeospatialAnalytics)成为辅助企业市场策略洞察的重要手段。无论是广告投放的精准定位,还是电商物流的效率优化,都离不开对地理空间数据的查询、分析和可视化处理,以便
  • 2024-03-06TIDB使用介绍
    TiDB概述TiDB数据库官方网址:https://pingcap.com/zh/​TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融
  • 2024-02-06火山引擎ByteHouse:如何为OLAP设计高性能向量检索能力?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。简单来说,向量检索技术以及向量数据库能为LLM提供外置的记
  • 2024-01-24ClickHouse知识汇总
    什么是OLAP与OLTPOLAP(OnLineAnalyticalProcessing)联机分析系统;OLTP(OnLineTransactionProcessing)联机事务处理系统;OLAP主要用来读取数据、分析数据,辅助运营决策分析。数据一次性批量写入后,分析师需要从各种角度出发,对数据进行挖掘分析,以期发现其中的商业价值、业务变化趋势
  • 2024-01-16苏宁OLAP架构设计
    一.功能综述OLAP引擎为存储和计算二合一的引擎,自身内部涵盖了对数据的管理以及提供查询能力。底层数据完全规划在引擎内部,外部系统不允许直接操作底层数据,而是需要通过暴露出来的接口来读写引擎内部数据。目前整体来说OLAP功能由两部分组成:数据管理,查询引擎。1.1数据管理引
  • 2024-01-16OLAP引擎也能实现高性能向量检索,据说QPS高于milvus!
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。简单来说,向量检索技术以及向量数据库能为LLM提供外置的记忆单
  • 2024-01-16OLAP引擎也能实现高性能向量检索,据说QPS高于milvus!
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。简单来说,向量检索技术以及向量数据库能为LLM提供外置的记忆单