首页 > 其他分享 >Databend 开源周报第 91 期

Databend 开源周报第 91 期

时间:2023-05-04 18:36:51浏览次数:61  
标签:Functions 函数 编译 Databend 开源 91 Rust

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

新数据类型:BITMAP

Databend 新增对 BITMAP 数据类型的支持。

BITMAP 是一种压缩数据结构,可用于高效地存储和操作布尔值集合,常用于加速去重计数。

> CREATE TABLE IF NOT EXISTS t1(id Int, v Bitmap) Engine = Fuse;
> INSERT INTO t1 (id, v) VALUES(1, to_bitmap('0, 1')),(2, to_bitmap('1, 2')),(3, to_bitmap('3, 4'));
> SELECT id, to_string(v) FROM t1;

┌──────────────────────┐
│   id  │ to_string(v) │
│ Int32 │    String    │
├───────┼──────────────┤
│     1 │ 0,1          │
│     2 │ 1,2          │
│     3 │ 3,4          │
└──────────────────────┘

Databend 中的 BITMAP 数据类型实现使用 RoaringTreemap 。与其他位图实现相比,使用这种数据结构可以提高性能并减少内存使用。

如果你想要了解更多信息,请查看下面列出的资源。

设计并实现新的哈希表以改善 Hash Join 性能

此前 Databend 为聚合函数优化了哈希表实现,但这一实现并不适用于 Hash Join 。为了进一步提高 Hash Join 的性能,团队设计并实现了一个专门为此优化的哈希表。

哈希表的大小会根据构建阶段的行数进行分配,值类型也会替换为支持 CAS 操作的指针,从而确保内存控制而无需进行 Vec 增长。

新的实现显著提高了性能。查看下面的资源以获取更多信息:

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Rust 编译挑战和解决方案 - 编译时间篇

在复杂的项目依赖和样板代码堆积之下,对于 Databend 这样的中大型 Rust 程序而言,编译实在算不上是一件轻松的事情。

为了解决编译时间上面临的一些挑战,Databend 团队从可观测性、编译工具链与配置和代码重构等方面入手,进行了一系列针对性的优化。

如果你想要了解更多信息,请查看下面列出的资源。

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

寻找函数开发贡献者

Databend 现在正在积极推进函数的实现和改进工作,我们期待你的帮助!

目前计划补全的函数共有 4 类,非常适合对数据库设计和实现感兴趣的同学:

如果你对编写函数感兴趣,但不知如何下手,可以参阅下面的两篇文档了解如何编写标量函数和聚合函数:

期待能够与你共同协作,推动函数的进一步完善。

Issue #11220 | Tracking: functions

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:Functions,函数,编译,Databend,开源,91,Rust
From: https://www.cnblogs.com/databend/p/17372156.html

相关文章

  • 9140,9141,9143异同点
    9140:是一款蓝牙转串口芯片,芯片支持蓝牙主从一体模式或从机模式,支持蓝牙BLE4.2。串口波特率最高1Mbps,支持MODEM联络信号,蓝牙主从模式可以自动连接或绑定。智能配对功能当CH9140芯片处于主从一体模式时,无需通过AT命令输入MAC地址即可与指定CH9140/CH9143芯片建立配对......
  • opendrive数据格式解析思维导图 , opendrive高精地图是自动驾驶领域使用最为广泛的开源
    opendrive数据格式解析思维导图,opendrive高精地图是自动驾驶领域使用最为广泛的开源高精地图标准级地图格式。本思维导图将详细剖开高精路网地图内部的数据格式,涵盖:道路、车道、车道段、交叉口等相关名词及其属性、作用、链接关系等参数的解析。内容比较全面,希望对高精地图进行......
  • 【开源项目】智慧污水水厂~国企污水厂数字孪生可视化项目——开源工程及源码
    国企某大型污水厂的工程和源码免费送!实现智慧污水厂的数字孪生,轻松掌控厂内运行情况!项目介绍智慧污水厂采用数字孪生技术,将现实中的数据和场景完整地克隆到虚拟现实中,展现污水厂的精细化管理,可视化厂内设备、管道等的具体运行情况,大幅提高了工作效率,为产业发展注入新动力。智慧水厂......
  • 开源+实时+数据即服务的架构——唐建法受邀出席2023数据技术嘉年华【干货回顾】
    点击报名假设原料是一个产品公司的SaaS业务系统、一套CRM、一套工单系统、一个内部人事系统,和内部研发管理系统;现在给到你40min的时间,能做出怎样的数据菜肴?如果这里的厨师是Tapdata,那么答案可以是一个实时业务经营看板,也可以是一个运营自动化的流程。如此高效的秘诀是什......
  • HashiCorp官宣:禁止国内使用其旗下Consul等开源软件?
    近日,HashiCorp官网发布了一条软件评估条款:请注意,中国出口管控条例禁止HASHICORP在中华人民共和国境内销售或以其他方式提供企业版VAULT。鉴于此原因,未经HASHICORP的书面同意,不得在中华人民共和国境内使用、部署或安装HASHICORP的VAULT企业版本软件。(条款链接:https://www.hashic......
  • Microbit开源软件Makecode介绍
    来自你的消息:makecode开发平台简介来自ChatGPT的消息:MakeCode是一个在线编程工具https://makecode.microbit.org/,由微软开发,致力于为教育和创造性开发提供简单易用的编程工具。它提供了一个基于块的编程体验,同时也支持JavaScript等高级编程语言,可以用来编写不同类型的应用......
  • CF911F Tree Destruction
    题意:给你一棵\(n\)个结点组成的树,你需要对树进行\(n-1\)次操作,一次操作包含如下的步骤:选择两个叶子结点将这两个结点之间简单路径的长度加到答案中从树上删去两个叶子结点之一初始答案为\(0\),显然在\(n-1\)次操作之后树上只剩下一个结点。计算最大的答案,并构造一组......
  • Linq大白话深入浅出从零基础到手写开源工具兵贵神速系列(一)——为啥需要Linq
    所有的技术创新都是为了解决编程实践中的难点和痛点!如果我们不懂得这项技术所要解决的难点和痛点,我们在使用这项技术的时候就很可能走偏,在细节末节上隔靴搔痒,耗费很长的时间还掌握不了这项技术的精髓!而很多道友虽然在项目中掌握了一些基本的用法但是知其然而不知其所以然,不知道......
  • 7-005-(LeetCode- 91) 解码方法
    1.题目读题 考查点 2.解法思路 代码逻辑 具体实现113.总结 ......
  • 在VMWare上安装群晖DS918+ 7.0系统
    多图预警首先要下载引导文件、系统文件以及相关工具https://cowtransfer.com/s/8925a225faa940点击链接查看[DS918+7.0],或访问奶牛快传cowtransfer.com输入传输口令xinjil查看;引导文件转换引导文件为了在虚拟机中使用群晖的引导,第一步要做的就是转换文件格式,VMWa......