首页 > 其他分享 >Databend 开源周报 第 98 期

Databend 开源周报 第 98 期

时间:2023-06-20 10:24:42浏览次数:50  
标签:icelake Iceberg Databend 98 databend 开源 服务 数据

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

后台服务

Databend 的内置存储引擎 FuseTable 是一种与 Apache Iceberg 类似的日志结构表,需要定期执行表压缩、重聚类和清理以合并小数据块。小数据块合并的过程会涉及按聚类键排序数据或清理不需要的分支等阶段。

先前的实现需要使用不同的驱动,增加了基础设施的复杂性。而且必须部署和维护其他服务来触发驱动事件。为简化这一过程,我们实现了一个后台服务,允许 Databend 执行后台单次作业或以守护进程模式运行 cron 作业。这些作业可以根据条件触发自动压缩/清理/重新聚类等表维护任务,而无需其他服务介入。

此实现包括:

  1. 完整的 metasrv 模式定义,以及后台作业与后台任务的设计实现。
  2. 用于在元服务上更新和维护后台作业与后台任务状态的 API 。
  3. 支持 one_shotintervalcron 等不同作业类型的作业调度器实现。

后台服务 需要升级至 企业版 。如需了解升级信息,请联系 Databend 团队

如果你想要了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

IceLake - Iceberg 的纯 Rust 实现

Iceberg 是为分析数据集设计的开放表格式标准。然而,目前 Rust 生态中缺乏成熟的 Iceberg 绑定,使其难以与像 Databend 这样的数据库系统集成。

IceLake 旨在填补这一空白,其致力于建立一个开放生态系统:

  • 用户可以从 任何 存储服务(如 s3、gcs、azblob、hdfs 等)读写 Iceberg 表。
  • 任何 数据库都可以集成 icelake,以支持读写 Iceberg 表。
  • 提供原生的 arrow 格式互转换的能力。
  • 提供多种语言绑定,使其他语言可以享有 Rust 核心带来的 Iceberg 生态支持。

如果你想要了解更多信息,请查看下面列出的资源。

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 新增对 MERGE JOIN 的支持。
  • 为 CSV 格式实现列位置支持。
  • 阅读 Docs | Computed Columns 以了解如何使用计算列,以及在选择使用何种类型计算列时的一些考量。
  • 阅读 Docs | Subquery-Based Deletions 以理解如何使用子查询和比较运算实现删除。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

COPY INTO 支持 VALIDATION_MODE

我们希望为 Databend 的 COPY INTO 语句支持 VALIDATION_MODE ,以验证需要载入的数据,并根据验证选项返回结果。

  • RETURN_ERRORS: 此模式验证数据并返回所有错误。
  • RETURN_<number>_ROWS: 此模式验证 <number> 行数据。如果没有错误,就返回数据载入后应当产生的信息。否则,报告对应的错误信息。

Issue #11582 | Feature: copy support VALIDATION_MODE

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

  • @jonahgao 修复逻辑测试中 MySQLClient 的列类型,#11718
  • @akoshchiy 更新 MACOSX_DEPLOYMENT_TARGET 值以满足 z3-sys 的需要,#11783

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

标签:icelake,Iceberg,Databend,98,databend,开源,服务,数据
From: https://www.cnblogs.com/databend/p/17492889.html

相关文章

  • 全球开源 AI 游戏开发挑战赛,只等你来!
    我们在之前的文章中预告过(*划重点,IP属地法国):7月初,我们将举办一次与AI游戏相关的黑客松活动,这是有史以来的首次开源游戏开发挑战赛,借助人工智能工具释放你的创造力,一起打破游戏开发的边界。比赛将在北京时间2023年7月8日凌晨1点到9日凌晨1点间举行,限时24小......
  • 常见k8s开源网络组件
    目前,已经有多个开源组件支持容器网络模型。常见的网络组件,包括Flannel、Open vSwitch、直接路由和Calico。1.FlannelFlannel之所以可以搭建k8s依赖的底层网络,是因为它能实现以下两个功能。(1)它能协助k8s,给每一个Node上的Docker容器分配互相不冲突的IP地址。(2)它能在这些IP地址之......
  • 浅析开源容器标准——OCI
    1、导语容器技术火起来了以后,Docker的容器镜像和容器运行时已然成为行业的标准。此后,为了推进容器生态的健康发展。在Linux基金会的主导下,Docker和各大云厂商Google,Amazon,CloudFoundary,Microsoft积极响应于2015年成立了"OpenContainerInitiative",旨在主导容器的生态发......
  • SAP Spartacus 开源项目中 $skipComponentStyles 的作用介绍
    SAPSpartacus和Angular开发的前端应用中的$skipComponentStyles是用于跳过组件样式加载的一个标志。在理解$skipComponentStyles的作用之前,我们先来了解一下SAPSpartacus。SAPSpartacus是一个开源的电子商务前端框架,用于构建可扩展、可定制的电子商务网站。它基于An......
  • 2023年十大最受欢迎的Flutter开源应用程序
    原文出处:https://juejin.cn/post/7245170503798538296在移动应用开发领域,Flutter以其跨平台能力和漂亮的用户界面获得了巨大的人气。随着其开发者社区的不断壮大,Flutter生态系统已经见证了众多开源应用程序的诞生。这些开源应用不仅展示了Flutter的多功能性,而且还为开发者提供......
  • 华为云邓明昆:云原生时代,以开源赋能数字化转型
    摘要:云原生技术以“极致弹性、分布式、松耦合、高韧性”等特征,可有效帮助企业实现基础架构升级,业务快速创新。近日,以“开源赋能,普惠未来”为主题的开放原子全球开源峰会在北京亦创国际会展中心顺利举行。其中,由华为云承办的以“探索云原生技术发展与应用实践,赋能企业数字化转型”......
  • 华为云邓明昆:云原生时代,以开源赋能数字化转型
    2023年6月11日-13日,以“开源赋能,普惠未来”为主题的开放原子全球开源峰会在北京亦创国际会展中心顺利举行。其中,由华为云承办的以“探索云原生技术发展与应用实践,赋能企业数字化转型”为主题的2023开放原子全球开源峰会--云原生分论坛于6月13日圆满落幕。此次云原生分论坛邀请开发......
  • 又一开源项目爆火于GitHub,Android高级插件化强化实战
    一、插件化起源插件化技术最初源于免安装运行Apk的想法,这个免安装的Apk就可以理解为插件,而支持插件的app我们一般叫宿主。想必大家都知道,在Android系统中,应用是以Apk的形式存在的,应用都需要安装才能使用。但实际上Android系统安装应用的方式相当简单,其实就是把应用Apk......
  • 不成生DOM的非主流Blazor UI开源啦!
      作者之前介绍了开发中的PixUI,为了适配Web应用采用了将C#通过Roslyn语法语义分析后转换为Javascript的方案,但是这样带来的问题是工程量较大,在短时间内无法达到生产级质量。因此在简单评估了Blazor技术后决定暂使用BlazorWebAssembly来实现PixUI的Web端。本文记录一些Blazor链......
  • Databend 开源周报 第 97 期
    Databend是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。What'sOnInDatabend探索Databend本周新进展,遇到更贴近你心意的Databend。列位置Databend现在支持$N这一语法,用来表示列位置,例......