首页 > 其他分享 >Databend 开源周报第 118 期

Databend 开源周报第 118 期

时间:2023-11-07 17:07:28浏览次数:36  
标签:Git 支持 Databend 开源 Delta 数据 118

weekly-23.png

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

MERGE INTO 现已支持分布式执行

MERGE INTO 语句会根据指定的条件和匹配标准,使用来自指定源的数据,在目标表中执行对行的插入、更新或删除操作。

现在 Databend 中的 MERGE INTO 已经支持分布式执行,这将会带来更高效的数据集成能力,其物理计划如下图所示:

1.png

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

使用 LakeFS 将数据版本化嵌入你的分析工作流

lakeFS 致力于为共享和协作处理数据提供解决方案,用类似 Git 的操作逻辑赋能对象存储,采用版本化方案为数据提供逻辑一致的视图,为现代化数据工作流嵌入有意义的分支名和提交信息,并且为数据、文档的一体化提供解决方案。

Databend 在提供分布式、弹性可拓展、运维方便的高性能查询引擎,同样支持类似Git的多版本存储,可以轻松查询、克隆和还原任意时间点的数据。

结合 LakeFS 的数据版本化能力和 Databend 的类 Git 数据管理能力,可以确保数据完备性,并且为数据分析工作流提供高效、高可用的一致视图。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持 JSON 运算符:??|?&
  • 支持对 STAGE 和 UDF 的权限管理。
  • 支持 flatten 表函数。
  • 支持使用 URL 创建外部表:CREATE STAGE test_stage [URL =] 's3://load/files/'
  • 阅读文档 Example 2: Attaching Table in READ_ONLY Mode 了解如何使用 ATTACH TABLE 的只读模式。
  • 阅读文档 Conversion Functions 了解 Databend 中的类型转换函数与规则。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

支持读取 Delta 表格式

Databend 目前支持通过 Catalog 挂载并读取 Iceberg 表格式中的数据,计划支持的下一个目标是 Delta Lake 。

Delta Lake 是由 Databricks 发起并开源的存储格式。它通过基于文件的事务日志扩展了 Parquet 数据文件,使其能够处理 ACID 事务和可扩展的元数据。 Delta Lake 完全兼容 Apache Spark API,并且其设计与结构化流式处理紧密集成,使您可以轻松地在批处理和流式处理操作中使用单个数据副本,并提供大规模增量处理。

Issue #13429 | add read only support for Delta table

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 2.png

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:Git,支持,Databend,开源,Delta,数据,118
From: https://blog.51cto.com/u_15491149/8236836

相关文章

  • Databend 开源周报第 118 期
    Databend是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。What'sOnInDatabend探索Databend本周新进展,遇到更贴近你心意的Databend。MERGEINTO现已支持分布式执行MERGEINTO语句会根据......
  • WPF开发的小巧、美观桌面快捷工具GeekDesk开源项目--极客桌面
    今天给大家推荐一个基于WPF开发的,专门为程序员定制的桌面快捷工具。项目简介这是基于.Net+WPF开发的,一个小巧、UI美观的快捷工具。此项目发布以来就受到大家的喜欢,代码结构清晰非常适合用来学习。项目还在持续迭代中,有部分小问题,用来学习、体验完全没问题。作者一直在迭代升级......
  • 有哪些开源组态软件?国产组态软件推荐
    组态软件最早出现在80年代初,那时是基于DOS系统开发的,当时的主要产品是Onspec、Paragon等;进入90年代,主要是基于WINDOWS系统的组态软件,如Intouch、Kingview、Ifix等;随着物联网、大数据等技术的高速发展,当下最热的组态软件大都基于H5的Web组态软件。非开源组态软件Sovit2DSovit2D是......
  • 开源组态软件有哪些?国产常用 Web 组态软件
    组态软件最早出现在80年代初,那时是基于DOS系统开发的,当时的主要产品是Onspec、Paragon等;进入90年代,主要是基于WINDOWS系统的组态软件,如Intouch、Kingview、Ifix等;随着物联网、大数据等技术的高速发展,当下最热的组态软件大都基于H5的Web组态软件。非开源组态软件Sovit2DSovit......
  • 《安富莱嵌入式周报》第326期:航空航天级CANopen协议栈,开源USB PD电源和功耗分析,开源Et
    周报汇总地址:http://www.armbbs.cn/forum.php?mod=forumdisplay&fid=12&filter=typeid&typeid=104 更新一期视频教程:BSP视频教程第28期:CANopen协议栈专题,CANopen主从机组网实战,CAN词典工具使用方法以及吃透PDO玩法https://www.armbbs.cn/forum.php?mod=viewthread&tid=12161......
  • kicad 开源项目的编译
    1.安装MSYS2MSYS2 项目为编译KiCad所需的所有依赖项提供了包,点击该按钮下载安装程序安装完成后,运行MSYS2安装路径中的 msys2_shell.cmd 文件,并运行命令 pacman-Syu,更新到最新的软件包版本。如果更新了 msys2-runtime 包,请关闭shell并运行 msys2_shell.cmd2.编......
  • 最强开源大模型!李开复博士AI 2.0公司的力作,40万文本处理破纪录,引领中国AI新纪元
    在全球AI技术的竞赛中,中国再次迎来了令人振奋的消息——由李开复博士领衔的AI2.0公司零一万物,推出了Yi系列大模型,不仅技术领先,更是国产之光!后起之秀:Yi系列大模型的惊艳亮相虽然Yi系列大模型相对其他竞争者来得晚一些,但它们的性能却一点不落后。Yi-34B模型在HuggingFace英文测试榜......
  • [Leetcode] 0118. 杨辉三角
    118.杨辉三角题目描述给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例1:输入:numRows=5输出:[[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]]示例 2:输入:numRows=1输出:[[1]] 提......
  • 【开源】基于Vue.js的电子元器件管理系统的设计和实现
    一、摘要1.1项目简介电子元器件是高校电子实验室进行实验的必备物品,随着电子元器件的种类不断增多,人工管理的方式容易出现错误,对实验室管理员的体验感也不是很好,所以需要开发一套电子元器件管理系统实现对电子元器件的数字化管理需求,其中包括对电子元器件档案的管理和采购入库、学......
  • Redis创始人开源最小聊天服务器,仅200行代码,几天功夫已获2.8K Star!
    Redis创始人开源最小聊天服务器,仅200行代码,几天功夫已获2.8KStar! 中午时候,在技术交流群里聊起关于Redis创始人的一些趣事,比如离开Redis之后,去写科幻小说之类的。因为好奇科幻小说,TJ君就去搜索了一下。结果一搜,发现Redis作者最近居然又搞了个新活儿!世界上最小的聊天服务器......