首页 > 其他分享 >Databend 开源周报第 90 期

Databend 开源周报第 90 期

时间:2023-04-25 18:34:53浏览次数:52  
标签:args Databend 开源 query arg path 90

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

元数据优化

最近,Databend 的元数据文件版本更新至 v3 ,序列化/反序列化效率进一步提高,同时降低了存储空间消耗。新元数据文件的体积可减少为原来的 1/20 ,并且性能提高 2 倍!

通过使用 Bincode ,新的元数据格式能够以紧凑高效的方式序列化数据。这可以大大改善读取速度,并减少存储文件的大小。此外,通过使用 Zstd 压缩,能够进一步减少文件大小,同时保持较快的解压速度。

如果你想要了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

自定义链接器脚本进行静态链接

静态链接在部署具有有限依赖项的系统时。

参照 @dl00@bossmc 的建议,创建自定义链接器脚本可以解决一些非预期行为。

#!/bin/bash

args=()

for arg in "$@"; do
    if [[ $arg = *"Bdynamic"* ]]; then
        args+=() # we do not want this arg
    elif [[ $arg = *"crti.o"* ]]; then
        args+=("$arg" "-Bstatic")
    elif [[ $arg = *"crtn.o"* ]]; then
        args+=("-lgcc" "-lgcc_eh" "-lc" "/usr/local/lib/gcc/${MUSL_TARGET}/9.4.0/crtendS.o" "$arg")
    else
        args+=("$arg")
    fi
done

echo "RUNNING WITH ARGS: ${args[@]}"
/usr/local/bin/${MUSL_TARGET}-g++ "${args[@]}"

这个 bash 脚本根据静态链接的需要对参数进行了调整。虽然这个解决方案可能不是完美的,但可能对解决跨平台应用分发问题有一些帮助。

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 阅读文档 Deploying Databend on Docker 了解如何用 Docker 部署具备 MinIO 存储后端的 Databend 。
  • REPLACE INTO 语句现在支持带集群键的表。
  • 新增窗口函数 percent_rank
  • 新增 JSON path 函数: jsonb_path_query_first,jsonb_path_query,jsonb_path_query_array.
  • 为字符串比较新增 SOUNDS LIKE 语法。
  • Meta Service 拆分日志存储和状态机存储。
  • 根据虚拟列 _row_id 进行惰性物化(Lazy Materialize)。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

聚合索引

数据仓库中的近似查询可以重用缓存的数据以减少 IO 开销,但缓存在容量和实时性方面存在限制,并且无法解决增量计算问题。

为了解决这些挑战,OLAP 中的预聚合技术是减少数据冗余的有效方法。通常会使用物化视图来实现预聚合。Databend 计划引入聚合索引,以二级索引的方式实现物化视图。

Issue #11183 | Tracking: aggregating index feature

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:args,Databend,开源,query,arg,path,90
From: https://www.cnblogs.com/databend/p/17353503.html

相关文章

  • 分享:开源网关-应用管理篇
    需求痛点在这互联网高速发展的时代,企业业务系统多、渠道广,如何管理内外部调用端系统具有极大的挑战。数量方面:API网关需要对各端应用统一管理,例如对企业自身很多的前端应用,包括不限于web应用、移动APP、小程序,甚至第三方各端的应用进行管理,确保各应用有序、合规调用服务。安全方面:A......
  • 分享总结:开源网关-应用管理篇
    需求痛点在这互联网高速发展的时代,企业业务系统多、渠道广,如何管理内外部调用端系统具有极大的挑战。数量方面:API网关需要对各端应用统一管理,例如对企业自身很多的前端应用,包括不限于web应用、移动APP、小程序,甚至第三方各端的应用进行管理,确保各应用有序、合规调用服务。安......
  • 开源大模型(large language model, LLM)介绍
    作为如今LLM圈内绝对的领头羊,OpenAI并没有遵从其创立初衷,无论是ChatGPT早期所使用的的GPT3、GPT3.5还是此后推出的GPT4模型,OpenAI都因“暂无法保证其不被滥用”为由拒绝了对模型开源,开启了订阅付费模式。对于大型科技企业而言,不管是出于秀肌肉还是出于商业竞争目的,自研LLM都是一......
  • API网关:开源Apinto网关-上游服务篇(二)
    功能介绍服务发现是一种分布式系统中的关键技术,它能够帮助应用程序动态地发现和访问依赖的服务实例,解决了服务实例分布在不同节点上的问题。通过服务发现,应用程序可以快速找到需要调用的服务实例的位置和元数据信息,并实现负载均衡和故障恢复等功能,从而提高分布式系统的可用性和性能......
  • API网关:开源Apinto网关-上游服务篇(二)
    功能介绍服务发现是一种分布式系统中的关键技术,它能够帮助应用程序动态地发现和访问依赖的服务实例,解决了服务实例分布在不同节点上的问题。通过服务发现,应用程序可以快速找到需要调用的服务实例的位置和元数据信息,并实现负载均衡和故障恢复等功能,从而提高分布式系统的可用性和......
  • API网关:开源Apinto网关-上游服务篇(一)
    背景介绍Apinto是一款高性能、可扩展、易维护的API网关。Apinto网关基于GO语言模块化开发,5分钟极速部署,配置简单、易于维护,支持集群与动态扩容,企业级开箱即用。Apinto除了提供丰富的网关插件外,还将提供监控告警、用户角色等企业插件,同时支持自定义网关插件和可扩展企业......
  • H3C R4900 G5做RAID安装系统
    一、先进行BIOS设置HDM接口,通过HDM远程管理界面,按F10创建RAID 二、选择安装系统三、这样RAID1就创建好,如果还要创建RAID,再点“创建RAID” 四、再创建一个RAID5  五、创建完了RAID,然后返回到主页面,退出这个界面; 六、加载镜像文件,按F7选择从虚拟光驱引导; ......
  • [交易策略]创90日新高买破20日新低卖
    //创90日新高买破20日新低卖C>HV(C,90),BK;C<LV(C,20),SP;AUTOFILTER;......
  • Cesium加载ArcGIS Server4490且orgin -400 400的切片服务
    Cesium在使用加载Cesium.ArcGisMapServerImageryProvider加载切片服务时,默认只支持wgs84的4326坐标系,不支持CGCS2000的4490坐标系。如果是ArcGIS发布的4490坐标系的切片服务,如果原点在orginX:-180.0Y:90.0的情况下,我们可以通过WebMapTileServiceImageryProvider按照WMTS的方式......
  • MinIO免费吗?其开源协议由Apache2.0变为AGPLv3意味着什么?
    来源:https://www.cnblogs.com/flying607/p/17236098.html最近做对象存储的选型,看到网上呼声较高的MinIO,于是去了解了一下,开源中国上写着其协议是Apache。 不放心又去github上看了一下,发现其协议是AGPLv3而且是半路换的协议,由Apache2.0编程了AGPL,这个变更的意思很明显,不然也......