首页 > 其他分享 >Databend 开源周报第 108 期

Databend 开源周报第 108 期

时间:2023-08-29 14:24:32浏览次数:40  
标签:Databend PGO 开源 databend 108 测试 Catalog

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

多源数据目录

在 Databend 中,Catalog 是数据组织的最高一级抽象,可以帮助用户高效管理和访问数据源。

Databend 具备多源数据目录(Multiple Catalog)能力,目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog 。

通过挂载外部 Catalog ,无需将数据加载到 Databend 中,就可以进行高效查询。

-- Create a Hive catalog
CREATE CATALOG hive_ctl 
TYPE = HIVE 
CONNECTION =(
    METASTORE_ADDRESS = '127.0.0.1:9083' 
    URL = 's3://databend-toronto/' 
    AWS_KEY_ID = '<your_key_id>' 
    AWS_SECRET_KEY = '<your_secret_key>' 
);

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

利用 cargo-pgo 实现 PGO

Profile-guided optimization (PGO) 是一种常见的编译优化技术,可以利用程序运行时采集到的 profiling 信息来引导编译器进行针对性的优化,生成更高质量的代码,从而提高程序的性能。

根据测试,利用 PGO ,Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载,你可以尝试应用 PGO 技术来优化 Databend 集群的性能。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

利用 SQLsmith 实施模糊测试

SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询,通常能够通过语义检查,从而进一步测试数据库的执行逻辑。

过去,Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试,提供更全面、更具针对性的测试结果,提高发现漏洞的可能。

Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:Databend,PGO,开源,databend,108,测试,Catalog
From: https://www.cnblogs.com/databend/p/17664607.html

相关文章

  • 人工智能工件需要新的开源许可证
    导读随着人工智能技术的不断发展,人工智能工件的重要性日益凸显,因此需要新的开源许可证来保护其利益和确保其合法使用。传统的版权模式未能完全适用于人工智能工件,因为人工智能工件不仅包含代码,还包括各种训练素材、数据集、模型权重等。这些元素的使用权很难限制或转让,因......
  • Monibucav4(开源流媒体服务器)在Windows上搭建rtmp服务器并实现拉取rtsp视频流以及转
    场景开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130136245上面讲了ZLMediaKit的使用流程。下面介绍另一种开源流媒体服务器。Monibucahttps://m7s.......
  • Excelize 开源基础库 2.8.0 版本正式发布
    Excelize是Go语言编写的用于操作电子表格办公文档的开源基础库,基于ISO/IEC29500、ECMA-376国际标准。可以使用它来读取、写入由MicrosoftExcel、WPS、ApacheOpenOffice、LibreOffice等办公软件创建的电子表格文档。支持XLAM/XLSM/XLSX/XLTM/XLTX等多种文档格......
  • 新SDK下载开源全志V853的SDK
    获取SDKSDK使用Repo工具管理,拉取SDK需要配置安装Repo工具。RepoisatoolbuiltontopofGit.RepohelpsmanagemanyGitrepositories,doestheuploadstorevisioncontrolsystems,andautomatespartsofthedevelopmentworkflow.Repoisnotmeanttore......
  • 5个前端开源项目带你在Web上体验Windows
    本文来分享五个yyds的开源项目,这些项目把Windows带到了Web平台上。让我们一起感受这些项目带来的回忆和创新,重温Windows93、98、XP和7的经典界面,甚至探索现代概念中的Windows11和12!Windows12使用JavaScript、CSS、HTML等技术开发的网页版Windows12,且支持深......
  • 开源的在线原型设计工具?牛啊
    哈喽,大家好,我是指北君。有一位朋友,他现在在一家创业小公司,只有3个研发+1位产品经理组成的一个小团队。最近要开发一个新项目,老板在会上噼里啪啦地讲该项目的各种使用场景,其实也就是需求。会后产品经理需要重新整理会上的这些需求,一来要向老板和客户表示自己了解他们的要求,另一方面......
  • 开源.NetCore通用工具库Xmtool使用连载 - XML操作篇
    【Github源码】《上一篇》介绍了Xmtool工具库中的发送短信类库,今天我们继续为大家介绍其中的XML操作类库。XML操作是软件开发过程中经常会遇到的情况;包括XML内容的遍历解析,或者特定值内容的查询获取等等。Xmtool工具库提供了一种更方便的方式对Xml进行遍历解析或者对特定节点内......
  • 代码随想录算法训练营第二十三天| 669. 修剪二叉搜索树 108.将有序数组转换为二叉搜
     669. 修剪二叉搜索树    卡哥建议:这道题目比较难,比 添加增加和删除节点难的多,建议先看视频理解。   题目链接/文章讲解:https://programmercarl.com/0669.%E4%BF%AE%E5%89%AA%E4%BA%8C%E5%8F%89%E6%90%9C%E7%B4%A2%E6%A0%91.html   视频讲解:https://www.......
  • 开源项目分享,实习宝典传授,直播课程报名开启!
    你是否需要AI初学者入门级的开源教程?你是否期待和顶尖开发者一起学习,向深度学习领域的大佬看齐?你是否希望通过课程讲解,了解项目实践,掌握深度学习、大模型相关的前沿AI技术?如果你的答案是肯定的,那么「MegEngine开发者说」系列课程正是你想要的!「MegEngine开发者说」是由......
  • 免费开源在线教育系统源码下载 -中小教育机构如何低成本搭建网校平台?
    在当下,线上教育已经不再是一个陌生的领域,它为学校和培训机构带来了无限的可能性。然而,搭建一个完整的在线课堂平台往往需要巨额投入,对于预算有限的中小教育机构而言,如何在低成本的情况下实现在线教育的搭建呢?本文将为您探讨几种低成本搭建网校平台的方法。 首先,一种常见的方法......