首页 > 其他分享 >Databend 开源周报第 111 期

Databend 开源周报第 111 期

时间:2023-09-18 18:33:27浏览次数:48  
标签:缓存 INT 0.0 server Databend 开源 111 UDF

weekly-16.png

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

理解 SHARE ENDPOINT

SHARE ENDPOINT 是 Databend 数据共享中的一个重要概念,用于指定数据共享实例的端点和租户名称。数据的访问方和使用方需要定义 SHARE POINT 来帮助 Databend 实例定位和访问与其共享的数据。

例如,如果租户 A 对租户 B 共享数据,那么租户 B 需要创建对应的 SHARE ENDPOINT,使租户 B 所处的实例能够定位和访问共享的数据。

CREATE SHARE ENDPOINT IF NOT EXISTS from_TenantA
    URL = '<share_endpoint_url>'
    TENANT = A
    COMMENT = 'Share endpoint to access data from Tenant A';

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

使用 Python 创建 UDF

Databend 现在支持 UDF Server 以提供更灵活和实用的函数自定义能力。用户可以使用自己喜爱的编程语言,结合 Apache Arrow Flight API 实现 UDF Server 来与 Databend 交互,从而拓展数据库的边界,实现更丰富和高效的数据工作流。

要启用这一特性,需要使用 v1.2.116-nightly 及之后版本,并在 databend-query 的配置文件中启用 UDF Server 支持和外部访问许可:

[query]
...
enable_udf_server = true
# use your udf server address here
udf_server_allow_list = ['http://0.0.0.0:8815']
...

下面的程序展示了如何利用 Python 创建用于计算最大公约数的 UDF Server 。

from udf import *

# Define a function that accpets nullable values, and set skip_null to True to enable it returns NULL if any argument is NULL.
@udf(
    input_types=["INT", "INT"],
    result_type="INT",
    skip_null=True,
)
def gcd(x: int, y: int) -> int:
    while y != 0:
        (x, y) = (y, x % y)
    return x

if __name__ == '__main__':
    # create a UDF server listening at '0.0.0.0:8815'
    server = UdfServer("0.0.0.0:8815")
    # add defined functions
    server.add_function(gcd)
    # start the UDF server
    server.serve()

对应到 Databend 中,则可以使用下面的 SQL 语句注册 UDF 。

CREATE FUNCTION gcd (INT, INT) RETURNS INT LANGUAGE python HANDLER = 'gcd' ADDRESS = 'http://0.0.0.0:8815';

这一功能尚在预览阶段,目前我们提供用于示例和测试的 Python SDK 文件,后续将会推出更多 SDK ,欢迎感兴趣的朋友参与到 UDF 生态共建之中。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持 infer filter 。
  • 支持幂等删除。
  • SQLSmith 测试支持生成聚合函数、标量函数和表达式。
  • 阅读文档 Docs | INSERT INTODocs | REPLACE INTO ,了解如何使用 SQL 语句将 Stage 中数据插入到表中。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

为 Stage 中的 Parquet 文件提供缓存支持

Databend 为查询和内部数据支持了多种不同类型和功能缓存,以改善查询性能,比如查询混存(Query Cache)、文件元数据缓存(File Metadata Cache)、数据缓存(Data Cache)等。

但是对于位于 Stage 的文件,还缺乏有效的缓存支持。如果能够为 Stage 中的 Parquet 提供元数据缓存或者对象缓存,将有助于改善对外置数据查询的性能。

select * from 's3://aa/bb/cc/' (pattern => '.*.parquet')

Issue #12762 | feat: add object cache for stage parquet file

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 upload_1a68e202a7ef0e330d79ce89e8b333ea.png

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:缓存,INT,0.0,server,Databend,开源,111,UDF
From: https://blog.51cto.com/u_15491149/7514270

相关文章

  • 同城代驾小程序开源版开发
    同城代驾小程序开源版开发以下是同城代驾小程序开源版的常见功能列表:用户模块:注册和登录功能用户信息管理查看个人订单记录发布代驾需求车辆管理司机模块:注册和登录功能司机信息管理查看个人订单记录接单和拒单功能实时定位和导航功能订单处理功能(开始、结束、取消)订单模块:查看附......
  • 《安富莱嵌入式周报》第303期:微软推出嵌入式安全物联网RTOS CHERIoT,超强的产品级开源
     更新一期视频教程:DSP视频教程第11期:插补算法,曲线拟合丝滑顺畅,统计函数和基础函数加速实现,汇集SIMD,饱和和MAC乘累加应用实战(2023-02-12)视频版:https://www.bilibili.com/video/BV17j411N7Cr/ 1、微软推出嵌入式安全物联网RTOSCHERIoT知识补充:CHERI的全称是CapabilityHardware......
  • 推荐收藏!年度Top20开源许可证风险等级
    开源许可现状开发人员经常在软件中引入开源的代码片段、函数、方法和操作代码。因此,软件代码中经常会包含各种声明不同许可证的子组件。这些子组件的许可证条款和条件与项目整体主许可证的条款和条件冲突时,就会产生许可证合规风险。Synopsys2023OpenSourceSecurityandRisk......
  • 「开源系统」mybatis-plus代码生成工具(自己基于官方的封装的,打包成了maven插件的方式)
    mybatis-plus代码生成工具本工具基于MyBatis-Plus的代码生成器,MyBatis-Plus官网:https://baomidou.com/,请尊重原作者作品。demo:https://gitee.com/javalaoniu/mybatis-code-maven-plugin-demo插件:https://gitee.com/javalaoniu/mybatis-plus-code-maven-plugin生成的项目......
  • 可替代Photoshop的开源免费软件
    Photoshop是一款功能强大的图像处理工具,但是现在的ADOBE的软件都是年付费的,就是你需要每年付费,且价格不菲,对于业余设计师、修图需求量不太高的普通用户、偶尔使用的企业用户来说,使用Photoshop的成本实在是太高,否则又容易带来侵权风险。给大家推荐几款Photoshop替代品,目标是保证设计......
  • 基于开源IM即时通讯框架MobileIMSDK:RainbowChat v10.0版已发布
    关于MobileIMSDKMobileIMSDK是一套专门为移动端开发的开源IM即时通讯框架,超轻量级、高度提炼,一套API优雅支持UDP 、TCP 、WebSocket 三种协议,支持iOS、Android、H5、标准Java平台,服务端基于Netty编写。工程开源地址是:1)Gitee码云地址:https://gitee.com/jackjiang/MobileIM......
  • 《安富莱嵌入式周报》第306期:开源独轮车,Cortex-M85修订版r1发布,Terathon图形数学库,不
     视频版:https://www.bilibili.com/video/BV1TT411Y7fq1、Terathon数学库,支持2D/3D/4D矢量,矩阵,四元函数和几何代数https://github.com/EricLengyel/Terathon-Math-LibraryTerathon-Math-Library-main.zip(100.4KB)作者主要是做游戏引擎和计算机图形开发,这里分享的库也是图形方面,......
  • GitHub 上的开源项目贡献流程具体操作流程
    一般的GitHub上的贡献流程,包括创建fork、克隆、修改、提交、创建PullRequest的详细步骤:创建Fork:访问你要贡献的项目的GitHub页面,点击右上角的"Fork"按钮,这会在你的GitHub账户下创建该项目的副本。克隆项目:打开你的终端(命令行界面)并执行以下命令,将fork的项......
  • 《安富莱嵌入式周报》第308期:开源带软硬件安全认证的PLC设计,开源功率计,可靠PID实现,PR2
     视频版:https://www.bilibili.com/video/BV1F24y157QE1、ST发布安全认证版PLC设计套件https://www.st.com/en/evaluation-tools/steval-silplc01.html含原理图(新的手册里面把原理图撤掉了):steval-silplc01+(2).pdf(502.71KB)硬件方面的安全认证正进行中,满足SIL2等级。随机故障......
  • 《安富莱嵌入式周报》第307期:开源智能制冷板,Keil MDK6发布时间,编程助手Github Copilot
     视频版:https://www.bilibili.com/video/BV1fV4y1X7sk 1、KeilMDK6最终定于2023年末发布https://www.keil.com/pr/article/1302.htmMDK6的发布消息最终尘埃落定,定于2023年末发布。相比现在的MDK,主要是集成了功能安全库及其编译器,KeilStudio桌面版,跨平台支持。2、开源智能冷却板......