首页 > 其他分享 >Databend 开源周报第 107 期

Databend 开源周报第 107 期

时间:2023-08-22 11:23:02浏览次数:49  
标签:存储 infer Databend 开源 gitoxide 107 select schema

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

理解连接参数

连接参数 是建立与 Databend 支持的外部存储服务(如Amazon S3)的连接时所需的一组身份验证和配置信息。这些参数被括号包围、由一组用逗号或空格分隔的键值对组成。在创建 Stage 、COPY INTO 和查询外部文件时都会用到。

下面的 SQL 语句展示了如何利用连接参数创建用 S3 作为底层存储的 Stage 。

CREATE STAGE my_s3_stage
URL = 's3://load/files/'
CONNECTION = (
    ACCESS_KEY_ID = '<your-access-key-id>',
    SECRET_ACCESS_KEY = '<your-secret-access-key>'
);

如果您想了解更多信息,请查看下面列出的资源。

Hive Catalog 支持配置存储参数

在刚刚过去的一周中,Databend 为 Hive Catalog 引入了存储参数选项,允许为其配置特定的存储服务,不再依赖 Default Catalog 自身的存储后端。

下面的例子展示了如何创建以 MinIO 作为底层存储服务的 Hive Catalog :

CREATE CATALOG hive_ctl 
TYPE = HIVE 
CONNECTION =(
    ADDRESS = '127.0.0.1:9083' 
    URL = 's3://warehouse/' 
    AWS_KEY_ID = 'admin' 
    AWS_SECRET_KEY = 'password' 
    ENDPOINT_URL = 'http://localhost:9000/'
)

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

使用 gitoxide 加速 Git 依赖下载

gitoxide 是一个用 Rust 编写的高性能、现代化的 Git 实现。利用 cargogitoxide 特性(Unstable),可以使用 gitoxide crate 替代 git2 执行各种 git 操作,从而在下载 crates-index 和 git 依赖时获得数倍的性能提高。

Databend 最近在 CI 中为 cargo {build | clippy | test} 启用了这一特性,你也可以在本地开发时尝试添加 -Zgitoxide 选项来加速构建过程:

cargo -Zgitoxide=fetch,shallow-index,shallow-deps build

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 不与 SELECT 共用也可以单独使用 VALUES 子句。
  • 变更列时支持修改默认值。
  • 为 Parquet 格式的表添加虚拟列支持
  • 支持在执行写入操作(COPY INTOREPLACE INTO)后对表进行自动重聚类

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

增强 infer_schema 能力以支持文件路径

当前,Databend 既支持查询由文件路径指向的文件也支持查询位于 Stage 中的文件,例如:

select * from 'fs:///home/...';
select * from 's3://bucket/...';
select * from @stage;

然而,目前 infer_schema 只支持处理位于 Stage 中的文件:

select * from infer_schema(location=>'@stage/...');

如果需要位于其它路径下的文件进行推断,就会导致报错:

select * from infer_schema(location =>'fs:///home/...'); -- this will panic.

我们希望可以统一 infer_schema 函数的行为,允许其对所有位置的文件进行推断,使之具有更好的可用性。

Issue #12458 | Feature: infer_schema support normal file path

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:存储,infer,Databend,开源,gitoxide,107,select,schema
From: https://www.cnblogs.com/databend/p/17648077.html

相关文章

  • 开源Java诊断工具Arthas:开篇之watch实战
    一、前言还在为排查Java程序线上问题头痛吗,看我们用阿里开源的诊断神器Arthas来帮您本文开篇主要介绍阿里开源的诊断神器Arthas3.7.0版本,watch、jad、classloader命令,以Debian11、openjdk11为例二、Arthas简介和安装1.简介Arthas是一款线上监控诊断产品,通过全......
  • Nodejs Function遇见WorkerProcessExitException : node exited with code -107374079
    问题描述NodejsFunction,使用BlobTrigger用于处理上传到StorageBlob的文件,但是最近发现偶发报错:Exceptionwhileexecutingfunction:Functions.AzureBlobTrigger--->Microsoft.Azure.WebJobs.Script.Workers.WorkerProcessExitException:nodeexitedwithcode-1073740791......
  • 【Azure Function App】Nodejs Function遇见WorkerProcessExitException : node exite
    问题描述NodejsFunction,使用BlobTrigger用于处理上传到StorageBlob的文件,但是最近发现偶发报错:Exceptionwhileexecutingfunction:Functions.AzureBlobTrigger--->Microsoft.Azure.WebJobs.Script.Workers.WorkerProcessExitException:nodeexitedwithcode-10737407......
  • 废品回收抢单派单小程序开源版开发
    废品回收抢单派单小程序开源版开发用户注册和登录:用户可以通过手机号码注册和登录小程序,以便使用废品回收抢单派单功能。废品回收订单发布:用户可以发布废品回收订单,包括废品种类、数量、回收地点等信息。废品回收抢单:回收人员可以浏览最新发布的废品回收订单,并选择抢单。废品回收派......
  • 奖金丰厚 等你来拿!第六届开源创新大赛飞桨赛道下半场来啦
    最近想要充个电......
  • 基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v7.0版已发布
    关于MobileIMSDKMobileIMSDK是一套专门为移动端开发的开源IM即时通讯框架,超轻量级、高度提炼,一套API优雅支持 UDP 、TCP 、WebSocket 三种协议,支持 iOS、Android、H5、标准Java、小程序、Uniapp,服务端基于Netty编写。工程开源地址是:1)Gitee码云地址:https://gitee.com/ja......
  • 【开源三方库】bignumber.js:一个大数数学库
    OpenHarmony(OpenAtom OpenHarmony简称“OpenHarmony”)三方库,是经过验证可在OpenHarmony系统上可重复使用的软件组件,可帮助开发者快速开发OpenHarmony应用。如果是发布到开源社区,称为开源三方库,开发者可以通过访问开源社区获取。接下来我们来了解bignumber.js开源三方库。bignum......
  • 应用管理平台Walrus开源,构建软件交付新范式
    今日,数澈软件Seal(以下简称“Seal”)宣布正式开源Walrus,这是一款基于平台工程理念的应用管理平台,致力于解决应用交付领域的深切痛点。 借助Walrus将云原生的能力和最佳实践扩展到非容器化环境,并支持任意应用形态统一编排部署,降低使用基础设施的复杂度,为研发和运维团队提供易用......
  • 应用管理平台Walrus开源,构建软件交付新范式
    今日,数澈软件Seal(以下简称“Seal”)宣布正式开源Walrus,这是一款基于平台工程理念的应用管理平台,致力于解决应用交付领域的深切痛点。 借助Walrus将云原生的能力和最佳实践扩展到非容器化环境,并支持任意应用形态统一编排部署,降低使用基础设施的复杂度,为研发和运维团队提供易用......
  • 主流开源分析引擎梳理,看看你最中意谁?| StoneDB数据库观察
    编者荐语:本文来自石原子合伙人祁国辉老师,主要对主流的开源分析引擎进行详尽的分析,干货满满,欢迎大家阅读学习。最近一段时间,我重新梳理了一下目前市面上主流的数据分析引擎,发现真是琳琅满目,令人眼花缭乱。静下心来花了两周时间横向看了一下,学习过程中,记了一些笔记,希望能够......