首页 > 其他分享 >Databend 开源周报 第 99 期

Databend 开源周报 第 99 期

时间:2023-06-27 15:13:08浏览次数:52  
标签:Flink ontime register 99 Databend 开源 parquet

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

Apache Flink CDC(Change Data Capture)是指 Apache Flink 使用基于 SQL 的查询从各种来源捕获和处理实时数据更改的能力。CDC 允许监视和捕获数据库或流系统中发生的数据修改(插入、更新和删除),并对这些更改进行实时响应。

Databend 现在提供 Flink SQL Connector,可以将 Flink 的流处理能力与 Databend 集成。通过对连接器进行配置,可以以流的形式从各种数据库中捕获数据更改,并将其载入到 Databend 中以进行实时处理和分析。

如果你想要了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Databend 的 Python 绑定支持注册外部表

Databend 的 Python 绑定 现在支持注册外部表。你可以使用以下函数在 Python 绑定中注册外部表:

  • register_parquet
  • register_ndjson
  • register_csv
  • register_tsv

下面的例子展示了如何使用 register_parquet 函数在 Python 绑定中注册名为 ontime 的外部表:

from databend import SessionContext

ctx = SessionContext()

ctx.register_parquet("ontime", "./ontime/", pattern = ".*.parquet")

df = ctx.sql("select * from ontime limit 10").collect()

print(df)

这段代码将位于 ./ontime/ 目录中且符合模式 .*.parquet 的 Parquet 文件注册成名为 ontime 的外部表。你可以在 SQL 查询中使用已注册的表名 ontime 访问数据。

如果你想要了解更多信息,请查看下面列出的资源。

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持使用 ALTER TABLE [ IF EXISTS ] <name> RENAME COLUMN <col_name> TO <new_col_name> 变更列名。
  • 为 TSV 格式实现列位置支持。
  • 新增 system.background_jobssystem.background_tasks 系统表。
  • 通过 X-DATABEND-DEDUPLICATE-LABEL 标头实现为 HTTP API 支持去重。
  • 支持分布式删除。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

为 Databend 集群实现只读模式

Databend 正在计划为集群实现一个名为 “只读模式” 的新功能,这将改善用户的访问控制和资源分配。

一旦实现这一新功能,用户将能够为读取和写入操作分别创建单独的集群。只读模式有助于防止集群中存在可能会导致数据丢失或损坏的意外写入。同时,由于减少了写入操作,可能会提高只读模式下的集群性能。

Issue #11836 | feat: read-only mode for Databend clusters

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

标签:Flink,ontime,register,99,Databend,开源,parquet
From: https://www.cnblogs.com/databend/p/17508902.html

相关文章

  • Volvo EDI 项目 MySQL 方案开源介绍
    近期为了帮助广大用户更好地使用EDI系统,我们根据以往的项目实施经验,将成熟的EDI项目进行开源。用户安装好知行之桥EDI系统之后,只需要下载我们整理好的示例代码,并放置在知行之桥指定的工作区中,即可开始使用。今天的文章主要为大家介绍VOLVOEDI项目,了解如何获取开源的项目......
  • 跨平台开源远程连接工具rustdesk
    rustdeskhttps://github.com/rustdesk/rustdeskhttps://gitee.com/mirrors/rustdesk......
  • Taurus .Net Core 微服务开源框架:Admin 插件【2】 - 系统环境信息管理
    前言:继上篇:Taurus.NetCore微服务开源框架:Admin插件【1】-微服务节点管理本篇继续介绍下一个内容:1、系统环境信息节点- OS-Environment界面 基本信息如上图,重点的几个参数:1、App-StartTime:应用程序启用时间,可以在更新程序或配置文件后,查看该时间,看应用程序是否更......
  • 11k+ Star 一款更适合中国用户的开源 BI 工具
    在当今数字化时代,数据分析和可视化成为企业决策和发展的重要支撑,很多BI工具昂贵的许可费用,让许多中小型企业用户和个人用户望而却步,开源BI工具的出现,让其成为很多用户进行数据分析展示的首选。目前市面上主流的开源BI产品,例如Metabase和Superset,都是由国外的开发者开发......
  • Taurus .Net Core 微服务开源框架:Admin 插件【1】 - 微服务节点管理
    前言:最近发现NetCore的文章有点少,特来补几篇。上一篇:Taurus.mvc.NetCore微服务开源框架发布V3.1.7:让分布式应用更高效。自上篇之后,期间更新了4个小版本,更新如下:-----V3.1.7.1----------------1、优化:请求头输出【标识主机IP号、进程号】(2023-06-07)2、优化:Gateway负载......
  • 活动打卡报名小程序开源版开发
    活动打卡报名小程序开源版开发活动打卡报名小程序开源版的功能可以包括以下几个方面:活动列表展示:展示所有的活动信息,包括活动名称、时间、地点、报名人数等。活动详情展示:点击活动列表中的某个活动,可以查看该活动的详细信息,包括活动介绍、报名要求、费用等。活动报名:用户可以在活动......
  • 文件系统考古 3:1994 - The SGI XFS Filesystem
    在1994年,论文《XFS文件系统的可扩展性》发表了。自1984年以来,计算机的发展速度变得更快,存储容量也增加了。值得注意的是,在这个时期出现了更多配备多个CPU的计算机,并且存储容量已经达到了TB级别。对于这些设备,仅仅对4.3BSD快速文件系统(或SGIIRIX中称为EFS的修改版......
  • 本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama
    在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用广泛的数据集进行训练,这......
  • 在 BI 工具 Tableau 中使用 databend
    Tableau是一款流行的数据可视化和业务智能工具。它提供了直观、交互式的方式来探索、分析和呈现数据,帮助用户更好地理解数据的意义和洞察。本教程帮助用户在Tableau中连接databend进行BI数据分析。DatabendjdbcTableau支持所有实现了JDBC协议的数据源,所以需要先准备......
  • 小鹏内部独家Android车载系统开发指南开源了
    众所周知,国内的安卓市场内卷极其严重,原生应用开发可谓是寸步难行,想必大家在最近的面试中能看出,要么面试完全没机会,要么薪资对半砍,一天比一天难......但细看整个Android生态却无比繁荣,手机、平板、电视、音视频等等,特别是在智能汽车+电动汽车的浪潮下,诞生出一大批高薪岗位。车载成为......