首页 > 其他分享 >ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!

ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!

时间:2024-01-15 11:23:15浏览次数:28  
标签:社区 共进 开发者 2023 stage 我们 ByConity

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

新年伊始,我们想在这里感谢一群 ByConity 社区的小伙伴们。

正是因为有社区的开发者的支持,截止到 2023 年底,ByConity GitHub 获得 1409 Star,595 pull request,累计 61 位 Contributor 共建者参与代码贡献,社区主办活动超过 10 场,来自知乎、MetaApp、天翼云、Shein、烽火软件、携程等多家企业用户正在基于 ByConity 做技术实践和探索。

picture.image

版本发布

2023 年 1 月 10 日, ByConity 发布 Beta(v0.1.0-beta)版本,并在社区小范围征集用户试用,2023 年 5 月,ByConity 正式宣布开源。在这一年里,ByConity 先后经历了 3 个版本的迭代。

2023 年 12 月 18 日, ByConity 0.3.0 版本正式发布。这个版本提供了倒排索引,基于共享存储的选主方式等多项新特性,对冷读性能进行了进一步的优化,对 ELT 能力也进行了进一步的迭代,同时修复了若干已知问题,进一步提升了系统的性能和稳定性。

  1. 倒排索引: 在 ByConity 使用过程中,很多业务对文本检索相关能力(如 StringLike)提出了非常高的需求,希望社区能够优化相关查询性能,同时兼容 ClickHouse 在今年支持的倒排索引的能力。为满足业务诉求,保持生态兼容,同时提升 ByConity 的文本检索能力,ByConity 在 0.3.0 版本加入了对文本检索的支持,为日志数据分析等场景提供高性能查询。
  2. 基于共享存储的选主方案: 在 ByConity 架构中存在多种控制节点,它们需要各自通过多副本 + 选主来提供高可用的服务能力,例如 Resource Manager,TSO 等。实际中的多个计算 server,也需要选出一个单节点来执行特定的读写任务。之前 ByConity 使用了 clickhouse-keeper 组件来进行选主,该组件基于 Raft 实现,提供兼容 zookeeper 的选主接口。但是在实际的使用中遇到了很多运维问题,例如需要部署 3 个以上节点才能提供容灾,增加运维负担;节点增删和服务发现流程复杂;容器重启后如果服务变换 ip 和服务端口,keeper 组件难以快速恢复,等等。考虑 ByConity 作为一个新的云原生服务,并不需要兼容 ClickHouse 对 zookeeper 的访问,我们选择了基于存算分离的云原生架构实现一种新的选主方式来优化以上问题。
  3. 冷读性能的进一步提升: 在 ByConity 0.2.0 中,我们通过引入 IOScheduler 等方式提高了冷读查询的性能,尤其是在 S3 上的冷读性能。0.3.0 版本通过引入 ReadBuffer 的 Preload 等优化,进一步提高了冷读性能。
  4. ELT 能力增强: 在 0.3.0 中,我们引入新的 BSP 模式,通过 stage by stage 的执行以及增强 disk based shuffle,满足有限条件下的计算,提高吞吐。在 ByConity 中复杂查询对 query plan 的 stage 进行了切分并进行了 stage by stage 的调度,但在语义上仍然是 all at once 的调度。ELT 在执行时需要对查询进行分阶段运行,需要进一步达到 stage by stage 执行的效果。

更多 0.3.0 相关特性及优化的内容大家可以复制链接查看:https://github.com/ByConity/ByConity/releases/tag/0.3.0

RoadMap

2024 年 ByConity 计划每个季度一个版本 Release,发布节奏如下:

picture.image

在 2024 年,我们仍将持续在 GitHub 上同步社区的 RoadMap:https://github.com/ByConity

社区活动

2023 年 ByConity 主办了 2 场线下活动,连接北京和上海的开发者们。

2024 年我们会在更多的城市举办 Meetup,欢迎大家与我们交流希望我们举办 Meetup 的城市,我们会在 2024 年在线下汇聚更多大数据领域的开发者们,共同探讨大数据、数据库前沿技术及其应用,同时也为当地的开发者们提供一个友好交流的技术平台。

同时,我们也参与了 GOTC、QCon、DTCC、CosCon'23、国际开源节云原生技术沙龙、Fintech Festival 等多场外部大会的演讲。我们在这些活动中分享了关于 ByConity 的最新技术、应用和发展,与来自不同领域的专家、学者和开发者进行了深入的交流和探讨。

picture.image

picture.image

2023 年 ByConity 主办每月一次的线上 webinar,为社区的开发者们介绍 ByConity 的最新技术特性。为了让大家了解 ByConity 的查询性能,我们发布了第一期 TPC-DS 测试活动 6 月初我们分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上无感扩缩容》之后收到很多用户反馈和建议,例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化,提供了更加容易上手的一键部署方式,主办了 ByConity 快速部署有奖征集活动。

社区荣誉

在众多开发者及合作伙伴的鼎力支持下,ByConity 社区在过去一年取得了开源圈内的荣誉。我们荣获了思否「2023 中国技术先锋年度榜单—中国技术品牌影响力企业」、IT168「2023 年度技术卓越奖」等开源奖项,得到了在大数据领域的影响力和专业度。

picture.image

picture.image

这些荣誉的背后,离不开每一位社区成员的付出与努力。在此,我们衷心感谢大家的支持与信任。

picture.image

为了持续优化我们的产品和服务,ByConity 社区始终保持开放、包容的态度,欢迎各位有志之士共同参与社区建设。无论您是对我们的产品有任何疑问,还是对社区发展有任何建议,都可以在 GitHub 上提交 PR 或 Issues。同时,我们也诚邀各位成为 ByConity 社区的 Contributor,与我们携手共建一个更加开放、活跃、有价值的社区。让我们共同见证 ByConity 社区的成长与繁荣!

加入社区

在过去的一年里,社区共建者们的贡献如星辰大海般璀璨。展望未来,我们期待与更多的志同道合者共同成长,一起迈向更高的目标。让我们携手并进,共同开启新的征程!欢迎大家扫码加入 ByConity 微信交流群(备注姓名+公司+职位)。

picture.image

新年礼包

最后,我们为大家准备了一批龙年礼包

标签:社区,共进,开发者,2023,stage,我们,ByConity
From: https://www.cnblogs.com/bytedata/p/17964996

相关文章

  • Solo 开发者周刊 (第 1 期):开源产品的探索之路
    产品推荐如何着手将一个简单的想法转变为一个成熟的开源项目,以及如何在此过程中利用和贡献于开源社区。同时使其达到商业化的同时,保持原有的开源精神。这些是我们需要探索的。Spug开源运维平台Spug是面向中小型企业设计的轻量级无Agent的自动化运维平台,整合了主机管理、主......
  • 创新工具:2024年开发者必备的一款表格控件
    前言在现代工作环境中,信息的处理和管理是至关重要的。表格是一种常见的数据呈现和整理工具,被广泛应用于各行各业。然而,随着技术的不断发展,市场对表格控件的需求也越来越高。随着工作效率的重要性日益凸显,一款高效的表格控件成为了开发者们的首选,因此本文小编将从葡萄城公司的纯前......
  • 2023 年精选:ChatGPT 会取代开发者吗?
    由于最近发布了ChatGPT,人工智能再次热闹起来,ChatGPT是一种自然语言聊天机器人,人们用它来写电子邮件、诗歌、歌词和大学论文。早期采用者甚至用它来编写Python代码,以及对shellcode进行逆向工程并用C重写。ChatGPT给那些渴望人工智能实际应用到来的人们带来了希望,但它也引出了......
  • 赋能开发者实现LLMOps全流程
    在人工智能领域,大模型已经成为引领技术革新的重要驱动力。为了更好地赋能开发者,百度智能云千帆大模型平台近日宣布推出SDK版本,并实现开源发布。通过使用该SDK,开发者可以轻松接入并调用百度智能云千帆大模型平台的能力,实现LLMOps全流程。LLMOps全流程是指从数据收集、标注、预处理、......
  • MegEngine 11-12 双月报:新版本发布,开发者福利课程,MegEngine 使用技巧,精彩不容错过!
    ●v1.13.3新版本发布https://github.com/MegEngine/MegEngine/releases/tag/v1.13.3●「MegEngine开发者说」-编译器上手指南,算子开发及开源项目指导手册https://www.bilibili.com/video/BV1LC4y1T7mz/●《MegEngine优化dataloader使用体验!datamonitor帮助更好定位性......
  • 一个人,2 年时间,每月赚 6w 美金,独立开发者故事丨 RTE 开发者日报 Vol.120
       开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表......
  • 《2023华为开发者宝典》重磅发布,30+华为专家倾力打造,免费下载
    本文分享自华为云社区《【年度重磅】《2023华为开发者宝典》覆盖16+技术领域,30+华为云专家倾力打造,免费下载》,作者:华为云社区精选。《2023华为开发者宝典》重磅发布,点击下载,欢迎大家转发赠阅,相互交流学习。时光荏苒,转眼间我们已经告别挑战与机遇并存的2023年,迎接充满无限可能的2024......
  • Oracle Database 23c Free - Developer Release 免费的 Oracle 数据库开发者版本下载
    免费的Oracle数据库开发者版本作者主页:sysin.orgOracleDatabase23cFree-DeveloperRelease是一个全新的、免费的、业界领先的Oracle数据库,全世界各个行业的企业每天都在使用它。无需oracle.com帐户即可下载,可以通过这个世界领先的简单、快速的融合数据库,支持所有数据模......
  • JetBrains PyCharm 2023.2 (macOS, Linux, Windows) 发布 - 面向专业开发者的 Python
    JetBrainsPyCharm2023.2(macOS,Linux,Windows)发布-面向专业开发者的PythonIDE作者主页:sysin.orgJetBrainsPyCharm-面向专业开发者的PythonIDE为什么选择PyCharm在一个地方获得所有Python工具更加高效由PyCharm负责处理日常繁琐的工作细节,为您节省宝贵的时间。......
  • ThreadLocal:你不知道的优化技巧,Android开发者都在用
    引言在Android开发中,多线程是一个常见的话题。为了有效地处理多线程的并发问题,Android提供了一些工具和机制。其中,ThreadLocal是一个强大的工具,它可以使得每个线程都拥有自己独立的变量副本,从而避免了线程安全问题。本文将深入探讨Android中的ThreadLocal原理及其使用技巧,帮助你更......