首页 > 其他分享 >GIS、向量、文字检索... 火山引擎 ByteHouse 集成全场景分析能力

GIS、向量、文字检索... 火山引擎 ByteHouse 集成全场景分析能力

时间:2024-10-09 11:33:56浏览次数:6  
标签:检索 ... GIS 分析 引擎 ByteHouse 向量

企业业务场景增多、规模扩大,对于底层数据架构来说,可能也会愈加复杂。

 

比如,某企业因自身业务发展,需要引入向量检索能力,但前期选型的技术架构并不能直接支持,只能重新引入向量数据库。这意味着,研发团队要维护多个组件,让底层架构非常复杂,不仅带来数据冗余,也给数据运维带来压力,造成整体成本增加。

 

而火山引擎推出的云原生数仓库 ByteHouse 不仅能满足海量数据下高性能分析需求,还通过 GIS 时空分析、全文检索、Vector 向量检索,为分析型数据库加持更多能力,让企业用户用一套架构满足多元化分析需求,节省企业资源人力成本,提升数据效能。

 

据介绍,ByteHouse 以 ClickHouse 技术路线为基础,为用户提供极速分析体验,支撑实时数据分析和海量数据离线分析,具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。特别是随着数据量的爆炸性增长,企业对分析性能的要求水涨船高,ByteHouse 能更好以应对大规模数据处理需求。

 

ByteHouse 在 OLAP 引擎上实现了一系列增强,能支撑宽表、星型模型、雪花模型等更复杂的分析模型,且能实现基础模型的范式化建模,具备流批一体、优化器、增强型易聚合等技术特点,已经在实时数仓、用户圈选、行为分析、广告推荐等场景中落地。

 

 

基于全能型的 OLAP 引擎能力,ByteHouse 还集成了适用于不同场景的三大引擎,为用户提供更极致的分析服务。

 

首先,作为 OLAP 的 ByteHouse 在支持结构化数据检索方面具备先天优势,ByteHouse 全文检索引擎则补齐了对非结构化、半结构化等数据的快速检索能力,支持商品搜索、知识库搜索、日志分析等场景下对文本数据进行关键字检索,让用户可以构建一体化的数据管理、查询服务,降低运维成本和资源成本。

 

与行业常见的非结构化数据处理引擎,如 ElasticSearch 相比,ByteHouse 也具备明显优势。在性能层面,相关测试数据显示,当单服务器日志写入量在 50MB-200MB/s,每秒写入超过 30w 记录数的情况下,ByteHouse 是 ElasticSearch 性能的 5 倍以上。

 

在成本层面,ByteHouse 具备更高数据压缩比、消耗更少的 CPU 资源,在保障高效查询的基础上,还能进一步压缩服务器成本。在稳定性层面,ByteHouse 冷热分离机制、负载均衡策略,让数据稳定性更高。

 

其次,ByteHouse 还推出了 GIS 时空分析引擎,在功能层面,ByteHouse 兼容 OGC 标准,支持导入标准 GIS 文件格式,目前已支持超过 50 个主流的空间函数。

 

为了提供更极致的使用体验,ByteHouse 还在探索自研优化器适配 GIS 特性,以及 GPU 硬件层面优化二维空间函数。通过选取两个关键 GIS 函数ST_DistanceSphereST_Within,ByteHouse 在优化器、硬件等层面的优化,使其在测试函数的性能上显著超越其他产品。

 

最后,随着大模型的火热,ByteHouse 已支持多种向量检索算法,如 HNSW、Flat、IVFFlat、IVFPQ,并且基于 vector-centric 的思路,构建了高效的执行链路,可以支撑大规模向量检索场景,达到毫秒级的查询延迟。

 

通过开源软件 VectorDBBench 测试工具,在 cohere 1M 标准测试数据集上,recall 98 的情况下,ByteHouse QPS 性能已可以超过专用向量数据库。

 

“一元化数据、多元化引擎”是 ByteHouse 的产品理念,旨在通过构建统一的平台为用户提供更丰富的数据分析能力,实现数据效能最大化。

 

通过全文检索引擎、GIS 引擎、Vector 引擎,ByteHouse 让用户在享受 OLAP 极致性能的同时,无需引入其他架构,就能使用文字检索、地理空间分析、向量检索能力,进一步提升使用体验。

 

标签:检索,...,GIS,分析,引擎,ByteHouse,向量
From: https://www.cnblogs.com/bytedata/p/18453888

相关文章

  • 面试不到10分钟就被赶出来了,问的实在是太变态了...
    干了三年外包,本来想出来正儿八经找个互联网公司上班,没想到算法死在另一家厂子。自从加入这家外包公司,每天都在加班,钱倒是给的不少,所以也就忍了。没想到5月一纸通知,所有人不许加班,薪资直降30%,顿时有吃不起饭的赶脚。好在有个兄弟内推我去了一家互联网公司,兴冲冲见面试官,前面......
  • GIS专业的就业前景
    地理信息系统(GIS)作为一门跨学科的领域,随着技术的发展和应用领域的拓宽,其就业前景日益广阔。GIS专业毕业生可以在多个行业中找到合适的职位,并且随着经验的积累,薪资和职业发展空间都相当可观。 1.就业方向GIS专业的毕业生就业方向多样,包括但不限于:......
  • GM_registerMenuCommand()注册菜单模板,TemperMonkey油猴脚本开发
    注册菜单点击事件注册实例设置默认值将handle(手握实例的变量)赋值给一个变量functionmenu_Func_click(){GM_setValue('Func',!GM_getValue('Func'));//开关GM_unregisterMenuCommand(menu_Func);//卸载再注册//强制等待下一个事件循环setTimeo......
  • 五款倾斜摄影与三维数据处理工具介绍:GISBox、Cesiumlab、OSGBLab、灵易智模、倾斜伴侣
    随着三维数据处理技术的广泛应用,尤其是在城市规划、地理信息系统(GIS)、工程监测等领域,处理倾斜摄影、三维建模以及大规模数据管理的需求日益增加。以下是五款我精心挑选的倾斜摄影和三维数据处理工具——GISBox、Cesiumlab、OSGBLab、灵易智模和倾斜伴侣,本文将详细介绍它们的功能、......
  • New Phytologist | 红杉的基因组选择:从概念验证到实际应用
    分享一篇最近发表《NewPhytologist》上一篇文章:Genomicselectioninwesternredcedar:fromproofofconcepttooperationalapplication。文章主要研究了基因组选择(GS)在西部红杉(westernredcedar,WRC,即Thujaplicata)中的应用,从概念验证到实际操作的全过程。研究背景森林......
  • ES6中扩展运算符...与Set结合使用
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>Document</title><......
  • PbootCMS提示错误信息“未检测到您服务器环境的sqlite3数据库扩展...”
    当遇到“未检测到您服务器环境的sqlite3数据库扩展,请检查php.ini中是否已经开启该扩展!”的错误时,可以通过以下步骤来解决这个问题。以下是详细的解决方法:解决方法1.修改 php.ini 文件以开启 sqlite3 扩展打开PHPStudyPro软件打开PHPStudyPro软件。点击左上......
  • GIS发展趋势与国产GIS现状
    地理信息系统(GIS)作为获取、管理、分析和可视化地理空间数据的重要工具,在多个领域发挥着至关重要的作用。随着技术的不断进步,GIS正朝着更高效、更智能的方向发展。GIS发展趋势1.3DGIS与虚拟现实(VR)3DGIS技术通过增加高度信息,为地理空间数据提供了更丰富......
  • wsl重装Ubuntu遇到的一些问题( WslRegisterDistribution failed with error: 0x800410
        不知道什么原因,VSCode连接WSLUbuntu总是失败,遂决定重装Ubuntu。    但是卸载原来的Ubuntu后,安装新的Ubuntu报错:WslRegisterDistributionfailedwitherror:0x80041002Error:0x80041002(null),查了比较多的帖子,使用了以下方法最终解决:1.关闭"适用于l......
  • 网站打开提示: 未检测到您服务器环境的sqlITe3数据库扩展...
    当网站打开时提示“未检测到您服务器环境的SQLite3数据库扩展”,这意味着服务器上缺少SQLite3扩展。SQLite3是一个轻量级的嵌入式数据库引擎,许多Web应用框架和CMS系统会依赖它来实现某些功能。解决方案检查PHP版本安装SQLite3扩展重启Web服务器验证安装详细步骤1.检查PHP......