首页 > 其他分享 >提升地理空间分析效率,火山引擎ByteHouse上线GIS能力

提升地理空间分析效率,火山引擎ByteHouse上线GIS能力

时间:2024-03-13 11:45:44浏览次数:29  
标签:GIS 能力 OLAP 引擎 地理 ByteHouse 空间

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在数字化时代,地理空间分析(Geospatial Analytics)成为辅助企业市场策略洞察的重要手段。无论是广告投放的精准定位,还是电商物流的效率优化,都离不开对地理空间数据的查询、分析和可视化处理,以便助力企业更好决策。

一些传统的地理信息系统数据库具备丰富的地理空间对象结构、成熟的空间索引能力,在导航、旅游、智能城市等典型应用场景中被广泛使用。随着实时分析报表等 OLAP 市场的扩大,地理空间分析也作为新的增值特性被业界几大 OLAP 主流产品所推广。OLAP+GIS 能力在满足用户地理空间数据分析的基础上,还能在数据体量大、实效性要求高的情况下,满足业务高性能查询的需求。

作为火山引擎推出的一款 OLAP 引擎,ByteHouse 近期发布了高性能地理空间分析 GIS 能力,为位置洞察、人群圈选等场景提供高性能地理数据分析服务。

在功能层面,ByteHouse 兼容 OGC 标准,支持导入标准 GIS 文件格式,目前已支持超过 50 个主流的空间函数。为了提供更极致的使用体验,ByteHouse 还在探索自研优化器适配 GIS 特性,以及 GPU 硬件层面优化二维空间函数。

更值得一提的是,在关键性能上,ByteHouse GIS 在列式小批组织的数据结构上引入 RTree 等二维空间索引能力,并在 CPU 硬件层面实现了二维空间函数的性能优化,整体提升了端到端性能。

在 Benchmark 测试中,通过选取两个关键 GIS 函数ST_DistanceSphereST_Within,使用 NYC Taxi 数据集(Size:21GB;条数:169,001,162),并选取 3 个不同大小的地理区域,研发人员将 ByteHouse、StarRocks、 ClickHouse Community、PostGIS 、 DuckDB Spatial 进行性能对比。测试结果显示,ByteHouse 在优化器、硬件等层面的优化,使其在测试函数的性能上显著超越其他产品。

picture.image
据火山引擎 ByteHouse 技术专家介绍,“对比传统地理信息系统数据库,ByteHouse 将 OLAP 和 GIS 结合起来,一方面具备 OLAP 的高效查询和计算的优势,另一方面,空间数据对象按照列的方式存储,不仅节省存储空间,更能充分发挥向量化的优势,特别是在空间函数层面,还能利用硬件并行化能力提速。”

目前,ByteHouse GIS 已经在 POI 洞察、作战地图、人群圈选、拓店选址等场景为相关需求方落地地理空间分析服务。以有配送需求的业务场景举例,在 ByteHouse GIS 能力支持下,运营人员可以在地图中圈选出特定多边形,观察多边形内部商家的供给和客流量,显示配送员的位置和配送状态,实现更有效地调度资源,提高配送效率。

在电商场景中,ByteHouse GIS 能力不仅满足平台商家运营快速分析商家经营状态、管理商家的需求,还将数据读取量减少超过 50%,进一步降低了磁盘 IO 以及计算带来的 CPU 开销。

不仅仅在 GIS 能力上具备极致性能,ByteHouse 基于分布式架构设计,可以轻松地水平扩展,处理 PB 级别的数据,还完全兼容云原生技术栈,支持弹性资源调度,能够根据实际需求动态调整计算资源,并且具备自动化运维功能。未来,ByteHouse 也会持续为用户提供卓越的数据处理和分析体验,助力企业实现数字化转型和智能化升级。

点击跳转ByteHouse了解更多

标签:GIS,能力,OLAP,引擎,地理,ByteHouse,空间
From: https://www.cnblogs.com/bytedata/p/18070298

相关文章

  • 编译GreatSQL with RocksDB引擎
    GreatSQL里也能用上RocksDB引擎1.前言RocksDB是基于Facebook开源的一种支持事务的、高度可压缩、高性能的MyRocks存储引擎,特别适用于高度压缩和大容量的数据。以下是一些关键特点:高性能:LSM树结构使得RocksDB在写入密集型负载下表现卓越。它能够处理大量的写入操作,并且......
  • 使用 Keras 和 ArcGIS Pro 通过 Mask-RCNN/DeepLabV3+ 进行 EagleView 高分辨率图像语
            机器学习中的计算机视觉为GIS提供了巨大的机会。其任务包括获取、处理、分析和理解数字图像的方法,以及从现实世界中提取高维数据以产生数字或符号信息,例如以决策的形式。在过去的几年中,计算机视觉越来越多地从传统的统计方法转向最先进的深度学习神经网络技......
  • CentOS8安装postgresql13和postgis
    CentOS8安装postgresql13和postgis这里使用的是8.5.2111操作系统版本,首先解决一下网络源的问题。检验dnf是否能正常使用,顺便安装wgetdnf-yinstallwget 一、安装postgresql131、配置postgresql官网提供的网络源dnfinstall-yhttps://download.postgre......
  • 基于 XAF Blazor 的规则引擎编辑器
    开源项目地址:https://gitee.com/lowcodexaf/rules-engine-editor前言本项目是基于XAFBlazor的规则引擎编辑器,规则引擎采用的是微软开源的RulesEngineRulesEngine项目地址:https://github.com/microsoft/RulesEngine背景在软件开发中,规则引擎扮演着至关重要的角色。它允许开发......
  • 跨端轻量JavaScript引擎的实现与探索
    一、JavaScript1.JavaScript语言JavaScript是ECMAScript的实现,由ECMA39(欧洲计算机制造商协会39号技术委员会)负责制定ECMAScript标准。ECMAScript发展史:时间版本说明1997年7月ES1.0发布当年7月,ECMA262标准出台1998年6月ES2.0发布该版本修改完全符合ISO......
  • Lucene轻量级搜索引擎,真的太强了!!!Solr 和 ES 都是基于它
    一、基础知识1、Lucene是什么Lucene是一个本地全文搜索引擎,Solr和ElasticSearch都是基于Lucene的封装Lucene适合那种轻量级的全文搜索,我就是服务器资源不够,如果上ES的话会很占用服务器资源,所有就选择了Lucene搜索引擎2、倒排索引原理全文搜索的原理是使用......
  • 使用flowable创建工作引擎
    pom依赖<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven......
  • arcgis用一个图层分割另一个图层
    现有用线图层A、面图层B,需使用A图层分割B图层,操作步骤如下:1、打开Editor编镇工具条,单击StartEditing开始编辑。2、鼠标选中线对象,或者全选线图层(右键单机线图层A依次执行“选择/选择全部”)。 3、打开Advancedediting工具条。 4、选择splitpolygons,点确定后,自动按......
  • 一文读懂Databend的开放表格式引擎
    Databend近期发布ApacheIceberg和DeltaTable两类表引擎,以提供对两种目前最受欢迎的开放表格式的支持,满足基于不同技术栈的现代数据湖方案面临的高级分析需求。采用基于Databend/DatabendCloud的一站式解决方案,可以在不启用额外的Spark/Databricks服务的......
  • 一文读懂 Databend 的开放表格式引擎
    CAD把焦点放在计算机辅助设计工业是市场上最有名和最受尊敬的软件之一。常被视为进入CAD破解版的入口,提供许多有价值的工具工程师、设计师和建筑师就像,让他们加速耗时的任务戏剧性的。虽然对很多人来说,"CAD"可能是最好的选择,但其他人可能会发现他们的工......