首页 > 其他分享 >提升地理空间分析效率,火山引擎ByteHouse上线GIS能力

提升地理空间分析效率,火山引擎ByteHouse上线GIS能力

时间:2024-03-18 19:44:06浏览次数:29  
标签:GIS 能力 OLAP 引擎 地理 ByteHouse 空间

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在数字化时代,地理空间分析(Geospatial Analytics)成为辅助企业市场策略洞察的重要手段。无论是广告投放的精准定位,还是电商物流的效率优化,都离不开对地理空间数据的查询、分析和可视化处理,以便助力企业更好决策。

一些传统的地理信息系统数据库具备丰富的地理空间对象结构、成熟的空间索引能力,在导航、旅游、智能城市等典型应用场景中被广泛使用。随着实时分析报表等OLAP市场的扩大,地理空间分析也作为新的增值特性被业界几大OLAP主流产品所推广。OLAP+GIS能力在满足用户地理空间数据分析的基础上,还能在数据体量大、实效性要求高的情况下,满足业务高性能查询的需求。

作为火山引擎推出的一款OLAP引擎,ByteHouse近期发布了高性能地理空间分析GIS能力,为位置洞察、人群圈选等场景提供高性能地理数据分析服务。

在功能层面,ByteHouse兼容OGC标准,支持导入标准GIS文件格式,目前已支持超过50个主流的空间函数。为了提供更极致的使用体验,ByteHouse还在探索自研优化器适配GIS特性,以及GPU硬件层面优化二维空间函数。

更值得一提的是,在关键性能上,ByteHouse GIS在列式小批组织的数据结构上引入RTree等二维空间索引能力,并在CPU硬件层面实现了二维空间函数的性能优化,整体提升了端到端性能。

在Benchmark测试中,通过选取两个关键 GIS 函数ST_DistanceSphereST_Within,使用 NYC Taxi 数据集(Size:21GB;条数:169,001,162),并选取3个不同大小的地理区域,研发人员将ByteHouse、StarRocks、 ClickHouse Community、PostGIS 、 DuckDB Spatial进行性能对比。测试结果显示,ByteHouse 在优化器、硬件等层面的优化,使其在测试函数的性能上显著超越其他产品。

picture.image

据火山引擎ByteHouse技术专家介绍,“对比传统地理信息系统数据库,ByteHouse将OLAP和GIS结合起来,一方面具备OLAP的高效查询和计算的优势,另一方面,空间数据对象按照列的方式存储,不仅节省存储空间,更能充分发挥向量化的优势,特别是在空间函数层面,还能利用硬件并行化能力提速。”

目前,ByteHouse GIS 已经在POI洞察、作战地图、人群圈选、拓店选址等场景为相关需求方落地地理空间分析服务。以有配送需求的业务场景举例,在ByteHouse GIS能力支持下,运营人员可以在地图中圈选出特定多边形,观察多边形内部商家的供给和客流量,显示配送员的位置和配送状态,实现更有效地调度资源,提高配送效率。

在电商场景中,ByteHouse GIS能力不仅满足平台商家运营快速分析商家经营状态、管理商家的需求,还将数据读取量减少超过50%,进一步降低了磁盘IO以及计算带来的CPU开销。

不仅仅在GIS能力上具备极致性能,ByteHouse基于分布式架构设计,可以轻松地水平扩展,处理PB级别的数据,还完全兼容云原生技术栈,支持弹性资源调度,能够根据实际需求动态调整计算资源,并且具备自动化运维功能。未来,ByteHouse也会持续为用户提供卓越的数据处理和分析体验,助力企业实现数字化转型和智能化升级。

点击跳转ByteHouse了解更多

标签:GIS,能力,OLAP,引擎,地理,ByteHouse,空间
From: https://www.cnblogs.com/bytedata/p/18081258

相关文章

  • 【QT+QGIS跨平台编译】之八十二:【QGIS_Gui跨平台编译】—【错误处理:QgsExpressionCont
    文章目录一、未定义基类QgsExpressionContextGenerator二、错误处理一、未定义基类QgsExpressionContextGenerator报错信息二、错误处理第33行增加:#include"qgsexpressioncontextgenerator.h"......
  • GIS人必备神器降临!快速搞定洪水淹没分析!ArcGIS AddIn无源淹没分析插件!
            最近有很多小伙伴给我发私信,想使用我开发的一款基于无源淹没分析算法对洪水淹没进行分析的GIS插件。大部分小伙伴是因为看了我之前发的一个讲解洪水淹没分析算法的视频,在视频中我给大家展示了给某高校水利课题组开发的两款用于洪水淹没分析的插件:一个是基于8邻......
  • “城市绿肺诊断:集成GIS、RS、VORS模型、CCDM模型、geodetecto、GWR模型技术深入解析生
    基于GIS、RS、VORS模型、CCDM模型、geodetecto、GWR模型集成的生态系统健康的耦合协调分析城市群是一国经济发展水平的象征,也是一国经济发展到一定阶段的标志,我国城市群建设体量不断增加,将成为全球经济的核心,中国城市群的建设逐步引领全球进入到了21世纪的中国新时代。然而,高......
  • 基于GIS、RS、VORS模型、CCDM模型、geodetecto、GWR模型集成的生态系统健康的耦合协调
     城市群是一国经济发展水平的象征,也是一国经济发展到一定阶段的标志,我国城市群建设体量不断增加,将成为全球经济的核心,中国城市群的建设逐步引领全球进入到了21世纪的中国新时代。然而,高速的城镇化发展,不可避免地带来了一些对生态环境造成严重胁迫的问题,健康的生态系统是城市群......
  • Docker Registry 私有仓库的部署
    第一步:拉取镜像dockerpullregistry第二步:运行容器:dockerrun-di--name=registry-p5000:5000registry第三步:打开浏览器访问#输入地址:http://10.0.0.100:5000/v2/_catalog#看到{"repositories":[]}#表示私有仓库搭建成功并且内容为空第四步:修改daemon.jso......
  • 聊一聊 MySQL 的 InnoDB 存储引擎以及三种日志
    楔子上一篇文章我们介绍了MySQL的基本架构,这里再来回顾一下。整个架构还是很好理解的,我们说MySQL分为Server层和存储引擎层。其中Server层包含了MySQL的大多数核心服务功能,而存储引擎层则负责提供数据的存储和读取,并且是插件式的,一个Server层支持不同的存储引擎层......
  • 2024年AI辅助研发:科技创新的引擎
    CSND-个人主页:17_Kevin-CSDN博客收录专栏:《人工智能》技术进展进入2024年,人工智能(AI)在科技界和工业界的焦点地位更加巩固,其在辅助研发领域的技术进步尤为显著。深度学习技术的突飞猛进使得数据分析更为高效,比如在新药研发中,通过深度神经网络对化合物的生物活性进行预......
  • 【MySQL】 深入了解InnoDB存储引擎的限制
    目录前言1.mysql限制1.1列数限制1.2对全列索引键的限制1.3行大小限制1.4表空间大小限制1.5表数量限制2.mysql中的char与varchar2.1varchar类型的变化 2.1.1存储限制2.1.2编码长度限制2.1.3行长度限制2.2CHAR(M),VARCHAR(M)不同之处2.3VARCHAR和TEXT、BlOB类型......
  • 教程|腾讯云高性能应用服务(HAI)搭建多音色控制的TTS引擎
    在这篇文章中,我们将介绍如何使用腾讯云的高性能应用服务(HAI)来搭建一个具有多音色控制的文本转语音(TTS)引擎,具体操作步骤如下:登录高性能应用服务HAI控制台点击新建选择AI框架,选择算力方案、输入实例名称、选择数量后立即购买开启学术加速功能完成创建,查看运行状态......
  • 火山引擎VeDI:A/B实验如何应用在APP推荐系统中?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 在移动互联网飞速发展的时代,用户规模和网络信息量呈现出爆炸式增长,信息过载加大了用户选择的难度,这样的背景下,推荐系统应运而生,为用户提供个性化的内容推荐。推荐系统在不断迭代中,其......