首页 > 其他分享 >从报表到可视化,基于开源Superset实现数据管理升级的实践

从报表到可视化,基于开源Superset实现数据管理升级的实践

时间:2024-12-11 12:10:48浏览次数:6  
标签:平台 OFM DTSE 华为 数据管理 可视化 开发者 Superset

本文来源:《华为云DTSE》第六期HDC 2024专刊,作者:华为云开发者技术服务团队。

 

华为开发者大会(HDC 2024)“DTSE提供全旅程专业技术服务,助力开发者体验效率提升和创新”专题论坛上,华为云DTSE开发者技术服务专家表示DTSE能够为开发者提供代码级技术支持服务,倾听开发者声音,开发者进行方案改造及适配、架构优化、安全运维等,释放开发者创造力,打造千行百业应用。

 

泰国OFM公司电子商务与技术部 信息技术SVP Kitti Suksangajaroen在HDC 2024上分享了华为云DTSE助力泰国OfficeMate(简称OFM)实现开源Superset在华为云上的落地实践。DTSE与OFM在开源选型、方案设计、适配、调优和运营方面密切合作,提供了全旅程开发者技术支持,助力OFM实现O2O技术方案快速落地,通过云上方案设计保障业务安全可靠。目前,已为700+“数据匮乏”的用户提供了3年的数据和各种服务,未来将与华为云持续扩大合作。

 

当下,数字化、信息化以及智能化已经成为现代企业的主要发展趋势。随着数字化程度的提升,数据也随之成为了第五大生产要素,用于帮助企业生产、决策、创新等等。

 

提及数据的管理,许多人可能首先想到经常使用的Excel表格。然而,随着数据量增长,Excel的局限性愈发明显,其处理能力有限,权限管理薄弱,大数据量下查询及计算速度锐减。更关键的是,现代企业需要整合多系统数据,实现共享分析,而这正是Excel所难以胜任的。泰国OFM正面临这样的难题,急需寻找更高效的数据处理与分析方案。

 

无法分享与协助,传统文档模式已落后

OFM隶属于泰国最大零售企业集团之一的中央集团,是泰国领先的办公用品零售商,其业务范围涵盖了办公家具、各类文具、技术产品及印刷等多元化产品和服务。公司在泰国已开设超过50家实体店铺,并经营一家在线商店,为客户提供便捷的线上线下一体化购物体验。

 

OFM公司在其经营过程中,长期依赖于传统的Excel线下文件报表模式。然而,随着业务的快速发展和数据量的激增,这种模式逐渐暴露出诸多不足,已无法满足公司的需求。

  1. 实时性不足:Excel的数据来源相对有限,且需手动输入,这导致数据既不够全面也缺乏实时性,影响了公司的决策效率;

  2. 分析能力不足:Excel的数据分析能力相对简单,仅能满足基本的汇总和统计需求,对于复杂的数据分析和挖掘则显得力不从心,限制了公司对数据的深入挖掘和价值发现;

  3. 生成速度慢:报表生成过程繁琐,需要手动输入数据和设置公式,效率低下,导致公司的运营成本增加;

  4. 可视化效果不佳:Excel的可视化效果不尽如人意,无法满足现代化、高效化的需求;

  5. 安全性低:Excel的数据安全性也令人担忧,易被非法获取和篡改;

  6. 共享和协作困难:手动复制粘贴数据不仅效率低下,还容易出错,严重影响了团队间的协作效率。

  7. 为了更好了解市场,OFM公司急需寻找一种更为高效、安全、全面的数据管理方式,以应对业务发展的挑战。

华为云+开源解决方案,支持OFM业务效率飙升

在OFM公司预算有限情况下,如何能够快速上线自己的商业化智能平台。围绕企业遇到的困难,我们对OFM公司当前的信息化需求进行分析,结合OFM公司业务实际情况,与他们多次交流讨论,最终确定华为云容器平台CCE+开源Apache Superset组合解决方案。

 

华为云CCE可提供高度可扩展的、高性能的企业级Kubernetes集群,充分利用云上弹性能力、丰富存储类型,支持实现SaaS业务降成本、动态扩容、高可靠性等需求。Apache Superset 是一款开源大数据工具,用于数据探索分析和数据可视化。它提供了一个功能丰富的用户界面,使用户能够轻松地连接到各种数据源(如关系型数据库、NoSQL数据库、数据仓库等),进行数据查询、切片和切块,并生成多种类型的可视化图表和仪表板。

技术架构图

我们通过华为云CCE部署可弹性伸缩的Superset平台,以应对高峰期带来的并发流量。方案从6个方面保证了Superset的安全、高可用和可适配的能力:

  1. 华为云CCE可提供高度可扩展的、高性能的企业级Kubernetes集群,充分利用云上弹性能力、丰富存储类型,支持实现SaaS业务降成本、动态扩容、高可靠性等需求。通过CCE部署Superset,设置高效的弹性伸缩策略,打造弹性的高可用的BI平台;

  2. 在流量管理方面,流量首先会通过华为云WAF检测,拒绝恶意请求,以保证服务安全。接着,访问流量通过华为云ELB根据分配策略分发到后端服务,实现流量的负载均衡,从而保证了服务的稳定性;

  3. 在身份验证方面,DTSE实现了Superset平台与客户自部署的开源身份验证系统-KeyCloak的对接,从而实现单点登录,身份验证,权限管理等能力,提高了BI平台的安全性;

  4. 通过华为云VPN,搭建了客户本地网络与华为云的安全、可靠、高性价比的加密连接通道。从而让云上BI平台可安全地对接客户本地数据源,保证数据安全的同时,提高了平台的适配能力;

  5. Superset的镜像源现阶段还是保存于Docker平台中。CCE底层的架构是Kubernetes,在1.27版本后已经完全舍弃Docker使用Containerd替代。所以在拉取镜像源时,会出现拉取超时的问题。DTSE通过把镜像拉取到华为云SWR,以避免镜像拉取超时的问题;

  6. Superset在对接不同的数据源时,需要不同的连接引擎。为了保证下载的完成,需要保证容器可访问公共网络。DTSE通过配置华为云NAT网关SNAT规则,保证容器可访问到公共网络。确保Superset可以成功适配不同数据源。

从启程到远航,华为云DTSE提供全方位服务

借助华为云平台能力,结合开源Superset搭建的智能商业化平台,不仅帮助OFM公司实现 线上数据可视化平台对传统文件报表模式的替换,提升公司业务效率,也帮助企业做了很好的成本控制。

 

为了更好的帮助企业快速使用平台,我们与OFM公司IT团队与平台用户进行交流研讨,提供培训支持,帮助企业快速使用平台能力,满足业务诉求。

  1. 在IT领域,我们为OFM的IT人员提供了关于云服务以及Apache Superset运维的专业指导,详细解析了Apache Superset在使用过程中可能遇到的常见问题,并提供了针对性的FAQ问答,以确保IT团队能够高效、稳定地运用这些产品。

  2. 在平台用户层面,DTSE围绕Apache Superset的核心功能,如常见组件、权限管控、警告功能等,开展了一系列全面而系统的培训并输出相关文档。通过培训,OFM相关运维人员不仅能够更好地理解和使用Apache Superset的各项功能,还能够在实际工作中充分发挥其优势,提升工作效率和体验。

 

最终,经过我们的技术改造,OFM线上数据可视化平台突破百万限制。线上平台高效地处理数据,使得每次系统访问数据库都能得到最新的数据信息。在业务应用层面,平台输出的报表更加的直观和好看,能够让人能清晰的理解和查看相关数据信息。

最后

开发者不仅是产业数字化、智能化创新的根本动力,也是华为云生态建设的重要支柱。一直以来,华为云始终践行赋能开发者云上创新原则,通过技术赋能企业开发者,提升企业研发人员的专业能力。华为云DTSE通过专家服务和技术指导,积极为开发者的成长提供强大支持,助力开发者业务实现快速、高效的发展,为企业提供坚实的技术保障,确保企业技术航行的平稳与顺畅。


参考资料:

如需华为云DTSE开发者支持服务,请进入在线提单:https://support.developer.huaweicloud.com/feedback/

 

标签:平台,OFM,DTSE,华为,数据管理,可视化,开发者,Superset
From: https://www.cnblogs.com/huaweiyun/p/18599218

相关文章

  • 《docker高级篇(大厂进阶):6.Docker轻量级可视化工具Portainer》
    @目录二、高级篇(大厂进阶)6.Docker轻量级可视化工具Portainer本人其他相关文章链接二、高级篇(大厂进阶)6.Docker轻量级可视化工具Portainer是什么安装官网https://www.portainer.io/https://docs.portainer.io/v/ce-2.9/start/install/server/docker/linux安......
  • 大数据项目-Django基于用户反馈实现的电影评论数据可视化展示及分析系统
    《[含文档+PPT+源码等]精品Django基于用户反馈实现的电影评论数据可视化展示及分析系统》该项目含有源码、文档、PPT、配套开发软件、软件安装教程、包运行成功以及课程答疑与微信售后交流群、送查重系统不限次数免费查重等福利!数据库管理工具:phpstudy/Navicat或者phpstudy/sq......
  • 十六、JMeter测试报告可视化组件
    总体统计信息请求总数:直观地展示了测试过程中总共发送的请求数量。这可以帮助你了解测试的规模,例如,如果你计划发送1000个请求,通过这个指标可以快速确认是否达到预期数量。平均响应时间:以图表或数值形式呈现所有请求的平均响应时长。通过观察平均响应时间,你可以初步判断系......
  • (免费源码)计算机毕业设计必学必看 万套实战教程 java、python、php、node.js、c#、APP
    摘 要随着社会经济的快速发展,我国机动车保有量大幅增加,城市交通问题日益严重。为缓解用户'停车难'问题,本文设计并实现了APP停车位共享系统'.该系统通过错峰停车达到车位利用率最大化.基于现状分析,本文结合实际停车问题,从系统应用流程,系统软硬件设计和系统实现三方面......
  • ZooKeeper可视化工具:提升分布式系统管理的效率
    ApacheZooKeeper是一个分布式协调服务,广泛应用于分布式系统中,用于维护配置信息、命名服务、提供分布式同步和组服务。然而,ZooKeeper的命令行接口虽然功能强大,但对于不熟悉命令行操作的用户来说,使用起来可能会有一定的门槛。为了提升ZooKeeper的管理效率和用户体验,许多开发者开发......
  • Python爬虫的商品推荐可视化数据分析系统
    感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人2025最新毕业设计项目推荐-SSM篇2025最新毕业设计项目推荐-SpringBoot篇2025最新毕业设计项目推荐-小程序、uniapp篇-CSDN博客Java精品毕设实战案例推荐​商......
  • Python爬虫的电影推荐可视化数据分析系统
    感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人2025最新毕业设计项目推荐-SSM篇2025最新毕业设计项目推荐-SpringBoot篇2025最新毕业设计项目推荐-小程序、uniapp篇-CSDN博客Java精品毕设实战案例推荐​电......
  • JOKER 前端框架:自带云端可视化 IDE 的创新利器
    一、框架概述在当今前端开发的多元化领域中,JOKER前端框架犹如一颗璀璨的明星,以其独特而强大的功能,为开发者开辟了一条高效、便捷的创新之路。JOKER不仅仅是一个普通的框架,它更是一个综合性的框架平台,旨在为所有可能的开发场景提供全方位、无死角的支持。其中,Joker.front作......
  • 一站式管理平台,同时支持Linux、MySQL、Redis、MongoDB可视化管理!
    最近发现一款好用的可视化管理工具mayfly-go,可以通过Web的形式进行Linux系统管理,同时支持MySQL、Redis、MongoDB等数据库的管理,功能非常强大!今天就给大家介绍下这款工具,希望对大家有所帮助!SpringBoot实战电商项目mall(50k+star)地址:https://github.com/macrozheng/mallmayfly-go......
  • OPC UA 客户端开发工具,模拟器,可视化GUI
    OPCUA客户端开发工具,模拟器,可视化GUI #主要功能介绍 #同时连接多个OPCUA服务器,显示所有节点的基本信息支持所有OPCUA安全模式和策略,包括不同的用户身份验证方法浏览服务器地址空间,搜索节点,在地址空间中快速导航到特定节点使用OPCUA定义的图形符号可视化数据模......