首页 > 其他分享 >客户案例 | 使用 BigQuery 和 AutoML 消除电视行业的数据孤岛和分散

客户案例 | 使用 BigQuery 和 AutoML 消除电视行业的数据孤岛和分散

时间:2024-09-09 17:37:48浏览次数:1  
标签:Google BigQuery AutoML 孤岛 数据 Cloud

在这个客户案例中,我们会介绍一家大众媒体公司如何利用 BigQuery 和 AutoML 消除数据孤岛和分散。通过参考真实的 Google Cloud 案例研究,我们总结了 Google Cloud 的服务和产品如何使客户的业务受益。

客户所属行业:广告媒体

项目期间引入的 Google Cloud 产品和配置列表:

BigQuery:数据集成与分析

Cloud Storage:数据积累

App Engine、Cloud SQL、Cloud Scheduler、Pub/Sub、Compute Engine:数据收集

Cloud AutoML、Vision API:数据分析

Google Analytics 360、Google Ad Manager:业务工具

Dialogflow:聊天机器人构建(计划中)

引入 Google Cloud 之前的情况和挑战

在引入谷歌云之前,我们的电视台客户认识到,专注于互联网领域对未来经营战略来说是非常重要的,因此他们需要高效整合和分析大量数据的能力

最初,他们使用其他公司的数据整合平台和MVP(最小可行产品)开发方法构建数据基础设施,并由节目制作、广告、销售、新闻等多个部门使用,以提升节目和广告的价值,快速做出业务决策,提高业务效率。

虽然在前六个月取得了一定的成果,但随着数据的增加,资源限制导致高级数据分析的性能下降,此外,数据孤岛和分散也成为问题。

● MVP (Minimum Viable Product,最小可行性产品):一种产品开发方法,指的是向初始用户提供具有最低限度功能的产品版本。主要目的是在进行重大投资之前在市场上测试产品理念并获得用户反馈。通过尽早将产品推向市场,可以节省资源,并尽早确定产品开发的方向。

● 数据孤岛:数据孤岛是指数据分散且无法在组织内不同部门或系统之间共享的状态。数据孤岛会阻碍整个组织的数据一致性、可访问性和高效利用。促进组织内的数据共享和集成可以消除孤岛并最大限度地发挥数据的价值。

谷歌云解决方案:数据整合,焕新体验

为了解决数据孤岛和分散性的问题,客户采用了 Google Cloud 作为新的数据整合平台。主要原因是 BigQuery 是一个完全托管的大数据分析工具,能够快速分析大量数据,以高性价比实现大数据分析。这大大提高了数据分析的效率和速度。

此外,与Google Analytics 360 和 Google Ad Manager 等工具的兼容性也是采用的原因之一。通过与这些工具的集成,从数据收集到分析和业务决策的流程得到简化,扩大了数据利用的范围。

引入 Cloud Cloud 期间的情况和表现

引入 Google Cloud 需要进行为期一个月的 PoC(Proof of Concept,概念验证),以确认新技术和解决方案在实际业务环境中的适用性。在此期间,工程师测试了 Google Cloud 服务,评估了性能和可用性,并学习了数据集成和分析所需的设置和操作。

他们为新数据基础设施的设计和构建做好了准备。在 PoC 成功后,公司决定采用 Google Cloud。大约一个月后,仪表板被部署到用户部门。这些仪表板以可视化方式显示集成数据并支持业务决策。这种先进的数据利用实现了快速决策和效率。

 

构建 Google Cloud 项目的具体配置

基本配置以BigQuery为中心,前端使用 Cloud Storage 进行数据收集,使用 App Engine、Cloud SQL、Cloud Scheduler、Pub/Sub 和 Compute Engine。使用 Cloud AutoML 和 Vision API 分析 BigQuery 中积累的数据。还利用各种 Google Cloud 服务进行监控。使用的所有产品:#App Engine #BigQuery #Cloud Pub/Sub#Cloud Scheduler #Cloud SQL #Cloud Storage#Compute Engine #Dialogflow#Google Ad Manager #Google Analytics 360#Pub/Sub #Vision API

引入 Google Cloud 的好处和影响

引入 Google Cloud 带来了两大好处:降低基础设施成本和提高分析效率。

降低基础设施成本:Google Cloud 是一种完全托管的服务,无需设置和操作内部服务器,并允许灵活扩展资源,从而大幅节省成本。

使用 AutoML 提高分析效率:AutoML 自动化了机器学习模型的训练和应用,无需高级专业知识即可访问。这种高级数据利用使人们能够发现新的业务洞察并加快决策速度。这些影响促进了公司的数据战略,推动了业务增长和效率。

对于 Google Cloud 的未来前景和期望

未来,我们计划进一步加强数据基础设施,以便进行全面的数据分析并获得更深入的洞察。此外,我们正在考虑使用 Dialogflow 实现基于聊天的查询系统,以便通过生成式 AI 实现自然语言查询和适当的响应。如需咨询有关谷歌云或考虑引入谷歌云,请随时联系 Cloud Ace。

标签:Google,BigQuery,AutoML,孤岛,数据,Cloud
From: https://www.cnblogs.com/cloudace/p/18404969

相关文章

  • 从知识孤岛到知识共享:内部知识库如何促进团队协作
    在当今快速变化的商业环境中,企业内部的知识管理和协作能力成为决定其竞争力的关键因素之一。然而,许多企业面临着“知识孤岛”的困境,即各部门和团队之间信息交流不畅,知识和经验难以有效传递和共享,导致资源浪费、决策效率低下和创新受阻。一、企业内部的知识孤岛现象知识孤......
  • 告别数据孤岛:数据增量同步方案助力企业数据整合!
    为了更高效、更经济地管理和传输数据,特别是在数据量大、更新频繁的环境中,企业需要通过数据增量同步方案来解决。数据增量同步方案是一种数据同步技术,只同步自上次同步以来发生变化的部分数据,而不是同步整个数据集。具有以下作用:1.减少数据传输量:在文件同步过程中,如果只同步发生......
  • 拯救大兵瑞恩 孤岛营救
    //拯救大兵瑞恩.cpp:此文件包含"main"函数。程序执行将在此处开始并结束。///**http://ybt.ssoier.cn:8088/problem_show.php?pid=1495*https://loj.ac/p/6121*https://www.luogu.com.cn/problem/P4011【题目描述】1944年,特种兵麦克接到国防部的命令,要求立即赶......
  • 大型企业如何整合集成全域数据、解决数据孤岛难题?
    今天,我们说一下大型企业全域数据的整合集成问题。通常,中大型企业和集团公司拥有大量多源异构的数据存储资源,如数据仓库、数据湖以及分布于分子公司和混合多云平台的业务系统,通过传统物理集中统一数据资产管理的方式难度高,代价大,这就带来一系列问题:数据孤岛普遍存在,包括随着业......
  • 《孤岛惊魂6》风灵月影修改器:全方位使用指南与技巧分享
    对于《孤岛惊魂6》的玩家来说,风灵月影修改器无疑是一个强大的辅助工具,它能极大地改变游戏体验,提供从无限资源到增强角色能力的各种便利。本文将详细介绍风灵月影修改器的使用方法,并分享一些高级技巧,帮助玩家掌握这一工具,享受更自由、更丰富的游戏乐趣。修改器概述风灵月影修......
  • 基于事件触发机制的孤岛微电网二次电压与频率协同控制仿真模型(Simulink仿真实现)
    ......
  • LightAutoML——大型金融服务生态系统的 AutoML 解决方案
    尽管AutoML几年前就开始流行,但早期的工作AutoML的历史可以追溯到90年代初当科学家发表第一篇关于超参数优化的论文时。2014年,ICML组织了第一届AutoML研讨会,AutoML引起了ML开发者的关注。AutoML多年来的主要关注点之一是超参数搜索问题,其中模型实现了一系列优化方......
  • 打造企业Wiki,打通信息孤岛
    引言:在现代企业中,信息孤岛是一个普遍存在的问题,不同部门之间、不同团队之间甚至是同一团队内部都存在信息闭塞的情况。而企业Wiki作为一种强大的知识管理办法,可以帮助企业打通信息孤岛,促进信息共享和团队协作。本文将介绍如何打造企业Wiki系统,让信息流畅传递,打破沟通壁垒,提升......
  • 精选 | Google Cloud Next'24 拉斯维加斯会议 BigQuery 连续查询报告
    本篇由CloudAce数据解决方案部高级工程师撰写。 我听说了拉斯维加斯GoogleCloudNext'24举办的“使用BigQuery连续查询构建连续数据和AI管道”(“BuildcontinuousdataandAIpipelineswithBigQuerycontinuousqueries”)会议,我想对此进行报道。 本次会议......
  • 【论文随笔】深度推荐系统的自动化_一项调查(Automl for deep recommender systems_ A
    前言今天读的论文为一篇于2021年1月发表在ACMTransactionsonInformationSystems的论文,本文是一篇关于深度推荐系统自动化机器学习(AutoML)的综述,由RuiqiZheng、LiangQu、BinCui、YuhuiShi和HongzhiYin共同撰写。文章首先提出了一个抽象概念——AutoMLforDeepRecommende......