更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群
本文讲述字节跳动一款 App 产品的数据治理故事。该产品随着用户体量和数据体量不断增长，数仓的任务量、数据量也不断攀升，运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎 DataLeap 的数据治理能力，3 个月时间将计算成本大幅缩减 20%。
该产品是一款近千万级 DAU 的产品，疫情 3 年，催生了大量的线下需求转型至线上，海量的数据虽然为产品创造了巨大的价值，但是也增高了计算成本和存储成本。“成本治理专项”成为了这个产品的重要工作之一，为了解决数据治理的问题，产品接入了火山引擎自研的大数据开发套件——DataLeap，主要围绕下述两个场景进行成本治理：
1. 快速启动并获得收益
大数据场景下计算资源的重要价值和昂贵成本，需要每个任务都按需使用。而在实际的业务开发过程中，存在大量的异常计算任务，浪费了大量的计算资源。计算场景也因此成为该产品数仓团队成本治理的关键切入点。
通过 DataLeap，数仓团队可以设置明确治理目标，并配置治理域，通过选定各种规则的任务治理，比如关闭/下线无效任务、优化高耗时并且占用资源 TopN 任务、优化资源申请不合理 TopN 任务、优化表产出小文件 TopN 任务等，由此对队列阻塞情况进行改善，完成阶段性进行缩容。
DataLeap 还支持对任务执行进行全链路监控，自动发现这些异常的计算任务，并在工作台进行展示，让数据研发人员可以查看相应任务，并采取治理措施。
2. 按季度持续治理
数据治理是一项长期性、系统性的工作，通过 DataLeap 平台，该产品优先实现了数据按季度持续治理。
DataLeap 平台提供一系列任务圈选规则，可以圈选出无效、高耗时、资源申请不合理、小文件异常、近 7 天内无更新、写入数据、近 90 天无访问表等规则，进行定期扫描，由此实现周期性成本治理。除此之外，DataLeap 还提供通知、一键拉群等治理运营操作，支持查看治理效果，沉淀治理经验，有效推动数仓团队成本推动进展。
其次，为了能更直观监测到数仓健康度、量化治理效果，产品团队还引入了 DataLeap「健康分」体系。一旦出现健康分不达标情况，会及时限制产品使用资源比例、资源申请等。DataLeap 还支持繁忙和闲置时段队列资源利用率的监测，可以帮助飞书数仓团队优化任务调度措施。
最终，该产品的数仓团队主要从 YARN 和 HDFS 切入，在引入 DataLeap 的三个月内，快速落地成本治理项目。在计算治理场景，实现 YARN 队列成本降低 20%；在存储治理场景，已释放 7PB 存储空间。
-
计算治理
达成目标：缩容 20% 的 CPU core，YARN 队列成本降低 20%
治理场景
回收低使用率/老旧队列
无效任务下线
高耗时任务 &占用资源 TOP N 优化
-
存储治理场景
达成目标：释放 7PB 存储空间
随着数据的不断累积和业务的不断发展，大数据的体量将会变得越来越大，而随之而来的庞大成本，也成为了大数据建设中越来越无法忽视的问题。
火山引擎 DataLeap 基于字节跳动业务场景和实践经验，沉淀有一套完整的数据质量、SLA 治理、资源优化、告警优化的能力，可以为业务提供流畅顺滑的数据治理体验；在流程上，覆盖规划式、响应式的用户数据治理双路，同时与各业务密切配合，落地和沉淀多项治理规则。
点击跳转 大数据研发治理套件 DataLeap 了解更多
标签：数仓,计算成本,任务,20%,治理,DataLeap,数据 From： https://www.cnblogs.com/bytedata/p/17147917.html