• 2024-11-05window下的打包脚本
    1.安装7z打包工具并添加到环境变量将项目下载到目录2.执行下面脚本@echooffSETLOCALEnableDelayedExpansion::检查edata-dataops-ui目录是否存在ifnotexistedata-dataops-ui(echoDirectoryedata-dataops-uidoesnotexist.exit/b1)::进入eda
  • 2024-10-17白鲸开源 WhaleStudio 入选「OSCAR 开源尖峰商业化」案例
    2024年10月16日,由中国通信标准化协会主办、中国信息通信研究院承办的“2024OSCAR开源产业大会”在北京成功举办。工业和信息化部信息技术发展司软件产业处处长李琰、中国信息通信研究院党委副书记王晓丽、中国通信标准化协会副理事长兼秘书长代晓慧出席并发表致辞。人民日报出版
  • 2024-10-13读数据工程之道:设计和构建健壮的数据系统06底层设计(下)
    1.数据问责制1.1.数据问责制意味着分配一个人来管理一部分数据1.1.1.负责人协调其他利益相关者的治理活动1.1.2.如果没有人对相关数据负责,那么管理数据质量就会很困难1.1.3.负责数据的人不一定是数据工程师1.1.4.负责人可能由软件工程师、产品经理或其他角色担任1.1.5
  • 2024-08-29主动元数据和 DataOps 体系建设有什么关系?
    首先,主动元数据是相对静态元数据而言,它是一种动态、智能化的元数据管理技术,能够将传统静态元数据的被动等待变为实时在线、主动触发,推动数据探查、开发、测试、部署、运维和监控等数据治理工作高效运转,为数据的治理开发决策提供智能化支持。Gartner将主动元数据定义为“是对所有可
  • 2024-08-27AI创新,DataOps聚能 | 白鲸开源DTCC共话DataOps新篇章
    近日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届中国数据库技术大会(DTCC2024)隆重召开。大会以“自研创新数智未来”为主题,吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴,共同探讨新时代下数据库的技术动态和应用实践。作为全球领先
  • 2024-08-07AI 大模型时代呼唤新一代基础设施,DataOps 2.0和调度编排愈发重要
    在AI时代,DataOps2.0代表了一种全新的数据管理和操作模式,通过自动化数据管道、实时数据处理和跨团队协作,DataOps2.0能够加速数据分析和决策过程。它融合了人工智能和机器学习技术,使得数据的获取、清洗和分析更加高效,推动企业在快速变化的市场中保持竞争优势。另一方面,在AI
  • 2024-07-25DataOps 新趋势:联通数科如何利用 DolphinScheduler 实现数据一体化管理
    引言在DataOps(数据运营)的推动下,越来越多的企业开始关注数据研发和运营的一体化建设。DataOps通过自动化和流程优化,帮助企业实现数据的高效流转和管理。当前,ApacheDolphinScheduler作为一款开源的分布式调度系统,凭借其灵活的插件机制和强大的调度能力,已经成为许多企业构建数据
  • 2024-07-082024全球数字经济大会:大模型时代下DataOps驱动企业数智化升级
    7月5日,以“开源生态筑基础,数字经济铸未来”为主题的2024全球数字经济大会在北京成功举办,来自全国各地的专家学者、企业代表、数据库行业从业人士及众多开源开发者,共聚一堂,共同探讨开源数据库技术的发展现状与未来趋势,助力构建开放、共赢的数据库生态体系,为开源生态的繁荣发展添砖
  • 2024-07-08从数据到洞察:DataOps加速AI模型开发的秘密实践大公开!
    作者|代立冬,白鲸开源科技联合创始人&CTO引言在AI驱动的商业世界中,DataOps作为连接数据与洞察的桥梁,正迅速成为企业数据战略的核心。在WOT全球技术创新大会2024·北京站,白鲸开源联合创始人&CTO代立冬在「大数据技术与基础设施」专场深入分析DataOps的核心理念、AI大模型开
  • 2024-06-20DataOps真能“降本增效”?
    在各行各业中,越来越多的公司开始重视收集数据,并寻找创新方法来获得真实可行的商业成果,并且愿意投入大量时间和金钱来实现这一目标。据IDC称,数据和分析软件及云服务市场规模在2021年达到了900亿美元,随着企业继续对人工智能和机器学习(AI/ML)和现代数据计划进行投资,预计到2
  • 2024-06-07一文搞懂DevOps、DataOps、MLOps、AIOps:所有“Ops”的比较
    引言近年来,“Ops”一词在IT运维领域的使用迅速增加。IT运维正在向自动化过程转变,以改善客户交付。传统的应用程序开发采用DevOps实施持续集成(CI)和持续部署(CD)。但对于数据密集型的机器学习和人工智能(AI)应用,精确的交付和部署过程可能并不适用。本文将定义不同的“Ops”并解释
  • 2024-04-16裁员了!别错过2024年大数据工程师必备的10项技能
    在当今快速发展的世界中,数据被视为新的石油。随着对数据驱动洞察的日益依赖,大数据工程师的角色比以往任何时候都更为关键。这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角色。在本文中,我们将探索2024年大数据工程师必须具备的十项技能。理解大数据工程师的角色
  • 2023-12-18火山引擎DataLeap:助你实现从数据研发1.0到数据研发3.0的跨越
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,火山引擎开发者社区Meetup第12期暨超话数据专场在深圳举办,本次活动主题为“数智化转型背景下的火山引擎大数据技术揭秘”,来自DataLeap的产品经理黄虹带来了DataOps相关实践的分
  • 2023-11-08Apache DolphinScheduler PMC代立冬荣获中关村U30青年创业者荣誉
    北京,[2023年11月3日]—在中关村举行的U30年度优胜者见面交流会上,白鲸开源科技的联合创始人代立冬先生荣幸被选为年度优胜者之一。这是对代先生及白鲸开源科技在云原生DataOps平台领域创新成就的高度认可。中关村U30是由中国科协科学技术传播中心、共青团北京市委员会、北京市科
  • 2023-10-03从“概念”到“应用”,字节跳动基于 DataLeap 的 DataOps 实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,火山引擎数智平台VeDIMeetup「超话数据」在深圳举办,来自火山引擎的产品专家分享了字节跳动基于DataLeap的DataOps实践,数据研发面临的挑战以及字节跳动最佳实践。现如今,越来越多的企业也
  • 2023-10-03从“概念”到“应用”,字节跳动基于 DataLeap 的 DataOps 实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 近日,火山引擎数智平台VeDIMeetup「超话数据」在深圳举办,来自火山引擎的产品专家分享了字节跳动基于DataLeap的DataOps实践,数据研发面临的挑战以及字节跳动最佳实践。 现如今,越
  • 2023-09-27生态兼容性进一步提升!白鲸开源 WhaleStudio 与火山引擎ByteHouse完成产品互认
    数据作为新型生产要素,已快速融入生产、分配、流通、消费和社会服务管理等各环节,深刻改变着生产方式、生活方式和治理方式。越来越多企业也在尝试充分利用数据要素,开辟全新发展路径,进一步实现业务价值提升。在数字化转型的大背景之下,白鲸开源旗下WhaleStudio与火山引擎ByteHouse
  • 2023-08-23字节跳动基于DataLeap的DataOps实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群本文根据ArchSummit全球架构师峰会(深圳站)来自抖音数据研发负责人王洋的现场分享实录整理而成(有删减),本次分享主要包含字节跳动数据研发的模式与挑战、DataOps理念在字节的具象、DataOps产品化
  • 2023-08-04 看一家头部实干派互娱公司如何玩转DataOps?
    DataOps的概念自首次被提出至今已有8年,并在2018年被Gartner纳入数据管理技术成熟度曲线。从实施上看,当下DataOps仍处在发展初期,鲜少企业或团队能据此真正沉淀一套方法论或技术产品的体系。不过,随着越来越多的企业开启DataOps实践,相信令人“雾里看花”的DataOps方法体系也会逐渐明朗
  • 2023-08-03白鲸调度系统助力国内头部券商打造国产信创化 DataOps 平台
    导读国内某头部券商是国内排名前三的全国性大型综合证券公司。作为证券行业领头羊之一,该券商一直高度重视核心系统的自主可控以及网络信息安全。早些时候,其已经完成了信创化数据库改造和OA系统适配,接下来的当务之急是完成数据能力平台的信创化改造。随着该券商近年来数据中台的发
  • 2023-08-03白鲸调度系统助力国内头部券商打造国产信创化 DataOps 平台
    导读国内某头部券商是国内排名前三的全国性大型综合证券公司。作为证券行业领头羊之一,该券商一直高度重视核心系统的自主可控以及网络信息安全。早些时候,其已经完成了信创化数据库改造和OA系统适配,接下来的当务之急是完成数据能力平台的信创化改造。随着该券商近年来数据中台的
  • 2023-07-30活动回顾|火山引擎 DataLeap 分享:DataOps、数据治理、指标体系最佳实践(文中领取 PPT)
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 在7月21日至22日举行的 ArchSummit全球架构师峰会(深圳站)及 DataFunCon.数据智能创新与实践大会(北京站)上,来自火山引擎DataLeap的三位专家分别就 DataOps、数据治理和指标体系等
  • 2023-06-06如何在海量、庞杂、混合的数据中发现价值?
    5月25日,第四期UGeek大咖说如期召开,本期大咖说聚焦DataOps领域,邀请了中国信息通信研究院云计算与大数据研究所工程师尹正,极氪汽车大数据产品负责人赵松共同参与本次直播,围绕“DataOps重构数据生产力”这一话题展开了深入探讨。下面,跟着鹿小U一起来回顾本期直播主要内容!直播回顾PART1
  • 2023-03-25DataOps是什么
    1►DataOps到底是什么?伴随着全球数字化转型的高速发展,在云计算、物联网、5G、边缘计算、元宇宙等新技术的驱动下,数据爆炸的时代已经来临。IDCGlobalDataSphere显示,2021
  • 2023-02-17火山引擎入选《2022 爱分析 · DataOps 厂商全景报告》,旗下 DataLeap 产品能力获认可
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群2月9日,国内领先的数字化市场研究与咨询机构爱分析发布了《2022爱分析·DataOps