首页 > 其他分享 >火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验

火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验

时间:2023-08-30 11:00:50浏览次数:46  
标签:引擎 DataLeap 任务 Notebook 交互式 数据 开发

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

Notebook 是一种支持 REPL 模式的开发环境。所谓「REPL」,即「读取-求值-输出」循环:输入一段代码,立刻得到相应的结果,并继续等待下一次输入。Notebook通常使得探索性的开发和调试更加便捷,在 Notebook 环境,用户可以交互式地在其中编写你的代码、运行代码、查看输出、可视化数据并查看结果,使用起来非常灵活。

在数据开发领域,Notebook 广泛应用于数据清理和转换、数值模拟、统计建模、数据可视化、构建和训练机器学习模型等方面。

但是显然做数据开发,只有 Notebook 是不够的。目前,火山引擎 DataLeap 数据研发平台提供了任务开发、发布调度、监控运维等一系列能力,并将 Notebook 作为一种任务类型,加入进 DataLeap 数据研发平台,使用户既能拥有 Notebook 交互式的开发体验,又能享受一站式大数据研发治理套件提供的便利。

在火山引擎 DataLeap 数据研发平台,开发过程围绕的核心是任务。用户可以在项目下的任务开发目录创建子目录和任务,像 IDE (集成开发环境)一样通过目录树管理其任务。Notebook 也是一种任务类型,用户可以启动一个独立的任务 Kernel 环境,像开发其他普通任务一样使用 Notebook。

火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验_数据中台

图:火山引擎 DataLeap 数据开发 Notebook 任务界面

基于简化运维成本、降低架构复杂性,以及提高用户体验的考虑,2021 上半年,火山引擎 DataLeap研发人员对整体架构进行了一次改良。新的架构主要做了以下改进,大致简化为下图


  1. 移除 JupyterHub(https://jupyterhub.readthedocs.io/en/stable/),将 JupyterLab (https://jupyterlab.readthedocs.io/en/stable/getting_started/overview.html)改为多实例无状态常驻服务,并实现对接 火山引擎DataLeap 的多用户鉴权。
  2. 改造原本落在 JupyterLab 本地的数据存储,包括用户自定义配置、Session 维护和代码文件读写。
  3. Enterprise Gateway(EG)支持持久化 Kernel,将 Kernel 远程环境元信息持久化在远端存储(MySQL)上,使其重启时可以重连,且 JupyterLab 可以知道某个 Kernel 需要通过哪个 EG(https://jupyter-enterprise-gateway.readthedocs.io/en/latest/) 连接。


火山引擎 DataLeap 助你拥有 Notebook 交互式的开发体验_数据研发_02

图:火山引擎 DataLeap 下改进版 Notebook 整体架构

架构升级简化后,整套 Notebook 服务的稳定性获得了极大的提升。由于实现了用户无感知的升级, DataLeap不仅提升了用户的使用体验,运维、算力、人力等成本也得到了极大地降低。

据了解,Notebook 任务已成为字节跳动内部使用较为高频的任务类型。外部用户可以购买火山引擎 DataLeap,即一站式大数据研发治理套件,开通交互式分析的版本,使用到 DataLeap 的 Notebook 任务。

点击跳转大数据研发治理套件 DataLeap了解更多


标签:引擎,DataLeap,任务,Notebook,交互式,数据,开发
From: https://blog.51cto.com/bytedata/7288671

相关文章

  • 使用SpringBoot实现网页版交互式增删改查
    1、新建项目选中以下几个DevelopTools:2、引入依赖<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency>......
  • Docker非交互式运行命令
    Docker交互式shell-interactiveshelldockerexec最常见的用法。你可以使用-it参数启动一个交互式shell,如/bin/bash或/bin/sh,然后在容器内部执行命令非交互式执行--用来执行预先设定的命令单个命令脚本和单个命令执行脚本的shell都是“非交互式”的,但......
  • 智定义、易调整,火山引擎DataLeap助力企业轻松实现全流程值班管理
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,火山引擎大数据研发治理套件DataLeap全新上线值班管理模块,企业可通过该模块体系化智能化创建值班计划、管理值班人员,适用于运维排班、值班提醒、计划管理、监控报警等实际应用场景。值班工作......
  • 智定义、易调整,火山引擎DataLeap助力企业轻松实现全流程值班管理
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 近日,火山引擎大数据研发治理套件DataLeap全新上线值班管理模块,企业可通过该模块体系化智能化创建值班计划、管理值班人员,适用于运维排班、值班提醒、计划管理、监控报警等实际应用场景......
  • 火山引擎 DataLeap:从短视频 APP 实践看如何统一数据指标口径
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群短视频正在成为越来越多人发现世界的窗口,其背后的创作者生态建设是各大短视频APP不可忽视的重要组成部分。为了激励更多优质内容生产,某短视频APP经常面向创作者主办投稿活动,而在复盘投稿数据......
  • 火山引擎 DataLeap:从短视频 APP 实践看如何统一数据指标口径
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群短视频正在成为越来越多人发现世界的窗口,其背后的创作者生态建设是各大短视频APP不可忽视的重要组成部分。为了激励更多优质内容生产,某短视频APP经常面向创作者主办投稿活动,而在复盘投稿......
  • 一种用于预测胰腺癌患者的淋巴结比率和存活率的交互式Bayes模型
    回复我们公众号“1号程序员”的“E006”可以获取原文下载地址。[关注并回复:【E006】] 摘要背景 局部淋巴结状态早已被用于癌症患者临床结果的二分预测。而最近以来,人们对淋巴结比率(LNR)的预后作用,即对量化的检测到的阳性淋巴结比率越来越感兴趣。然而对于淋巴结比率和其对癌症......
  • 交互式Docker以及Yaml
    EulerOS、openEulerEulerOSLinux又为被称为华为欧拉Linux.华为欧拉系统主要针对企业级的Linux服务器操作系统,针对B端用户,一般用在企业的大型计算机上,是企业IT系统的基础架构平台进程内存管理网络容器技术编译系统、虚拟存储系统、CPU调度、IO驱动、网络和文件系统Harm......
  • 字节跳动基于DataLeap的DataOps实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群本文根据ArchSummit全球架构师峰会(深圳站)来自抖音数据研发负责人王洋的现场分享实录整理而成(有删减),本次分享主要包含字节跳动数据研发的模式与挑战、DataOps理念在字节的具象、DataOps产品化......
  • 使用Vue.js构建交互式的前端应用
    引言Vue.js是一种流行的JavaScript框架,用于构建交互式的前端应用程序。它具有简单易用的API和灵活的组件化架构,使开发人员能够快速构建高效的用户界面。什么是Vue.js?Vue.js是一种用于构建用户界面的开源JavaScript框架。它采用了MVVM(Model-View-ViewModel)架构模式,通过数据绑定和......