首页 > 其他分享 >开发调试更便捷!火山引擎 DataLeap 提供 Notebook 交互式开发体验

开发调试更便捷!火山引擎 DataLeap 提供 Notebook 交互式开发体验

时间:2023-08-20 14:32:12浏览次数:34  
标签:DataLeap 火山 任务 引擎 开发 Notebook

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

Notebook 是一种支持 REPL 模式的开发环境。

所谓「REPL」,即「读取-求值-输出」循环:输入一段代码,立刻得到相应的结果,并继续等待下一次输入。Notebook 通常使得探索性的开发和调试更加便捷,在 Notebook 环境,用户可以交互式地在其中编写你的代码、运行代码、查看输出、可视化数据并查看结果,使用起来非常灵活。

在数据开发领域,Notebook 广泛应用于数据清理和转换、数值模拟、统计建模、数据可视化、构建和训练机器学习模型等方面。

但是显然做数据开发,只有 Notebook 是不够的。目前,火山引擎 DataLeap 数据研发平台提供了任务开发、发布调度、监控运维等一系列能力,并将 Notebook 作为一种任务类型,加入进 DataLeap 数据研发平台,使用户既能拥有 Notebook 交互式的开发体验,又能享受一站式大数据研发治理套件提供的便利。

在火山引擎 DataLeap 数据研发平台,开发过程围绕的核心是任务。用户可以在项目下的任务开发目录创建子目录和任务,像 IDE (集成开发环境)一样通过目录树管理其任务。Notebook 也是一种任务类型,用户可以启动一个独立的任务 Kernel 环境,像开发其他普通任务一样使用 Notebook。

开发调试更便捷!火山引擎 DataLeap 提供 Notebook 交互式开发体验_运维

图:火山引擎 DataLeap 数据开发 Notebook 任务界面

基于简化运维成本、降低架构复杂性,以及提高用户体验的考虑,2021 上半年,火山引擎 DataLeap 研发人员对整体架构进行了一次改良。新的架构主要做了以下改进,大致简化为下图

  1. 移除 JupyterHub(https://jupyterhub.readthedocs.io/en/stable/),将 JupyterLab (https://jupyterlab.readthedocs.io/en/stable/getting_started/overview.html)改为多实例无状态常驻服务,并实现对接 火山引擎 DataLeap 的多用户鉴权。
  2. 改造原本落在 JupyterLab 本地的数据存储,包括用户自定义配置、Session 维护和代码文件读写。
  3. Enterprise Gateway(EG)支持持久化 Kernel,将 Kernel 远程环境元信息持久化在远端存储(MySQL)上,使其重启时可以重连,且 JupyterLab 可以知道某个 Kernel 需要通过哪个 EG(https://jupyter-enterprise-gateway.readthedocs.io/en/latest/) 连接。

开发调试更便捷!火山引擎 DataLeap 提供 Notebook 交互式开发体验_大数据_02

图:火山引擎 DataLeap 下改进版 Notebook 整体架构

架构升级简化后,整套 Notebook 服务的稳定性获得了极大的提升。由于实现了用户无感知的升级, DataLeap 不仅提升了用户的使用体验,运维、算力、人力等成本也得到了极大地降低。

据了解,Notebook 任务已成为字节跳动内部使用较为高频的任务类型。外部用户可以购买火山引擎 DataLeap,即一站式大数据研发治理套件,开通交互式分析的版本,使用到 DataLeap 的 Notebook 任务。


点击 火山引擎大数据研发治理套件DataLeap 了解更多

标签:DataLeap,火山,任务,引擎,开发,Notebook
From: https://blog.51cto.com/bytedata/7161599

相关文章

  • 开发调试更便捷!火山引擎 DataLeap 提供 Notebook 交互式开发体验
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 Notebook是一种支持REPL模式的开发环境。 所谓「REPL」,即「读取-求值-输出」循环:输入一段代码,立刻得到相应的结果,并继续等待下一次输入。Notebook通常使得探索性的开发和调试更加便......
  • 嵌入式开发软件安装教程(STM32CubeMX+MDK)
    1.STM32CubeMX,图形化配置工具安装STM32CubeMX必须具备的条件(1)JRE(JavaRuntimeEnvironment):JAVA运行环境。(2)STM32CubeMX软件:图形化配置,生成初始化代码。(3)HAL库PACK包:F0、F1、F3、H7等Cortex内核,都需要对应的PACK包安装。安装步骤:安装路径尽量避免出现中文1.1安装JAVAJRE......
  • Qt安卓开发经验技巧总结V202308
    01:01-05pro中引入安卓拓展模块QT+=androidextras。pro中指定安卓打包目录ANDROID_PACKAGE_SOURCE_DIR=$$PWD/android指定引入安卓特定目录比如程序图标、变量、颜色、java代码文件、jar库文件等。AndroidManifest.xml每个程序唯一的一个全局配置文件,里面xml格式的......
  • 桌面版vscode用免费的微软4核8G服务器做远程开发(编译运行都在云上,还能自由创建docker
    欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览在前文《浏览器上写代码,4核8G微软服务器免费用,Codespaces真香》中,咱们以一个Java程序员视角体验了GitHub的Codespaces产品的beta版,简单来说有以下两大收获:网......
  • 野火F1开发板STM32案例 0.96 oled综合库使用
    野火F1开发板STM32案例0.96oled综合库使用硬件平台野火STM32F103ZET6霸道V2开发板正点原子F1系列开发板0.96IIColed模块软件平台KeilMDK5.31串口调试助手IIC总线处理器和芯片间的通信可以形象的比喻成两个人讲话:1、你说的别人得能听懂:双方约定信号的协议。2、你的语速别人......
  • 基于Supabase开发公众号接口
    在《开源BaaS平台Supabase介绍》一文中我们对什么是BaaS以及一个优秀的BaaS平台--Supabase做了一些介绍。在这之后,出于探究的目的,我利用一些空闲时间基于Microsoft.NET7和Supabase开发了一个微信公众号接口的项目并且发布在Github上。欢迎各位朋友查阅、指导。如果您觉得这个项......
  • 社区版idea插件spring assistant开发springboot项目返回jsp
    最近了解到社区版idea没有专门的sringboot,网上网友提供支持说是springboot社区版有几种开发模式:springinitilizer:https://start.spring.io/在线创建springassistant插件支持(具体版本可以去github找)这次我选择第二种,然而在springboot开发返回jsp页面一直报错前端页面报错:后端控......
  • #yyds干货盘点#electron-egg: 当代桌面开发框架
    当前技术社区中出现了各种下一代技术或框架,却很少有当代可以用的,于是electron-egg就出现了。当前桌面软件技术有哪些?语言技术优点缺点C#wpf专业的桌面软件技术,功能强大学习成本高Javaswing/javaFx跨平台和语言流行GUI库少,界面不美观C++Qt跨平台,功能和类库丰富学习成本高Swift无非跨......
  • 2D应用开发是选择WebGL 还是选择Canvas?
    推荐:使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景在介绍WebGL和Canvas的区别和联系之前,需要先了解它们各自的定义和特点。WebGL是一种基于标准HTML5的技术,用于在Web浏览器中实时渲染3D图形。它是由KhronosGroup开发的一套API(ApplicationProgrammingInterface),允许开......
  • 【补充】软件开发模式对比(瀑布、迭代、螺旋、敏捷)
    【补充】软件开发模式对比(瀑布、迭代、螺旋、敏捷)【1】瀑布模式(WaterfallModel):介绍:瀑布模式是一种线性的开发模式,各个阶段按顺序依次执行,每个阶段严格依赖前一阶段的输出。开发过程划分为需求分析、系统设计、编码、测试和运维等阶段。每个阶段的结果都在下一个阶段开始......