首页 > 其他分享 >数据工程师吐槽:数据API开发遭遇的那些烦心事

数据工程师吐槽:数据API开发遭遇的那些烦心事

时间:2022-10-25 22:31:27浏览次数:97  
标签:数据服务 运维 工程师 吐槽 API 开发 烦心事 数据

数据工程师在岗位设置上位于业务端的上游和数据科学家的下游,在岗位职能上负责根据业务需求开发稳定可靠的数据服务API,通过API的方式交付给业务端使用。

src=http___pic1.zhimg.com_v2-1bf6ef59963730e76c128148d882c88c_1200x500.jpg&refer=http___pic1.zhimg.webp.jpg

所以,很多时候数据开发工程师被人们认为是干苦活儿的,所以经常听到数据开发工程师吐槽。这篇文章就为大家解读数据API开发过程中,除了开发数据表还需要面对哪些烦心事。

(1)如何交付数据服务:业务部门通常需要使用数据接口(RPC和HTTP)的方式来使用数据,数据开发工程师要求建立对应的数据服务,更加高效、灵活、解耦。

(2)如何开发数据服务API:主流的数据服务有多种形式,例如KV API(简单点查)、SQL API(复杂灵活查询API)、Union API(混合API)等,需要数据开发工程师根据业务的具体需求进行选择开发。

(3)如何规范访问权限:数据服务API完成开发后,数据开发工程师要考虑权限问题,确保数据服务是在权限许可的范围内被安全的访问。

(4)如何确保服务可用性:这是开发数据服务API的核心价值。不管是某个业务部门访问,还是整个集团范围的访问,完成开发后,要反复进行压力测试,用多种手段保障数据访问的稳定性。

(5)如何避免重复造轮子:很多时候公司在不同业务线下,经常会出现数据同步和微服务都是相同的,重复造轮子的情况屡见不鲜——重复开发数据服务,造成了一定程度的资源浪费;传统数据API开发方式效率低下,从数据开发到最终交付数据服务,短则几天长则数十天。

(6)如何解决API运维问题:一个数据服务API的完整生命周期将涉及多个运维环节的问题,如扩容、迁移、下线、接口变更、服务报警等,几十甚至成百上千的数据服务API所面临的运维问题可能是指数级的增加。

根据数据开发工程师吐槽的这些问题,如果继续通过传统数据API开发方式寻找答案,只会越走越远。这里,为数据开发工程师推荐一款新工具——麦聪DaaS平台可以高效地解决传统API开发所遭遇的问题。

这里为大家简单解读一下麦聪DaaS平台在数据API开发和管理方面突出优势。在数据API开发方面,用户只需在Web界面上选数据库和表,设定请求参数、返回参数几分钟即可完成一个数据API开发。

在权限管理方面,调用数据API前,用户需要经管理员审批通过后,才能拿到API的调用地址和请求示例的使用权限,例如可设置访问用户的权限,只读、可读写等。

在解决重复造轮子的问题上,用户可以基于他人共享的数据API进行扩展和更新,提高API的重复率。

在数据API运维方面,用户可以根据业务需求和资源限制针对数据API进行查看、下线、删除、修改、复制、分享及版本切换等运维操作,即便一个人面对成百上千的数据API也能轻松管控。

点击此次查看如何快速创建及管理数据API实操视频

标签:数据服务,运维,工程师,吐槽,API,开发,烦心事,数据
From: https://blog.51cto.com/u_12208051/5795142

相关文章

  • 实验7:基于REST API的SDN北向应用实践
    一、实验目的1.能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;2.能够编写程序调用RyuRESTAPI实现特定网络功能。二、实验环境1.下载虚拟机软件OracleVisua......
  • 实验7:基于REST API的SDN北向应用实践
    目录基础要求编写Python程序,调用OpenDaylight的北向接口实现以下功能:(1)利用Mininet平台搭建下图所示网络拓扑,并连接OpenDaylight;(2)下发指令删除s1上的流表数据。(3)下发硬......
  • 实验7:基于REST API的SDN北向应用实践
    一、实验目的1.能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;2.能够编写程序调用RyuRESTAPI实现特定网络功能。二、实验环境1.下载虚拟机软件OracleVisua......
  • 实验7:基于REST API的SDN北向应用实践
    实验7:基于RESTAPI的SDN北向应用实践一、实验目的1.下载虚拟机软件OracleVisualBox或VMware;2.在虚拟机中安装Ubuntu20.04Desktopamd64,并完整安装Mininet、OpenDayli......
  • 实验7:基于REST API的SDN北向应用实践
    实验7:基于RESTAPI的SDN北向应用实践一、实验目的能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;能够编写程序调用RyuRESTAPI实现特定网络功能。二、......
  • 实验7:基于REST API的SDN北向应用实践
    一、基础要求1.编写Python程序,调用OpenDaylight的北向接口实现以下功能(1)利用Mininet平台搭建下图所示网络拓扑,并连接OpenDaylight;(2)下发指令删除s1上的流表数据。#!......
  • 实验7:基于REST API的SDN北向应用实践
    一、实验要求(一)基础要求1.编写Python程序,调用OpenDaylight的北向接口实现以下功能(1)利用Mininet平台搭建下图所示网络拓扑,并连接OpenDaylight;(2)下发指令删除s1上的流表......
  • 实验7:基于REST API的SDN北向应用实践
    一、实验目的能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;能够编写程序调用RyuRESTAPI实现特定网络功能。二、实验环境OracleVisualBox;Ubuntu22.04......
  • 实验7:基于REST API的SDN北向应用实践
    一、实验目的能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;能够编写程序调用RyuRESTAPI实现特定网络功能。二、实验环境下载虚拟机软件OracleVisualBox或......
  • 实验7:基于REST API的SDN北向应用实践
    一、实验目的能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;能够编写程序调用RyuRESTAPI实现特定网络功能。二、实验环境下载虚拟机软件OracleVisualBox或......