首页 > 其他分享 >fugue 分布式计算通用接口

fugue 分布式计算通用接口

时间:2023-12-23 10:22:07浏览次数:28  
标签:fugue 分布式计算 接口 io sql tutorials

fugue提供了通用方便分布式计算的接口,可以高效的访问大数据项目,提供了python,pandas,sql 等模式
如下图


从上图可以看出fugue 提供了一个语义层,我们的计算任务可以运行在ray,dask,spark,以及duckdb 中

参考架构

可以看出fugue 提供了不少方便的能力,比如sql,机器学习,以及流处理

说明

对于搞机器学习以及数据分析的场景,fugue 还是值得试用下的,官方文档也比较全

参考资料

https://github.com/fugue-project/fugue
https://fugue-tutorials.readthedocs.io/tutorials/fugue_sql/index.html
https://optuna.org/
https://hyperopt.github.io/hyperopt/

标签:fugue,分布式计算,接口,io,sql,tutorials
From: https://www.cnblogs.com/rongfengliang/p/17922749.html

相关文章

  • java接口自动化测试实战003----fastjson处理传入参数为JSON格式数据
    一、fastjson概述1、概述   fastjson是阿里爸爸开发的一款专门用于Java开发的包,可以方便的实现json对象与JavaBean对象的转换,实现JavaBean对象与json字符串的转换,实现json对象与json字符串的转换。2、常用API   fastjsonAPI入口类是com.alibaba.fastjson.JSON,常......
  • java接口自动化测试实战002----测试数据封装及ExcelUtil优化
    一、利用testNG测试框架进行封装1、封装实现新建测试类,类中新增多个方法,每个方法存储一条测试数据并调用HttpUtl类中的doGet或doPost方法。缺点:代码复杂、繁琐,且不适用测试数据量大的情况。2、封装步骤(1)maven的pom.xml文件中添加testNG测试框架的依赖,如下所示:<!--https://......
  • java接口自动化测试实战004----分表存储接口信息和用例信息之CaseUtil和RestUtil
    一、分表存储用例信息和接口信息1、实现思想  将用例相关信息存储在用例表单中,将接口信息存储在接口信息表单中,创建对应的类存储表单中的信息。2、实现步骤(1)修改表格文件,分表存储用例信息和接口信息,如下图所示:     (2)修改ExcelUtil中的读取函数datas,让表单名称......
  • Java8之函数式接口@FunctionalInterface和lambada表达式
    跟着孙哥学Spring,b站:https://www.bilibili.com/video/BV185411477k/?spm_id_from=333.337.search-card.all.click在Java中,函数式接口和Lambda表达式是一种常见的编程模式,主要用于简化代码和提高代码的可读性。函数式接口(FunctionalInterface)函数式接口是Java8中引入的一个......
  • 视频监控LiteCVR可视化云平台接口支持获取视频帧率与编码格式
    2023年,AI视频监控技术迎来了显著的发展和成果,为安全领域和其他行业带来更智能、高效的解决方案,其中边缘AI发展也十分显著。边缘计算中AI的广泛应用将使设备能够在本地处理数据,而不必依赖云服务器,从而实现更快的响应时间和更强的隐私保护。 LiteCVR可支持设备通过国标GB28181、......
  • python脚本 接口
    在Python中,我们可以使用多种方式来实现和调用接口。以下是一些常见的方法:使用requests库进行HTTP请求:在Python中,我们通常使用requests库来发起API请求¹。例如,我们可以使用requests.get()方法来发起GET请求,并获取返回的状态码¹。此外,我们还可以使用requests.post()方法来发起POST......
  • 使用代码生成工具快速开发应用-结合后端Web API提供接口和前端页面快速生成,实现通用的
    在前面随笔《在Winform应用中增加通用的业务编码规则生成》,我介绍了基于Winform和WPF的一个通用的业务编码规则的管理功能,本篇随笔介绍基于后端WebAPI接口,实现快速的Vue3+ElementPlus前端界面的开发整合,同样是基于代码生成工具实现快速的前端代码的生成处理。1、通用的业务编码......
  • el-select自定义指令用于触底加载分页请求options数据(附上完整代码和接口可直接用)
    问题描述某些情况下,下拉框需要做触底加载,发请求,获取option的数据为了方便复用,笔者封装了一个自定义指令另外也提供了一个简单的接口,用于演示我们先看看效果图效果图思路分析注意事项一el-select要不嵌入到body中为何,不嵌入到body标签中呢?答曰,更加方便自定义指令管理......
  • Map+函数式接口去掉if-else
    判断条件放在key中对应的业务逻辑放在value中这样子写的好处是非常直观,能直接看到判断条件对应的业务逻辑代码:importcom.wing.service.QueryGrantTypeService;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.web.bind.......
  • Unreal入门,开关02,通过蓝图接口开关电视
    1.创建一个蓝图接口改个名字BPI_Interactable设置第一个接口函数为Interact(就是把默认的NewFunction改个名)这里除了改名和新增接口函数,基本什么都干不了(不能添加实现)再添加一个有返回值的接口函数GetState2.创建一个TV创建基于Actor的蓝图并改名为BP_TV添加一个S......