首页 > 其他分享 >基于MQ的数据处理架构的实践

基于MQ的数据处理架构的实践

时间:2024-02-01 13:22:25浏览次数:27  
标签:脚本 调用 架构 worker Agent MQ 数据处理 转换

思路

我的需求是:做一个数据转换中心,但是数据格式各种各样,转换工具各种各样,有的是插件,有的是软件,格式转换耗时不可控可能几分钟。

我的思路是:server将转换任务简单包装,发送给MQ。Agent持续获取MQ中任务,然后按照既定的脚本或模板,调用worker进行具体转换。

需要注意的是:

1.要制定一个通用的任务脚本规范

2.Agent为了能调用各种类型的程序,本身结构也是不同意的,需要制定一套接口,使用C#、JAVA、ts共同实现

3. Agent调用worker使用什么技术,可以是http接口调用,可以是导入worker支持的自动化脚本,还可以是UIAutomation。

实践:

 

标签:脚本,调用,架构,worker,Agent,MQ,数据处理,转换
From: https://www.cnblogs.com/pujinhong/p/18001008

相关文章

  • 大模型训练、多模态数据处理与融合:从理论到实践
    一、大模型训练大模型是指具有巨大参数量和计算能力的人工神经网络模型,如GPT(GenerativePre-trainedTransformer)系列模型和BERT(BidirectionalEncoderRepresentationsfromTransformers)模型。大模型的训练需要大量的数据和计算资源,同时需要采用合适的优化算法和技术,以提高模型的......
  • MES-集团+多工厂架构与模型部署方案
    概述如何布局集团MES,多工厂MES。集团+多工厂架构,主要考虑一下几个方面:MES服务器架构如何构建;MES功能如何划分;如何做到多地的数据传输与稳定;如何进行多工厂建模。 1、多工厂业务模型集团多工厂模型复杂,因为各工厂、车间生产形态可能不一样、生产线不同、管理方法不同。2、多......
  • Docker基础架构
    本文主要会介绍笔者在学习Docker基础架构时所总结的知识点,其中会涉及到DockerClient、DockerDaemon以及DockerDriver等几个方面的相关内容。笔者也会将自己的理解在文中进行阐述,这也算是在和大家交流心得的一个过程。若文中有错误的理解和概念,请大家及时纠正;吸纳大家的建议,对于......
  • 2024年Java架构师面试宝典 图文并茂 10G面试题 请收藏
    全套面试题已打包2024最全大厂面试题下载点我Java基础知识在任何一个Java架构师的面试中,基础知识始终是不可或缺的部分。你需要确保对以下几个方面有深入的理解:集合框架:如何选择合适的集合类?HashMap和ConcurrentHashMap有什么区别?多线程与并发:synchronized和ReentrantLock的......
  • 动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件-02
    RabbitMQ集群cluster与高可用RabbitMQ的集群分两种模式,一种是默认集群模式,一种是镜像集群模式;在RabbitMQ集群中所有的节点(一个节点就是一个RabbitMQ的broker服务器)被归为两类:一类是磁盘节点,一类是内存节点;磁盘节点会把集群的所有信息(比如交换机、绑定、队列等信息)持久化......
  • openstack 架构
    OpenStack既是一个社区,也是一个项目和一个开源软件,提供开放源码软件,建立公共和私有云,它提供了一个部署云的操作平台或工具集,其宗旨在于:帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。OpenStackd开源项目由社区维护,包括OpenStac......
  • 低功耗休眠唤醒之三级环形架构
    前言   无线通信技术相关应用中,用户体验一直是用户关系的重点。无线通讯距离近一点,通讯速度慢一点,这都不是致命的问题,在某些场合下是完全可以接受的,甚至 本身就是项目的技术需求;但是有一些设计缺陷却会严重影响用户体验的,一旦大面积的出现,基本上可以判定为产品失败了;总结起......
  • AMQP 协议
    AMQP(AdvancedMessageQueuingProtocol)即高级消息队列协议,是一个进程间传递异步消息的网络协议。AMQP模型工作过程如下:首先发布者(Publisher)发布消息(Message),经由交换机Exchange。交换机根据路由规则将收到的消息分发给与该交换机绑定的Queue。最后AMQP代理会将消息投......
  • 详解云桌面3种主流架构
    本文简要介绍下云桌面(云电脑)的3种主流架构:VDI、IDV和VOI,概念、原理和区别,欢迎阅读。云桌面作为桌面办公和云计算融合发展的产物,在一定程度上替代了传统的办公形式。目前阿里云、华为云、移动云、电信云,还有华三、锐捷、中兴等互联网大厂都在积极布局该领域。 云桌面的技术原......
  • RabbitMQ 命令行操作
    启动&停止服务器启动服务器rabbitmq-serverstart&停止服务器rabbitmqctlstop_app查看管控台http://localhost:15672/#用户名guest#密码guest命令行基础操作1.应用关闭应用rabbitmqctlstop_app启动应用rabbitmqctlstart_app查看节点......