首页 > 其他分享 >分布式系统中的参数传播

分布式系统中的参数传播

时间:2023-06-15 14:00:40浏览次数:32  
标签:分布式系统 传播 参数 SQL 设计 日志 结构


并行执行或者分布式执行一条 SQL,这条 SQL 会被拆成多个子计划(Segment / DFO),这些子计划会被陆续调度到多个节点上执行。

每个子计划都会做一些共同的事情:

  1. 用相同的日志级别打印日志
  2. 基于开关决定是否做 performance log
  3. 读取 session 参数

等等。所以,在设计一个分布式系统时,一定要设计好一个结构,专门用于将一组参数传来传去。

这个结构如果能非常方便地添加新参数,那就更好了。

为什么设计之初就应该把这个事情放在心上呢?因为如果没有早点设计,那么最后这么一个结构会分散嵌套到多个结构中,可管理性大大降低。


标签:分布式系统,传播,参数,SQL,设计,日志,结构
From: https://blog.51cto.com/u_16162111/6486742

相关文章

  • 郭盛华:警惕黑客通过 GitHub 存储库传播恶意软件
    据观察,至少有一半来自与欺诈性网络安全公司相关的假研究人员的GitHub账户在代码托管服务上推送恶意存储库。国际知名白帽黑客、东方联盟创始人郭盛华表示,“所有7个存储库在撰写本文时仍然可用,它们声称是针对Discord、GoogleChrome和MicrosoftExchangeServer中所谓的零日......
  • XGBoost超参数调优指南
    本文将详细解释XGBoost中十个最常用超参数的介绍,功能和值范围,及如何使用Optuna进行超参数调优。对于XGBoost来说,默认的超参数是可以正常运行的,但是如果你想获得最佳的效果,那么就需要自行调整一些超参数来匹配你的数据,以下参数对于XGBoost非常重要:etanum_boost_roundmax_dep......
  • #yyds干货盘点#python关键字参数
    关键字参数kwarg=value 形式的 关键字参数 也可以用于调用函数。函数示例如下:defparrot(voltage,state='astiff',action='voom',type='NorwegianBlue'):print("--Thisparrotwouldn't",action,end='')print("ifyouput......
  • doris/starrocks配置参数修改
    FE参数分为动态参数和静态参数。动态参数可通过SQL命令进行在线配置和调整,方便快捷。静态参数必须在FE配置文件 fe.conf 中进行配置和调整。调整完成后,需要重启FE使变更生效。参数是否为动态参数可通过 ADMINSHOWCONFIG 返回结果中的 IsMutable 列查看。TRUE 表......
  • 参数结合控件筛选显示数据
    SELECT*FROM销量where1=1${if(len(地区)==0,"","and地区='"+地区+"'")}where1=1是为了恒成立,避免后续语句出问题影响到前面控件名称为地区......
  • hadoop优化部分参数
    yarn-site.xml:表示该节点服务器上yarn可以使用的虚拟CPU个数,默认是8,推荐将值配置与物理核心个数相同yarn.nodemanager.resource.cpu-vcores:24设置该节点上yarn可使用的内存,默认为8G,如果节点内存资源不足8G,要减少这个值,yarn不会智能的去检测内存资源,一般这个设置yarn的可用内......
  • go实现高并发高可用分布式系统:设计类似kafka的高并发海量数据存储机制2
    上一节我们完成了数据的存储和索引,本节我们看如何写入数据和进行查询。我们将创建一个Segment对象,它一方面接收发送来的请求,也就是Record数据结构,然后将数据写入到store和index,基本架构如下:在前面章节中,我们使用代码定义了Record的数据结构,现在我们需要使用protobuf来重新定义它,一......
  • 压测: wrk压测的lua脚本使用随机列表与字符串参数
    ......
  • GO实现高可用高并发分布式系统:gRPC实现客户端与服务端的一对一通讯
    分布式系统的特点是不同的功能模块会以独立服务器程序的方式运行在不同主机上。当服务A想请求位于另一台机器的服务B完成特定请求时,就必须将要处理的数据提交给B。这个过程就涉及到一系列问题,首先A需要把数据进行序列化然后通过网络连接发送给B,B接收到数据后需要进行反序列化得到数......
  • go实现高并发高可用分布式系统:设计类似kafka的高并发海量数据存储机制1
    上一节我们实现了日志微服务,它以http服务器的模式运行,客户端通过json方式将日志数据post过来,然后通过httpget的方式读取日志。当时我们的实现是将所有日志信息添加到数组末尾,这意味着所有日志信息都会保存在内存中。但分布式系统的日志数量将非常巨大,例如推特一天的日志数量就达到......