- 2024-08-13OCPC2023 I. DAG Generation
题目传送门题意给你一种DAG生成方式,问生成两张DAG相同的概率是多少。生成方式为,一开始有\(A,B\)两个集合,A为空集,B中有\(1-n\)每个节点,每次从B中随机取出一个点,然后在A中随机取出一个子集,把子集中的每个点往B中取出的点连一条有向边,然后把取出点放入A。题解我们不妨认为第一次
- 2024-08-06airflow DAG/PIPELINE examples reference
data-pipelines-with-apache-airflowhttps://github.com/BasPH/data-pipelines-with-apache-airflowCodeforDataPipelineswithApacheAirflowhttps://www.manning.com/books/data-pipelines-with-apache-airflowAsuccessfulpipelinemovesdataefficiently,mi
- 2024-08-04Python_DAG-有向无环图-igraph
DAG-有向无环图-igraph安装pipinstallpython-igraphpipinstallpycairopiplist发现Python安装的有igraph包有两个:igraph、python-igraph有向图 有向图(Digraph)是图论中的一种图结构,其中的边(弧)具有方向性,表明从一个节点(顶点)到另一个节点的单向关系。与无向图不同,无向
- 2024-07-30浅记基本子串结构构建的二三事
这东西真是学一次忘一次,为了不再忘了它也为了之后讲课可能要讲这玩意,所以梳理一下基本子串结构的一些基本逻辑。这不是学习笔记,更类似于提纲,所以讲得比较抽象……QwQ假设我们不是苛求严谨性的理论计算机科学研究者,而只是一位期望用基本子串结构做做题的一名普通OIer。那么关于它
- 2024-07-29拓扑排序
一,概念1.DAG图:一个有向图中不存在环,则称为有向无环图,简称DAG图2.拓扑排序:在DAG图中,所有活动可排列成一个线性序列,使得每个活动的所有前驱活动都排在该活动的前面,我们把此序列叫做拓扑序列,由DAG图构造拓扑序列的过程叫做拓扑排序。二,实现过程First:从DAG图中选择一个没有前驱的
- 2024-07-20Solution Set - 容斥原理/二项式反演
https://www.becoder.com.cn/contest/5400「BZOJ2863」愤怒的元首题目就是求\(n\)个点DAG的数量。设\(dp_i\)表示\(i\)个点的DAG数量。首先DAG一定存在出度为\(0\)的点,其次删去出度为\(0\)的点,仍构成一个DAG。所以我们可以枚举删去的数量,从而划分子问题。
- 2024-07-19【笔记】Set - 容斥原理/二项式反演
https://www.becoder.com.cn/contest/5400「BZOJ2863」愤怒的元首题目就是求\(n\)个点DAG的数量。设\(dp_i\)表示\(i\)个点的DAG数量。首先DAG一定存在出度为\(0\)的点,其次删去出度为\(0\)的点,仍构成一个DAG。所以我们可以枚举删去的数量,从而划分子问题。
- 2024-07-14MapReduce简述
概念面向批处理的分布式计算框架;一种编程模型,分为Map(映射)和Reduce(化简)阶段核心思想分而治之,并行计算;移动计算而非移动数据特点计算跟着数据走良好的扩展性(计算能力随着节点数增加近似线性递增)高容错适合海量数据的离线批处理降低了分布式编程的门槛不适合的场景
- 2024-07-03DAG上的DP
DAG是有向无环图而DAG的dp主要是利用一些问题的二元关系构造DAG图建模,转化成在图上求最长/短路的问题https://www.luogu.com.cn/problem/UVA437Code点击查看代码#include<bits/stdc++.h>usingnamespacestd;//typedeflonglongll;#defineintlonglongtypedefuns
- 2024-07-03有向无环图DAG
有向无环图(DirectedAcyclicGraphs),简称为DAG. 用于SAT相关文献——查询DirectedAcyclicGraphsSAT结果Neng-FaZhou, RuiweiWang, RolandH.C.Yap:AComparisonof SAT Encodingsfor Acyclicityof Directed Graphs. SAT 2023: 30:1-30:9
- 2024-07-01大数据面试题之Spark(6)
Spark输出文件的个数,如何合并小文件?Spark的driver是怎么驱动作业流程的?SparkSQL的劣势?介绍下SparkStreaming和StructedStreamingSpark为什么比Hadoop速度快?DAG划分Spark源码实现?SparkStreaming的双流join的过程,怎么做的?Spark的Bl
- 2024-06-21海豚调度调优 | 正在运行的工作流(DAG)如何重新拉起失败的任务(Task)
- 2024-06-15Spark 面试题(九)
1.简述Spark的DAG以及它的生成过程?在Spark中,DAG(有向无环图)是描述作业中所有RDD转换操作依赖关系的图。DAG的生成过程是Spark作业调度的关键步骤之一。以下是对SparkDAG的简述以及它的生成过程:DAG的概念节点:DAG中的每个节点代表一个RDD。边:边表示RDD之间的依赖关系,可以
- 2024-06-12CSCI-UA.0480-051: Parallel Computing
CSCI-UA.0480-051:ParallelComputingFinalExam(May 15th,2023)Total:100 pointsProblem 1Supposewehavethe followingtwo DAGs. Each DAG represents a process. That is, DAG 1 is a process and DAG 2 is another process. The two DAG
- 2024-05-23CVE-2020-11978
ApacheAirflow示例dag中的命令注入(CVE-2020-11978)ApacheAirflow是一款开源的,分布式任务调度框架。在其1.10.10版本及以前的示例DAG中存在一处命令注入漏洞,未授权的访问者可以通过这个漏洞在Worker中执行任意命令。漏洞复现cdvulhub/airflow/CVE-2020-11978#初始化数据库d
- 2024-05-06通过API触发airflow的DAG任务
背景以前编写的DAG都是通过定时触发的,当前有一个场景需要通过手动提交API来触发,这样能够在用户需要的时候,主动触发执行任务,于是就有了这篇内容的摸索。之前只知道airflow支持通过API来触发任务,但是具体如何操作是真不会,看了官方的API文档,也没找到具体方法,特别是认证这块一直没解
- 2024-05-05AtCoder Grand Contest 001
D.ArraysandPalindrome如果两个字符要求相同就给它们连边,对于一个长度为\(x\)的回文串,\(x\)是偶数会连\(x/2\)条边,奇数会连\(x/2-0.5\)条边。\(a\)和\(b\)两个序列总和为\(2n\),要让\(n\)个字符相同至少连\(n-1\)条边,也就是奇数个数超过\(2\)时一定无解
- 2024-04-28保序回归问题小记
问题有\(n\)个点,给出一张DAG。你需要给每个点设立权值\(w_{1...n}\),满足对于每条边\((u,v)\)都有\(w_u\lew_v\),求\(\min\{\sum\limits_{i=1}^nb_i|w_i-a_i|^p\}\),其中\(a_i,b_i,p\)是给出的。整体二分考虑二分\(mid\),把DAG划分为权值\(\lemid\)和\(>mid\)
- 2024-04-25笔记:拓扑排序
定义拓扑排序(Topologicalsorting),是对一个DAG排序的算法。对于排序后的序列\(s\),设\(t_i\)是节点\(i\)在\(s\)中的位置,那么该DAG上的每条边\(u\tov\),\(t_u<t_v\)。换句话说,就是每条边\(u\tov\),\(u\)不能在\(v\)的后面。模板link。考虑两种算法,分别基于广
- 2024-04-24Airflow
ApacheAirflowhttps://airflow.apache.org/ Airflow™isaplatformcreatedbythecommunitytoprogrammaticallyauthor,scheduleandmonitorworkflows. fromdatetimeimportdatetimefromairflowimportDAGfromairflow.decoratorsimporttaskfromairflow.
- 2024-04-10CF1466H 做题记录
link非常adhoc的题,但是值得一练的好题!一眼下去,我们会发现这个条件真的太过于抽象,根本无法想象。注意到题目给了我们一个关键信息:一个排列组\(\{b_1,b_2,...,b_n\}\)对应唯一的好的分配方案。考虑建立图论模型:每个人的编号向最喜欢的物品编号连边,形成一棵内向基环树森林。
- 2024-04-08Airflow 搭建
安装采用pip安装#下面的安装方式是通过pip采用清华源来安装,一般安装的版本比较低pipinstallapache-airflow-ihttps://pypi.tuna.tsinghua.edu.cn/simple采用anaconda安装--推荐anacoand/miniforge安装方式参考这里condainstallapache-airflow初始化数据库airflo
- 2024-04-05DAG与拓扑排序
现实生活中我们经常要做一连串事情,这些事情之间有顺序关系或依赖关系,做一件事情之前必须先做另一件事,如安排客人的座位、穿衣服的先后、课程学习的先后等。这些事情可以抽象为图论中的拓扑排序(TopologicalSorting)问题。例题:P4017最大食物链计数给出一个食物网,要求出这个食物
- 2024-04-05二分图相关
基础最小点覆盖=最大匹配我们假设最小点覆盖的集合为\(V\),最大匹配的集合为\(E\),因为最大匹配中的边都互相不交,所以我们可以让最大匹配中的边的端点任意选择一个点,就有:\[|V|\ge|E|\]于是另一边不太好证明,我们就记住这一边的证明,感性理解~最大独立集=总点数-最小点覆
- 2024-04-02分词
今天发现一个不用npl实现分词的方法jieba分词全自动安装:pipinstalljieba(window环境)pip3installjieba(Linux环境)首先进行将语句转换为UTF-8或者GBK。然后根据用户指定的模式,是否全模式,是否采用HMM隐马尔科夫,来设置cut方式。然后根据正则,将输入文本分为一个