参考资料:
[MLIR] Dialect及Operation详解 - 知乎 (zhihu.com)
2. Dialect 及Operation
2.1Dialect
2.1.1Dialect 是什么?
从源程序到目标程序,要经过一系列的抽象以及分析,通过 Lowering Pass 来实现从一个IR到另一个IR的转换。但IR之间的转换需要统一格式,统一IR的第一步就是要统一“语言”,各个IR原来配合不默契,谁也理解不了谁,就是因为“语言”不通。
因此 MLIR 提出了Dialect
,各种IR可以转换为对应的 mlir Dialect
,不仅方便了转换,而且还能随意扩展。不妨将dialect看成各种具有IR表达能力的黑盒子,之后的编译流程就是在各种dialect之间转化。
2.1.2 dialect 是怎么工作的?
MLIR中的Dialect可以看作是一种扩展机制,它可以用于表示不同的编程语言和领域特性。在MLIR中,每个Dialect都会定义自己的语法规则和操作,这些规则和操作可以用于构建对应的IR表示。为了避免命名冲突,MLIR将不同的Dialect的IR定义在不同的命名空间中。
每种语言的 dialect(如tensorflow dialect、HLO dialect、LLVM IR dialect)都是继承自 mlir::Dialect,并注册了数字自己的属性、操作和数据类型,也可以使用虚函数来改变一些通用性行为。
整个的编译过程:从源语言生成 AST(Abstract Syntax Tree,抽象语法树),借助 dialect 遍历 AST,产生 MLIR 表达式(此处可为多层IR通过 Lowering Pass 依次进行分析),最后经过 MLIR 分析器,生成目标硬件程序。
2.1.3. dialect 内部构成
dialect主要是由自定义的 Type
、Attribute
、Interface
以及 operation
构成。operation 细分为Attribute、Type、Constraint、Interface、Trait(属性、类型、限制、接口、特征)。同时存在 ODS 和 DRR 两个重要的模块,这两个模块都是基于 tableGen 模块,ODS 模块用于定义 operation ,DRR 模块用于实现两个 dialect 之间的 conversion。
2.2 Operation
Operation 是 Dialect 的重要组成部分,是抽象和计算的核心单元,可以看成是方言语义的基本元素。
下面例子可理解为:
生成的结果是 %t_tensor,toy dialect,执行的是 transpose 操作,输入数据是 %tensor,能够将 tensor<2x3xf64> 的数据转换成tensor<3x2xf64> 的数据,该 transpose 的位置在 "example/file/path",第12行,第1个字符:
%t_tensor = "toy.transpose"(%tensor) {inplace = true} : (tensor<2x3xf64>) -> tensor<3x2xf64> loc("example/file/path":12:1)
结构拆分解析:
(1)%t_tensor
:定义结果名称,SSA值,由%
和<t_tensor>
构成,一般<t_tensor>
是一个整数型数字。
IR 是 LLVM 的设计核心,它采用 SSA(Single-Static Assignments,静态单赋值)的形式,并具备两个重要特性:
- 代码被组织成三地址指令
- 有无限的寄存器
(2)"toy.transpose"
:操作的名称,应该是唯一的字符串,方言空间以.
开头;指明为 Toy Dialect 的transpose 操作;.
之前的内容是 Dialect 命名空间的名字,.
后面是操作的名称。
(3)(%tensor)
:输入的操作数的列表,多个操作数之间用逗号隔开。
(4){inplace = true}
:属性字典,定义一个名为inplace
的布尔类型,其常量值为true
。
(5)(tensor<2x3xf64>) -> tensor<3x2xf64>
:函数形式表示的操作类型,前者是输入,后者是输出。<2x3xf64>
号中间的内容描述了张量的尺寸2x3
和张量中存储的数据类型f64
,中间使用x
连接。
(6)loc("example/file/path":12:1)
:此操作的源代码中的位置。每个操作都有与之关联的强制性源位置,在 MLIR 中是核心要求,并且 API 依赖并操纵他。例如:如果一个转换将操作替换成另一个操作,必须在新的操作中附加一个位置,可以追踪该操作的来源。所以,在使用工具链 mlir-opt 中默认没有这个位置信息,添加 -mlir-print-debuginfo 标志指定要包含位置。
更一般的格式可见下图:
3. 创建新的dialect(添加新的operation)
本节创建新的dialect包括 手动编写C++创建 以及 利用ODS框架生成
ODS 全称 Operation Definition Specification,操作者只需要根据 operation 框架定义的规范,在一个.td
文件中填写相应的内容,使用 mlir 的 tableGen 工具就可以自动生成上面的 C++ 代码。
本节完全参考官方文档 :Chapter 2: Emitting Basic MLIR - MLIR (llvm.org)
本节将以Toy语言为例,演示构造 Toy Dialect并添加相应的Operation的流程。
Toy语言是为了验证及演示MLIR系统的整个流程而开发的一种基于Tensor的语言。
Toy 语言具有以下特性:
- Mix of scalar and array computations, as well as I/O
- Array shape Inference
- Generic functions
- Very limiter set of operators and features