实现“代码可视化”需要了解的前置知识-编译器中端

京东云开发者
• 阅读 192

1. 前言

前文实现“代码可视化”需要了解的前置知识-编译器前端介绍了编译器前端知识并附带了小练习,本文将继续介绍编译器中端相关的知识,还是概念+练习的学习方式。中间代码是用来进行程序分析和实现代码可视化的关键数据,了解其生成和优化方式能更好的帮助我们理解程序的执行逻辑,希望大家阅读本文后有所收获。

2. 编译器(Compiler)

中端部分主要包含的功能有“生成中间代码”和“中间代码优化”。



实现“代码可视化”需要了解的前置知识-编译器中端



2.1 编译器工作步骤



实现“代码可视化”需要了解的前置知识-编译器中端



2.2 编译器中端

2.2.1 中间代码生成

2.2.1.1 为什么需要中间代码?

编译器很难通过一次处理就得到最优的目标代码,实际的编译器大多组织为一连串的处理趟,每一趟处理的结果又作为下一趟的输入持续的运行。随着编译器不断推导有关被编译代码的知识,它必须将这些信息从一趟传递到另一趟。因此,这些能推导出有关程序全部事实的信息需要一种表示方式,称之为中间代码或中间表示(intermediate representation),简称IR。



实现“代码可视化”需要了解的前置知识-编译器中端



广义角度可以将源码到目标代码之间的表达形式都称之为中间代码。其目的是为了解耦编译器前端和后端部分,作为高级语言和目标机器语言之间的桥梁,不依赖于特定的源语言或目标机器使得一些代码优化动作能够复用。与高级语言相比,IR 丢弃了大部分高级语言的语法特征和语义特征,比如循环语句、if 语句、作用域、面向对象等等,它更像高层次的汇编语言;而相比真正的汇编语言,它又不会有那么多琐碎的、与具体硬件相关的细节。



实现“代码可视化”需要了解的前置知识-编译器中端



如果源语言语法结构较为简单,编译器可能会用唯一的IR,但如果源语言语法结构比较复杂,则在转换为目标语言的过程中可能会使用了一系列的IR,并通过转换进行大量的优化操作。



实现“代码可视化”需要了解的前置知识-编译器中端



由于不同语言编译器中IR差异较大,本文后续内容对于概念部分只做点到即止的阐述,有兴趣的同学可以自行查阅资料,增加了LLVM的中间代码实操用来加深理解。LLVM 是一个开源的编译器基础设施项目,主要聚焦于编译器的后端功能(代码生成、代码优化、JIT……),其在业界被广泛应用,很多语言都是基于它实现的,更多信息可以查看官网



实现“代码可视化”需要了解的前置知识-编译器中端



2.2.1.2 中间代码分类

按照与源代码接近程度可以分为:

高级IR:更接近源代码,保留了更多的源代码层面的信息,如数据类型、控制结构等。通常用于编译器前端的语义分析和初步优化阶段。例如:AST等;

中级IR:开始脱离源代码的具体语法,引入更多与机器无关的优化。通常用于进行编译器的主要优化,如循环优化、常量传播、死代码消除等。例如:TAC等;

低级IR:接近目标机器代码,更多地反映了目标平台的具体特性,如寄存器、指令集等。用于编译器后端的优化,特别是那些与目标机器密切相关的优化,如寄存器分配、指令选择和调度。

根据其结构和表现形式可以分为:

图IR: 将编译器生成的信息保存在图中,通过图结构来表示程序的各种属性。图IR非常适合表示并分析程序的复杂结构,如循环、分支等。例如:AST、CFG和DFG等;

线性IR: 以线性的方式表示程序,通常是一系列的指令或语句。不像图IR那样直观地表示控制流或数据流,但对于某些分析和转换来说更简单、直接,常用于编译器的早期阶段,进行简化的分析和转换。例如:TAC、SSA等;

混合IR: 结合了图IR和线性IR的特点,尝试兼顾两者的优势。一种常见的混合表示为使用线性IR来表示无循环代码的块,使用图来表示这些块之间的控制流。混合IR旨在提供足够的灵活性来支持各种编译阶段的需要,从而使编译器能够有效地执行复杂的优化和分析。

了解了基本的分类,下面介绍几种常见的中间表示方式,并针对表达式A进行不同形式的呈现:

// 表达式A
a=(-b+c*d)+c*d

① 抽象语法树(Abstract Syntax Tree, AST)

通过编译器前端生成的抽象语法树也算是高级IR和图IR,它保留了源代码的语法结构,如表达式、语句、函数定义等。这里就不再赘述生成过程,如果忘记了相关知识可以再复习一下前文。表达式A对应的AST为:



实现“代码可视化”需要了解的前置知识-编译器中端



② 有向无环图(Directed Acyclic Graph,DAG)

有向无环图是在树结构的基础上,消除了冗余的子树。其结点可以有多个父结点,相同子树可以被重用,可以理解为是一种具有共享机制的AST。表达式A对应的DAG为:



实现“代码可视化”需要了解的前置知识-编译器中端



③ 三地址代码(Three-Address Code, TAC)

三地址代码是中级IR和线性IR,它是一种接近于汇编语言但又保持了高级语言特征的代码形式。这种形式的IR特别适合于执行和表示各种编译时优化。在三地址代码中,每条指令通常涉及到两个操作数(y、z)和一个结果(x),指令的一般形式可以是:

x = y op z

其中,op 是一个二元运算符,y 和 z 是操作数,可以是常量、变量或者临时变量,x 是存放结果的变量或临时变量。三地址代码也支持一元运算符,这种情况下指令的形式为:

x = op y

常用的三地址代码有:

指令类型 指令形式 备注
赋值指令 x = y op z x = op y op为运算符
复制指令 x = y
条件跳转 if x relop y goto n relop为关系运算符
非条件跳转 goto n 跳转到地址n的指令
参数传递 param x 将x设置为参数
过程调用 call p,n p为过程的名字,n为过程的参数的个数
过程返回 return x
数组引用 x=y[i] i为数组的偏移地址,而不是下标
数组赋值 x[i]=y
地址及指针操作 x=&y、x=yx=y

表达式A对应的TAC为(可以通过遍历AST生成TAC):



实现“代码可视化”需要了解的前置知识-编译器中端



④ 静态单赋值形式(Static Single Assignment, SSA)

静态单赋值形式也是一种线性IR,它和三地址代码的主要区别在所有赋值指令都是对不同名字的变量的赋值。每个变量很确定地只会被定义一次,然后可以多次使用。这种特点使得基于SSA更容易做数据流分析,而数据流分析又是很多代码优化技术的基础,所以几乎所有语言的编译器、解释器或虚拟机中都使用了SSA。下图展示了两种表示方式的区别:



实现“代码可视化”需要了解的前置知识-编译器中端



另外,表达式A生成的TAC和SSA是一样的,大家不妨验证一下是否符合SSA的特性😁。

除了上述中间表示形式外还有CFG、CallGraph等更复杂的IR这里就不展开说了,有兴趣的同学可以自行查阅资料。



实现“代码可视化”需要了解的前置知识-编译器中端



2.2.1.3 中间代码生成实践

LLVM IR是一种基于静态单赋值(SSA)的表示法,提供了类型安全、底层操作、灵活性以及简洁地表示 高级语言的能力。它实际上有三种不同的表示方式,它们在功能上是等价的,但用途和表现形式各有不同。这三种表示分别是:

LLVM汇编语言(LLVM Assembly Language):这是一种文本格式的表示,提供了可读性较好的代码形式。它允许开发者和工具以文本形式查看和编辑IR,非常适合调试和教学。这种格式通常保存为以.ll为扩展名的文件;

LLVM字节码(LLVM Bitcode):这是一种二进制格式的表示,它将IR编码为二进制文件,通常用于在不同编译阶段之间传递IR,或者作为发布应用程序的一部分以支持延迟编译(JIT编译)或跨平台移植。字节码格式更加紧凑,加载和处理速度也更快。这种格式的文件扩展名通常是.bc。

内存中的IR(In-memory IR):这是LLVM库在内存中操作的数据结构形式。当LLVM的前端(如Clang)解析源代码时,它会构建出一个内存中的IR表示,后续的优化和转换操作都是在这种形式上进行的。这种表示不直接面向用户,而是由LLVM的API操作和修改。

下面实操使用LLVM工具生成这.bc和.ll这两种中间代码:

① 安装LLVM

可以参考官方下载地址安装,Mac可以使用HomeBrew安装。

brew install llvm

由于LLVM 带了一个版本的 Clang 和 C++ 的标准库,与本机原来的工具链可能会有冲突,所以 brew 安装的时候并没有在 /usr/local 下建立符号链接。使用 LLVM 工具的时,要配置好相关的环境变量。

# 可执行文件的路径
export PATH="/usr/local/opt/llvm/bin:$PATH"
# 让编译器能够找到LLVM
export LDFLAGS="-L/usr/local/opt/llvm/lib"
export CPPFLAGS="-I/usr/local/opt/llvm/include"

② 准备源码文件fun1.c

int fun1(int a, int b){
    int c = 10;
    return a+b+c;
}

③ 生成IR

# 生成LLVM汇编语言
clang -emit-llvm -S fun1.c -o fun1.ll
# 生成LLVM字节码
clang -emit-llvm -c fun1.c -o fun1.bc



实现“代码可视化”需要了解的前置知识-编译器中端



④ IR转换

两种中间代码可以互相转换,我们将前面生成的.ll转换为.bc。



实现“代码可视化”需要了解的前置知识-编译器中端



# 转换命令
llvm-as fun1.ll -o fun1.bc
# 查看结果
hexdump -C fun1.bc



实现“代码可视化”需要了解的前置知识-编译器中端



2.2.2 中间代码优化

2.2.2.1 常见优化方式

IR存在的意义是使得代码优化变得容易且可复用,不同的中间表达方式也是为了方便不同优化手段的执行。对代码做优化的方法有很多,如果把它们分类一下的话,可以按照下面两个维度:

按是否机器相关分类

机器无关优化(Machine-Independent Optimization):这类优化不依赖于目标机器的具体硬件特性,主要关注于高级语言构造的改进和通用的算法改进。例如:常量折叠、死代码消除、循环不变代码外提等;

机器相关优化(Machine-Dependent Optimization):这类优化依赖于目标机器具体硬件特性,如寄存器的数量、指令集特点等。例如:寄存器分配、指令选择、指令级并行优化等。

按优化的范围分类

本地优化(Local Optimization):关注于程序中小的片段,通常是一个基本块内的优化。这类优化不考虑跨基本块的控制流和数据流。例如:公共子表达式消除、死代码消除等;

全局优化(Global Optimization):考虑整个程序或函数的控制流和数据流,跨多个基本块进行优化。例如:全局常量传播、全局死代码消除等;

过程间优化(Interprocedural Optimization, IPO):涉及多个函数或过程,优化的范围超越单个函数的边界。例如:内联展开、过程间常量传播等。

中间代码优化属于机器无关,针对本地、全局和过程间都可以进行优化。下面介绍一些常见的优化方式,之后再使用LLVM进行优化实操。

① 常量折叠(Constant Folding)

预先计算常量表达式的结果,而不是在运行时计算。编译器会分析代码中的表达式,如果发现表达式完全由常量组成,编译器就会预先计算这个表达式的结果,并在生成的代码中用这个计算结果替换原有的表达式。这个过程不改变程序的语义,因为替换后的表达式和原表达式在逻辑上是等价的。例如:

int main() {
    int a = 2 + 3;
    int b = a * 10;
    return b;
}

上述代码表达式 2 + 3 完全由常量组成,因此编译器在编译时就可以计算出它的结果为5。因此替换后生成:

int main() {
    int a = 5;
    int b = a * 10;
    return b;
}

接着,虽然 a 不是一个字面常量,但是在上下文中它的值是已知的,因此表达式 a * 10 也可以在编译时被计算出结果为50。最终,代码可以被优化为:

int main() {
    return 50;
}

② 死代码消除(Dead Code Elimination)

移除那些不会影响程序最终结果的代码。这种优化不仅可以减少程序的大小,还能提高执行效率,因为它减少了执行时的计算量和内存占用。死代码的类型有:

•不可达代码:这类代码在任何情况下都不会被执行到。例如,在条件判断后的某个分支中,如果条件永远不会满足,则该分支中的代码就是不可达代码;

int func(int x) {
    return x * 2;
    printf("This line will never be executed.\n"); // 此行是死代码
}

•无效果表达式:这类代码虽然会被执行,但是不会对程序的状态或输出产生任何影响。比如,对局部变量的赋值,如果这个局部变量之后没有被读取,那么这个赋值操作就是无效果的。

void example() {
    int a = 10;
    a = 20; // 这个赋值是死代码,因为a的值没有被使用
    // 函数结束,没有任何对a的引用
}

③ 公共子表达式消除(Common Subexpression Elimination, CSE)

识别并消除在程序中多次计算的相同表达式,从而减少重复计算,提高程序的运行效率。这种技术识别在一段代码中多次出现的相同表达式,然后将这个表达式的计算结果保存在一个临时变量中,后续使用这个结果而不是重新计算表达式。举例:

int a = b * c + g;
int d = b * c * e;

上述代码b * c 被计算了两次。通过公共子表达式消除,我们可以将b * c的结果存储在一个临时变量中,然后复用这个结果:

int temp = b * c;
int a = temp + g;
int d = temp * e;

④ 循环展开(Loop Unrolling)

减少循环迭代次数,从而提高程序的执行效率。循环展开通过减少循环迭代次数来实现,它将循环体中的操作复制多份,每次迭代执行更多的工作,从而减少了循环控制逻辑(比如增量和条件测试)的开销。举例:

int sum = 0;
for (int i = 0; i < 100; i++) {
    sum += array[i];
}

展开这个循环,每次迭代处理两个元素:

int sum = 0;
for (int i = 0; i < 100; i += 2) {
    sum += array[i];
    sum += array[i + 1];
}

⑤ 循环不变代码外提(Loop Invariant Code Motion)

将循环内部那些在每次迭代中都不会改变的计算移动到循环外部执行,从而减少了循环内部的计算量,提高了程序的效率。举例:

for (int i = 0; i < n; i++) {
    if (b > 0) {
        array[i] = b * array[i];
    }
}

如果b的值在循环过程中不改变,那么if (b > 0)的判断结果是不变的。将这个判断移到循环外部,这样如果b小于等于0可以避免整个循环的执行:

if (b > 0) {
    for (int i = 0; i < n; i++) {
        array[i] = b * array[i];
    }
}

⑥ 内联展开(Inline Expansion)

将函数调用替换为函数体本身的代码,以减少函数调用开销。这种技术的目的是减少函数调用时产生的额外成本,比如参数传递、栈帧创建和销毁等,从而提高程序的执行效率,也能提高局部性有助于缓存利用。举例:

int square(int x) {
    return x * x;
}

int main() {
    int sum = 0;
    for (int i = 0; i < 10; i++) {
        sum += square(i);
    }
    return sum;
}

内联展开后的代码如下,每次循环调用的square函数被替换成了它的函数体:

int main() {
    int sum = 0;
    for (int i = 0; i < 10; i++) {
        sum += i * i; // 直接使用内联后的代码
    }
    return sum;
}

2.2.2.2 中间代码优化实践

生成IR的命令可以直接带上优化参数生成优化后的结果:

# 带上 O2 参数来生成优化的 IR
clang -emit-llvm -S -O2 fun1.c -o fun1-O2.ll

另外还有一个单独的命令opt用来做代码优化。缺省情况下,它的输入和输出都是.bc 文件,带上 -S 参数则可以直接对.ll 文件进行优化。用 opt --help 命令,可以查看 opt 命令所支持的所有优化算法。

opt -O2 fun1.bc -o fun1-O2.bc
opt -S -O2 fun1.ll -o fun1-O2.ll



实现“代码可视化”需要了解的前置知识-编译器中端



在 LLVM 内部,优化工作是通过一个个的 Pass(遍)来实现的,它支持三种类型的 Pass:

•分析型的 Pass(Analysis Passes),只是做分析,产生一些分析结果用于后序操作;

•代码转换的Pass(Transform Passes),比如做公共子表达式删除;

•工具型的Pass,比如对模块做正确性验证。

个人也可以实现自定义Pass做一些扩展操作,更多Pass相关内容请阅读LLVM’s Analysis and Transform Passes



实现“代码可视化”需要了解的前置知识-编译器中端



对于前面生成的fun1.ll再执行代码优化操作,查看优化结果可以发现进行了“常量折叠”(执行优化命令前需要将fun1.ll 文件中的“optnone”这个属性去掉,它的意思是不进行代码优化)。



实现“代码可视化”需要了解的前置知识-编译器中端



3. 扩展阅读

编译原理涉及的内容十分丰富,学术界进行了长期的研究今天很多方向仍然是热门课题;工业界也进行了丰富的实践沉淀了大量经验和工具。个人了解相关知识也能够对程序的编写和运行有更深刻的理解,提升自己的技术内功并赋能到其他知识学习和应用上,如:静态分析、代码可视化等。笔者难以通过两篇文章详尽的阐述编译原理,有很多知识只是点到即止,如:控制流分析、数据流分析和过程间分析,这些都是很重要的分析方式,后续会在“程序分析”文章中进行讲解,敬请期待。如果想提前和深入的学习,可以自行查阅资料或阅读下面扩展内容。

• 经典书籍:《龙书》、《虎书》、《鲸书

•CS143

•编译原理-网易云课堂

•编译原理-中国大学MOOC

•其他参考博文:

◦Compilation Optimization: LLVM Code Generation Technology Details and Its Application in Databases

◦Compiler 课件

◦中间代码:不是只有一副面孔

◦代码优化:跟编译器做朋友,让你的代码飞起来

◦The Architecture of Open Source Applications (Volume 1) LLVM

作者:京东科技 谢骁

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
CuterCorley CuterCorley
3年前
Python数据分析实战(3)Python实现数据可视化
一、数据可视化介绍数据可视化是指将数据放在可视环境中、进一步理解数据的技术,可以通过它更加详细地了解隐藏在数据表面之下的模式、趋势和相关性。Python提供了很多数据可视化的库:matplotlib是Python基础的画图库,官网为,在案例地址中介绍了很多种类的图和代码示例。pandas是在matplotlib的基础上实现
cpp加油站 cpp加油站
3年前
【deque容器系列二】基于STL源码分析deque容器插入和删除时内存都是怎么变动的
上篇文章我们介绍了deque容器整体结构和构造实现,链接如下:本篇文章接上篇,继续基于gcc中stl的源码剖析deque容器插入、删除、取值的实现原理,以提问者的角度去深入分析这些操作过程中发生了什么,并对deque容器适合使用的场景和使用时的注意事项进行说明。说明一下,我用的是gcc7.1.0编译器,标准库源代码也是这个版本的。按照惯例,还是先看一下本文
Low-Code,一定“low”吗?
本文将重点介绍低代码相关知识,包括低代码的定义与意义、相关概念、行业发展等,同时介绍京东的低代码工具,期望能帮助大家更好地认识与理解低代码。
徐小夕 徐小夕
3年前
程序员必备的几种常见排序算法和搜索算法总结
前言最近为了巩固一下自己的算法基础,又把算法书里的基本算法刷了一遍,特地总结一下前端工程师需要了解的排序算法和搜索算法知识,虽然还有很多高深算法需要了解,但是基础还是要好好巩固一下的.本文将以图文的形式为大家介绍如下算法知识,希望在读完之后大家能有所收获:冒泡排序及其优化选择排序插入排序归并排序快速排序顺序搜索二分搜索
如何让Java编译器帮你写代码
本文结合京东监控埋点场景,对解决样板代码的技术选型方案进行分析,给出最终解决方案后,结合理论和实践进一步展开。通过关注文中的技术分析过程和技术场景,读者可收获一种样板代码思想过程和解决思路,并对Java编译器底层有初步了解。
作为移动开发你不能不了解的编译流程
阅读本文,或许能够了解关于以下的几个问题:1、编译器是什么?为什么会有编译器这样一个东西?2、编译器做了哪些工作?整个编译过程又是什么?3、Apple的编译器发展历程以及为什么会抛弃GCC换成自研的LLVM?4、从编译器角度看Swift与OC能够实现混编的底层逻辑。
Wesley13 Wesley13
3年前
GCC相关资料收集
GCC相关资料收集一、什么是GccLinux系统下的Gcc(GNUCCompiler)是GNU推出的功能强大、性能优越的多平台编译器,是GNU的代表作品之一。gcc是可以在多种硬体平台上编译出可执行程序的超级编译器,其执行效率与一般的编译器相比平均效率要高20%~30%。Gcc编译器能将C、C语言源程序、汇程式化序和目标程序编译、连接成可
Stella981 Stella981
3年前
JVM即时编译器
1.为何HotSpot虚拟机要使用解释器与编译器并存的架构?2.为何HotSpot虚拟机要实现两个不同的即时编译器?3.程序何时使用解释器执行?何时使用编译器执行?4.哪些程序代码会被编译为本地代码?如何编译为本地代码?5.如何从外部观察即时编译器的编译过程和编译结果?解释器与编译器两者各有优势:当_程序需要迅速启动和执行
小万哥 小万哥
1年前
C++编译器和链接器的完全指南
C是一种强类型语言,它的编译和链接是程序开发过程中不可或缺的两个环节。编译器和链接器是两个非常重要的概念。本文将详细介绍C中的编译器和链接器以及它们的工作原理和使用方法。编译器编译器是将源代码转换为可执行文件的程序。在C中,常用的编译器有GCC
京东云开发者 京东云开发者
8个月前
实现“代码可视化”需要了解的前置知识-编译器前端
1.前言“代码可视化”的概念定义和业界案例在前文中已经进行了讲述,综述可阅读,更多相关知识可查看专栏“”。本文梳理了“代码可视化”功能开发需要前置了解的编译器前端部分知识,因能力有限若有解释不清和错误的地方敬请谅解,如果想更深入正规的学习相关知识可以查看文