《并行程序设计第三讲.ppt》由会员分享，可在线阅读，更多相关《并行程序设计第三讲.ppt（51页珍藏版）》请在三一办公上搜索。
1、国家高性能计算中心（合肥）,1,2023/10/13,并行编译简介,国家高性能计算中心（合肥）,2,2023/10/13,并行编译简介,并行编译器的组成及任务数据依赖关系循环的向量化与并行化,国家高性能计算中心（合肥）,3,2023/10/13,并行编译器的组成及任务,源代码,程序分析,程序优化,并行代码生成,向量机：组织向量循环寄存器分配流水线调度,共享存储多机系统：任务划分处理机调度同步,分布存储多机系统：数据和计算分布通信同步,数据依赖与控制依赖关系分析数据流分析,包括循环向量化与并行化在内的各种优化,并行语义识别，处理指令级并行调度,国家高性能计算中心（合肥）,4,2023/10/13
2、,数据依赖关系,Def1:语句S和T，若存在变量x使之满足下述条件之一，则称语句T依赖于语句S，记为S T，否则S和T之间没有数据依赖关系：（1）流依赖：S f T，若xOUT（S）且 xIN（T）且T使用S计算出的x的值；T流依赖于S；（2）反依赖：S a T，若xIN（S）且 xOUT（T）但S使用x值先于T对x的定值；T反依赖于S；（3）输出依赖：S o T，若xOUT（S）且 xOUT（T）但S较之T先对x进行定值；T输出依赖于S；,国家高性能计算中心（合肥）,5,2023/10/13,e.g.考虑语句序列：S:A=B+DT:C=A*3U:A=A+CV:E=A/2,依赖关系示例,IN:
3、B D，OUT：A,IN:A，OUT：C,IN:A C，OUT：A,IN:A，OUT：E,S f T,S f U,S o U,T f U,T a U,U f V,国家高性能计算中心（合肥）,6,2023/10/13,依赖关系示例,e.g.循环语句：for i=1 to 100 doS:Ai=B i+2+1;T:Bi=Ai-1 1;end for,S(1):A1=B3+1T(1):B1=A0 1S(2):A2=B4+1T(2):B2=A1 1S(3):A3=B5+1T(3):B3=A2 1.S(100):A100=B102+1T(100):B100=A99 1,f,a,依赖关系：S f T S
4、a T,国家高性能计算中心（合肥）,7,2023/10/13,数据依赖关系,Def2：语句S和T在循环L中。如果S的实例S(i)和T的实例T(j)以及变量uS，变量v T，满足：（1）u和v至少有一个是输出变量；（2）uS(i)和变量v T(j)表示同一个存储单元M（3）在L的顺序执行中，S(i)先于T(j)（4）在L的顺序执行中，S(i)之间T(j)没有其他对M的写操作；则u、v引起T依赖于S，即S T，称为T(j)依赖于S(i)，其中：流依赖：u OUT(S),v IN(T)反依赖：u IN(S),v OUT(T)输出依赖：u OUT(S),v OUT(T)T 对S的依赖即为满足上述条件的
5、偶对（S(i),T(j)）的集合。,国家高性能计算中心（合肥）,8,2023/10/13,或 1,令=(1,2,n)和=(1,2,n)是n层循环内的n个整数下标向量，假定和存在数据相关性，则依赖距离向量（Dependent Distance Vector）D=(D1,D2,Dn)定义为-；而依赖方向向量（Dependent Direction Vector）d=(d1,d2,dn)定义为：,或 1,或 0,国家高性能计算中心（合肥）,9,2023/10/13,例如，有如下的三层循环嵌套：for i=l1 to u1 do for j=l2 to u2 do for k=l3 to u3 do
6、A(i+1,j,k 1)=A(i,j,k)+C endfor endforendfor则数组A的三维迭代之间的相关距离向量D=(i+1 i,j j,k 1 k)=(1,0,-1)和相关方向向量=()。相关方向向量对计算循环体间相关性十分有用，其相关性是通过相关方向向量不是”=”号的外层循环传递的；相关距离向量指明在同一存储单元的两次访问之间循环迭代的实际距离。它们对开发并行性或优化存储器层次结构时起到指引作用。,国家高性能计算中心（合肥）,10,2023/10/13,语句依赖图和迭代依赖图,语句依赖图依赖关系的有向图。将语句，如S和T，看成结点，若有S T，则：间接依赖关系，即依赖关系的传递闭
7、包。若S T，则在语句依赖图中存在S到T的一条路径。迭代依赖图即（循环）迭代之间的依赖关系。在循环L中，若语句T依赖于语句S，即S T。令S(I)和T(J)是满足依赖关系的偶对，S(I)T(J)，此时应该有IJ。在IJ时，称迭代H(J)依赖于迭代H(I)，记为H(I)H(J)。,S,T,国家高性能计算中心（合肥）,11,2023/10/13,语句依赖图示例,有如下循环语句：for i=4 to 200 doS:A(i)=B(i)+c(i)T:B(i+2)=A(i-1)+A(i-3)+C(i-1)U:A(i+1)=B(2*i+3)+1endfor各语句间依赖关系如何呢？,国家高性能计算中心（合肥
8、）,12,2023/10/13,语句T流依赖于语句S，即S f T，满足依赖关系的偶对集合为：|i=j-1;5j200|i=j-3;7j200 语句S流依赖于语句T，即T f S，满足依赖关系的偶对集合为：|i=j-2;6j200 语句S输出依赖于语句U，即 U o S，满足依赖关系的偶对集合为：|i=j-1;5j200 语句T反依赖于语句U，即U a T，满足依赖关系的偶对集合为：|j=2*i+1;4i99 语句T是否流依赖于语句U呢？,国家高性能计算中心（合肥）,13,2023/10/13,for i=4 to 200 doS:A(i)=B(i)+c(i)T:B(i+2)=A(i-1)+A
9、(i-3)+C(i-1)U:A(i+1)=B(2*i+3)+1endfor,语句依赖图示例,S,T,U,f,f,o,a,国家高性能计算中心（合肥）,14,2023/10/13,迭代依赖图示例（1）,有如下二重循环：for i=0 to 5 do for j=0 to 4 doS:A(i+1,j+1)=A(i,j)+B(i,j)endforendfor 显然，S f S。满足依赖关系的偶对集合：|j1=i1+1,j2=i2+1,0i14,0i23/依赖方向向量和距离向量各是什么？,国家高性能计算中心（合肥）,15,2023/10/13,迭代依赖图（1）,国家高性能计算中心（合肥）,16,2023
10、/10/13,迭代依赖图示例（2）,有如下二重循环：L1:for i1=0 to 4 doL2:for i2=0 to 4 doS:A(i1+1,i2)=B(i1,i2)+C(i1,i2)T:B(i1,i2+1)=A(i1,i2+1)+1U:D(i1,i2)=B(i1,i2+1)2 endfor endfor,国家高性能计算中心（合肥）,17,2023/10/13,语句T流依赖于语句S，即S f T，满足依赖关系的偶对：S(i1,i2),T(j1,j2)|j1=i1+1,j2=i2-1,0i13,1i24，距离向量为(1,-1)，方向向量为(1,-1)。此依赖关系由循环L1携带；语句S流依赖于
11、语句T，即T f S，满足依赖关系的偶对：T(i1,i2),S(j1,j2)|j1=i1,j2=i2+1,0i14,0i23，距离向量为(0,1)，方向向量为(0,1)。此依赖关系由循环L2携带；语句U流依赖于语句T，即T f U，满足依赖关系的偶对：T(i1,i2),U(j1,j2)|j1=i1,j2=i2,0i14,0i24，距离向量为(0,0)，方向向量为(0,0)。此依赖关系与循环无关。,国家高性能计算中心（合肥）,18,2023/10/13,迭代依赖图,国家高性能计算中心（合肥）,19,2023/10/13,考虑如下循环的迭代依赖图：for I=1 to 4 do for J=1 t
12、o 4 doS:A(I,J)=A(I-1,J)+A(I,J-1)endforendfor,国家高性能计算中心（合肥）,20,2023/10/13,依赖关系方程,假定循环中数组下标是循环索引变量的线性表达式循环的一般表示：(X是n维数组，f和g是循环索引变量I=(I1,I2,Im)的线性函数)L1:for I1=p1 to q1 doL2:for I2=p2 to q2 do.Lm:for Im=pm to qm.S:X(f1(I),f2(I),fn(I)=.T:.=.X(g1(I),g2(I),gn(I).endfor.endforendfor,国家高性能计算中心（合肥）,21,2023/10
13、/13,依赖关系方程(丢番图方程）,上述循环L中语句S和T，令u=X(f1(I),f2(I),fn(I)是S的变量，而v=X(g1(I),g2(I),gn(I)，u或v至少一个是相应语句的输出变量。若u、v导致S和T之间的依赖关系，则以下方程组 f1(I)g1(J)=0 f2(I)g2(J)=0.fn(I)gn(J)=0有满足下述约束条件的整数解（i,j），i=(i1,i2,im),j=(j1,j2,jm):prirqr prjrqr；且该解满足下述特定情况下的附加条件：（1）若S j,国家高性能计算中心（合肥）,22,2023/10/13,如果依赖方程（丢番图方程）有满足上述条件的整数解（i
14、，j），那么（1）若 i j,则T S（3）若 i j,且 ST，则S T其中 表示间接依赖关系。,国家高性能计算中心（合肥）,23,2023/10/13,考虑如下程序段：L1:for I=1 to 50 do.S:X(2*I)=.T:.=.X(3*I+1).endfor这里：f1(I)=2*I；g1(J)=3*J+1。依赖方程为：f1(I)-g1(J)=0 2*I 3*J=1,而依赖约束为：1I50，1J50。该方程的解（I,J)对应的数组变量会导致S和T之间的依赖。,国家高性能计算中心（合肥）,24,2023/10/13,循环向量化,循环向量化将仅含有数组赋值语句的循环L转换成等价的向量语
15、句如：循环for I=1 to N doS:A(I)=D(I)*ET:C(I)=A(I)+B(I)endfor可以改写为等价的向量语句：S:A(1:N)=D(1:N)*ET:C(1:N)=A(1:N)+B(1:N),国家高性能计算中心（合肥）,25,2023/10/13,可向量化循环如果将循环内的数组赋值改为相应的向量语句后，按原来语句次序执行所得结果与原来串行执行一样，那么.但以下循环不可向量化：for I=1 to N doS:A(I)=A(I-1)+1;/不能写成A(1:N)=A(0:N-1)+1endfor而以下循环却可以向量化：for I=1 to N doS1:A(I)=A(I+1
16、)+1;/可以写成A(1:N)=A(2:N1)+1endfor为什么？,国家高性能计算中心（合肥）,26,2023/10/13,可向量化循环的充要条件对于循环L=(L1,L2,.,Lm)其最内层循环Lm可向量化当且仅当：Lm中任意两个语句S和T，（1）当ST时，不存在方向向量为(0,0,1)的S对T的依赖关系，T S；（三种依赖关系中任何一种）（2）当ST时，不存在方向向量为(0,0,1)的S对T的流依赖关系，T f S；换言之，最内层循环中如果不存在与语句词法顺序相反的依赖关系（即反向依赖），则最内层循环可向量化。再次考察：for I=1 to N doS:A(I)=A(I-1)+1;/不能
17、写成A(1:N)=A(0:N-1)+1endfor/此循环中存在 S f S，且方向为(1),距离为(1),国家高性能计算中心（合肥）,27,2023/10/13,考查以下循环可向量化的情况。（1）for I=2 to N 1 do for J=2 to N 1 doS:A(I,J)=B(I-1,J)+CT:B(I,J)=A(I,J+1)*2 endfor endfor如果向量化内层的J循环，则形成：for I=2 to N 1 do S：A(I,2:N-1)=B(I-1,2:N-1)+C T:B(I,2:N-1)=A(I,3:N)*2 endfor但此向量化运算的结果不对！为什么？,（a）存
18、在依赖T f S,方向为（1，0）（b）存在依赖T a S,方向为（0,1）,国家高性能计算中心（合肥）,28,2023/10/13,考查以下循环可向量化的情况。（1）for I=2 to N 1 do for J=2 to N 1 doS:A(I,J)=B(I-1,J)+CT:B(I,J)=A(I,J+1)*2 endfor endfor如果向量化内层的J循环，则形成：for I=2 to N 1 do S：A(I,2:N-1)=B(I-1,2:N-1)+C T:B(I,2:N-1)=A(I,3:N)*2 endfor,向量化内层循环是错误的哦！举例来说，在（I2，J2）的迭代中，原来的内层
19、循环中语句T先行读取了A(2,3)的旧值来计算B(2,2)；而在向量化后的循环中，向量化的语句S则在（I2）迭代中先行更新了A(2,3)的值；而随后向量化语句T则只能使用新的A(2,3)来计算！显然是错误的！,国家高性能计算中心（合肥）,29,2023/10/13,考查以下循环可向量化的情况。（2）for I=1 to N do for J=1 to N doS:D(I,J)=A(I,J)+CT:A(I+1,J+1)=B(I,J)*2 endfor endfor尝试向量化内层循环如下：for I=1 to N do S:D(I,1:N)=A(I,1:N)+CT:A(I+1,2:N+1)=B(I
20、,1:N)*2endfor,存在依赖T f S,方向为（1，1）,向量化正确吗？不存在（0，1）的T f S,国家高性能计算中心（合肥）,30,2023/10/13,（2）for I=1 to N do for J=1 to N doS:D(I,J)=A(I,J)+CT：A(I+1,J+1)=B(I,J)*2 endforendfor,部分展开循环如下：I=1时：J=1,2,NS(1,1):D(1,1)=A(1,1)T(1,1):A(2,2)=B(1,1)S(1,2):D(1,2)=A(1,2)T(1,2):A(2,3)=B(1,2)(外层 I 循环依然串行执行,保持I层依赖关系，如 A(2,
21、2)的写与读。)I=2时：J=1,2,NS(2,1):D(2,1)=A(2,1)T(2,1):A(3,2)=B(2,1)S(2,2):D(2,2)=A(2,2)T(2,2):A(3,3)=B(2,2),向量化为：D(1,1:N)=A(1,1:N),向量化为：A(2,2:N+1)=B(1,1:N),向量化为：D(2,1:N)=A(2,1:N),向量化为：A(3,2:N+1)=B(2,1:N),国家高性能计算中心（合肥）,31,2023/10/13,循环并行化将循环的迭代空间划分成不同的子集，分布到不同的处理机上执行（此时对各迭代子集的执行次序不作要求）。一般用doall(或 par-do)表示将
22、循环并行化。可并行化循环如果一个循环的各个迭代（子集）可按任意次序执行而结果与串行执行相同的话。以下循环可以并行化：for I=1 to N dodoall I=1 to N A(I)=A(I)+B(I)A(I)=A(I)+B(I)endfor enddoall,循环并行化,国家高性能计算中心（合肥）,32,2023/10/13,可并行化循环的充要条件循环L=(L1,L2,.,Lm)中内层循环Lk可并行化当且仅当循环L中不存在层次为k的依赖关系，即不存在方向向量为（0,0,1k,*,*)(含k-1个前导零）的依赖关系（即由K层携带的依赖关系）。考察以下循环：,for I=1 to N do f
23、or J=1 to M do X(I,J)=X(I,J-1)+X(I,J+1)endforendfor,L1:for I=0 to 4 doL2:for J=0 to 4 do S:X(I+1,J+2)=Y(I,J)+1 T:Y(I+2,J+1)=X(I,J)+1 endfor endfor,存在方向为(0,1)的依赖关系,存在方向为(1,1)的依赖关系：S T 和 T S,国家高性能计算中心（合肥）,33,2023/10/13,for I=1 to N do for J=1 to M do X(I,J)=X(I,J-1)+X(I,J+1)endforendfor,L1:for I=0 to
24、4 doL2:for J=0 to 4 do S:X(I+1,J+2)=Y(I,J)+1 T:Y(I+2,J+1)=X(I,J)+1 endfor endfor,doall I=1 to N for J=1 to M do X(I,J)=X(I,J-1)+X(I,J+1)endforenddoall,L1:for I=0 to 4 doL2:doall J=0 to 4 S:X(I+1,J+2)=Y(I,J)+1 T:Y(I+2,J+1)=X(I,J)+1 enddoall endfor,并行化外层循环I,并行化内层循环J,国家高性能计算中心（合肥）,34,2023/10/13,循环变换,循环
25、变换的主要目的在于发掘程序中更多的并行性循环变换是改变循环中语句实例的执行次序但不改变语句实例集合的程序变换技术。对于循环L中的语句实例S(i)和T(j)，如果存在T(j)依赖于S(i)，且在变换后的循环L中仍然有T(j)的执行迟于S(i)，那么称该循环变换合法，循环L和L等价。循环变换技术很多，如循环交换、语句重排、循环分布与置换等等等等。,国家高性能计算中心（合肥）,35,2023/10/13,循环分布,循环分布（loop distribution）是一种语句级变换，将一个循环分解为多个小循环，每个小循环和原来的循环有相同的迭代空间，只是包含的语句少些。该变换主要用于：分解出可向量化或可并
26、行化的循环 将原循环分解为较小循环以改善cache局部性 创建紧嵌套循环 分解原循环为若干使用较少变量的循环以提高寄存器的使用效率该变换根据语句依赖图进行其上的强连通子图分类，得到所谓凝聚图，并按其中的偏序关系执行分解后的循环,国家高性能计算中心（合肥）,36,2023/10/13,循环分布,考虑如下循环：L1：for I=4 to 100 doS1:A(I)=B(I-2)+1S2:C(I)=B(I-1)+F(I)S3:B(I)=A(I-1)+2S4:D(I)=D(I+1)+B(I-1)endfor,依赖关系如下：S1 f S3S3 f S1S3 f S2S3 f S4S4 a S4,国家高性
27、能计算中心（合肥）,37,2023/10/13,S1,S2,S3,S4,S1，S3,S2,S4,语句依赖图,凝聚图,国家高性能计算中心（合肥）,38,2023/10/13,这样把原循环分解成两大部分：L1：for I=4 to 100 doS1:A(I)=B(I-2)+1S3:B(I)=A(I-1)+2 endforL2：for I=4 to 100 doS2:C(I)=B(I-1)+F(I)endforL3：for I=4 to 100 do S4:D(I)=D(I+1)+B(I-1)endfor,语句实例执行次序为：（1）首先执行循环L1（2）L1执行完后，可同时执行循环L2和L3此外：循
28、环L2可以并行化执行；循环L3可以向量化执行；,国家高性能计算中心（合肥）,39,2023/10/13,语句重排,语句重排（statement reordering)是基于语句依赖图的程序变换，它改变语句的词法顺序但不改变语句间依赖关系。该变换常用于循环向量化。当循环中语句间有循环依赖关系时，可通过此变换将与语句执行顺序相反的依赖关系改变为与语句执行顺序一致的依赖关系，从而使循环向量化。考虑如下循环例1：L:for I=2 to N do S1:A(I)=B(I)+C(I+1)S2:D(I)=A(I+1)+1 S3:C(I)=D(I)endfor,国家高性能计算中心（合肥）,40,2023/1
29、0/13,上述循环中依赖关系为：S2 a S1 S1 a S3 和 S2 f S3，其中依赖关系 S2 a S1使得循环不能向量化。,S1,S2,S3,原语句依赖图,语句重排,S2,S1,S3,重排后的语句依赖图,国家高性能计算中心（合肥）,41,2023/10/13,语句重排后，原来的循环可以向量化,语句顺序为：S2：D(2:N)=A(3:N+1)+1S1:A(2:N)=B(2:N)+C(3:N+1)S3:C(2:N)=D(2:N),国家高性能计算中心（合肥）,42,2023/10/13,循环置换,循环置换(loop permutation)是改变循环位置的程序变换，属于迭代级的变换，而循环
30、交换即是此种变换的特例。该变换有如下特点：置换外层无循环依赖的循环与内层有依赖的循环，使得置换后内层可向量化；置换无依赖的循环到外层使得整个循环嵌套可以并行执行，可增加每次迭代的并行粒度并减少障碍同步次数；在有多层可向量化的循环时，置换范围较大的循环到外层可以增加向量的长度。,国家高性能计算中心（合肥）,43,2023/10/13,考虑如下循环例2：L1:for I=1 to M doL2:for J=1 to M do S:B(I,J)=A(I,J-1)T:A(I,J)=B(I,J)*C(I,J)endfor endfor循环中存在(0,1)的依赖关系TS，不能对内层向量化。可以利用循环置换
31、（交换）：L2:for J=1 to M do L1:for I=1 to M do此时，上述循环嵌套在内层可以向量化！,国家高性能计算中心（合肥）,44,2023/10/13,再考虑以下循环例3：for I=2 to N do for J=2 to N doS:A(I,J)=(A(I-1,J)+A(I+1,J)/2 endforendfor此循环中依赖关系：方向向量为(1,0)的S f S和(1,0)的S a S；因此循环嵌套中外层不可并行，内层可以并行(没有依赖关系），但并行粒度仅为一条语句。可以采用交换循环的方式：for J=2 to N do for I=2 to N do此时外层循环
32、可以并行，其粒度为一个（内层）循环。,国家高性能计算中心（合肥）,45,2023/10/13,循环置换的充要条件：假定P是mXm的置换矩阵，由P定义的m层循环嵌套L的置换是合法的，当且仅当对于L的每一个方向向量，均有 P 0 成立。这里mXm的置换矩阵P定义为：每个元素非0即1 每行有且仅有一个元素为1 每列有且仅有一个元素为1令(i)表示P中第i列中为1的元素所在的行号，则函数：i(i)是集合1,2,m上的一个置换，它完全确定矩阵P。P可以表示为：,1,2,m(1),(2),(m),P,或,(1),(2),(m),国家高性能计算中心（合肥）,46,2023/10/13,考虑循环例2和例3：对
33、于例2，置换矩阵P=2,1,而原循环中的方向向量为=(0,1),P=(0,1)2,1=(1,0)0。因此该循环交换是合法的。对于例3，置换矩阵P=2,1,而原循环中的方向向量为=(1,0),P=(1,0)2,1=(0,1)0。因此该循环交换是合法的。这里P=2,1 其矩阵形式为：而P=3,2,1的矩阵形式为：,0 11 0,0 0 10 1 01 0 0,国家高性能计算中心（合肥）,47,2023/10/13,循环逆转,循环逆转(loop reversal)颠倒循环中迭代执行的顺序，改变了循环迭代方向的变换，也使得变换循环中方向向量发生逆转。如果循环在逆转变换后，它的方向向量均为正向量，则称该
34、变换前后的循环等价，该变换是合法的。考虑如下循环例4：for I=1 to 100 do for J=1 to 5 doS:A(I,J)=A(I-1,J+1)+1 endforendfor,国家高性能计算中心（合肥）,48,2023/10/13,循环例4的迭代依赖图如下，可知它含有方向向量为(1,-1)的依赖关系，其内层循环可以并行化（但粒度为5次迭代），其外层不能并行化，也不能进行循环交换。（为什么？）,对循环J进行并行，粒度为5次迭代,国家高性能计算中心（合肥）,49,2023/10/13,但对例4中，循环J进行逆转，则方向向量变为(1,1)。可以对循环嵌套进行循环交换。此时内层循环I可以
35、并行化（粒度为100次迭代！），迭代依赖图如右所示：for J=5 downto 1 do for I=1 to 100 doS:A(I,J)=A(I-1,J+1)+1 endforendfor,国家高性能计算中心（合肥）,50,2023/10/13,圈收缩(cycle shrinking)此变换技术一般用于依赖距离大于1的循环中，它将一个串行循环分成两个紧嵌套循环，其中外层依然串行执行，而内层则是并行执行（一般粒度较小）。考虑循环例5：(K 为正整数)for I=0 to N doS:A(I+K)=B(I)T:B(I+K)=A(I)+C(I)endfor,圈收缩,S,T,语句依赖图,国家高性能计算中心（合肥）,51,2023/10/13,循环例5既不能向量化，也不能并行化（why？）考察（K=4时）迭代依赖图：可知，此循环可以按K个迭代一组串行执行，而每一组内可以并行执行。循环例5可以改写为：for J=0 to N step Kdoall I=J to J+K-1S:A(I+K)=B(I)T:B(I+K)=A(I)+C(I)enddoallendfor,
