s390x assembler pack: add s390x-gf2m.pl and harmonize AES_xts_[en|de]crypt.
[openssl.git] / crypto / bn / asm / s390x-gf2m.pl
1 #!/usr/bin/env perl
2 #
3 # ====================================================================
4 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
5 # project. The module is, however, dual licensed under OpenSSL and
6 # CRYPTOGAMS licenses depending on where you obtain it. For further
7 # details see http://www.openssl.org/~appro/cryptogams/.
8 # ====================================================================
9 #
10 # May 2011
11 #
12 # The module implements bn_GF2m_mul_2x2 polynomial multiplication used
13 # in bn_gf2m.c. It's kind of low-hanging mechanical port from C for
14 # the time being... gcc 4.3 appeared to generate poor code, therefore
15 # the effort. The module delivers 55%-90% improvement on haviest ECDSA
16 # verify and ECDH benchmarks for 163- and 571-bit keys on z990, and
17 # 25%-30% - on z196(*). This is for 64-bit build. In 32-bit "highgprs"
18 # case improvement is even higher, for example on z990 it was measured
19 # 80%-150%. ECDSA sign is modest 9%-12% faster. Keep in mind that
20 # these coefficients are not ones for bn_GF2m_mul_2x2 itself, as not
21 # all CPU time is burnt in it...
22 #
23 # (*)   Though no improvement could be measured if compared to code
24 #       generated by gcc 4.1. Keep in mind that z196 is out-of-order
25 #       execution core and is better at executing poor code.
26
27 $flavour = shift;
28
29 if ($flavour =~ /3[12]/) {
30         $SIZE_T=4;
31         $g="";
32 } else {
33         $SIZE_T=8;
34         $g="g";
35 }
36
37 while (($output=shift) && ($output!~/^\w[\w\-]*\.\w+$/)) {}
38 open STDOUT,">$output";
39
40 $stdframe=16*$SIZE_T+4*8;
41
42 $rp="%r2";
43 $a1="%r3";
44 $a0="%r4";
45 $b1="%r5";
46 $b0="%r6";
47
48 $ra="%r14";
49 $sp="%r15";
50
51 @T=("%r0","%r1");
52 @i=("%r12","%r13");
53
54 ($a1,$a2,$a4,$a8,$a12,$a48)=map("%r$_",(6..11));
55 ($lo,$hi,$b)=map("%r$_",(3..5)); $a=$lo; $mask=$a8;
56
57 $code.=<<___;
58 .text
59
60 .type   _mul_1x1,\@function
61 .align  16
62 _mul_1x1:
63         lgr     $a1,$a
64         sllg    $a2,$a,1
65         sllg    $a4,$a,2
66         sllg    $a8,$a,3
67
68         srag    $lo,$a1,63                      # broadcast 63rd bit
69         nihh    $a1,0x1fff
70         srag    @i[0],$a2,63                    # broadcast 62nd bit
71         nihh    $a2,0x3fff
72         srag    @i[1],$a4,63                    # broadcast 61st bit
73         nihh    $a4,0x7fff
74         ngr     $lo,$b
75         ngr     @i[0],$b
76         ngr     @i[1],$b
77
78         lghi    @T[0],0
79         lgr     $a12,$a1
80         stg     @T[0],`$stdframe+0*8`($sp)      # tab[0]=0
81         xgr     $a12,$a2
82         stg     $a1,`$stdframe+1*8`($sp)        # tab[1]=a1
83          lgr    $a48,$a4
84         stg     $a2,`$stdframe+2*8`($sp)        # tab[2]=a2
85          xgr    $a48,$a8
86         stg     $a12,`$stdframe+3*8`($sp)       # tab[3]=a1^a2
87          xgr    $a1,$a4
88
89         stg     $a4,`$stdframe+4*8`($sp)        # tab[4]=a4
90         xgr     $a2,$a4
91         stg     $a1,`$stdframe+5*8`($sp)        # tab[5]=a1^a4
92         xgr     $a12,$a4
93         stg     $a2,`$stdframe+6*8`($sp)        # tab[6]=a2^a4
94          xgr    $a1,$a48
95         stg     $a12,`$stdframe+7*8`($sp)       # tab[7]=a1^a2^a4
96          xgr    $a2,$a48
97
98         stg     $a8,`$stdframe+8*8`($sp)        # tab[8]=a8
99         xgr     $a12,$a48
100         stg     $a1,`$stdframe+9*8`($sp)        # tab[9]=a1^a8
101          xgr    $a1,$a4
102         stg     $a2,`$stdframe+10*8`($sp)       # tab[10]=a2^a8
103          xgr    $a2,$a4
104         stg     $a12,`$stdframe+11*8`($sp)      # tab[11]=a1^a2^a8
105
106         xgr     $a12,$a4
107         stg     $a48,`$stdframe+12*8`($sp)      # tab[12]=a4^a8
108          srlg   $hi,$lo,1
109         stg     $a1,`$stdframe+13*8`($sp)       # tab[13]=a1^a4^a8
110          sllg   $lo,$lo,63
111         stg     $a2,`$stdframe+14*8`($sp)       # tab[14]=a2^a4^a8
112          srlg   @T[0],@i[0],2
113         stg     $a12,`$stdframe+15*8`($sp)      # tab[15]=a1^a2^a4^a8
114
115         lghi    $mask,`0xf<<3`
116         sllg    $a1,@i[0],62
117          sllg   @i[0],$b,3
118         srlg    @T[1],@i[1],3
119          ngr    @i[0],$mask
120         sllg    $a2,@i[1],61
121          srlg   @i[1],$b,4-3
122         xgr     $hi,@T[0]
123          ngr    @i[1],$mask
124         xgr     $lo,$a1
125         xgr     $hi,@T[1]
126         xgr     $lo,$a2
127
128         xg      $lo,$stdframe(@i[0],$sp)
129         srlg    @i[0],$b,8-3
130         ngr     @i[0],$mask
131 ___
132 for($n=1;$n<14;$n++) {
133 $code.=<<___;
134         lg      @T[1],$stdframe(@i[1],$sp)
135         srlg    @i[1],$b,`($n+2)*4`-3
136         sllg    @T[0],@T[1],`$n*4`
137         ngr     @i[1],$mask
138         srlg    @T[1],@T[1],`64-$n*4`
139         xgr     $lo,@T[0]
140         xgr     $hi,@T[1]
141 ___
142         push(@i,shift(@i)); push(@T,shift(@T));
143 }
144 $code.=<<___;
145         lg      @T[1],$stdframe(@i[1],$sp)
146         sllg    @T[0],@T[1],`$n*4`
147         srlg    @T[1],@T[1],`64-$n*4`
148         xgr     $lo,@T[0]
149         xgr     $hi,@T[1]
150
151         lg      @T[0],$stdframe(@i[0],$sp)
152         sllg    @T[1],@T[0],`($n+1)*4`
153         srlg    @T[0],@T[0],`64-($n+1)*4`
154         xgr     $lo,@T[1]
155         xgr     $hi,@T[0]
156
157         br      $ra
158 .size   _mul_1x1,.-_mul_1x1
159
160 .globl  bn_GF2m_mul_2x2
161 .type   bn_GF2m_mul_2x2,\@function
162 .align  16
163 bn_GF2m_mul_2x2:
164         stm${g} %r3,%r15,3*$SIZE_T($sp)
165
166         lghi    %r1,-$stdframe-128
167         la      %r0,0($sp)
168         la      $sp,0(%r1,$sp)                  # alloca
169         st${g}  %r0,0($sp)                      # back chain
170 ___
171 if ($SIZE_T==8) {
172 my @r=map("%r$_",(6..9));
173 $code.=<<___;
174         bras    $ra,_mul_1x1                    # a1·b1
175         stmg    $lo,$hi,16($rp)
176
177         lg      $a,`$stdframe+128+4*$SIZE_T`($sp)
178         lg      $b,`$stdframe+128+6*$SIZE_T`($sp)
179         bras    $ra,_mul_1x1                    # a0·b0
180         stmg    $lo,$hi,0($rp)
181
182         lg      $a,`$stdframe+128+3*$SIZE_T`($sp)
183         lg      $b,`$stdframe+128+5*$SIZE_T`($sp)
184         xg      $a,`$stdframe+128+4*$SIZE_T`($sp)
185         xg      $b,`$stdframe+128+6*$SIZE_T`($sp)
186         bras    $ra,_mul_1x1                    # (a0+a1)·(b0+b1)
187         lmg     @r[0],@r[3],0($rp)
188
189         xgr     $lo,$hi
190         xgr     $hi,@r[1]
191         xgr     $lo,@r[0]
192         xgr     $hi,@r[2]
193         xgr     $lo,@r[3]       
194         xgr     $hi,@r[3]
195         xgr     $lo,$hi
196         stg     $hi,16($rp)
197         stg     $lo,8($rp)
198 ___
199 } else {
200 $code.=<<___;
201         sllg    %r3,%r3,32
202         sllg    %r5,%r5,32
203         or      %r3,%r4
204         or      %r5,%r6
205         bras    $ra,_mul_1x1
206         rllg    $lo,$lo,32
207         rllg    $hi,$hi,32
208         stmg    $lo,$hi,0($rp)
209 ___
210 }
211 $code.=<<___;
212         lm${g}  %r6,%r15,`$stdframe+128+6*$SIZE_T`($sp)
213         br      $ra
214 .size   bn_GF2m_mul_2x2,.-bn_GF2m_mul_2x2
215 .string "GF(2^m) Multiplication for s390x, CRYPTOGAMS by <appro\@openssl.org>"
216 ___
217
218 $code =~ s/\`([^\`]*)\`/eval($1)/gem;
219 print $code;
220 close STDOUT;