Submitted by: "Victor B. Wagner" <vitus@cryptocom.ru>
[openssl.git] / crypto / sha / asm / sha512-sparcv9.pl
1 #!/usr/bin/env perl
2
3 # ====================================================================
4 # Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
5 # project. The module is, however, dual licensed under OpenSSL and
6 # CRYPTOGAMS licenses depending on where you obtain it. For further
7 # details see http://www.openssl.org/~appro/cryptogams/.
8 # ====================================================================
9
10 # SHA256 performance improvement over compiler generated code varies
11 # from 40% for Sun C [32-bit build] to 70% for gcc [3.3, 64-bit
12 # build]. Just like in SHA1 module I aim to ensure scalability on
13 # UltraSPARC T1 by packing X[16] to 8 64-bit registers.
14
15 # SHA512 on pre-T1 UltraSPARC.
16 #
17 # Performance is >75% better than 64-bit code generated by Sun C and
18 # over 2x than 32-bit code. X[16] resides on stack, but access to it
19 # is scheduled for L2 latency and staged through 32 least significant
20 # bits of %l0-%l7. The latter is done to achieve 32-/64-bit ABI
21 # duality. Nevetheless it's ~40% faster than SHA256, which is pretty
22 # good [optimal coefficient is 50%].
23 #
24 # SHA512 on UltraSPARC T1.
25 #
26 # It's not any faster than 64-bit code generated by Sun C 5.8. This is
27 # because 64-bit code generator has the advantage of using 64-bit
28 # loads(*) to access X[16], which I consciously traded for 32-/64-bit
29 # ABI duality [as per above]. But it surpasses 32-bit Sun C generated
30 # code by 60%, not to mention that it doesn't suffer from severe decay
31 # when running 4 times physical cores threads and that it leaves gcc
32 # [3.4] behind by over 4x factor! If compared to SHA256, single thread
33 # performance is only 10% better, but overall throughput for maximum
34 # amount of threads for given CPU exceeds corresponding one of SHA256
35 # by 30% [again, optimal coefficient is 50%].
36 #
37 # (*)   Unlike pre-T1 UltraSPARC loads on T1 are executed strictly
38 #       in-order, i.e. load instruction has to complete prior next
39 #       instruction in given thread is executed, even if the latter is
40 #       not dependent on load result! This means that on T1 two 32-bit
41 #       loads are always slower than one 64-bit load. Once again this
42 #       is unlike pre-T1 UltraSPARC, where, if scheduled appropriately,
43 #       2x32-bit loads can be as fast as 1x64-bit ones.
44
45 $bits=32;
46 for (@ARGV)     { $bits=64 if (/\-m64/ || /\-xarch\=v9/); }
47 if ($bits==64)  { $bias=2047; $frame=192; }
48 else            { $bias=0;    $frame=112; }
49
50 $output=shift;
51 open STDOUT,">$output";
52
53 if ($output =~ /512/) {
54         $label="512";
55         $SZ=8;
56         $LD="ldx";              # load from memory
57         $ST="stx";              # store to memory
58         $SLL="sllx";            # shift left logical
59         $SRL="srlx";            # shift right logical
60         @Sigma0=(28,34,39);
61         @Sigma1=(14,18,41);
62         @sigma0=( 7, 1, 8);     # right shift first
63         @sigma1=( 6,19,61);     # right shift first
64         $lastK=0x817;
65         $rounds=80;
66         $align=4;
67
68         $locals=16*$SZ;         # X[16]
69
70         $A="%o0";
71         $B="%o1";
72         $C="%o2";
73         $D="%o3";
74         $E="%o4";
75         $F="%o5";
76         $G="%g1";
77         $H="%o7";
78         @V=($A,$B,$C,$D,$E,$F,$G,$H);
79 } else {
80         $label="256";
81         $SZ=4;
82         $LD="ld";               # load from memory
83         $ST="st";               # store to memory
84         $SLL="sll";             # shift left logical
85         $SRL="srl";             # shift right logical
86         @Sigma0=( 2,13,22);
87         @Sigma1=( 6,11,25);
88         @sigma0=( 3, 7,18);     # right shift first
89         @sigma1=(10,17,19);     # right shift first
90         $lastK=0x8f2;
91         $rounds=64;
92         $align=8;
93
94         $locals=0;              # X[16] is register resident
95         @X=("%o0","%o1","%o2","%o3","%o4","%o5","%g1","%o7");
96         
97         $A="%l0";
98         $B="%l1";
99         $C="%l2";
100         $D="%l3";
101         $E="%l4";
102         $F="%l5";
103         $G="%l6";
104         $H="%l7";
105         @V=($A,$B,$C,$D,$E,$F,$G,$H);
106 }
107 $T1="%g2";
108 $tmp0="%g3";
109 $tmp1="%g4";
110 $tmp2="%g5";
111
112 $ctx="%i0";
113 $inp="%i1";
114 $len="%i2";
115 $Ktbl="%i3";
116 $tmp31="%i4";
117 $tmp32="%i5";
118
119 ########### SHA256
120 $Xload = sub {
121 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
122
123     if ($i==0) {
124 $code.=<<___;
125         ldx     [$inp+0],@X[0]
126         ldx     [$inp+16],@X[2]
127         ldx     [$inp+32],@X[4]
128         ldx     [$inp+48],@X[6]
129         ldx     [$inp+8],@X[1]
130         ldx     [$inp+24],@X[3]
131         subcc   %g0,$tmp31,$tmp32 ! should be 64-$tmp31, but -$tmp31 works too
132         ldx     [$inp+40],@X[5]
133         bz,pt   %icc,.Laligned
134         ldx     [$inp+56],@X[7]
135
136         sllx    @X[0],$tmp31,@X[0]
137         ldx     [$inp+64],$T1
138 ___
139 for($j=0;$j<7;$j++)
140 {   $code.=<<___;
141         srlx    @X[$j+1],$tmp32,$tmp1
142         sllx    @X[$j+1],$tmp31,@X[$j+1]
143         or      $tmp1,@X[$j],@X[$j]
144 ___
145 }
146 $code.=<<___;
147         srlx    $T1,$tmp32,$T1
148         or      $T1,@X[7],@X[7]
149 .Laligned:
150 ___
151     }
152
153     if ($i&1) {
154         $code.="\tadd   @X[$i/2],$h,$T1\n";
155     } else {
156         $code.="\tsrlx  @X[$i/2],32,$T1\n\tadd  $h,$T1,$T1\n";
157     }
158 } if ($SZ==4);
159
160 ########### SHA512
161 $Xload = sub {
162 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
163 my @pair=("%l".eval(($i*2)%8),"%l".eval(($i*2)%8+1),"%l".eval((($i+1)*2)%8));
164
165 $code.=<<___ if ($i==0);
166         ld      [$inp+0],%l0
167         ld      [$inp+4],%l1
168         ld      [$inp+8],%l2
169         ld      [$inp+12],%l3
170         ld      [$inp+16],%l4
171         ld      [$inp+20],%l5
172         ld      [$inp+24],%l6
173         ld      [$inp+28],%l7
174 ___
175 $code.=<<___ if ($i<15);
176         sllx    @pair[1],$tmp31,$tmp2   ! Xload($i)
177         add     $tmp31,32,$tmp0
178         sllx    @pair[0],$tmp0,$tmp1
179         `"ld    [$inp+".eval(32+0+$i*8)."],@pair[0]"    if ($i<12)`
180         srlx    @pair[2],$tmp32,@pair[1]
181         or      $tmp1,$tmp2,$tmp2
182         or      @pair[1],$tmp2,$tmp2
183         `"ld    [$inp+".eval(32+4+$i*8)."],@pair[1]"    if ($i<12)`
184         add     $h,$tmp2,$T1
185         $ST     $tmp2,[%sp+`$bias+$frame+$i*$SZ`]
186 ___
187 $code.=<<___ if ($i==12);
188         brnz,a  $tmp31,.+8
189         ld      [$inp+128],%l0
190 ___
191 $code.=<<___ if ($i==15);
192         ld      [%sp+`$bias+$frame+(($i+1+1)%16)*$SZ+0`],%l2
193         sllx    @pair[1],$tmp31,$tmp2   ! Xload($i)
194         add     $tmp31,32,$tmp0
195         ld      [%sp+`$bias+$frame+(($i+1+1)%16)*$SZ+4`],%l3
196         sllx    @pair[0],$tmp0,$tmp1
197         ld      [%sp+`$bias+$frame+(($i+1+9)%16)*$SZ+0`],%l4
198         srlx    @pair[2],$tmp32,@pair[1]
199         or      $tmp1,$tmp2,$tmp2
200         ld      [%sp+`$bias+$frame+(($i+1+9)%16)*$SZ+4`],%l5
201         or      @pair[1],$tmp2,$tmp2
202         ld      [%sp+`$bias+$frame+(($i+1+14)%16)*$SZ+0`],%l6
203         add     $h,$tmp2,$T1
204         $ST     $tmp2,[%sp+`$bias+$frame+$i*$SZ`]
205         ld      [%sp+`$bias+$frame+(($i+1+14)%16)*$SZ+4`],%l7
206         ld      [%sp+`$bias+$frame+(($i+1+0)%16)*$SZ+0`],%l0
207         ld      [%sp+`$bias+$frame+(($i+1+0)%16)*$SZ+4`],%l1
208 ___
209 } if ($SZ==8);
210
211 ########### common
212 sub BODY_00_15 {
213 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
214
215     if ($i<16) {
216         &$Xload(@_);
217     } else {
218         $code.="\tadd   $h,$T1,$T1\n";
219     }
220
221 $code.=<<___;
222         $SRL    $e,@Sigma1[0],$h        !! $i
223         xor     $f,$g,$tmp2
224         $SLL    $e,`$SZ*8-@Sigma1[2]`,$tmp1
225         and     $e,$tmp2,$tmp2
226         $SRL    $e,@Sigma1[1],$tmp0
227         xor     $tmp1,$h,$h
228         $SLL    $e,`$SZ*8-@Sigma1[1]`,$tmp1
229         xor     $tmp0,$h,$h
230         $SRL    $e,@Sigma1[2],$tmp0
231         xor     $tmp1,$h,$h
232         $SLL    $e,`$SZ*8-@Sigma1[0]`,$tmp1
233         xor     $tmp0,$h,$h
234         xor     $g,$tmp2,$tmp2          ! Ch(e,f,g)
235         xor     $tmp1,$h,$tmp0          ! Sigma1(e)
236
237         $SRL    $a,@Sigma0[0],$h
238         add     $tmp2,$T1,$T1
239         $LD     [$Ktbl+`$i*$SZ`],$tmp2  ! K[$i]
240         $SLL    $a,`$SZ*8-@Sigma0[2]`,$tmp1
241         add     $tmp0,$T1,$T1
242         $SRL    $a,@Sigma0[1],$tmp0
243         xor     $tmp1,$h,$h
244         $SLL    $a,`$SZ*8-@Sigma0[1]`,$tmp1
245         xor     $tmp0,$h,$h
246         $SRL    $a,@Sigma0[2],$tmp0
247         xor     $tmp1,$h,$h     
248         $SLL    $a,`$SZ*8-@Sigma0[0]`,$tmp1
249         xor     $tmp0,$h,$h
250         xor     $tmp1,$h,$h             ! Sigma0(a)
251
252         or      $a,$b,$tmp0
253         and     $a,$b,$tmp1
254         and     $c,$tmp0,$tmp0
255         or      $tmp0,$tmp1,$tmp1       ! Maj(a,b,c)
256         add     $tmp2,$T1,$T1           ! +=K[$i]
257         add     $tmp1,$h,$h
258
259         add     $T1,$d,$d
260         add     $T1,$h,$h
261 ___
262 }
263
264 ########### SHA256
265 $BODY_16_XX = sub {
266 my $i=@_[0];
267 my $xi;
268
269     if ($i&1) {
270         $xi=$tmp32;
271         $code.="\tsrlx  @X[(($i+1)/2)%8],32,$xi\n";
272     } else {
273         $xi=@X[(($i+1)/2)%8];
274     }
275 $code.=<<___;
276         srl     $xi,@sigma0[0],$T1              !! Xupdate($i)
277         sll     $xi,`32-@sigma0[2]`,$tmp1
278         srl     $xi,@sigma0[1],$tmp0
279         xor     $tmp1,$T1,$T1
280         sll     $tmp1,`@sigma0[2]-@sigma0[1]`,$tmp1
281         xor     $tmp0,$T1,$T1
282         srl     $xi,@sigma0[2],$tmp0
283         xor     $tmp1,$T1,$T1
284 ___
285     if ($i&1) {
286         $xi=@X[(($i+14)/2)%8];
287     } else {
288         $xi=$tmp32;
289         $code.="\tsrlx  @X[(($i+14)/2)%8],32,$xi\n";
290     }
291 $code.=<<___;
292         srl     $xi,@sigma1[0],$tmp2
293         xor     $tmp0,$T1,$T1                   ! T1=sigma0(X[i+1])
294         sll     $xi,`32-@sigma1[2]`,$tmp1
295         srl     $xi,@sigma1[1],$tmp0
296         xor     $tmp1,$tmp2,$tmp2
297         sll     $tmp1,`@sigma1[2]-@sigma1[1]`,$tmp1
298         xor     $tmp0,$tmp2,$tmp2
299         srl     $xi,@sigma1[2],$tmp0
300         xor     $tmp1,$tmp2,$tmp2
301 ___
302     if ($i&1) {
303         $xi=@X[($i/2)%8];
304 $code.=<<___;
305         srlx    @X[(($i+9)/2)%8],32,$tmp1       ! X[i+9]
306         xor     $tmp0,$tmp2,$tmp2               ! sigma1(X[i+14])
307         srl     @X[($i/2)%8],0,$tmp0
308         add     $xi,$T1,$T1                     ! +=X[i]
309         xor     $tmp0,@X[($i/2)%8],@X[($i/2)%8]
310         add     $tmp2,$T1,$T1
311         add     $tmp1,$T1,$T1
312
313         srl     $T1,0,$T1
314         or      $T1,@X[($i/2)%8],@X[($i/2)%8]
315 ___
316     } else {
317         $xi=@X[(($i+9)/2)%8];
318 $code.=<<___;
319         srlx    @X[($i/2)%8],32,$tmp1           ! X[i]
320         xor     $tmp0,$tmp2,$tmp2               ! sigma1(X[i+14])
321         srl     @X[($i/2)%8],0,@X[($i/2)%8]
322         add     $xi,$T1,$T1                     ! +=X[i+9]
323         add     $tmp2,$T1,$T1
324         add     $tmp1,$T1,$T1
325
326         sllx    $T1,32,$tmp0
327         or      $tmp0,@X[($i/2)%8],@X[($i/2)%8]
328 ___
329     }
330     &BODY_00_15(@_);
331 } if ($SZ==4);
332
333 ########### SHA512
334 $BODY_16_XX = sub {
335 my $i=@_[0];
336 my @pair=("%l".eval(($i*2)%8),"%l".eval(($i*2)%8+1));
337
338 $code.=<<___;
339         sllx    %l2,32,$tmp0            !! Xupdate($i)
340         or      %l3,$tmp0,$tmp0
341
342         srlx    $tmp0,@sigma0[0],$T1
343         ld      [%sp+`$bias+$frame+(($i+1+1)%16)*$SZ+0`],%l2
344         sllx    $tmp0,`64-@sigma0[2]`,$tmp1
345         ld      [%sp+`$bias+$frame+(($i+1+1)%16)*$SZ+4`],%l3
346         srlx    $tmp0,@sigma0[1],$tmp0
347         xor     $tmp1,$T1,$T1
348         sllx    $tmp1,`@sigma0[2]-@sigma0[1]`,$tmp1
349         xor     $tmp0,$T1,$T1
350         srlx    $tmp0,`@sigma0[2]-@sigma0[1]`,$tmp0
351         xor     $tmp1,$T1,$T1
352         sllx    %l6,32,$tmp2
353         xor     $tmp0,$T1,$T1           ! sigma0(X[$i+1])
354         or      %l7,$tmp2,$tmp2
355
356         srlx    $tmp2,@sigma1[0],$tmp1
357         ld      [%sp+`$bias+$frame+(($i+1+14)%16)*$SZ+0`],%l6
358         sllx    $tmp2,`64-@sigma1[2]`,$tmp0
359         ld      [%sp+`$bias+$frame+(($i+1+14)%16)*$SZ+4`],%l7
360         srlx    $tmp2,@sigma1[1],$tmp2
361         xor     $tmp0,$tmp1,$tmp1
362         sllx    $tmp0,`@sigma1[2]-@sigma1[1]`,$tmp0
363         xor     $tmp2,$tmp1,$tmp1
364         srlx    $tmp2,`@sigma1[2]-@sigma1[1]`,$tmp2
365         xor     $tmp0,$tmp1,$tmp1
366         sllx    %l4,32,$tmp0
367         xor     $tmp2,$tmp1,$tmp1       ! sigma1(X[$i+14])
368         ld      [%sp+`$bias+$frame+(($i+1+9)%16)*$SZ+0`],%l4
369         or      %l5,$tmp0,$tmp0
370         ld      [%sp+`$bias+$frame+(($i+1+9)%16)*$SZ+4`],%l5
371
372         sllx    %l0,32,$tmp2
373         add     $tmp1,$T1,$T1
374         ld      [%sp+`$bias+$frame+(($i+1+0)%16)*$SZ+0`],%l0
375         or      %l1,$tmp2,$tmp2
376         add     $tmp0,$T1,$T1           ! +=X[$i+9]
377         ld      [%sp+`$bias+$frame+(($i+1+0)%16)*$SZ+4`],%l1
378         add     $tmp2,$T1,$T1           ! +=X[$i]
379         $ST     $T1,[%sp+`$bias+$frame+($i%16)*$SZ`]
380 ___
381     &BODY_00_15(@_);
382 } if ($SZ==8);
383
384 $code.=<<___ if ($bits==64);
385 .register       %g2,#scratch
386 .register       %g3,#scratch
387 ___
388 $code.=<<___;
389 .section        ".text",#alloc,#execinstr
390
391 .align  64
392 K${label}:
393 .type   K${label},#object
394 ___
395 if ($SZ==4) {
396 $code.=<<___;
397         .long   0x428a2f98, 0x71374491, 0xb5c0fbcf, 0xe9b5dba5
398         .long   0x3956c25b, 0x59f111f1, 0x923f82a4, 0xab1c5ed5
399         .long   0xd807aa98, 0x12835b01, 0x243185be, 0x550c7dc3
400         .long   0x72be5d74, 0x80deb1fe, 0x9bdc06a7, 0xc19bf174
401         .long   0xe49b69c1, 0xefbe4786, 0x0fc19dc6, 0x240ca1cc
402         .long   0x2de92c6f, 0x4a7484aa, 0x5cb0a9dc, 0x76f988da
403         .long   0x983e5152, 0xa831c66d, 0xb00327c8, 0xbf597fc7
404         .long   0xc6e00bf3, 0xd5a79147, 0x06ca6351, 0x14292967
405         .long   0x27b70a85, 0x2e1b2138, 0x4d2c6dfc, 0x53380d13
406         .long   0x650a7354, 0x766a0abb, 0x81c2c92e, 0x92722c85
407         .long   0xa2bfe8a1, 0xa81a664b, 0xc24b8b70, 0xc76c51a3
408         .long   0xd192e819, 0xd6990624, 0xf40e3585, 0x106aa070
409         .long   0x19a4c116, 0x1e376c08, 0x2748774c, 0x34b0bcb5
410         .long   0x391c0cb3, 0x4ed8aa4a, 0x5b9cca4f, 0x682e6ff3
411         .long   0x748f82ee, 0x78a5636f, 0x84c87814, 0x8cc70208
412         .long   0x90befffa, 0xa4506ceb, 0xbef9a3f7, 0xc67178f2
413 ___
414 } else {
415 $code.=<<___;
416         .long   0x428a2f98,0xd728ae22, 0x71374491,0x23ef65cd
417         .long   0xb5c0fbcf,0xec4d3b2f, 0xe9b5dba5,0x8189dbbc
418         .long   0x3956c25b,0xf348b538, 0x59f111f1,0xb605d019
419         .long   0x923f82a4,0xaf194f9b, 0xab1c5ed5,0xda6d8118
420         .long   0xd807aa98,0xa3030242, 0x12835b01,0x45706fbe
421         .long   0x243185be,0x4ee4b28c, 0x550c7dc3,0xd5ffb4e2
422         .long   0x72be5d74,0xf27b896f, 0x80deb1fe,0x3b1696b1
423         .long   0x9bdc06a7,0x25c71235, 0xc19bf174,0xcf692694
424         .long   0xe49b69c1,0x9ef14ad2, 0xefbe4786,0x384f25e3
425         .long   0x0fc19dc6,0x8b8cd5b5, 0x240ca1cc,0x77ac9c65
426         .long   0x2de92c6f,0x592b0275, 0x4a7484aa,0x6ea6e483
427         .long   0x5cb0a9dc,0xbd41fbd4, 0x76f988da,0x831153b5
428         .long   0x983e5152,0xee66dfab, 0xa831c66d,0x2db43210
429         .long   0xb00327c8,0x98fb213f, 0xbf597fc7,0xbeef0ee4
430         .long   0xc6e00bf3,0x3da88fc2, 0xd5a79147,0x930aa725
431         .long   0x06ca6351,0xe003826f, 0x14292967,0x0a0e6e70
432         .long   0x27b70a85,0x46d22ffc, 0x2e1b2138,0x5c26c926
433         .long   0x4d2c6dfc,0x5ac42aed, 0x53380d13,0x9d95b3df
434         .long   0x650a7354,0x8baf63de, 0x766a0abb,0x3c77b2a8
435         .long   0x81c2c92e,0x47edaee6, 0x92722c85,0x1482353b
436         .long   0xa2bfe8a1,0x4cf10364, 0xa81a664b,0xbc423001
437         .long   0xc24b8b70,0xd0f89791, 0xc76c51a3,0x0654be30
438         .long   0xd192e819,0xd6ef5218, 0xd6990624,0x5565a910
439         .long   0xf40e3585,0x5771202a, 0x106aa070,0x32bbd1b8
440         .long   0x19a4c116,0xb8d2d0c8, 0x1e376c08,0x5141ab53
441         .long   0x2748774c,0xdf8eeb99, 0x34b0bcb5,0xe19b48a8
442         .long   0x391c0cb3,0xc5c95a63, 0x4ed8aa4a,0xe3418acb
443         .long   0x5b9cca4f,0x7763e373, 0x682e6ff3,0xd6b2b8a3
444         .long   0x748f82ee,0x5defb2fc, 0x78a5636f,0x43172f60
445         .long   0x84c87814,0xa1f0ab72, 0x8cc70208,0x1a6439ec
446         .long   0x90befffa,0x23631e28, 0xa4506ceb,0xde82bde9
447         .long   0xbef9a3f7,0xb2c67915, 0xc67178f2,0xe372532b
448         .long   0xca273ece,0xea26619c, 0xd186b8c7,0x21c0c207
449         .long   0xeada7dd6,0xcde0eb1e, 0xf57d4f7f,0xee6ed178
450         .long   0x06f067aa,0x72176fba, 0x0a637dc5,0xa2c898a6
451         .long   0x113f9804,0xbef90dae, 0x1b710b35,0x131c471b
452         .long   0x28db77f5,0x23047d84, 0x32caab7b,0x40c72493
453         .long   0x3c9ebe0a,0x15c9bebc, 0x431d67c4,0x9c100d4c
454         .long   0x4cc5d4be,0xcb3e42b6, 0x597f299c,0xfc657e2a
455         .long   0x5fcb6fab,0x3ad6faec, 0x6c44198c,0x4a475817
456 ___
457 }
458 $code.=<<___;
459 .size   K${label},.-K${label}
460 .globl  sha${label}_block_data_order
461 sha${label}_block_data_order:
462         save    %sp,`-$frame-$locals`,%sp
463         and     $inp,`$align-1`,$tmp31
464         sllx    $len,`log(16*$SZ)/log(2)`,$len
465         andn    $inp,`$align-1`,$inp
466         sll     $tmp31,3,$tmp31
467         add     $inp,$len,$len
468 ___
469 $code.=<<___ if ($SZ==8); # SHA512
470         mov     32,$tmp32
471         sub     $tmp32,$tmp31,$tmp32
472 ___
473 $code.=<<___;
474 .Lpic:  call    .+8
475         sub     %o7,.Lpic-K${label},$Ktbl
476
477         $LD     [$ctx+`0*$SZ`],$A
478         $LD     [$ctx+`1*$SZ`],$B
479         $LD     [$ctx+`2*$SZ`],$C
480         $LD     [$ctx+`3*$SZ`],$D
481         $LD     [$ctx+`4*$SZ`],$E
482         $LD     [$ctx+`5*$SZ`],$F
483         $LD     [$ctx+`6*$SZ`],$G
484         $LD     [$ctx+`7*$SZ`],$H
485
486 .Lloop:
487 ___
488 for ($i=0;$i<16;$i++)   { &BODY_00_15($i,@V); unshift(@V,pop(@V)); }
489 $code.=".L16_xx:\n";
490 for (;$i<32;$i++)       { &$BODY_16_XX($i,@V); unshift(@V,pop(@V)); }
491 $code.=<<___;
492         and     $tmp2,0xfff,$tmp2
493         cmp     $tmp2,$lastK
494         bne     .L16_xx
495         add     $Ktbl,`16*$SZ`,$Ktbl    ! Ktbl+=16
496
497 ___
498 $code.=<<___ if ($SZ==4); # SHA256
499         $LD     [$ctx+`0*$SZ`],@X[0]
500         $LD     [$ctx+`1*$SZ`],@X[1]
501         $LD     [$ctx+`2*$SZ`],@X[2]
502         $LD     [$ctx+`3*$SZ`],@X[3]
503         $LD     [$ctx+`4*$SZ`],@X[4]
504         $LD     [$ctx+`5*$SZ`],@X[5]
505         $LD     [$ctx+`6*$SZ`],@X[6]
506         $LD     [$ctx+`7*$SZ`],@X[7]
507
508         add     $A,@X[0],$A
509         $ST     $A,[$ctx+`0*$SZ`]
510         add     $B,@X[1],$B
511         $ST     $B,[$ctx+`1*$SZ`]
512         add     $C,@X[2],$C
513         $ST     $C,[$ctx+`2*$SZ`]
514         add     $D,@X[3],$D
515         $ST     $D,[$ctx+`3*$SZ`]
516         add     $E,@X[4],$E
517         $ST     $E,[$ctx+`4*$SZ`]
518         add     $F,@X[5],$F
519         $ST     $F,[$ctx+`5*$SZ`]
520         add     $G,@X[6],$G
521         $ST     $G,[$ctx+`6*$SZ`]
522         add     $H,@X[7],$H
523         $ST     $H,[$ctx+`7*$SZ`]
524 ___
525 $code.=<<___ if ($SZ==8); # SHA512
526         ld      [$ctx+`0*$SZ+0`],%l0
527         ld      [$ctx+`0*$SZ+4`],%l1
528         ld      [$ctx+`1*$SZ+0`],%l2
529         ld      [$ctx+`1*$SZ+4`],%l3
530         ld      [$ctx+`2*$SZ+0`],%l4
531         ld      [$ctx+`2*$SZ+4`],%l5
532         ld      [$ctx+`3*$SZ+0`],%l6
533
534         sllx    %l0,32,$tmp0
535         ld      [$ctx+`3*$SZ+4`],%l7
536         sllx    %l2,32,$tmp1
537         or      %l1,$tmp0,$tmp0
538         or      %l3,$tmp1,$tmp1
539         add     $tmp0,$A,$A
540         add     $tmp1,$B,$B
541         $ST     $A,[$ctx+`0*$SZ`]
542         sllx    %l4,32,$tmp2
543         $ST     $B,[$ctx+`1*$SZ`]
544         sllx    %l6,32,$T1
545         or      %l5,$tmp2,$tmp2
546         or      %l7,$T1,$T1
547         add     $tmp2,$C,$C
548         $ST     $C,[$ctx+`2*$SZ`]
549         add     $T1,$D,$D
550         $ST     $D,[$ctx+`3*$SZ`]
551
552         ld      [$ctx+`4*$SZ+0`],%l0
553         ld      [$ctx+`4*$SZ+4`],%l1
554         ld      [$ctx+`5*$SZ+0`],%l2
555         ld      [$ctx+`5*$SZ+4`],%l3
556         ld      [$ctx+`6*$SZ+0`],%l4
557         ld      [$ctx+`6*$SZ+4`],%l5
558         ld      [$ctx+`7*$SZ+0`],%l6
559
560         sllx    %l0,32,$tmp0
561         ld      [$ctx+`7*$SZ+4`],%l7
562         sllx    %l2,32,$tmp1
563         or      %l1,$tmp0,$tmp0
564         or      %l3,$tmp1,$tmp1
565         add     $tmp0,$E,$E
566         add     $tmp1,$F,$F
567         $ST     $E,[$ctx+`4*$SZ`]
568         sllx    %l4,32,$tmp2
569         $ST     $F,[$ctx+`5*$SZ`]
570         sllx    %l6,32,$T1
571         or      %l5,$tmp2,$tmp2
572         or      %l7,$T1,$T1
573         add     $tmp2,$G,$G
574         $ST     $G,[$ctx+`6*$SZ`]
575         add     $T1,$H,$H
576         $ST     $H,[$ctx+`7*$SZ`]
577 ___
578 $code.=<<___;
579         add     $inp,`16*$SZ`,$inp              ! advance inp
580         cmp     $inp,$len
581         bne     `$bits==64?"%xcc":"%icc"`,.Lloop
582         sub     $Ktbl,`($rounds-16)*$SZ`,$Ktbl  ! rewind Ktbl
583
584         ret
585         restore
586 .type   sha${label}_block_data_order,#function
587 .size   sha${label}_block_data_order,(.-sha${label}_block_data_order)
588 .asciz  "SHA${label} block transform for SPARCv9, CRYPTOGAMS by <appro\@openssl.org>"
589 ___
590
591 $code =~ s/\`([^\`]*)\`/eval $1/gem;
592 print $code;
593 close STDOUT;