crypto/sha/asm/sha*-x86_64.pl: comply with Win64 ABI.
[openssl.git] / crypto / sha / asm / sha512-sparcv9.pl
1 #!/usr/bin/env perl
2
3 # ====================================================================
4 # Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
5 # project. The module is, however, dual licensed under OpenSSL and
6 # CRYPTOGAMS licenses depending on where you obtain it. For further
7 # details see http://www.openssl.org/~appro/cryptogams/.
8 #
9 # Hardware SPARC T4 support by David S. Miller <davem@davemloft.net>.
10 # ====================================================================
11
12 # SHA256 performance improvement over compiler generated code varies
13 # from 40% for Sun C [32-bit build] to 70% for gcc [3.3, 64-bit
14 # build]. Just like in SHA1 module I aim to ensure scalability on
15 # UltraSPARC T1 by packing X[16] to 8 64-bit registers.
16
17 # SHA512 on pre-T1 UltraSPARC.
18 #
19 # Performance is >75% better than 64-bit code generated by Sun C and
20 # over 2x than 32-bit code. X[16] resides on stack, but access to it
21 # is scheduled for L2 latency and staged through 32 least significant
22 # bits of %l0-%l7. The latter is done to achieve 32-/64-bit ABI
23 # duality. Nevetheless it's ~40% faster than SHA256, which is pretty
24 # good [optimal coefficient is 50%].
25 #
26 # SHA512 on UltraSPARC T1.
27 #
28 # It's not any faster than 64-bit code generated by Sun C 5.8. This is
29 # because 64-bit code generator has the advantage of using 64-bit
30 # loads(*) to access X[16], which I consciously traded for 32-/64-bit
31 # ABI duality [as per above]. But it surpasses 32-bit Sun C generated
32 # code by 60%, not to mention that it doesn't suffer from severe decay
33 # when running 4 times physical cores threads and that it leaves gcc
34 # [3.4] behind by over 4x factor! If compared to SHA256, single thread
35 # performance is only 10% better, but overall throughput for maximum
36 # amount of threads for given CPU exceeds corresponding one of SHA256
37 # by 30% [again, optimal coefficient is 50%].
38 #
39 # (*)   Unlike pre-T1 UltraSPARC loads on T1 are executed strictly
40 #       in-order, i.e. load instruction has to complete prior next
41 #       instruction in given thread is executed, even if the latter is
42 #       not dependent on load result! This means that on T1 two 32-bit
43 #       loads are always slower than one 64-bit load. Once again this
44 #       is unlike pre-T1 UltraSPARC, where, if scheduled appropriately,
45 #       2x32-bit loads can be as fast as 1x64-bit ones.
46 #
47 # SPARC T4 SHA256/512 hardware achieves 3.17/2.01 cycles per byte,
48 # which is 9.3x/11.1x faster than software. Multi-process benchmark
49 # saturates at 11.5x single-process result on 8-core processor, or
50 # ~11/16GBps per 2.85GHz socket.
51
52 $output=shift;
53 open STDOUT,">$output";
54
55 if ($output =~ /512/) {
56         $label="512";
57         $SZ=8;
58         $LD="ldx";              # load from memory
59         $ST="stx";              # store to memory
60         $SLL="sllx";            # shift left logical
61         $SRL="srlx";            # shift right logical
62         @Sigma0=(28,34,39);
63         @Sigma1=(14,18,41);
64         @sigma0=( 7, 1, 8);     # right shift first
65         @sigma1=( 6,19,61);     # right shift first
66         $lastK=0x817;
67         $rounds=80;
68         $align=4;
69
70         $locals=16*$SZ;         # X[16]
71
72         $A="%o0";
73         $B="%o1";
74         $C="%o2";
75         $D="%o3";
76         $E="%o4";
77         $F="%o5";
78         $G="%g1";
79         $H="%o7";
80         @V=($A,$B,$C,$D,$E,$F,$G,$H);
81 } else {
82         $label="256";
83         $SZ=4;
84         $LD="ld";               # load from memory
85         $ST="st";               # store to memory
86         $SLL="sll";             # shift left logical
87         $SRL="srl";             # shift right logical
88         @Sigma0=( 2,13,22);
89         @Sigma1=( 6,11,25);
90         @sigma0=( 3, 7,18);     # right shift first
91         @sigma1=(10,17,19);     # right shift first
92         $lastK=0x8f2;
93         $rounds=64;
94         $align=8;
95
96         $locals=0;              # X[16] is register resident
97         @X=("%o0","%o1","%o2","%o3","%o4","%o5","%g1","%o7");
98         
99         $A="%l0";
100         $B="%l1";
101         $C="%l2";
102         $D="%l3";
103         $E="%l4";
104         $F="%l5";
105         $G="%l6";
106         $H="%l7";
107         @V=($A,$B,$C,$D,$E,$F,$G,$H);
108 }
109 $T1="%g2";
110 $tmp0="%g3";
111 $tmp1="%g4";
112 $tmp2="%g5";
113
114 $ctx="%i0";
115 $inp="%i1";
116 $len="%i2";
117 $Ktbl="%i3";
118 $tmp31="%i4";
119 $tmp32="%i5";
120
121 ########### SHA256
122 $Xload = sub {
123 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
124
125     if ($i==0) {
126 $code.=<<___;
127         ldx     [$inp+0],@X[0]
128         ldx     [$inp+16],@X[2]
129         ldx     [$inp+32],@X[4]
130         ldx     [$inp+48],@X[6]
131         ldx     [$inp+8],@X[1]
132         ldx     [$inp+24],@X[3]
133         subcc   %g0,$tmp31,$tmp32 ! should be 64-$tmp31, but -$tmp31 works too
134         ldx     [$inp+40],@X[5]
135         bz,pt   %icc,.Laligned
136         ldx     [$inp+56],@X[7]
137
138         sllx    @X[0],$tmp31,@X[0]
139         ldx     [$inp+64],$T1
140 ___
141 for($j=0;$j<7;$j++)
142 {   $code.=<<___;
143         srlx    @X[$j+1],$tmp32,$tmp1
144         sllx    @X[$j+1],$tmp31,@X[$j+1]
145         or      $tmp1,@X[$j],@X[$j]
146 ___
147 }
148 $code.=<<___;
149         srlx    $T1,$tmp32,$T1
150         or      $T1,@X[7],@X[7]
151 .Laligned:
152 ___
153     }
154
155     if ($i&1) {
156         $code.="\tadd   @X[$i/2],$h,$T1\n";
157     } else {
158         $code.="\tsrlx  @X[$i/2],32,$T1\n\tadd  $h,$T1,$T1\n";
159     }
160 } if ($SZ==4);
161
162 ########### SHA512
163 $Xload = sub {
164 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
165 my @pair=("%l".eval(($i*2)%8),"%l".eval(($i*2)%8+1),"%l".eval((($i+1)*2)%8));
166
167 $code.=<<___ if ($i==0);
168         ld      [$inp+0],%l0
169         ld      [$inp+4],%l1
170         ld      [$inp+8],%l2
171         ld      [$inp+12],%l3
172         ld      [$inp+16],%l4
173         ld      [$inp+20],%l5
174         ld      [$inp+24],%l6
175         cmp     $tmp31,0
176         ld      [$inp+28],%l7
177 ___
178 $code.=<<___ if ($i<15);
179         sllx    @pair[1],$tmp31,$tmp2   ! Xload($i)
180         add     $tmp31,32,$tmp0
181         sllx    @pair[0],$tmp0,$tmp1
182         `"ld    [$inp+".eval(32+0+$i*8)."],@pair[0]"    if ($i<12)`
183         srlx    @pair[2],$tmp32,@pair[1]
184         or      $tmp1,$tmp2,$tmp2
185         or      @pair[1],$tmp2,$tmp2
186         `"ld    [$inp+".eval(32+4+$i*8)."],@pair[1]"    if ($i<12)`
187         add     $h,$tmp2,$T1
188         $ST     $tmp2,[%sp+STACK_BIAS+STACK_FRAME+`$i*$SZ`]
189 ___
190 $code.=<<___ if ($i==12);
191         bnz,a,pn        %icc,.+8
192         ld      [$inp+128],%l0
193 ___
194 $code.=<<___ if ($i==15);
195         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+1)%16)*$SZ+0`],%l2
196         sllx    @pair[1],$tmp31,$tmp2   ! Xload($i)
197         add     $tmp31,32,$tmp0
198         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+1)%16)*$SZ+4`],%l3
199         sllx    @pair[0],$tmp0,$tmp1
200         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+9)%16)*$SZ+0`],%l4
201         srlx    @pair[2],$tmp32,@pair[1]
202         or      $tmp1,$tmp2,$tmp2
203         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+9)%16)*$SZ+4`],%l5
204         or      @pair[1],$tmp2,$tmp2
205         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+14)%16)*$SZ+0`],%l6
206         add     $h,$tmp2,$T1
207         $ST     $tmp2,[%sp+STACK_BIAS+STACK_FRAME+`$i*$SZ`]
208         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+14)%16)*$SZ+4`],%l7
209         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+0)%16)*$SZ+0`],%l0
210         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+0)%16)*$SZ+4`],%l1
211 ___
212 } if ($SZ==8);
213
214 ########### common
215 sub BODY_00_15 {
216 my ($i,$a,$b,$c,$d,$e,$f,$g,$h)=@_;
217
218     if ($i<16) {
219         &$Xload(@_);
220     } else {
221         $code.="\tadd   $h,$T1,$T1\n";
222     }
223
224 $code.=<<___;
225         $SRL    $e,@Sigma1[0],$h        !! $i
226         xor     $f,$g,$tmp2
227         $SLL    $e,`$SZ*8-@Sigma1[2]`,$tmp1
228         and     $e,$tmp2,$tmp2
229         $SRL    $e,@Sigma1[1],$tmp0
230         xor     $tmp1,$h,$h
231         $SLL    $e,`$SZ*8-@Sigma1[1]`,$tmp1
232         xor     $tmp0,$h,$h
233         $SRL    $e,@Sigma1[2],$tmp0
234         xor     $tmp1,$h,$h
235         $SLL    $e,`$SZ*8-@Sigma1[0]`,$tmp1
236         xor     $tmp0,$h,$h
237         xor     $g,$tmp2,$tmp2          ! Ch(e,f,g)
238         xor     $tmp1,$h,$tmp0          ! Sigma1(e)
239
240         $SRL    $a,@Sigma0[0],$h
241         add     $tmp2,$T1,$T1
242         $LD     [$Ktbl+`$i*$SZ`],$tmp2  ! K[$i]
243         $SLL    $a,`$SZ*8-@Sigma0[2]`,$tmp1
244         add     $tmp0,$T1,$T1
245         $SRL    $a,@Sigma0[1],$tmp0
246         xor     $tmp1,$h,$h
247         $SLL    $a,`$SZ*8-@Sigma0[1]`,$tmp1
248         xor     $tmp0,$h,$h
249         $SRL    $a,@Sigma0[2],$tmp0
250         xor     $tmp1,$h,$h     
251         $SLL    $a,`$SZ*8-@Sigma0[0]`,$tmp1
252         xor     $tmp0,$h,$h
253         xor     $tmp1,$h,$h             ! Sigma0(a)
254
255         or      $a,$b,$tmp0
256         and     $a,$b,$tmp1
257         and     $c,$tmp0,$tmp0
258         or      $tmp0,$tmp1,$tmp1       ! Maj(a,b,c)
259         add     $tmp2,$T1,$T1           ! +=K[$i]
260         add     $tmp1,$h,$h
261
262         add     $T1,$d,$d
263         add     $T1,$h,$h
264 ___
265 }
266
267 ########### SHA256
268 $BODY_16_XX = sub {
269 my $i=@_[0];
270 my $xi;
271
272     if ($i&1) {
273         $xi=$tmp32;
274         $code.="\tsrlx  @X[(($i+1)/2)%8],32,$xi\n";
275     } else {
276         $xi=@X[(($i+1)/2)%8];
277     }
278 $code.=<<___;
279         srl     $xi,@sigma0[0],$T1              !! Xupdate($i)
280         sll     $xi,`32-@sigma0[2]`,$tmp1
281         srl     $xi,@sigma0[1],$tmp0
282         xor     $tmp1,$T1,$T1
283         sll     $tmp1,`@sigma0[2]-@sigma0[1]`,$tmp1
284         xor     $tmp0,$T1,$T1
285         srl     $xi,@sigma0[2],$tmp0
286         xor     $tmp1,$T1,$T1
287 ___
288     if ($i&1) {
289         $xi=@X[(($i+14)/2)%8];
290     } else {
291         $xi=$tmp32;
292         $code.="\tsrlx  @X[(($i+14)/2)%8],32,$xi\n";
293     }
294 $code.=<<___;
295         srl     $xi,@sigma1[0],$tmp2
296         xor     $tmp0,$T1,$T1                   ! T1=sigma0(X[i+1])
297         sll     $xi,`32-@sigma1[2]`,$tmp1
298         srl     $xi,@sigma1[1],$tmp0
299         xor     $tmp1,$tmp2,$tmp2
300         sll     $tmp1,`@sigma1[2]-@sigma1[1]`,$tmp1
301         xor     $tmp0,$tmp2,$tmp2
302         srl     $xi,@sigma1[2],$tmp0
303         xor     $tmp1,$tmp2,$tmp2
304 ___
305     if ($i&1) {
306         $xi=@X[($i/2)%8];
307 $code.=<<___;
308         srlx    @X[(($i+9)/2)%8],32,$tmp1       ! X[i+9]
309         xor     $tmp0,$tmp2,$tmp2               ! sigma1(X[i+14])
310         srl     @X[($i/2)%8],0,$tmp0
311         add     $tmp2,$tmp1,$tmp1
312         add     $xi,$T1,$T1                     ! +=X[i]
313         xor     $tmp0,@X[($i/2)%8],@X[($i/2)%8]
314         add     $tmp1,$T1,$T1
315
316         srl     $T1,0,$T1
317         or      $T1,@X[($i/2)%8],@X[($i/2)%8]
318 ___
319     } else {
320         $xi=@X[(($i+9)/2)%8];
321 $code.=<<___;
322         srlx    @X[($i/2)%8],32,$tmp1           ! X[i]
323         xor     $tmp0,$tmp2,$tmp2               ! sigma1(X[i+14])
324         add     $xi,$T1,$T1                     ! +=X[i+9]
325         add     $tmp2,$tmp1,$tmp1
326         srl     @X[($i/2)%8],0,@X[($i/2)%8]
327         add     $tmp1,$T1,$T1
328
329         sllx    $T1,32,$tmp0
330         or      $tmp0,@X[($i/2)%8],@X[($i/2)%8]
331 ___
332     }
333     &BODY_00_15(@_);
334 } if ($SZ==4);
335
336 ########### SHA512
337 $BODY_16_XX = sub {
338 my $i=@_[0];
339 my @pair=("%l".eval(($i*2)%8),"%l".eval(($i*2)%8+1));
340
341 $code.=<<___;
342         sllx    %l2,32,$tmp0            !! Xupdate($i)
343         or      %l3,$tmp0,$tmp0
344
345         srlx    $tmp0,@sigma0[0],$T1
346         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+1)%16)*$SZ+0`],%l2
347         sllx    $tmp0,`64-@sigma0[2]`,$tmp1
348         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+1)%16)*$SZ+4`],%l3
349         srlx    $tmp0,@sigma0[1],$tmp0
350         xor     $tmp1,$T1,$T1
351         sllx    $tmp1,`@sigma0[2]-@sigma0[1]`,$tmp1
352         xor     $tmp0,$T1,$T1
353         srlx    $tmp0,`@sigma0[2]-@sigma0[1]`,$tmp0
354         xor     $tmp1,$T1,$T1
355         sllx    %l6,32,$tmp2
356         xor     $tmp0,$T1,$T1           ! sigma0(X[$i+1])
357         or      %l7,$tmp2,$tmp2
358
359         srlx    $tmp2,@sigma1[0],$tmp1
360         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+14)%16)*$SZ+0`],%l6
361         sllx    $tmp2,`64-@sigma1[2]`,$tmp0
362         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+14)%16)*$SZ+4`],%l7
363         srlx    $tmp2,@sigma1[1],$tmp2
364         xor     $tmp0,$tmp1,$tmp1
365         sllx    $tmp0,`@sigma1[2]-@sigma1[1]`,$tmp0
366         xor     $tmp2,$tmp1,$tmp1
367         srlx    $tmp2,`@sigma1[2]-@sigma1[1]`,$tmp2
368         xor     $tmp0,$tmp1,$tmp1
369         sllx    %l4,32,$tmp0
370         xor     $tmp2,$tmp1,$tmp1       ! sigma1(X[$i+14])
371         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+9)%16)*$SZ+0`],%l4
372         or      %l5,$tmp0,$tmp0
373         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+9)%16)*$SZ+4`],%l5
374
375         sllx    %l0,32,$tmp2
376         add     $tmp1,$T1,$T1
377         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+0)%16)*$SZ+0`],%l0
378         or      %l1,$tmp2,$tmp2
379         add     $tmp0,$T1,$T1           ! +=X[$i+9]
380         ld      [%sp+STACK_BIAS+STACK_FRAME+`(($i+1+0)%16)*$SZ+4`],%l1
381         add     $tmp2,$T1,$T1           ! +=X[$i]
382         $ST     $T1,[%sp+STACK_BIAS+STACK_FRAME+`($i%16)*$SZ`]
383 ___
384     &BODY_00_15(@_);
385 } if ($SZ==8);
386
387 $code.=<<___;
388 #include "sparc_arch.h"
389
390 #ifdef __arch64__
391 .register       %g2,#scratch
392 .register       %g3,#scratch
393 #endif
394
395 .section        ".text",#alloc,#execinstr
396
397 .align  64
398 K${label}:
399 .type   K${label},#object
400 ___
401 if ($SZ==4) {
402 $code.=<<___;
403         .long   0x428a2f98, 0x71374491, 0xb5c0fbcf, 0xe9b5dba5
404         .long   0x3956c25b, 0x59f111f1, 0x923f82a4, 0xab1c5ed5
405         .long   0xd807aa98, 0x12835b01, 0x243185be, 0x550c7dc3
406         .long   0x72be5d74, 0x80deb1fe, 0x9bdc06a7, 0xc19bf174
407         .long   0xe49b69c1, 0xefbe4786, 0x0fc19dc6, 0x240ca1cc
408         .long   0x2de92c6f, 0x4a7484aa, 0x5cb0a9dc, 0x76f988da
409         .long   0x983e5152, 0xa831c66d, 0xb00327c8, 0xbf597fc7
410         .long   0xc6e00bf3, 0xd5a79147, 0x06ca6351, 0x14292967
411         .long   0x27b70a85, 0x2e1b2138, 0x4d2c6dfc, 0x53380d13
412         .long   0x650a7354, 0x766a0abb, 0x81c2c92e, 0x92722c85
413         .long   0xa2bfe8a1, 0xa81a664b, 0xc24b8b70, 0xc76c51a3
414         .long   0xd192e819, 0xd6990624, 0xf40e3585, 0x106aa070
415         .long   0x19a4c116, 0x1e376c08, 0x2748774c, 0x34b0bcb5
416         .long   0x391c0cb3, 0x4ed8aa4a, 0x5b9cca4f, 0x682e6ff3
417         .long   0x748f82ee, 0x78a5636f, 0x84c87814, 0x8cc70208
418         .long   0x90befffa, 0xa4506ceb, 0xbef9a3f7, 0xc67178f2
419 ___
420 } else {
421 $code.=<<___;
422         .long   0x428a2f98,0xd728ae22, 0x71374491,0x23ef65cd
423         .long   0xb5c0fbcf,0xec4d3b2f, 0xe9b5dba5,0x8189dbbc
424         .long   0x3956c25b,0xf348b538, 0x59f111f1,0xb605d019
425         .long   0x923f82a4,0xaf194f9b, 0xab1c5ed5,0xda6d8118
426         .long   0xd807aa98,0xa3030242, 0x12835b01,0x45706fbe
427         .long   0x243185be,0x4ee4b28c, 0x550c7dc3,0xd5ffb4e2
428         .long   0x72be5d74,0xf27b896f, 0x80deb1fe,0x3b1696b1
429         .long   0x9bdc06a7,0x25c71235, 0xc19bf174,0xcf692694
430         .long   0xe49b69c1,0x9ef14ad2, 0xefbe4786,0x384f25e3
431         .long   0x0fc19dc6,0x8b8cd5b5, 0x240ca1cc,0x77ac9c65
432         .long   0x2de92c6f,0x592b0275, 0x4a7484aa,0x6ea6e483
433         .long   0x5cb0a9dc,0xbd41fbd4, 0x76f988da,0x831153b5
434         .long   0x983e5152,0xee66dfab, 0xa831c66d,0x2db43210
435         .long   0xb00327c8,0x98fb213f, 0xbf597fc7,0xbeef0ee4
436         .long   0xc6e00bf3,0x3da88fc2, 0xd5a79147,0x930aa725
437         .long   0x06ca6351,0xe003826f, 0x14292967,0x0a0e6e70
438         .long   0x27b70a85,0x46d22ffc, 0x2e1b2138,0x5c26c926
439         .long   0x4d2c6dfc,0x5ac42aed, 0x53380d13,0x9d95b3df
440         .long   0x650a7354,0x8baf63de, 0x766a0abb,0x3c77b2a8
441         .long   0x81c2c92e,0x47edaee6, 0x92722c85,0x1482353b
442         .long   0xa2bfe8a1,0x4cf10364, 0xa81a664b,0xbc423001
443         .long   0xc24b8b70,0xd0f89791, 0xc76c51a3,0x0654be30
444         .long   0xd192e819,0xd6ef5218, 0xd6990624,0x5565a910
445         .long   0xf40e3585,0x5771202a, 0x106aa070,0x32bbd1b8
446         .long   0x19a4c116,0xb8d2d0c8, 0x1e376c08,0x5141ab53
447         .long   0x2748774c,0xdf8eeb99, 0x34b0bcb5,0xe19b48a8
448         .long   0x391c0cb3,0xc5c95a63, 0x4ed8aa4a,0xe3418acb
449         .long   0x5b9cca4f,0x7763e373, 0x682e6ff3,0xd6b2b8a3
450         .long   0x748f82ee,0x5defb2fc, 0x78a5636f,0x43172f60
451         .long   0x84c87814,0xa1f0ab72, 0x8cc70208,0x1a6439ec
452         .long   0x90befffa,0x23631e28, 0xa4506ceb,0xde82bde9
453         .long   0xbef9a3f7,0xb2c67915, 0xc67178f2,0xe372532b
454         .long   0xca273ece,0xea26619c, 0xd186b8c7,0x21c0c207
455         .long   0xeada7dd6,0xcde0eb1e, 0xf57d4f7f,0xee6ed178
456         .long   0x06f067aa,0x72176fba, 0x0a637dc5,0xa2c898a6
457         .long   0x113f9804,0xbef90dae, 0x1b710b35,0x131c471b
458         .long   0x28db77f5,0x23047d84, 0x32caab7b,0x40c72493
459         .long   0x3c9ebe0a,0x15c9bebc, 0x431d67c4,0x9c100d4c
460         .long   0x4cc5d4be,0xcb3e42b6, 0x597f299c,0xfc657e2a
461         .long   0x5fcb6fab,0x3ad6faec, 0x6c44198c,0x4a475817
462 ___
463 }
464 $code.=<<___;
465 .size   K${label},.-K${label}
466
467 #ifdef __PIC__
468 SPARC_PIC_THUNK(%g1)
469 #endif
470
471 .globl  sha${label}_block_data_order
472 .align  32
473 sha${label}_block_data_order:
474         SPARC_LOAD_ADDRESS_LEAF(OPENSSL_sparcv9cap_P,%g1,%g5)
475         ld      [%g1+4],%g1             ! OPENSSL_sparcv9cap_P[1]
476
477         andcc   %g1, CFR_SHA${label}, %g0
478         be      .Lsoftware
479         nop
480 ___
481 $code.=<<___ if ($SZ==8);               # SHA512
482         ldd     [%o0 + 0x00], %f0       ! load context
483         ldd     [%o0 + 0x08], %f2
484         ldd     [%o0 + 0x10], %f4
485         ldd     [%o0 + 0x18], %f6
486         ldd     [%o0 + 0x20], %f8
487         ldd     [%o0 + 0x28], %f10
488         andcc   %o1, 0x7, %g0
489         ldd     [%o0 + 0x30], %f12
490         bne,pn  %icc, .Lhwunaligned
491          ldd    [%o0 + 0x38], %f14
492
493 .Lhwaligned_loop:
494         ldd     [%o1 + 0x00], %f16
495         ldd     [%o1 + 0x08], %f18
496         ldd     [%o1 + 0x10], %f20
497         ldd     [%o1 + 0x18], %f22
498         ldd     [%o1 + 0x20], %f24
499         ldd     [%o1 + 0x28], %f26
500         ldd     [%o1 + 0x30], %f28
501         ldd     [%o1 + 0x38], %f30
502         ldd     [%o1 + 0x40], %f32
503         ldd     [%o1 + 0x48], %f34
504         ldd     [%o1 + 0x50], %f36
505         ldd     [%o1 + 0x58], %f38
506         ldd     [%o1 + 0x60], %f40
507         ldd     [%o1 + 0x68], %f42
508         ldd     [%o1 + 0x70], %f44
509         subcc   %o2, 1, %o2             ! done yet?
510         ldd     [%o1 + 0x78], %f46
511         add     %o1, 0x80, %o1
512         prefetch [%o1 + 63], 20
513         prefetch [%o1 + 64+63], 20
514
515         .word   0x81b02860              ! SHA512
516
517         bne,pt  SIZE_T_CC, .Lhwaligned_loop
518         nop
519
520 .Lhwfinish:
521         std     %f0, [%o0 + 0x00]       ! store context
522         std     %f2, [%o0 + 0x08]
523         std     %f4, [%o0 + 0x10]
524         std     %f6, [%o0 + 0x18]
525         std     %f8, [%o0 + 0x20]
526         std     %f10, [%o0 + 0x28]
527         std     %f12, [%o0 + 0x30]
528         retl
529          std    %f14, [%o0 + 0x38]
530
531 .align  16
532 .Lhwunaligned:
533         alignaddr %o1, %g0, %o1
534
535         ldd     [%o1 + 0x00], %f18
536 .Lhwunaligned_loop:
537         ldd     [%o1 + 0x08], %f20
538         ldd     [%o1 + 0x10], %f22
539         ldd     [%o1 + 0x18], %f24
540         ldd     [%o1 + 0x20], %f26
541         ldd     [%o1 + 0x28], %f28
542         ldd     [%o1 + 0x30], %f30
543         ldd     [%o1 + 0x38], %f32
544         ldd     [%o1 + 0x40], %f34
545         ldd     [%o1 + 0x48], %f36
546         ldd     [%o1 + 0x50], %f38
547         ldd     [%o1 + 0x58], %f40
548         ldd     [%o1 + 0x60], %f42
549         ldd     [%o1 + 0x68], %f44
550         ldd     [%o1 + 0x70], %f46
551         ldd     [%o1 + 0x78], %f48
552         subcc   %o2, 1, %o2             ! done yet?
553         ldd     [%o1 + 0x80], %f50
554         add     %o1, 0x80, %o1
555         prefetch [%o1 + 63], 20
556         prefetch [%o1 + 64+63], 20
557
558         faligndata %f18, %f20, %f16
559         faligndata %f20, %f22, %f18
560         faligndata %f22, %f24, %f20
561         faligndata %f24, %f26, %f22
562         faligndata %f26, %f28, %f24
563         faligndata %f28, %f30, %f26
564         faligndata %f30, %f32, %f28
565         faligndata %f32, %f34, %f30
566         faligndata %f34, %f36, %f32
567         faligndata %f36, %f38, %f34
568         faligndata %f38, %f40, %f36
569         faligndata %f40, %f42, %f38
570         faligndata %f42, %f44, %f40
571         faligndata %f44, %f46, %f42
572         faligndata %f46, %f48, %f44
573         faligndata %f48, %f50, %f46
574
575         .word   0x81b02860              ! SHA512
576
577         bne,pt  SIZE_T_CC, .Lhwunaligned_loop
578         for     %f50, %f50, %f18        ! %f18=%f50
579
580         ba      .Lhwfinish
581         nop
582 ___
583 $code.=<<___ if ($SZ==4);               # SHA256
584         ld      [%o0 + 0x00], %f0
585         ld      [%o0 + 0x04], %f1
586         ld      [%o0 + 0x08], %f2
587         ld      [%o0 + 0x0c], %f3
588         ld      [%o0 + 0x10], %f4
589         ld      [%o0 + 0x14], %f5
590         andcc   %o1, 0x7, %g0
591         ld      [%o0 + 0x18], %f6
592         bne,pn  %icc, .Lhwunaligned
593          ld     [%o0 + 0x1c], %f7
594
595 .Lhwloop:
596         ldd     [%o1 + 0x00], %f8
597         ldd     [%o1 + 0x08], %f10
598         ldd     [%o1 + 0x10], %f12
599         ldd     [%o1 + 0x18], %f14
600         ldd     [%o1 + 0x20], %f16
601         ldd     [%o1 + 0x28], %f18
602         ldd     [%o1 + 0x30], %f20
603         subcc   %o2, 1, %o2             ! done yet?
604         ldd     [%o1 + 0x38], %f22
605         add     %o1, 0x40, %o1
606         prefetch [%o1 + 63], 20
607
608         .word   0x81b02840              ! SHA256
609
610         bne,pt  SIZE_T_CC, .Lhwloop
611         nop
612
613 .Lhwfinish:
614         st      %f0, [%o0 + 0x00]       ! store context
615         st      %f1, [%o0 + 0x04]
616         st      %f2, [%o0 + 0x08]
617         st      %f3, [%o0 + 0x0c]
618         st      %f4, [%o0 + 0x10]
619         st      %f5, [%o0 + 0x14]
620         st      %f6, [%o0 + 0x18]
621         retl
622          st     %f7, [%o0 + 0x1c]
623
624 .align  8
625 .Lhwunaligned:
626         alignaddr %o1, %g0, %o1
627
628         ldd     [%o1 + 0x00], %f10
629 .Lhwunaligned_loop:
630         ldd     [%o1 + 0x08], %f12
631         ldd     [%o1 + 0x10], %f14
632         ldd     [%o1 + 0x18], %f16
633         ldd     [%o1 + 0x20], %f18
634         ldd     [%o1 + 0x28], %f20
635         ldd     [%o1 + 0x30], %f22
636         ldd     [%o1 + 0x38], %f24
637         subcc   %o2, 1, %o2             ! done yet?
638         ldd     [%o1 + 0x40], %f26
639         add     %o1, 0x40, %o1
640         prefetch [%o1 + 63], 20
641
642         faligndata %f10, %f12, %f8
643         faligndata %f12, %f14, %f10
644         faligndata %f14, %f16, %f12
645         faligndata %f16, %f18, %f14
646         faligndata %f18, %f20, %f16
647         faligndata %f20, %f22, %f18
648         faligndata %f22, %f24, %f20
649         faligndata %f24, %f26, %f22
650
651         .word   0x81b02840              ! SHA256
652
653         bne,pt  SIZE_T_CC, .Lhwunaligned_loop
654         for     %f26, %f26, %f10        ! %f10=%f26
655
656         ba      .Lhwfinish
657         nop
658 ___
659 $code.=<<___;
660 .align  16
661 .Lsoftware:
662         save    %sp,-STACK_FRAME-$locals,%sp
663         and     $inp,`$align-1`,$tmp31
664         sllx    $len,`log(16*$SZ)/log(2)`,$len
665         andn    $inp,`$align-1`,$inp
666         sll     $tmp31,3,$tmp31
667         add     $inp,$len,$len
668 ___
669 $code.=<<___ if ($SZ==8); # SHA512
670         mov     32,$tmp32
671         sub     $tmp32,$tmp31,$tmp32
672 ___
673 $code.=<<___;
674 .Lpic:  call    .+8
675         add     %o7,K${label}-.Lpic,$Ktbl
676
677         $LD     [$ctx+`0*$SZ`],$A
678         $LD     [$ctx+`1*$SZ`],$B
679         $LD     [$ctx+`2*$SZ`],$C
680         $LD     [$ctx+`3*$SZ`],$D
681         $LD     [$ctx+`4*$SZ`],$E
682         $LD     [$ctx+`5*$SZ`],$F
683         $LD     [$ctx+`6*$SZ`],$G
684         $LD     [$ctx+`7*$SZ`],$H
685
686 .Lloop:
687 ___
688 for ($i=0;$i<16;$i++)   { &BODY_00_15($i,@V); unshift(@V,pop(@V)); }
689 $code.=".L16_xx:\n";
690 for (;$i<32;$i++)       { &$BODY_16_XX($i,@V); unshift(@V,pop(@V)); }
691 $code.=<<___;
692         and     $tmp2,0xfff,$tmp2
693         cmp     $tmp2,$lastK
694         bne     .L16_xx
695         add     $Ktbl,`16*$SZ`,$Ktbl    ! Ktbl+=16
696
697 ___
698 $code.=<<___ if ($SZ==4); # SHA256
699         $LD     [$ctx+`0*$SZ`],@X[0]
700         $LD     [$ctx+`1*$SZ`],@X[1]
701         $LD     [$ctx+`2*$SZ`],@X[2]
702         $LD     [$ctx+`3*$SZ`],@X[3]
703         $LD     [$ctx+`4*$SZ`],@X[4]
704         $LD     [$ctx+`5*$SZ`],@X[5]
705         $LD     [$ctx+`6*$SZ`],@X[6]
706         $LD     [$ctx+`7*$SZ`],@X[7]
707
708         add     $A,@X[0],$A
709         $ST     $A,[$ctx+`0*$SZ`]
710         add     $B,@X[1],$B
711         $ST     $B,[$ctx+`1*$SZ`]
712         add     $C,@X[2],$C
713         $ST     $C,[$ctx+`2*$SZ`]
714         add     $D,@X[3],$D
715         $ST     $D,[$ctx+`3*$SZ`]
716         add     $E,@X[4],$E
717         $ST     $E,[$ctx+`4*$SZ`]
718         add     $F,@X[5],$F
719         $ST     $F,[$ctx+`5*$SZ`]
720         add     $G,@X[6],$G
721         $ST     $G,[$ctx+`6*$SZ`]
722         add     $H,@X[7],$H
723         $ST     $H,[$ctx+`7*$SZ`]
724 ___
725 $code.=<<___ if ($SZ==8); # SHA512
726         ld      [$ctx+`0*$SZ+0`],%l0
727         ld      [$ctx+`0*$SZ+4`],%l1
728         ld      [$ctx+`1*$SZ+0`],%l2
729         ld      [$ctx+`1*$SZ+4`],%l3
730         ld      [$ctx+`2*$SZ+0`],%l4
731         ld      [$ctx+`2*$SZ+4`],%l5
732         ld      [$ctx+`3*$SZ+0`],%l6
733
734         sllx    %l0,32,$tmp0
735         ld      [$ctx+`3*$SZ+4`],%l7
736         sllx    %l2,32,$tmp1
737         or      %l1,$tmp0,$tmp0
738         or      %l3,$tmp1,$tmp1
739         add     $tmp0,$A,$A
740         add     $tmp1,$B,$B
741         $ST     $A,[$ctx+`0*$SZ`]
742         sllx    %l4,32,$tmp2
743         $ST     $B,[$ctx+`1*$SZ`]
744         sllx    %l6,32,$T1
745         or      %l5,$tmp2,$tmp2
746         or      %l7,$T1,$T1
747         add     $tmp2,$C,$C
748         $ST     $C,[$ctx+`2*$SZ`]
749         add     $T1,$D,$D
750         $ST     $D,[$ctx+`3*$SZ`]
751
752         ld      [$ctx+`4*$SZ+0`],%l0
753         ld      [$ctx+`4*$SZ+4`],%l1
754         ld      [$ctx+`5*$SZ+0`],%l2
755         ld      [$ctx+`5*$SZ+4`],%l3
756         ld      [$ctx+`6*$SZ+0`],%l4
757         ld      [$ctx+`6*$SZ+4`],%l5
758         ld      [$ctx+`7*$SZ+0`],%l6
759
760         sllx    %l0,32,$tmp0
761         ld      [$ctx+`7*$SZ+4`],%l7
762         sllx    %l2,32,$tmp1
763         or      %l1,$tmp0,$tmp0
764         or      %l3,$tmp1,$tmp1
765         add     $tmp0,$E,$E
766         add     $tmp1,$F,$F
767         $ST     $E,[$ctx+`4*$SZ`]
768         sllx    %l4,32,$tmp2
769         $ST     $F,[$ctx+`5*$SZ`]
770         sllx    %l6,32,$T1
771         or      %l5,$tmp2,$tmp2
772         or      %l7,$T1,$T1
773         add     $tmp2,$G,$G
774         $ST     $G,[$ctx+`6*$SZ`]
775         add     $T1,$H,$H
776         $ST     $H,[$ctx+`7*$SZ`]
777 ___
778 $code.=<<___;
779         add     $inp,`16*$SZ`,$inp              ! advance inp
780         cmp     $inp,$len
781         bne     SIZE_T_CC,.Lloop
782         sub     $Ktbl,`($rounds-16)*$SZ`,$Ktbl  ! rewind Ktbl
783
784         ret
785         restore
786 .type   sha${label}_block_data_order,#function
787 .size   sha${label}_block_data_order,(.-sha${label}_block_data_order)
788 .asciz  "SHA${label} block transform for SPARCv9, CRYPTOGAMS by <appro\@openssl.org>"
789 .align  4
790 ___
791
792 # Purpose of these subroutines is to explicitly encode VIS instructions,
793 # so that one can compile the module without having to specify VIS
794 # extentions on compiler command line, e.g. -xarch=v9 vs. -xarch=v9a.
795 # Idea is to reserve for option to produce "universal" binary and let
796 # programmer detect if current CPU is VIS capable at run-time.
797 sub unvis {
798 my ($mnemonic,$rs1,$rs2,$rd)=@_;
799 my $ref,$opf;
800 my %visopf = (  "faligndata"    => 0x048,
801                 "for"           => 0x07c        );
802
803     $ref = "$mnemonic\t$rs1,$rs2,$rd";
804
805     if ($opf=$visopf{$mnemonic}) {
806         foreach ($rs1,$rs2,$rd) {
807             return $ref if (!/%f([0-9]{1,2})/);
808             $_=$1;
809             if ($1>=32) {
810                 return $ref if ($1&1);
811                 # re-encode for upper double register addressing
812                 $_=($1|$1>>5)&31;
813             }
814         }
815
816         return  sprintf ".word\t0x%08x !%s",
817                         0x81b00000|$rd<<25|$rs1<<14|$opf<<5|$rs2,
818                         $ref;
819     } else {
820         return $ref;
821     }
822 }
823 sub unalignaddr {
824 my ($mnemonic,$rs1,$rs2,$rd)=@_;
825 my %bias = ( "g" => 0, "o" => 8, "l" => 16, "i" => 24 );
826 my $ref="$mnemonic\t$rs1,$rs2,$rd";
827
828     foreach ($rs1,$rs2,$rd) {
829         if (/%([goli])([0-7])/) { $_=$bias{$1}+$2; }
830         else                    { return $ref; }
831     }
832     return  sprintf ".word\t0x%08x !%s",
833                     0x81b00300|$rd<<25|$rs1<<14|$rs2,
834                     $ref;
835 }
836
837 foreach (split("\n",$code)) {
838         s/\`([^\`]*)\`/eval $1/ge;
839
840         s/\b(f[^\s]*)\s+(%f[0-9]{1,2}),\s*(%f[0-9]{1,2}),\s*(%f[0-9]{1,2})/
841                 &unvis($1,$2,$3,$4)
842          /ge;
843         s/\b(alignaddr)\s+(%[goli][0-7]),\s*(%[goli][0-7]),\s*(%[goli][0-7])/
844                 &unalignaddr($1,$2,$3,$4)
845          /ge;
846
847         print $_,"\n";
848 }
849
850 close STDOUT;