crypto/poly1305/asm: chase overflow bit on x86 and ARM platforms.
[openssl.git] / crypto / poly1305 / asm / poly1305-armv8.pl
1 #!/usr/bin/env perl
2 #
3 # ====================================================================
4 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
5 # project. The module is, however, dual licensed under OpenSSL and
6 # CRYPTOGAMS licenses depending on where you obtain it. For further
7 # details see http://www.openssl.org/~appro/cryptogams/.
8 # ====================================================================
9 #
10 # This module implements Poly1305 hash for ARMv8.
11 #
12 # June 2015
13 #
14 # Numbers are cycles per processed byte with poly1305_blocks alone.
15 #
16 #               IALU/gcc-4.9    NEON
17 #
18 # Apple A7      1.86/+5%        0.72
19 # Cortex-A53    2.69/+58%       1.47
20 # Cortex-A57    2.70/+7%        1.14
21 # Denver        1.64/+50%       1.18(*)
22 # X-Gene        2.13/+68%       2.27
23 #
24 # (*)   estimate based on resources availability is less than 1.0,
25 #       i.e. measured result is worse than expected, presumably binary
26 #       translator is not almighty;
27
28 $flavour=shift;
29 $output=shift;
30
31 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
32 ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
33 ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
34 die "can't locate arm-xlate.pl";
35
36 open OUT,"| \"$^X\" $xlate $flavour $output";
37 *STDOUT=*OUT;
38
39 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
40 my ($mac,$nonce)=($inp,$len);
41
42 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
43
44 $code.=<<___;
45 #include "arm_arch.h"
46
47 .text
48
49 // forward "declarations" are required for Apple
50 .extern OPENSSL_armcap_P
51 .globl  poly1305_blocks
52 .globl  poly1305_emit
53
54 .globl  poly1305_init
55 .type   poly1305_init,%function
56 .align  5
57 poly1305_init:
58         cmp     $inp,xzr
59         stp     xzr,xzr,[$ctx]          // zero hash value
60         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
61
62         csel    x0,xzr,x0,eq
63         b.eq    .Lno_key
64
65 #ifdef  __ILP32__
66         ldrsw   $t1,.LOPENSSL_armcap_P
67 #else
68         ldr     $t1,.LOPENSSL_armcap_P
69 #endif
70         adr     $t0,.LOPENSSL_armcap_P
71
72         ldp     $r0,$r1,[$inp]          // load key
73         mov     $s1,#0xfffffffc0fffffff
74         movk    $s1,#0x0fff,lsl#48
75         ldr     w17,[$t0,$t1]
76 #ifdef  __ARMEB__
77         rev     $r0,$r0                 // flip bytes
78         rev     $r1,$r1
79 #endif
80         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
81         and     $s1,$s1,#-4
82         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
83         stp     $r0,$r1,[$ctx,#32]      // save key value
84
85         tst     w17,#ARMV7_NEON
86
87         adr     $d0,poly1305_blocks
88         adr     $r0,poly1305_blocks_neon
89         adr     $d1,poly1305_emit
90         adr     $r1,poly1305_emit_neon
91
92         csel    $d0,$d0,$r0,eq
93         csel    $d1,$d1,$r1,eq
94
95         stp     $d0,$d1,[$len]
96
97         mov     x0,#1
98 .Lno_key:
99         ret
100 .size   poly1305_init,.-poly1305_init
101
102 .type   poly1305_blocks,%function
103 .align  5
104 poly1305_blocks:
105         ands    $len,$len,#-16
106         b.eq    .Lno_data
107
108         ldp     $h0,$h1,[$ctx]          // load hash value
109         ldp     $r0,$r1,[$ctx,#32]      // load key value
110         ldr     $h2,[$ctx,#16]
111         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
112         b       .Loop
113
114 .align  5
115 .Loop:
116         ldp     $t0,$t1,[$inp],#16      // load input
117         sub     $len,$len,#16
118 #ifdef  __ARMEB__
119         rev     $t0,$t0
120         rev     $t1,$t1
121 #endif
122         adds    $h0,$h0,$t0             // accumulate input
123         adcs    $h1,$h1,$t1
124
125         mul     $d0,$h0,$r0             // h0*r0
126         adc     $h2,$h2,$padbit
127         umulh   $d1,$h0,$r0
128
129         mul     $t0,$h1,$s1             // h1*5*r1
130         umulh   $t1,$h1,$s1
131
132         adds    $d0,$d0,$t0
133         mul     $t0,$h0,$r1             // h0*r1
134         adc     $d1,$d1,$t1
135         umulh   $d2,$h0,$r1
136
137         adds    $d1,$d1,$t0
138         mul     $t0,$h1,$r0             // h1*r0
139         adc     $d2,$d2,xzr
140         umulh   $t1,$h1,$r0
141
142         adds    $d1,$d1,$t0
143         mul     $t0,$h2,$s1             // h2*5*r1
144         adc     $d2,$d2,$t1
145         mul     $t1,$h2,$r0             // h2*r0
146
147         adds    $d1,$d1,$t0
148         adc     $d2,$d2,$t1
149
150         and     $t0,$d2,#-4             // final reduction
151         and     $h2,$d2,#3
152         add     $t0,$t0,$d2,lsr#2
153         adds    $h0,$d0,$t0
154         adcs    $h1,$d1,xzr
155         adc     $h2,$h2,xzr
156
157         cbnz    $len,.Loop
158
159         stp     $h0,$h1,[$ctx]          // store hash value
160         str     $h2,[$ctx,#16]
161
162 .Lno_data:
163         ret
164 .size   poly1305_blocks,.-poly1305_blocks
165
166 .type   poly1305_emit,%function
167 .align  5
168 poly1305_emit:
169         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
170         ldr     $h2,[$ctx,#16]
171         ldp     $t0,$t1,[$nonce]        // load nonce
172
173         adds    $d0,$h0,#5              // compare to modulus
174         adcs    $d1,$h1,xzr
175         adc     $d2,$h2,xzr
176
177         tst     $d2,#-4                 // see if it's carried/borrowed
178
179         csel    $h0,$h0,$d0,eq
180         csel    $h1,$h1,$d1,eq
181
182 #ifdef  __ARMEB__
183         ror     $t0,$t0,#32             // flip nonce words
184         ror     $t1,$t1,#32
185 #endif
186         adds    $h0,$h0,$t0             // accumulate nonce
187         adc     $h1,$h1,$t1
188 #ifdef  __ARMEB__
189         rev     $h0,$h0                 // flip output bytes
190         rev     $h1,$h1
191 #endif
192         stp     $h0,$h1,[$mac]          // write result
193
194         ret
195 .size   poly1305_emit,.-poly1305_emit
196 ___
197 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
198 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
199 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
200 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
201 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
202 my ($T0,$T1,$MASK) = map("v$_",(29..31));
203
204 my ($in2,$zeros)=("x16","x17");
205 my $is_base2_26 = $zeros;               # borrow
206
207 $code.=<<___;
208 .type   poly1305_mult,%function
209 .align  5
210 poly1305_mult:
211         mul     $d0,$h0,$r0             // h0*r0
212         umulh   $d1,$h0,$r0
213
214         mul     $t0,$h1,$s1             // h1*5*r1
215         umulh   $t1,$h1,$s1
216
217         adds    $d0,$d0,$t0
218         mul     $t0,$h0,$r1             // h0*r1
219         adc     $d1,$d1,$t1
220         umulh   $d2,$h0,$r1
221
222         adds    $d1,$d1,$t0
223         mul     $t0,$h1,$r0             // h1*r0
224         adc     $d2,$d2,xzr
225         umulh   $t1,$h1,$r0
226
227         adds    $d1,$d1,$t0
228         mul     $t0,$h2,$s1             // h2*5*r1
229         adc     $d2,$d2,$t1
230         mul     $t1,$h2,$r0             // h2*r0
231
232         adds    $d1,$d1,$t0
233         adc     $d2,$d2,$t1
234
235         and     $t0,$d2,#-4             // final reduction
236         and     $h2,$d2,#3
237         add     $t0,$t0,$d2,lsr#2
238         adds    $h0,$d0,$t0
239         adcs    $h1,$d1,xzr
240         adc     $h2,$h2,xzr
241
242         ret
243 .size   poly1305_mult,.-poly1305_mult
244
245 .type   poly1305_splat,%function
246 .align  5
247 poly1305_splat:
248         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
249         ubfx    x13,$h0,#26,#26
250         extr    x14,$h1,$h0,#52
251         and     x14,x14,#0x03ffffff
252         ubfx    x15,$h1,#14,#26
253         extr    x16,$h2,$h1,#40
254
255         str     w12,[$ctx,#16*0]        // r0
256         add     w12,w13,w13,lsl#2       // r1*5
257         str     w13,[$ctx,#16*1]        // r1
258         add     w13,w14,w14,lsl#2       // r2*5
259         str     w12,[$ctx,#16*2]        // s1
260         str     w14,[$ctx,#16*3]        // r2
261         add     w14,w15,w15,lsl#2       // r3*5
262         str     w13,[$ctx,#16*4]        // s2
263         str     w15,[$ctx,#16*5]        // r3
264         add     w15,w16,w16,lsl#2       // r4*5
265         str     w14,[$ctx,#16*6]        // s3
266         str     w16,[$ctx,#16*7]        // r4
267         str     w15,[$ctx,#16*8]        // s4
268
269         ret
270 .size   poly1305_splat,.-poly1305_splat
271
272 .type   poly1305_blocks_neon,%function
273 .align  5
274 poly1305_blocks_neon:
275         ldr     $is_base2_26,[$ctx,#24]
276         cmp     $len,#128
277         b.hs    .Lblocks_neon
278         cbz     $is_base2_26,poly1305_blocks
279
280 .Lblocks_neon:
281         stp     x29,x30,[sp,#-80]!
282         add     x29,sp,#0
283
284         ands    $len,$len,#-16
285         b.eq    .Lno_data_neon
286
287         cbz     $is_base2_26,.Lbase2_64_neon
288
289         ldp     w10,w11,[$ctx]          // load hash value base 2^26
290         ldp     w12,w13,[$ctx,#8]
291         ldr     w14,[$ctx,#16]
292
293         tst     $len,#31
294         b.eq    .Leven_neon
295
296         ldp     $r0,$r1,[$ctx,#32]      // load key value
297
298         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
299         lsr     $h1,x12,#12
300         adds    $h0,$h0,x12,lsl#52
301         add     $h1,$h1,x13,lsl#14
302         adc     $h1,$h1,xzr
303         lsr     $h2,x14,#24
304         adds    $h1,$h1,x14,lsl#40
305         adc     $d2,$h2,xzr             // can be partially reduced...
306
307         ldp     $d0,$d1,[$inp],#16      // load input
308         sub     $len,$len,#16
309         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
310
311         and     $t0,$d2,#-4             // ... so reduce
312         and     $h2,$d2,#3
313         add     $t0,$t0,$d2,lsr#2
314         adds    $h0,$h0,$t0
315         adcs    $h1,$h1,xzr
316         adc     $h2,$h2,xzr
317
318 #ifdef  __ARMEB__
319         rev     $d0,$d0
320         rev     $d1,$d1
321 #endif
322         adds    $h0,$h0,$d0             // accumulate input
323         adcs    $h1,$h1,$d1
324         adc     $h2,$h2,$padbit
325
326         bl      poly1305_mult
327         ldr     x30,[sp,#8]
328
329         cbz     $padbit,.Lstore_base2_64_neon
330
331         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
332         ubfx    x11,$h0,#26,#26
333         extr    x12,$h1,$h0,#52
334         and     x12,x12,#0x03ffffff
335         ubfx    x13,$h1,#14,#26
336         extr    x14,$h2,$h1,#40
337
338         cbnz    $len,.Leven_neon
339
340         stp     w10,w11,[$ctx]          // store hash value base 2^26
341         stp     w12,w13,[$ctx,#8]
342         str     w14,[$ctx,#16]
343         b       .Lno_data_neon
344
345 .align  4
346 .Lstore_base2_64_neon:
347         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
348         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
349         b       .Lno_data_neon
350
351 .align  4
352 .Lbase2_64_neon:
353         ldp     $r0,$r1,[$ctx,#32]      // load key value
354
355         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
356         ldr     $h2,[$ctx,#16]
357
358         tst     $len,#31
359         b.eq    .Linit_neon
360
361         ldp     $d0,$d1,[$inp],#16      // load input
362         sub     $len,$len,#16
363         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
364 #ifdef  __ARMEB__
365         rev     $d0,$d0
366         rev     $d1,$d1
367 #endif
368         adds    $h0,$h0,$d0             // accumulate input
369         adcs    $h1,$h1,$d1
370         adc     $h2,$h2,$padbit
371
372         bl      poly1305_mult
373
374 .Linit_neon:
375         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
376         ubfx    x11,$h0,#26,#26
377         extr    x12,$h1,$h0,#52
378         and     x12,x12,#0x03ffffff
379         ubfx    x13,$h1,#14,#26
380         extr    x14,$h2,$h1,#40
381
382         stp     d8,d9,[sp,#16]          // meet ABI requirements
383         stp     d10,d11,[sp,#32]
384         stp     d12,d13,[sp,#48]
385         stp     d14,d15,[sp,#64]
386
387         fmov    ${H0},x10
388         fmov    ${H1},x11
389         fmov    ${H2},x12
390         fmov    ${H3},x13
391         fmov    ${H4},x14
392
393         ////////////////////////////////// initialize r^n table
394         mov     $h0,$r0                 // r^1
395         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
396         mov     $h1,$r1
397         mov     $h2,xzr
398         add     $ctx,$ctx,#48+12
399         bl      poly1305_splat
400
401         bl      poly1305_mult           // r^2
402         sub     $ctx,$ctx,#4
403         bl      poly1305_splat
404
405         bl      poly1305_mult           // r^3
406         sub     $ctx,$ctx,#4
407         bl      poly1305_splat
408
409         bl      poly1305_mult           // r^4
410         sub     $ctx,$ctx,#4
411         bl      poly1305_splat
412         ldr     x30,[sp,#8]
413
414         add     $in2,$inp,#32
415         adr     $zeros,.Lzeros
416         subs    $len,$len,#64
417         csel    $in2,$zeros,$in2,lo
418
419         mov     x4,#1
420         str     x4,[$ctx,#-24]          // set is_base2_26
421         sub     $ctx,$ctx,#48           // restore original $ctx
422         b       .Ldo_neon
423
424 .align  4
425 .Leven_neon:
426         add     $in2,$inp,#32
427         adr     $zeros,.Lzeros
428         subs    $len,$len,#64
429         csel    $in2,$zeros,$in2,lo
430
431         stp     d8,d9,[sp,#16]          // meet ABI requirements
432         stp     d10,d11,[sp,#32]
433         stp     d12,d13,[sp,#48]
434         stp     d14,d15,[sp,#64]
435
436         fmov    ${H0},x10
437         fmov    ${H1},x11
438         fmov    ${H2},x12
439         fmov    ${H3},x13
440         fmov    ${H4},x14
441
442 .Ldo_neon:
443         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
444         ldp     x9,x13,[$in2],#48
445
446         lsl     $padbit,$padbit,#24
447         add     x15,$ctx,#48
448
449 #ifdef  __ARMEB__
450         rev     x8,x8
451         rev     x12,x12
452         rev     x9,x9
453         rev     x13,x13
454 #endif
455         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
456         and     x5,x9,#0x03ffffff
457         ubfx    x6,x8,#26,#26
458         ubfx    x7,x9,#26,#26
459         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
460         extr    x8,x12,x8,#52
461         extr    x9,x13,x9,#52
462         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
463         fmov    $IN23_0,x4
464         and     x8,x8,#0x03ffffff
465         and     x9,x9,#0x03ffffff
466         ubfx    x10,x12,#14,#26
467         ubfx    x11,x13,#14,#26
468         add     x12,$padbit,x12,lsr#40
469         add     x13,$padbit,x13,lsr#40
470         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
471         fmov    $IN23_1,x6
472         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
473         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
474         fmov    $IN23_2,x8
475         fmov    $IN23_3,x10
476         fmov    $IN23_4,x12
477
478         ldp     x8,x12,[$inp],#16       // inp[0:1]
479         ldp     x9,x13,[$inp],#48
480
481         ld1     {$R0,$R1,$S1,$R2},[x15],#64
482         ld1     {$S2,$R3,$S3,$R4},[x15],#64
483         ld1     {$S4},[x15]
484
485 #ifdef  __ARMEB__
486         rev     x8,x8
487         rev     x12,x12
488         rev     x9,x9
489         rev     x13,x13
490 #endif
491         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
492         and     x5,x9,#0x03ffffff
493         ubfx    x6,x8,#26,#26
494         ubfx    x7,x9,#26,#26
495         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
496         extr    x8,x12,x8,#52
497         extr    x9,x13,x9,#52
498         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
499         fmov    $IN01_0,x4
500         and     x8,x8,#0x03ffffff
501         and     x9,x9,#0x03ffffff
502         ubfx    x10,x12,#14,#26
503         ubfx    x11,x13,#14,#26
504         add     x12,$padbit,x12,lsr#40
505         add     x13,$padbit,x13,lsr#40
506         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
507         fmov    $IN01_1,x6
508         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
509         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
510         movi    $MASK.2d,#-1
511         fmov    $IN01_2,x8
512         fmov    $IN01_3,x10
513         fmov    $IN01_4,x12
514         ushr    $MASK.2d,$MASK.2d,#38
515
516         b.ls    .Lskip_loop
517
518 .align  4
519 .Loop_neon:
520         ////////////////////////////////////////////////////////////////
521         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
522         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
523         //   \___________________/
524         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
525         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
526         //   \___________________/ \____________________/
527         //
528         // Note that we start with inp[2:3]*r^2. This is because it
529         // doesn't depend on reduction in previous iteration.
530         ////////////////////////////////////////////////////////////////
531         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
532         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
533         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
534         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
535         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
536
537         subs    $len,$len,#64
538         umull   $ACC4,$IN23_0,${R4}[2]
539         csel    $in2,$zeros,$in2,lo
540         umull   $ACC3,$IN23_0,${R3}[2]
541         umull   $ACC2,$IN23_0,${R2}[2]
542          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
543         umull   $ACC1,$IN23_0,${R1}[2]
544          ldp    x9,x13,[$in2],#48
545         umull   $ACC0,$IN23_0,${R0}[2]
546 #ifdef  __ARMEB__
547          rev    x8,x8
548          rev    x12,x12
549          rev    x9,x9
550          rev    x13,x13
551 #endif
552
553         umlal   $ACC4,$IN23_1,${R3}[2]
554          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
555         umlal   $ACC3,$IN23_1,${R2}[2]
556          and    x5,x9,#0x03ffffff
557         umlal   $ACC2,$IN23_1,${R1}[2]
558          ubfx   x6,x8,#26,#26
559         umlal   $ACC1,$IN23_1,${R0}[2]
560          ubfx   x7,x9,#26,#26
561         umlal   $ACC0,$IN23_1,${S4}[2]
562          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
563
564         umlal   $ACC4,$IN23_2,${R2}[2]
565          extr   x8,x12,x8,#52
566         umlal   $ACC3,$IN23_2,${R1}[2]
567          extr   x9,x13,x9,#52
568         umlal   $ACC2,$IN23_2,${R0}[2]
569          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
570         umlal   $ACC1,$IN23_2,${S4}[2]
571          fmov   $IN23_0,x4
572         umlal   $ACC0,$IN23_2,${S3}[2]
573          and    x8,x8,#0x03ffffff
574
575         umlal   $ACC4,$IN23_3,${R1}[2]
576          and    x9,x9,#0x03ffffff
577         umlal   $ACC3,$IN23_3,${R0}[2]
578          ubfx   x10,x12,#14,#26
579         umlal   $ACC2,$IN23_3,${S4}[2]
580          ubfx   x11,x13,#14,#26
581         umlal   $ACC1,$IN23_3,${S3}[2]
582          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
583         umlal   $ACC0,$IN23_3,${S2}[2]
584          fmov   $IN23_1,x6
585
586         add     $IN01_2,$IN01_2,$H2
587          add    x12,$padbit,x12,lsr#40
588         umlal   $ACC4,$IN23_4,${R0}[2]
589          add    x13,$padbit,x13,lsr#40
590         umlal   $ACC3,$IN23_4,${S4}[2]
591          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
592         umlal   $ACC2,$IN23_4,${S3}[2]
593          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
594         umlal   $ACC1,$IN23_4,${S2}[2]
595          fmov   $IN23_2,x8
596         umlal   $ACC0,$IN23_4,${S1}[2]
597          fmov   $IN23_3,x10
598
599         ////////////////////////////////////////////////////////////////
600         // (hash+inp[0:1])*r^4 and accumulate
601
602         add     $IN01_0,$IN01_0,$H0
603          fmov   $IN23_4,x12
604         umlal   $ACC3,$IN01_2,${R1}[0]
605          ldp    x8,x12,[$inp],#16       // inp[0:1]
606         umlal   $ACC0,$IN01_2,${S3}[0]
607          ldp    x9,x13,[$inp],#48
608         umlal   $ACC4,$IN01_2,${R2}[0]
609         umlal   $ACC1,$IN01_2,${S4}[0]
610         umlal   $ACC2,$IN01_2,${R0}[0]
611 #ifdef  __ARMEB__
612          rev    x8,x8
613          rev    x12,x12
614          rev    x9,x9
615          rev    x13,x13
616 #endif
617
618         add     $IN01_1,$IN01_1,$H1
619         umlal   $ACC3,$IN01_0,${R3}[0]
620         umlal   $ACC4,$IN01_0,${R4}[0]
621          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
622         umlal   $ACC2,$IN01_0,${R2}[0]
623          and    x5,x9,#0x03ffffff
624         umlal   $ACC0,$IN01_0,${R0}[0]
625          ubfx   x6,x8,#26,#26
626         umlal   $ACC1,$IN01_0,${R1}[0]
627          ubfx   x7,x9,#26,#26
628
629         add     $IN01_3,$IN01_3,$H3
630          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
631         umlal   $ACC3,$IN01_1,${R2}[0]
632          extr   x8,x12,x8,#52
633         umlal   $ACC4,$IN01_1,${R3}[0]
634          extr   x9,x13,x9,#52
635         umlal   $ACC0,$IN01_1,${S4}[0]
636          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
637         umlal   $ACC2,$IN01_1,${R1}[0]
638          fmov   $IN01_0,x4
639         umlal   $ACC1,$IN01_1,${R0}[0]
640          and    x8,x8,#0x03ffffff
641
642         add     $IN01_4,$IN01_4,$H4
643          and    x9,x9,#0x03ffffff
644         umlal   $ACC3,$IN01_3,${R0}[0]
645          ubfx   x10,x12,#14,#26
646         umlal   $ACC0,$IN01_3,${S2}[0]
647          ubfx   x11,x13,#14,#26
648         umlal   $ACC4,$IN01_3,${R1}[0]
649          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
650         umlal   $ACC1,$IN01_3,${S3}[0]
651          fmov   $IN01_1,x6
652         umlal   $ACC2,$IN01_3,${S4}[0]
653          add    x12,$padbit,x12,lsr#40
654
655         umlal   $ACC3,$IN01_4,${S4}[0]
656          add    x13,$padbit,x13,lsr#40
657         umlal   $ACC0,$IN01_4,${S1}[0]
658          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
659         umlal   $ACC4,$IN01_4,${R0}[0]
660          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
661         umlal   $ACC1,$IN01_4,${S2}[0]
662          fmov   $IN01_2,x8
663         umlal   $ACC2,$IN01_4,${S3}[0]
664          fmov   $IN01_3,x10
665          fmov   $IN01_4,x12
666
667         /////////////////////////////////////////////////////////////////
668         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
669         // and P. Schwabe
670         //
671         // [see discussion in poly1305-armv4 module]
672
673         ushr    $T0.2d,$ACC3,#26
674         xtn     $H3,$ACC3
675          ushr   $T1.2d,$ACC0,#26
676          and    $ACC0,$ACC0,$MASK.2d
677         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
678         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
679          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
680
681         ushr    $T0.2d,$ACC4,#26
682         xtn     $H4,$ACC4
683          ushr   $T1.2d,$ACC1,#26
684          xtn    $H1,$ACC1
685         bic     $H4,#0xfc,lsl#24
686          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
687
688         add     $ACC0,$ACC0,$T0.2d
689         shl     $T0.2d,$T0.2d,#2
690          shrn   $T1.2s,$ACC2,#26
691          xtn    $H2,$ACC2
692         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
693          bic    $H1,#0xfc,lsl#24
694          add    $H3,$H3,$T1.2s          // h2 -> h3
695          bic    $H2,#0xfc,lsl#24
696
697         shrn    $T0.2s,$ACC0,#26
698         xtn     $H0,$ACC0
699          ushr   $T1.2s,$H3,#26
700          bic    $H3,#0xfc,lsl#24
701          bic    $H0,#0xfc,lsl#24
702         add     $H1,$H1,$T0.2s          // h0 -> h1
703          add    $H4,$H4,$T1.2s          // h3 -> h4
704
705         b.hi    .Loop_neon
706
707 .Lskip_loop:
708         dup     $IN23_2,${IN23_2}[0]
709         add     $IN01_2,$IN01_2,$H2
710
711         ////////////////////////////////////////////////////////////////
712         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
713
714         adds    $len,$len,#32
715         b.ne    .Long_tail
716
717         dup     $IN23_2,${IN01_2}[0]
718         add     $IN23_0,$IN01_0,$H0
719         add     $IN23_3,$IN01_3,$H3
720         add     $IN23_1,$IN01_1,$H1
721         add     $IN23_4,$IN01_4,$H4
722
723 .Long_tail:
724         dup     $IN23_0,${IN23_0}[0]
725         umull2  $ACC0,$IN23_2,${S3}
726         umull2  $ACC3,$IN23_2,${R1}
727         umull2  $ACC4,$IN23_2,${R2}
728         umull2  $ACC2,$IN23_2,${R0}
729         umull2  $ACC1,$IN23_2,${S4}
730
731         dup     $IN23_1,${IN23_1}[0]
732         umlal2  $ACC0,$IN23_0,${R0}
733         umlal2  $ACC2,$IN23_0,${R2}
734         umlal2  $ACC3,$IN23_0,${R3}
735         umlal2  $ACC4,$IN23_0,${R4}
736         umlal2  $ACC1,$IN23_0,${R1}
737
738         dup     $IN23_3,${IN23_3}[0]
739         umlal2  $ACC0,$IN23_1,${S4}
740         umlal2  $ACC3,$IN23_1,${R2}
741         umlal2  $ACC2,$IN23_1,${R1}
742         umlal2  $ACC4,$IN23_1,${R3}
743         umlal2  $ACC1,$IN23_1,${R0}
744
745         dup     $IN23_4,${IN23_4}[0]
746         umlal2  $ACC3,$IN23_3,${R0}
747         umlal2  $ACC4,$IN23_3,${R1}
748         umlal2  $ACC0,$IN23_3,${S2}
749         umlal2  $ACC1,$IN23_3,${S3}
750         umlal2  $ACC2,$IN23_3,${S4}
751
752         umlal2  $ACC3,$IN23_4,${S4}
753         umlal2  $ACC0,$IN23_4,${S1}
754         umlal2  $ACC4,$IN23_4,${R0}
755         umlal2  $ACC1,$IN23_4,${S2}
756         umlal2  $ACC2,$IN23_4,${S3}
757
758         b.eq    .Lshort_tail
759
760         ////////////////////////////////////////////////////////////////
761         // (hash+inp[0:1])*r^4:r^3 and accumulate
762
763         add     $IN01_0,$IN01_0,$H0
764         umlal   $ACC3,$IN01_2,${R1}
765         umlal   $ACC0,$IN01_2,${S3}
766         umlal   $ACC4,$IN01_2,${R2}
767         umlal   $ACC1,$IN01_2,${S4}
768         umlal   $ACC2,$IN01_2,${R0}
769
770         add     $IN01_1,$IN01_1,$H1
771         umlal   $ACC3,$IN01_0,${R3}
772         umlal   $ACC0,$IN01_0,${R0}
773         umlal   $ACC4,$IN01_0,${R4}
774         umlal   $ACC1,$IN01_0,${R1}
775         umlal   $ACC2,$IN01_0,${R2}
776
777         add     $IN01_3,$IN01_3,$H3
778         umlal   $ACC3,$IN01_1,${R2}
779         umlal   $ACC0,$IN01_1,${S4}
780         umlal   $ACC4,$IN01_1,${R3}
781         umlal   $ACC1,$IN01_1,${R0}
782         umlal   $ACC2,$IN01_1,${R1}
783
784         add     $IN01_4,$IN01_4,$H4
785         umlal   $ACC3,$IN01_3,${R0}
786         umlal   $ACC0,$IN01_3,${S2}
787         umlal   $ACC4,$IN01_3,${R1}
788         umlal   $ACC1,$IN01_3,${S3}
789         umlal   $ACC2,$IN01_3,${S4}
790
791         umlal   $ACC3,$IN01_4,${S4}
792         umlal   $ACC0,$IN01_4,${S1}
793         umlal   $ACC4,$IN01_4,${R0}
794         umlal   $ACC1,$IN01_4,${S2}
795         umlal   $ACC2,$IN01_4,${S3}
796
797 .Lshort_tail:
798         ////////////////////////////////////////////////////////////////
799         // horizontal add
800
801         addp    $ACC3,$ACC3,$ACC3
802          ldp    d8,d9,[sp,#16]          // meet ABI requirements
803         addp    $ACC0,$ACC0,$ACC0
804          ldp    d10,d11,[sp,#32]
805         addp    $ACC4,$ACC4,$ACC4
806          ldp    d12,d13,[sp,#48]
807         addp    $ACC1,$ACC1,$ACC1
808          ldp    d14,d15,[sp,#64]
809         addp    $ACC2,$ACC2,$ACC2
810
811         ////////////////////////////////////////////////////////////////
812         // lazy reduction, but without narrowing
813
814         ushr    $T0.2d,$ACC3,#26
815         and     $ACC3,$ACC3,$MASK.2d
816          ushr   $T1.2d,$ACC0,#26
817          and    $ACC0,$ACC0,$MASK.2d
818
819         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
820          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
821
822         ushr    $T0.2d,$ACC4,#26
823         and     $ACC4,$ACC4,$MASK.2d
824          ushr   $T1.2d,$ACC1,#26
825          and    $ACC1,$ACC1,$MASK.2d
826          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
827
828         add     $ACC0,$ACC0,$T0.2d
829         shl     $T0.2d,$T0.2d,#2
830          ushr   $T1.2d,$ACC2,#26
831          and    $ACC2,$ACC2,$MASK.2d
832         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
833          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
834
835         ushr    $T0.2d,$ACC0,#26
836         and     $ACC0,$ACC0,$MASK.2d
837          ushr   $T1.2d,$ACC3,#26
838          and    $ACC3,$ACC3,$MASK.2d
839         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
840          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
841
842         ////////////////////////////////////////////////////////////////
843         // write the result, can be partially reduced
844
845         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
846         st1     {$ACC4}[0],[$ctx]
847
848 .Lno_data_neon:
849         ldr     x29,[sp],#80
850         ret
851 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
852
853 .type   poly1305_emit_neon,%function
854 .align  5
855 poly1305_emit_neon:
856         ldr     $is_base2_26,[$ctx,#24]
857         cbz     $is_base2_26,poly1305_emit
858
859         ldp     w10,w11,[$ctx]          // load hash value base 2^26
860         ldp     w12,w13,[$ctx,#8]
861         ldr     w14,[$ctx,#16]
862
863         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
864         lsr     $h1,x12,#12
865         adds    $h0,$h0,x12,lsl#52
866         add     $h1,$h1,x13,lsl#14
867         adc     $h1,$h1,xzr
868         lsr     $h2,x14,#24
869         adds    $h1,$h1,x14,lsl#40
870         adc     $h2,$h2,xzr             // can be partially reduced...
871
872         ldp     $t0,$t1,[$nonce]        // load nonce
873
874         and     $d0,$h2,#-4             // ... so reduce
875         add     $d0,$d0,$h2,lsr#2
876         and     $h2,$h2,#3
877         adds    $h0,$h0,$d0
878         adcs    $h1,$h1,xzr
879         adc     $h2,$h2,xzr
880
881         adds    $d0,$h0,#5              // compare to modulus
882         adcs    $d1,$h1,xzr
883         adc     $d2,$h2,xzr
884
885         tst     $d2,#-4                 // see if it's carried/borrowed
886
887         csel    $h0,$h0,$d0,eq
888         csel    $h1,$h1,$d1,eq
889
890 #ifdef  __ARMEB__
891         ror     $t0,$t0,#32             // flip nonce words
892         ror     $t1,$t1,#32
893 #endif
894         adds    $h0,$h0,$t0             // accumulate nonce
895         adc     $h1,$h1,$t1
896 #ifdef  __ARMEB__
897         rev     $h0,$h0                 // flip output bytes
898         rev     $h1,$h1
899 #endif
900         stp     $h0,$h1,[$mac]          // write result
901
902         ret
903 .size   poly1305_emit_neon,.-poly1305_emit_neon
904
905 .align  5
906 .Lzeros:
907 .long   0,0,0,0,0,0,0,0
908 .LOPENSSL_armcap_P:
909 #ifdef  __ILP32__
910 .long   OPENSSL_armcap_P-.
911 #else
912 .quad   OPENSSL_armcap_P-.
913 #endif
914 .asciz  "Poly1305 for ARMv8, CRYPTOGAMS by <appro\@openssl.org>"
915 .align  2
916 ___
917
918 foreach (split("\n",$code)) {
919         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
920         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
921         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
922         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
923         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
924         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
925         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
926
927         s/\.[124]([sd])\[/.$1\[/;
928
929         print $_,"\n";
930 }
931 close STDOUT;