x86 assembly pack: update performance results.
[openssl.git] / crypto / poly1305 / asm / poly1305-armv8.pl
1 #! /usr/bin/env perl
2 # Copyright 2016 The OpenSSL Project Authors. All Rights Reserved.
3 #
4 # Licensed under the OpenSSL license (the "License").  You may not use
5 # this file except in compliance with the License.  You can obtain a copy
6 # in the file LICENSE in the source distribution or at
7 # https://www.openssl.org/source/license.html
8
9 #
10 # ====================================================================
11 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
12 # project. The module is, however, dual licensed under OpenSSL and
13 # CRYPTOGAMS licenses depending on where you obtain it. For further
14 # details see http://www.openssl.org/~appro/cryptogams/.
15 # ====================================================================
16 #
17 # This module implements Poly1305 hash for ARMv8.
18 #
19 # June 2015
20 #
21 # Numbers are cycles per processed byte with poly1305_blocks alone.
22 #
23 #               IALU/gcc-4.9    NEON
24 #
25 # Apple A7      1.86/+5%        0.72
26 # Cortex-A53    2.69/+58%       1.47
27 # Cortex-A57    2.70/+7%        1.14
28 # Denver        1.64/+50%       1.18(*)
29 # X-Gene        2.13/+68%       2.27
30 # Mongoose      1.77/+75%       1.12
31 #
32 # (*)   estimate based on resources availability is less than 1.0,
33 #       i.e. measured result is worse than expected, presumably binary
34 #       translator is not almighty;
35
36 $flavour=shift;
37 $output=shift;
38
39 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
40 ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
41 ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
42 die "can't locate arm-xlate.pl";
43
44 open OUT,"| \"$^X\" $xlate $flavour $output";
45 *STDOUT=*OUT;
46
47 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
48 my ($mac,$nonce)=($inp,$len);
49
50 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
51
52 $code.=<<___;
53 #include "arm_arch.h"
54
55 .text
56
57 // forward "declarations" are required for Apple
58 .extern OPENSSL_armcap_P
59 .globl  poly1305_blocks
60 .globl  poly1305_emit
61
62 .globl  poly1305_init
63 .type   poly1305_init,%function
64 .align  5
65 poly1305_init:
66         cmp     $inp,xzr
67         stp     xzr,xzr,[$ctx]          // zero hash value
68         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
69
70         csel    x0,xzr,x0,eq
71         b.eq    .Lno_key
72
73 #ifdef  __ILP32__
74         ldrsw   $t1,.LOPENSSL_armcap_P
75 #else
76         ldr     $t1,.LOPENSSL_armcap_P
77 #endif
78         adr     $t0,.LOPENSSL_armcap_P
79
80         ldp     $r0,$r1,[$inp]          // load key
81         mov     $s1,#0xfffffffc0fffffff
82         movk    $s1,#0x0fff,lsl#48
83         ldr     w17,[$t0,$t1]
84 #ifdef  __ARMEB__
85         rev     $r0,$r0                 // flip bytes
86         rev     $r1,$r1
87 #endif
88         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
89         and     $s1,$s1,#-4
90         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
91         stp     $r0,$r1,[$ctx,#32]      // save key value
92
93         tst     w17,#ARMV7_NEON
94
95         adr     $d0,poly1305_blocks
96         adr     $r0,poly1305_blocks_neon
97         adr     $d1,poly1305_emit
98         adr     $r1,poly1305_emit_neon
99
100         csel    $d0,$d0,$r0,eq
101         csel    $d1,$d1,$r1,eq
102
103         stp     $d0,$d1,[$len]
104
105         mov     x0,#1
106 .Lno_key:
107         ret
108 .size   poly1305_init,.-poly1305_init
109
110 .type   poly1305_blocks,%function
111 .align  5
112 poly1305_blocks:
113         ands    $len,$len,#-16
114         b.eq    .Lno_data
115
116         ldp     $h0,$h1,[$ctx]          // load hash value
117         ldp     $r0,$r1,[$ctx,#32]      // load key value
118         ldr     $h2,[$ctx,#16]
119         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
120         b       .Loop
121
122 .align  5
123 .Loop:
124         ldp     $t0,$t1,[$inp],#16      // load input
125         sub     $len,$len,#16
126 #ifdef  __ARMEB__
127         rev     $t0,$t0
128         rev     $t1,$t1
129 #endif
130         adds    $h0,$h0,$t0             // accumulate input
131         adcs    $h1,$h1,$t1
132
133         mul     $d0,$h0,$r0             // h0*r0
134         adc     $h2,$h2,$padbit
135         umulh   $d1,$h0,$r0
136
137         mul     $t0,$h1,$s1             // h1*5*r1
138         umulh   $t1,$h1,$s1
139
140         adds    $d0,$d0,$t0
141         mul     $t0,$h0,$r1             // h0*r1
142         adc     $d1,$d1,$t1
143         umulh   $d2,$h0,$r1
144
145         adds    $d1,$d1,$t0
146         mul     $t0,$h1,$r0             // h1*r0
147         adc     $d2,$d2,xzr
148         umulh   $t1,$h1,$r0
149
150         adds    $d1,$d1,$t0
151         mul     $t0,$h2,$s1             // h2*5*r1
152         adc     $d2,$d2,$t1
153         mul     $t1,$h2,$r0             // h2*r0
154
155         adds    $d1,$d1,$t0
156         adc     $d2,$d2,$t1
157
158         and     $t0,$d2,#-4             // final reduction
159         and     $h2,$d2,#3
160         add     $t0,$t0,$d2,lsr#2
161         adds    $h0,$d0,$t0
162         adcs    $h1,$d1,xzr
163         adc     $h2,$h2,xzr
164
165         cbnz    $len,.Loop
166
167         stp     $h0,$h1,[$ctx]          // store hash value
168         str     $h2,[$ctx,#16]
169
170 .Lno_data:
171         ret
172 .size   poly1305_blocks,.-poly1305_blocks
173
174 .type   poly1305_emit,%function
175 .align  5
176 poly1305_emit:
177         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
178         ldr     $h2,[$ctx,#16]
179         ldp     $t0,$t1,[$nonce]        // load nonce
180
181         adds    $d0,$h0,#5              // compare to modulus
182         adcs    $d1,$h1,xzr
183         adc     $d2,$h2,xzr
184
185         tst     $d2,#-4                 // see if it's carried/borrowed
186
187         csel    $h0,$h0,$d0,eq
188         csel    $h1,$h1,$d1,eq
189
190 #ifdef  __ARMEB__
191         ror     $t0,$t0,#32             // flip nonce words
192         ror     $t1,$t1,#32
193 #endif
194         adds    $h0,$h0,$t0             // accumulate nonce
195         adc     $h1,$h1,$t1
196 #ifdef  __ARMEB__
197         rev     $h0,$h0                 // flip output bytes
198         rev     $h1,$h1
199 #endif
200         stp     $h0,$h1,[$mac]          // write result
201
202         ret
203 .size   poly1305_emit,.-poly1305_emit
204 ___
205 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
206 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
207 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
208 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
209 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
210 my ($T0,$T1,$MASK) = map("v$_",(29..31));
211
212 my ($in2,$zeros)=("x16","x17");
213 my $is_base2_26 = $zeros;               # borrow
214
215 $code.=<<___;
216 .type   poly1305_mult,%function
217 .align  5
218 poly1305_mult:
219         mul     $d0,$h0,$r0             // h0*r0
220         umulh   $d1,$h0,$r0
221
222         mul     $t0,$h1,$s1             // h1*5*r1
223         umulh   $t1,$h1,$s1
224
225         adds    $d0,$d0,$t0
226         mul     $t0,$h0,$r1             // h0*r1
227         adc     $d1,$d1,$t1
228         umulh   $d2,$h0,$r1
229
230         adds    $d1,$d1,$t0
231         mul     $t0,$h1,$r0             // h1*r0
232         adc     $d2,$d2,xzr
233         umulh   $t1,$h1,$r0
234
235         adds    $d1,$d1,$t0
236         mul     $t0,$h2,$s1             // h2*5*r1
237         adc     $d2,$d2,$t1
238         mul     $t1,$h2,$r0             // h2*r0
239
240         adds    $d1,$d1,$t0
241         adc     $d2,$d2,$t1
242
243         and     $t0,$d2,#-4             // final reduction
244         and     $h2,$d2,#3
245         add     $t0,$t0,$d2,lsr#2
246         adds    $h0,$d0,$t0
247         adcs    $h1,$d1,xzr
248         adc     $h2,$h2,xzr
249
250         ret
251 .size   poly1305_mult,.-poly1305_mult
252
253 .type   poly1305_splat,%function
254 .align  5
255 poly1305_splat:
256         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
257         ubfx    x13,$h0,#26,#26
258         extr    x14,$h1,$h0,#52
259         and     x14,x14,#0x03ffffff
260         ubfx    x15,$h1,#14,#26
261         extr    x16,$h2,$h1,#40
262
263         str     w12,[$ctx,#16*0]        // r0
264         add     w12,w13,w13,lsl#2       // r1*5
265         str     w13,[$ctx,#16*1]        // r1
266         add     w13,w14,w14,lsl#2       // r2*5
267         str     w12,[$ctx,#16*2]        // s1
268         str     w14,[$ctx,#16*3]        // r2
269         add     w14,w15,w15,lsl#2       // r3*5
270         str     w13,[$ctx,#16*4]        // s2
271         str     w15,[$ctx,#16*5]        // r3
272         add     w15,w16,w16,lsl#2       // r4*5
273         str     w14,[$ctx,#16*6]        // s3
274         str     w16,[$ctx,#16*7]        // r4
275         str     w15,[$ctx,#16*8]        // s4
276
277         ret
278 .size   poly1305_splat,.-poly1305_splat
279
280 .type   poly1305_blocks_neon,%function
281 .align  5
282 poly1305_blocks_neon:
283         ldr     $is_base2_26,[$ctx,#24]
284         cmp     $len,#128
285         b.hs    .Lblocks_neon
286         cbz     $is_base2_26,poly1305_blocks
287
288 .Lblocks_neon:
289         stp     x29,x30,[sp,#-80]!
290         add     x29,sp,#0
291
292         ands    $len,$len,#-16
293         b.eq    .Lno_data_neon
294
295         cbz     $is_base2_26,.Lbase2_64_neon
296
297         ldp     w10,w11,[$ctx]          // load hash value base 2^26
298         ldp     w12,w13,[$ctx,#8]
299         ldr     w14,[$ctx,#16]
300
301         tst     $len,#31
302         b.eq    .Leven_neon
303
304         ldp     $r0,$r1,[$ctx,#32]      // load key value
305
306         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
307         lsr     $h1,x12,#12
308         adds    $h0,$h0,x12,lsl#52
309         add     $h1,$h1,x13,lsl#14
310         adc     $h1,$h1,xzr
311         lsr     $h2,x14,#24
312         adds    $h1,$h1,x14,lsl#40
313         adc     $d2,$h2,xzr             // can be partially reduced...
314
315         ldp     $d0,$d1,[$inp],#16      // load input
316         sub     $len,$len,#16
317         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
318
319         and     $t0,$d2,#-4             // ... so reduce
320         and     $h2,$d2,#3
321         add     $t0,$t0,$d2,lsr#2
322         adds    $h0,$h0,$t0
323         adcs    $h1,$h1,xzr
324         adc     $h2,$h2,xzr
325
326 #ifdef  __ARMEB__
327         rev     $d0,$d0
328         rev     $d1,$d1
329 #endif
330         adds    $h0,$h0,$d0             // accumulate input
331         adcs    $h1,$h1,$d1
332         adc     $h2,$h2,$padbit
333
334         bl      poly1305_mult
335         ldr     x30,[sp,#8]
336
337         cbz     $padbit,.Lstore_base2_64_neon
338
339         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
340         ubfx    x11,$h0,#26,#26
341         extr    x12,$h1,$h0,#52
342         and     x12,x12,#0x03ffffff
343         ubfx    x13,$h1,#14,#26
344         extr    x14,$h2,$h1,#40
345
346         cbnz    $len,.Leven_neon
347
348         stp     w10,w11,[$ctx]          // store hash value base 2^26
349         stp     w12,w13,[$ctx,#8]
350         str     w14,[$ctx,#16]
351         b       .Lno_data_neon
352
353 .align  4
354 .Lstore_base2_64_neon:
355         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
356         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
357         b       .Lno_data_neon
358
359 .align  4
360 .Lbase2_64_neon:
361         ldp     $r0,$r1,[$ctx,#32]      // load key value
362
363         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
364         ldr     $h2,[$ctx,#16]
365
366         tst     $len,#31
367         b.eq    .Linit_neon
368
369         ldp     $d0,$d1,[$inp],#16      // load input
370         sub     $len,$len,#16
371         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
372 #ifdef  __ARMEB__
373         rev     $d0,$d0
374         rev     $d1,$d1
375 #endif
376         adds    $h0,$h0,$d0             // accumulate input
377         adcs    $h1,$h1,$d1
378         adc     $h2,$h2,$padbit
379
380         bl      poly1305_mult
381
382 .Linit_neon:
383         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
384         ubfx    x11,$h0,#26,#26
385         extr    x12,$h1,$h0,#52
386         and     x12,x12,#0x03ffffff
387         ubfx    x13,$h1,#14,#26
388         extr    x14,$h2,$h1,#40
389
390         stp     d8,d9,[sp,#16]          // meet ABI requirements
391         stp     d10,d11,[sp,#32]
392         stp     d12,d13,[sp,#48]
393         stp     d14,d15,[sp,#64]
394
395         fmov    ${H0},x10
396         fmov    ${H1},x11
397         fmov    ${H2},x12
398         fmov    ${H3},x13
399         fmov    ${H4},x14
400
401         ////////////////////////////////// initialize r^n table
402         mov     $h0,$r0                 // r^1
403         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
404         mov     $h1,$r1
405         mov     $h2,xzr
406         add     $ctx,$ctx,#48+12
407         bl      poly1305_splat
408
409         bl      poly1305_mult           // r^2
410         sub     $ctx,$ctx,#4
411         bl      poly1305_splat
412
413         bl      poly1305_mult           // r^3
414         sub     $ctx,$ctx,#4
415         bl      poly1305_splat
416
417         bl      poly1305_mult           // r^4
418         sub     $ctx,$ctx,#4
419         bl      poly1305_splat
420         ldr     x30,[sp,#8]
421
422         add     $in2,$inp,#32
423         adr     $zeros,.Lzeros
424         subs    $len,$len,#64
425         csel    $in2,$zeros,$in2,lo
426
427         mov     x4,#1
428         str     x4,[$ctx,#-24]          // set is_base2_26
429         sub     $ctx,$ctx,#48           // restore original $ctx
430         b       .Ldo_neon
431
432 .align  4
433 .Leven_neon:
434         add     $in2,$inp,#32
435         adr     $zeros,.Lzeros
436         subs    $len,$len,#64
437         csel    $in2,$zeros,$in2,lo
438
439         stp     d8,d9,[sp,#16]          // meet ABI requirements
440         stp     d10,d11,[sp,#32]
441         stp     d12,d13,[sp,#48]
442         stp     d14,d15,[sp,#64]
443
444         fmov    ${H0},x10
445         fmov    ${H1},x11
446         fmov    ${H2},x12
447         fmov    ${H3},x13
448         fmov    ${H4},x14
449
450 .Ldo_neon:
451         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
452         ldp     x9,x13,[$in2],#48
453
454         lsl     $padbit,$padbit,#24
455         add     x15,$ctx,#48
456
457 #ifdef  __ARMEB__
458         rev     x8,x8
459         rev     x12,x12
460         rev     x9,x9
461         rev     x13,x13
462 #endif
463         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
464         and     x5,x9,#0x03ffffff
465         ubfx    x6,x8,#26,#26
466         ubfx    x7,x9,#26,#26
467         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
468         extr    x8,x12,x8,#52
469         extr    x9,x13,x9,#52
470         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
471         fmov    $IN23_0,x4
472         and     x8,x8,#0x03ffffff
473         and     x9,x9,#0x03ffffff
474         ubfx    x10,x12,#14,#26
475         ubfx    x11,x13,#14,#26
476         add     x12,$padbit,x12,lsr#40
477         add     x13,$padbit,x13,lsr#40
478         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
479         fmov    $IN23_1,x6
480         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
481         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
482         fmov    $IN23_2,x8
483         fmov    $IN23_3,x10
484         fmov    $IN23_4,x12
485
486         ldp     x8,x12,[$inp],#16       // inp[0:1]
487         ldp     x9,x13,[$inp],#48
488
489         ld1     {$R0,$R1,$S1,$R2},[x15],#64
490         ld1     {$S2,$R3,$S3,$R4},[x15],#64
491         ld1     {$S4},[x15]
492
493 #ifdef  __ARMEB__
494         rev     x8,x8
495         rev     x12,x12
496         rev     x9,x9
497         rev     x13,x13
498 #endif
499         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
500         and     x5,x9,#0x03ffffff
501         ubfx    x6,x8,#26,#26
502         ubfx    x7,x9,#26,#26
503         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
504         extr    x8,x12,x8,#52
505         extr    x9,x13,x9,#52
506         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
507         fmov    $IN01_0,x4
508         and     x8,x8,#0x03ffffff
509         and     x9,x9,#0x03ffffff
510         ubfx    x10,x12,#14,#26
511         ubfx    x11,x13,#14,#26
512         add     x12,$padbit,x12,lsr#40
513         add     x13,$padbit,x13,lsr#40
514         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
515         fmov    $IN01_1,x6
516         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
517         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
518         movi    $MASK.2d,#-1
519         fmov    $IN01_2,x8
520         fmov    $IN01_3,x10
521         fmov    $IN01_4,x12
522         ushr    $MASK.2d,$MASK.2d,#38
523
524         b.ls    .Lskip_loop
525
526 .align  4
527 .Loop_neon:
528         ////////////////////////////////////////////////////////////////
529         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
530         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
531         //   \___________________/
532         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
533         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
534         //   \___________________/ \____________________/
535         //
536         // Note that we start with inp[2:3]*r^2. This is because it
537         // doesn't depend on reduction in previous iteration.
538         ////////////////////////////////////////////////////////////////
539         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
540         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
541         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
542         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
543         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
544
545         subs    $len,$len,#64
546         umull   $ACC4,$IN23_0,${R4}[2]
547         csel    $in2,$zeros,$in2,lo
548         umull   $ACC3,$IN23_0,${R3}[2]
549         umull   $ACC2,$IN23_0,${R2}[2]
550          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
551         umull   $ACC1,$IN23_0,${R1}[2]
552          ldp    x9,x13,[$in2],#48
553         umull   $ACC0,$IN23_0,${R0}[2]
554 #ifdef  __ARMEB__
555          rev    x8,x8
556          rev    x12,x12
557          rev    x9,x9
558          rev    x13,x13
559 #endif
560
561         umlal   $ACC4,$IN23_1,${R3}[2]
562          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
563         umlal   $ACC3,$IN23_1,${R2}[2]
564          and    x5,x9,#0x03ffffff
565         umlal   $ACC2,$IN23_1,${R1}[2]
566          ubfx   x6,x8,#26,#26
567         umlal   $ACC1,$IN23_1,${R0}[2]
568          ubfx   x7,x9,#26,#26
569         umlal   $ACC0,$IN23_1,${S4}[2]
570          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
571
572         umlal   $ACC4,$IN23_2,${R2}[2]
573          extr   x8,x12,x8,#52
574         umlal   $ACC3,$IN23_2,${R1}[2]
575          extr   x9,x13,x9,#52
576         umlal   $ACC2,$IN23_2,${R0}[2]
577          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
578         umlal   $ACC1,$IN23_2,${S4}[2]
579          fmov   $IN23_0,x4
580         umlal   $ACC0,$IN23_2,${S3}[2]
581          and    x8,x8,#0x03ffffff
582
583         umlal   $ACC4,$IN23_3,${R1}[2]
584          and    x9,x9,#0x03ffffff
585         umlal   $ACC3,$IN23_3,${R0}[2]
586          ubfx   x10,x12,#14,#26
587         umlal   $ACC2,$IN23_3,${S4}[2]
588          ubfx   x11,x13,#14,#26
589         umlal   $ACC1,$IN23_3,${S3}[2]
590          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
591         umlal   $ACC0,$IN23_3,${S2}[2]
592          fmov   $IN23_1,x6
593
594         add     $IN01_2,$IN01_2,$H2
595          add    x12,$padbit,x12,lsr#40
596         umlal   $ACC4,$IN23_4,${R0}[2]
597          add    x13,$padbit,x13,lsr#40
598         umlal   $ACC3,$IN23_4,${S4}[2]
599          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
600         umlal   $ACC2,$IN23_4,${S3}[2]
601          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
602         umlal   $ACC1,$IN23_4,${S2}[2]
603          fmov   $IN23_2,x8
604         umlal   $ACC0,$IN23_4,${S1}[2]
605          fmov   $IN23_3,x10
606
607         ////////////////////////////////////////////////////////////////
608         // (hash+inp[0:1])*r^4 and accumulate
609
610         add     $IN01_0,$IN01_0,$H0
611          fmov   $IN23_4,x12
612         umlal   $ACC3,$IN01_2,${R1}[0]
613          ldp    x8,x12,[$inp],#16       // inp[0:1]
614         umlal   $ACC0,$IN01_2,${S3}[0]
615          ldp    x9,x13,[$inp],#48
616         umlal   $ACC4,$IN01_2,${R2}[0]
617         umlal   $ACC1,$IN01_2,${S4}[0]
618         umlal   $ACC2,$IN01_2,${R0}[0]
619 #ifdef  __ARMEB__
620          rev    x8,x8
621          rev    x12,x12
622          rev    x9,x9
623          rev    x13,x13
624 #endif
625
626         add     $IN01_1,$IN01_1,$H1
627         umlal   $ACC3,$IN01_0,${R3}[0]
628         umlal   $ACC4,$IN01_0,${R4}[0]
629          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
630         umlal   $ACC2,$IN01_0,${R2}[0]
631          and    x5,x9,#0x03ffffff
632         umlal   $ACC0,$IN01_0,${R0}[0]
633          ubfx   x6,x8,#26,#26
634         umlal   $ACC1,$IN01_0,${R1}[0]
635          ubfx   x7,x9,#26,#26
636
637         add     $IN01_3,$IN01_3,$H3
638          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
639         umlal   $ACC3,$IN01_1,${R2}[0]
640          extr   x8,x12,x8,#52
641         umlal   $ACC4,$IN01_1,${R3}[0]
642          extr   x9,x13,x9,#52
643         umlal   $ACC0,$IN01_1,${S4}[0]
644          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
645         umlal   $ACC2,$IN01_1,${R1}[0]
646          fmov   $IN01_0,x4
647         umlal   $ACC1,$IN01_1,${R0}[0]
648          and    x8,x8,#0x03ffffff
649
650         add     $IN01_4,$IN01_4,$H4
651          and    x9,x9,#0x03ffffff
652         umlal   $ACC3,$IN01_3,${R0}[0]
653          ubfx   x10,x12,#14,#26
654         umlal   $ACC0,$IN01_3,${S2}[0]
655          ubfx   x11,x13,#14,#26
656         umlal   $ACC4,$IN01_3,${R1}[0]
657          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
658         umlal   $ACC1,$IN01_3,${S3}[0]
659          fmov   $IN01_1,x6
660         umlal   $ACC2,$IN01_3,${S4}[0]
661          add    x12,$padbit,x12,lsr#40
662
663         umlal   $ACC3,$IN01_4,${S4}[0]
664          add    x13,$padbit,x13,lsr#40
665         umlal   $ACC0,$IN01_4,${S1}[0]
666          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
667         umlal   $ACC4,$IN01_4,${R0}[0]
668          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
669         umlal   $ACC1,$IN01_4,${S2}[0]
670          fmov   $IN01_2,x8
671         umlal   $ACC2,$IN01_4,${S3}[0]
672          fmov   $IN01_3,x10
673          fmov   $IN01_4,x12
674
675         /////////////////////////////////////////////////////////////////
676         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
677         // and P. Schwabe
678         //
679         // [see discussion in poly1305-armv4 module]
680
681         ushr    $T0.2d,$ACC3,#26
682         xtn     $H3,$ACC3
683          ushr   $T1.2d,$ACC0,#26
684          and    $ACC0,$ACC0,$MASK.2d
685         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
686         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
687          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
688
689         ushr    $T0.2d,$ACC4,#26
690         xtn     $H4,$ACC4
691          ushr   $T1.2d,$ACC1,#26
692          xtn    $H1,$ACC1
693         bic     $H4,#0xfc,lsl#24
694          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
695
696         add     $ACC0,$ACC0,$T0.2d
697         shl     $T0.2d,$T0.2d,#2
698          shrn   $T1.2s,$ACC2,#26
699          xtn    $H2,$ACC2
700         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
701          bic    $H1,#0xfc,lsl#24
702          add    $H3,$H3,$T1.2s          // h2 -> h3
703          bic    $H2,#0xfc,lsl#24
704
705         shrn    $T0.2s,$ACC0,#26
706         xtn     $H0,$ACC0
707          ushr   $T1.2s,$H3,#26
708          bic    $H3,#0xfc,lsl#24
709          bic    $H0,#0xfc,lsl#24
710         add     $H1,$H1,$T0.2s          // h0 -> h1
711          add    $H4,$H4,$T1.2s          // h3 -> h4
712
713         b.hi    .Loop_neon
714
715 .Lskip_loop:
716         dup     $IN23_2,${IN23_2}[0]
717         add     $IN01_2,$IN01_2,$H2
718
719         ////////////////////////////////////////////////////////////////
720         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
721
722         adds    $len,$len,#32
723         b.ne    .Long_tail
724
725         dup     $IN23_2,${IN01_2}[0]
726         add     $IN23_0,$IN01_0,$H0
727         add     $IN23_3,$IN01_3,$H3
728         add     $IN23_1,$IN01_1,$H1
729         add     $IN23_4,$IN01_4,$H4
730
731 .Long_tail:
732         dup     $IN23_0,${IN23_0}[0]
733         umull2  $ACC0,$IN23_2,${S3}
734         umull2  $ACC3,$IN23_2,${R1}
735         umull2  $ACC4,$IN23_2,${R2}
736         umull2  $ACC2,$IN23_2,${R0}
737         umull2  $ACC1,$IN23_2,${S4}
738
739         dup     $IN23_1,${IN23_1}[0]
740         umlal2  $ACC0,$IN23_0,${R0}
741         umlal2  $ACC2,$IN23_0,${R2}
742         umlal2  $ACC3,$IN23_0,${R3}
743         umlal2  $ACC4,$IN23_0,${R4}
744         umlal2  $ACC1,$IN23_0,${R1}
745
746         dup     $IN23_3,${IN23_3}[0]
747         umlal2  $ACC0,$IN23_1,${S4}
748         umlal2  $ACC3,$IN23_1,${R2}
749         umlal2  $ACC2,$IN23_1,${R1}
750         umlal2  $ACC4,$IN23_1,${R3}
751         umlal2  $ACC1,$IN23_1,${R0}
752
753         dup     $IN23_4,${IN23_4}[0]
754         umlal2  $ACC3,$IN23_3,${R0}
755         umlal2  $ACC4,$IN23_3,${R1}
756         umlal2  $ACC0,$IN23_3,${S2}
757         umlal2  $ACC1,$IN23_3,${S3}
758         umlal2  $ACC2,$IN23_3,${S4}
759
760         umlal2  $ACC3,$IN23_4,${S4}
761         umlal2  $ACC0,$IN23_4,${S1}
762         umlal2  $ACC4,$IN23_4,${R0}
763         umlal2  $ACC1,$IN23_4,${S2}
764         umlal2  $ACC2,$IN23_4,${S3}
765
766         b.eq    .Lshort_tail
767
768         ////////////////////////////////////////////////////////////////
769         // (hash+inp[0:1])*r^4:r^3 and accumulate
770
771         add     $IN01_0,$IN01_0,$H0
772         umlal   $ACC3,$IN01_2,${R1}
773         umlal   $ACC0,$IN01_2,${S3}
774         umlal   $ACC4,$IN01_2,${R2}
775         umlal   $ACC1,$IN01_2,${S4}
776         umlal   $ACC2,$IN01_2,${R0}
777
778         add     $IN01_1,$IN01_1,$H1
779         umlal   $ACC3,$IN01_0,${R3}
780         umlal   $ACC0,$IN01_0,${R0}
781         umlal   $ACC4,$IN01_0,${R4}
782         umlal   $ACC1,$IN01_0,${R1}
783         umlal   $ACC2,$IN01_0,${R2}
784
785         add     $IN01_3,$IN01_3,$H3
786         umlal   $ACC3,$IN01_1,${R2}
787         umlal   $ACC0,$IN01_1,${S4}
788         umlal   $ACC4,$IN01_1,${R3}
789         umlal   $ACC1,$IN01_1,${R0}
790         umlal   $ACC2,$IN01_1,${R1}
791
792         add     $IN01_4,$IN01_4,$H4
793         umlal   $ACC3,$IN01_3,${R0}
794         umlal   $ACC0,$IN01_3,${S2}
795         umlal   $ACC4,$IN01_3,${R1}
796         umlal   $ACC1,$IN01_3,${S3}
797         umlal   $ACC2,$IN01_3,${S4}
798
799         umlal   $ACC3,$IN01_4,${S4}
800         umlal   $ACC0,$IN01_4,${S1}
801         umlal   $ACC4,$IN01_4,${R0}
802         umlal   $ACC1,$IN01_4,${S2}
803         umlal   $ACC2,$IN01_4,${S3}
804
805 .Lshort_tail:
806         ////////////////////////////////////////////////////////////////
807         // horizontal add
808
809         addp    $ACC3,$ACC3,$ACC3
810          ldp    d8,d9,[sp,#16]          // meet ABI requirements
811         addp    $ACC0,$ACC0,$ACC0
812          ldp    d10,d11,[sp,#32]
813         addp    $ACC4,$ACC4,$ACC4
814          ldp    d12,d13,[sp,#48]
815         addp    $ACC1,$ACC1,$ACC1
816          ldp    d14,d15,[sp,#64]
817         addp    $ACC2,$ACC2,$ACC2
818
819         ////////////////////////////////////////////////////////////////
820         // lazy reduction, but without narrowing
821
822         ushr    $T0.2d,$ACC3,#26
823         and     $ACC3,$ACC3,$MASK.2d
824          ushr   $T1.2d,$ACC0,#26
825          and    $ACC0,$ACC0,$MASK.2d
826
827         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
828          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
829
830         ushr    $T0.2d,$ACC4,#26
831         and     $ACC4,$ACC4,$MASK.2d
832          ushr   $T1.2d,$ACC1,#26
833          and    $ACC1,$ACC1,$MASK.2d
834          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
835
836         add     $ACC0,$ACC0,$T0.2d
837         shl     $T0.2d,$T0.2d,#2
838          ushr   $T1.2d,$ACC2,#26
839          and    $ACC2,$ACC2,$MASK.2d
840         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
841          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
842
843         ushr    $T0.2d,$ACC0,#26
844         and     $ACC0,$ACC0,$MASK.2d
845          ushr   $T1.2d,$ACC3,#26
846          and    $ACC3,$ACC3,$MASK.2d
847         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
848          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
849
850         ////////////////////////////////////////////////////////////////
851         // write the result, can be partially reduced
852
853         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
854         st1     {$ACC4}[0],[$ctx]
855
856 .Lno_data_neon:
857         ldr     x29,[sp],#80
858         ret
859 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
860
861 .type   poly1305_emit_neon,%function
862 .align  5
863 poly1305_emit_neon:
864         ldr     $is_base2_26,[$ctx,#24]
865         cbz     $is_base2_26,poly1305_emit
866
867         ldp     w10,w11,[$ctx]          // load hash value base 2^26
868         ldp     w12,w13,[$ctx,#8]
869         ldr     w14,[$ctx,#16]
870
871         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
872         lsr     $h1,x12,#12
873         adds    $h0,$h0,x12,lsl#52
874         add     $h1,$h1,x13,lsl#14
875         adc     $h1,$h1,xzr
876         lsr     $h2,x14,#24
877         adds    $h1,$h1,x14,lsl#40
878         adc     $h2,$h2,xzr             // can be partially reduced...
879
880         ldp     $t0,$t1,[$nonce]        // load nonce
881
882         and     $d0,$h2,#-4             // ... so reduce
883         add     $d0,$d0,$h2,lsr#2
884         and     $h2,$h2,#3
885         adds    $h0,$h0,$d0
886         adcs    $h1,$h1,xzr
887         adc     $h2,$h2,xzr
888
889         adds    $d0,$h0,#5              // compare to modulus
890         adcs    $d1,$h1,xzr
891         adc     $d2,$h2,xzr
892
893         tst     $d2,#-4                 // see if it's carried/borrowed
894
895         csel    $h0,$h0,$d0,eq
896         csel    $h1,$h1,$d1,eq
897
898 #ifdef  __ARMEB__
899         ror     $t0,$t0,#32             // flip nonce words
900         ror     $t1,$t1,#32
901 #endif
902         adds    $h0,$h0,$t0             // accumulate nonce
903         adc     $h1,$h1,$t1
904 #ifdef  __ARMEB__
905         rev     $h0,$h0                 // flip output bytes
906         rev     $h1,$h1
907 #endif
908         stp     $h0,$h1,[$mac]          // write result
909
910         ret
911 .size   poly1305_emit_neon,.-poly1305_emit_neon
912
913 .align  5
914 .Lzeros:
915 .long   0,0,0,0,0,0,0,0
916 .LOPENSSL_armcap_P:
917 #ifdef  __ILP32__
918 .long   OPENSSL_armcap_P-.
919 #else
920 .quad   OPENSSL_armcap_P-.
921 #endif
922 .asciz  "Poly1305 for ARMv8, CRYPTOGAMS by <appro\@openssl.org>"
923 .align  2
924 ___
925
926 foreach (split("\n",$code)) {
927         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
928         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
929         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
930         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
931         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
932         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
933         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
934
935         s/\.[124]([sd])\[/.$1\[/;
936
937         print $_,"\n";
938 }
939 close STDOUT;