crypto/poly1305/asm/poly1305-armv8.pl

   1 #! /usr/bin/env perl
   2 # Copyright 2016-2020 The OpenSSL Project Authors. All Rights Reserved.
   3 #
   4 # Licensed under the Apache License 2.0 (the "License").  You may not use
   5 # this file except in compliance with the License.  You can obtain a copy
   6 # in the file LICENSE in the source distribution or at
   7 # https://www.openssl.org/source/license.html
   8
   9 #
  10 # ====================================================================
  11 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  12 # project. The module is, however, dual licensed under OpenSSL and
  13 # CRYPTOGAMS licenses depending on where you obtain it. For further
  14 # details see http://www.openssl.org/~appro/cryptogams/.
  15 # ====================================================================
  16 #
  17 # This module implements Poly1305 hash for ARMv8.
  18 #
  19 # June 2015
  20 #
  21 # Numbers are cycles per processed byte with poly1305_blocks alone.
  22 #
  23 #               IALU/gcc-4.9    NEON
  24 #
  25 # Apple A7      1.86/+5%        0.72
  26 # Cortex-A53    2.69/+58%       1.47
  27 # Cortex-A57    2.70/+7%        1.14
  28 # Denver        1.64/+50%       1.18(*)
  29 # X-Gene        2.13/+68%       2.27
  30 # Mongoose      1.77/+75%       1.12
  31 # Kryo          2.70/+55%       1.13
  32 # ThunderX2     1.17/+95%       1.36
  33 #
  34 # (*)   estimate based on resources availability is less than 1.0,
  35 #       i.e. measured result is worse than expected, presumably binary
  36 #       translator is not almighty;
  37
  38 # $output is the last argument if it looks like a file (it has an extension)
  39 # $flavour is the first argument if it doesn't look like a file
  40 $output = $#ARGV >= 0 && $ARGV[$#ARGV] =~ m|\.\w+$| ? pop : undef;
  41 $flavour = $#ARGV >= 0 && $ARGV[0] !~ m|\.| ? shift : undef;
  42
  43 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  44 ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
  45 ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
  46 die "can't locate arm-xlate.pl";
  47
  48 open OUT,"| \"$^X\" $xlate $flavour \"$output\""
  49     or die "can't call $xlate: $!";
  50 *STDOUT=*OUT;
  51
  52 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
  53 my ($mac,$nonce)=($inp,$len);
  54
  55 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
  56
  57 $code.=<<___;
  58 #include "arm_arch.h"
  59
  60 .text
  61
  62 // forward "declarations" are required for Apple
  63 .extern OPENSSL_armcap_P
  64 .globl  poly1305_blocks
  65 .globl  poly1305_emit
  66
  67 .globl  poly1305_init
  68 .type   poly1305_init,%function
  69 .align  5
  70 poly1305_init:
  71         cmp     $inp,xzr
  72         stp     xzr,xzr,[$ctx]          // zero hash value
  73         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
  74
  75         csel    x0,xzr,x0,eq
  76         b.eq    .Lno_key
  77
  78         adrp    x17,OPENSSL_armcap_P
  79         ldr     w17,[x17,#:lo12:OPENSSL_armcap_P]
  80
  81         ldp     $r0,$r1,[$inp]          // load key
  82         mov     $s1,#0xfffffffc0fffffff
  83         movk    $s1,#0x0fff,lsl#48
  84 #ifdef  __ARMEB__
  85         rev     $r0,$r0                 // flip bytes
  86         rev     $r1,$r1
  87 #endif
  88         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
  89         and     $s1,$s1,#-4
  90         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
  91         stp     $r0,$r1,[$ctx,#32]      // save key value
  92
  93         tst     w17,#ARMV7_NEON
  94
  95         adr     $d0,.Lpoly1305_blocks
  96         adr     $r0,.Lpoly1305_blocks_neon
  97         adr     $d1,.Lpoly1305_emit
  98         adr     $r1,.Lpoly1305_emit_neon
  99
 100         csel    $d0,$d0,$r0,eq
 101         csel    $d1,$d1,$r1,eq
 102
 103 #ifdef  __ILP32__
 104         stp     w12,w13,[$len]
 105 #else
 106         stp     $d0,$d1,[$len]
 107 #endif
 108
 109         mov     x0,#1
 110 .Lno_key:
 111         ret
 112 .size   poly1305_init,.-poly1305_init
 113
 114 .type   poly1305_blocks,%function
 115 .align  5
 116 poly1305_blocks:
 117 .Lpoly1305_blocks:
 118         ands    $len,$len,#-16
 119         b.eq    .Lno_data
 120
 121         ldp     $h0,$h1,[$ctx]          // load hash value
 122         ldp     $r0,$r1,[$ctx,#32]      // load key value
 123         ldr     $h2,[$ctx,#16]
 124         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 125         b       .Loop
 126
 127 .align  5
 128 .Loop:
 129         ldp     $t0,$t1,[$inp],#16      // load input
 130         sub     $len,$len,#16
 131 #ifdef  __ARMEB__
 132         rev     $t0,$t0
 133         rev     $t1,$t1
 134 #endif
 135         adds    $h0,$h0,$t0             // accumulate input
 136         adcs    $h1,$h1,$t1
 137
 138         mul     $d0,$h0,$r0             // h0*r0
 139         adc     $h2,$h2,$padbit
 140         umulh   $d1,$h0,$r0
 141
 142         mul     $t0,$h1,$s1             // h1*5*r1
 143         umulh   $t1,$h1,$s1
 144
 145         adds    $d0,$d0,$t0
 146         mul     $t0,$h0,$r1             // h0*r1
 147         adc     $d1,$d1,$t1
 148         umulh   $d2,$h0,$r1
 149
 150         adds    $d1,$d1,$t0
 151         mul     $t0,$h1,$r0             // h1*r0
 152         adc     $d2,$d2,xzr
 153         umulh   $t1,$h1,$r0
 154
 155         adds    $d1,$d1,$t0
 156         mul     $t0,$h2,$s1             // h2*5*r1
 157         adc     $d2,$d2,$t1
 158         mul     $t1,$h2,$r0             // h2*r0
 159
 160         adds    $d1,$d1,$t0
 161         adc     $d2,$d2,$t1
 162
 163         and     $t0,$d2,#-4             // final reduction
 164         and     $h2,$d2,#3
 165         add     $t0,$t0,$d2,lsr#2
 166         adds    $h0,$d0,$t0
 167         adcs    $h1,$d1,xzr
 168         adc     $h2,$h2,xzr
 169
 170         cbnz    $len,.Loop
 171
 172         stp     $h0,$h1,[$ctx]          // store hash value
 173         str     $h2,[$ctx,#16]
 174
 175 .Lno_data:
 176         ret
 177 .size   poly1305_blocks,.-poly1305_blocks
 178
 179 .type   poly1305_emit,%function
 180 .align  5
 181 poly1305_emit:
 182 .Lpoly1305_emit:
 183         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
 184         ldr     $h2,[$ctx,#16]
 185         ldp     $t0,$t1,[$nonce]        // load nonce
 186
 187         adds    $d0,$h0,#5              // compare to modulus
 188         adcs    $d1,$h1,xzr
 189         adc     $d2,$h2,xzr
 190
 191         tst     $d2,#-4                 // see if it's carried/borrowed
 192
 193         csel    $h0,$h0,$d0,eq
 194         csel    $h1,$h1,$d1,eq
 195
 196 #ifdef  __ARMEB__
 197         ror     $t0,$t0,#32             // flip nonce words
 198         ror     $t1,$t1,#32
 199 #endif
 200         adds    $h0,$h0,$t0             // accumulate nonce
 201         adc     $h1,$h1,$t1
 202 #ifdef  __ARMEB__
 203         rev     $h0,$h0                 // flip output bytes
 204         rev     $h1,$h1
 205 #endif
 206         stp     $h0,$h1,[$mac]          // write result
 207
 208         ret
 209 .size   poly1305_emit,.-poly1305_emit
 210 ___
 211 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
 212 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
 213 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
 214 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
 215 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
 216 my ($T0,$T1,$MASK) = map("v$_",(29..31));
 217
 218 my ($in2,$zeros)=("x16","x17");
 219 my $is_base2_26 = $zeros;               # borrow
 220
 221 $code.=<<___;
 222 .type   poly1305_mult,%function
 223 .align  5
 224 poly1305_mult:
 225         mul     $d0,$h0,$r0             // h0*r0
 226         umulh   $d1,$h0,$r0
 227
 228         mul     $t0,$h1,$s1             // h1*5*r1
 229         umulh   $t1,$h1,$s1
 230
 231         adds    $d0,$d0,$t0
 232         mul     $t0,$h0,$r1             // h0*r1
 233         adc     $d1,$d1,$t1
 234         umulh   $d2,$h0,$r1
 235
 236         adds    $d1,$d1,$t0
 237         mul     $t0,$h1,$r0             // h1*r0
 238         adc     $d2,$d2,xzr
 239         umulh   $t1,$h1,$r0
 240
 241         adds    $d1,$d1,$t0
 242         mul     $t0,$h2,$s1             // h2*5*r1
 243         adc     $d2,$d2,$t1
 244         mul     $t1,$h2,$r0             // h2*r0
 245
 246         adds    $d1,$d1,$t0
 247         adc     $d2,$d2,$t1
 248
 249         and     $t0,$d2,#-4             // final reduction
 250         and     $h2,$d2,#3
 251         add     $t0,$t0,$d2,lsr#2
 252         adds    $h0,$d0,$t0
 253         adcs    $h1,$d1,xzr
 254         adc     $h2,$h2,xzr
 255
 256         ret
 257 .size   poly1305_mult,.-poly1305_mult
 258
 259 .type   poly1305_splat,%function
 260 .align  5
 261 poly1305_splat:
 262         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 263         ubfx    x13,$h0,#26,#26
 264         extr    x14,$h1,$h0,#52
 265         and     x14,x14,#0x03ffffff
 266         ubfx    x15,$h1,#14,#26
 267         extr    x16,$h2,$h1,#40
 268
 269         str     w12,[$ctx,#16*0]        // r0
 270         add     w12,w13,w13,lsl#2       // r1*5
 271         str     w13,[$ctx,#16*1]        // r1
 272         add     w13,w14,w14,lsl#2       // r2*5
 273         str     w12,[$ctx,#16*2]        // s1
 274         str     w14,[$ctx,#16*3]        // r2
 275         add     w14,w15,w15,lsl#2       // r3*5
 276         str     w13,[$ctx,#16*4]        // s2
 277         str     w15,[$ctx,#16*5]        // r3
 278         add     w15,w16,w16,lsl#2       // r4*5
 279         str     w14,[$ctx,#16*6]        // s3
 280         str     w16,[$ctx,#16*7]        // r4
 281         str     w15,[$ctx,#16*8]        // s4
 282
 283         ret
 284 .size   poly1305_splat,.-poly1305_splat
 285
 286 .type   poly1305_blocks_neon,%function
 287 .align  5
 288 poly1305_blocks_neon:
 289 .Lpoly1305_blocks_neon:
 290         ldr     $is_base2_26,[$ctx,#24]
 291         cmp     $len,#128
 292         b.hs    .Lblocks_neon
 293         cbz     $is_base2_26,.Lpoly1305_blocks
 294
 295 .Lblocks_neon:
 296         .inst   0xd503233f              // paciasp
 297         stp     x29,x30,[sp,#-80]!
 298         add     x29,sp,#0
 299
 300         ands    $len,$len,#-16
 301         b.eq    .Lno_data_neon
 302
 303         cbz     $is_base2_26,.Lbase2_64_neon
 304
 305         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 306         ldp     w12,w13,[$ctx,#8]
 307         ldr     w14,[$ctx,#16]
 308
 309         tst     $len,#31
 310         b.eq    .Leven_neon
 311
 312         ldp     $r0,$r1,[$ctx,#32]      // load key value
 313
 314         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 315         lsr     $h1,x12,#12
 316         adds    $h0,$h0,x12,lsl#52
 317         add     $h1,$h1,x13,lsl#14
 318         adc     $h1,$h1,xzr
 319         lsr     $h2,x14,#24
 320         adds    $h1,$h1,x14,lsl#40
 321         adc     $d2,$h2,xzr             // can be partially reduced...
 322
 323         ldp     $d0,$d1,[$inp],#16      // load input
 324         sub     $len,$len,#16
 325         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 326
 327         and     $t0,$d2,#-4             // ... so reduce
 328         and     $h2,$d2,#3
 329         add     $t0,$t0,$d2,lsr#2
 330         adds    $h0,$h0,$t0
 331         adcs    $h1,$h1,xzr
 332         adc     $h2,$h2,xzr
 333
 334 #ifdef  __ARMEB__
 335         rev     $d0,$d0
 336         rev     $d1,$d1
 337 #endif
 338         adds    $h0,$h0,$d0             // accumulate input
 339         adcs    $h1,$h1,$d1
 340         adc     $h2,$h2,$padbit
 341
 342         bl      poly1305_mult
 343         ldr     x30,[sp,#8]
 344
 345         cbz     $padbit,.Lstore_base2_64_neon
 346
 347         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 348         ubfx    x11,$h0,#26,#26
 349         extr    x12,$h1,$h0,#52
 350         and     x12,x12,#0x03ffffff
 351         ubfx    x13,$h1,#14,#26
 352         extr    x14,$h2,$h1,#40
 353
 354         cbnz    $len,.Leven_neon
 355
 356         stp     w10,w11,[$ctx]          // store hash value base 2^26
 357         stp     w12,w13,[$ctx,#8]
 358         str     w14,[$ctx,#16]
 359         b       .Lno_data_neon
 360
 361 .align  4
 362 .Lstore_base2_64_neon:
 363         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
 364         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
 365         b       .Lno_data_neon
 366
 367 .align  4
 368 .Lbase2_64_neon:
 369         ldp     $r0,$r1,[$ctx,#32]      // load key value
 370
 371         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
 372         ldr     $h2,[$ctx,#16]
 373
 374         tst     $len,#31
 375         b.eq    .Linit_neon
 376
 377         ldp     $d0,$d1,[$inp],#16      // load input
 378         sub     $len,$len,#16
 379         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 380 #ifdef  __ARMEB__
 381         rev     $d0,$d0
 382         rev     $d1,$d1
 383 #endif
 384         adds    $h0,$h0,$d0             // accumulate input
 385         adcs    $h1,$h1,$d1
 386         adc     $h2,$h2,$padbit
 387
 388         bl      poly1305_mult
 389
 390 .Linit_neon:
 391         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 392         ubfx    x11,$h0,#26,#26
 393         extr    x12,$h1,$h0,#52
 394         and     x12,x12,#0x03ffffff
 395         ubfx    x13,$h1,#14,#26
 396         extr    x14,$h2,$h1,#40
 397
 398         stp     d8,d9,[sp,#16]          // meet ABI requirements
 399         stp     d10,d11,[sp,#32]
 400         stp     d12,d13,[sp,#48]
 401         stp     d14,d15,[sp,#64]
 402
 403         fmov    ${H0},x10
 404         fmov    ${H1},x11
 405         fmov    ${H2},x12
 406         fmov    ${H3},x13
 407         fmov    ${H4},x14
 408
 409         ////////////////////////////////// initialize r^n table
 410         mov     $h0,$r0                 // r^1
 411         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 412         mov     $h1,$r1
 413         mov     $h2,xzr
 414         add     $ctx,$ctx,#48+12
 415         bl      poly1305_splat
 416
 417         bl      poly1305_mult           // r^2
 418         sub     $ctx,$ctx,#4
 419         bl      poly1305_splat
 420
 421         bl      poly1305_mult           // r^3
 422         sub     $ctx,$ctx,#4
 423         bl      poly1305_splat
 424
 425         bl      poly1305_mult           // r^4
 426         sub     $ctx,$ctx,#4
 427         bl      poly1305_splat
 428         ldr     x30,[sp,#8]
 429
 430         add     $in2,$inp,#32
 431         adr     $zeros,.Lzeros
 432         subs    $len,$len,#64
 433         csel    $in2,$zeros,$in2,lo
 434
 435         mov     x4,#1
 436         stur    x4,[$ctx,#-24]          // set is_base2_26
 437         sub     $ctx,$ctx,#48           // restore original $ctx
 438         b       .Ldo_neon
 439
 440 .align  4
 441 .Leven_neon:
 442         add     $in2,$inp,#32
 443         adr     $zeros,.Lzeros
 444         subs    $len,$len,#64
 445         csel    $in2,$zeros,$in2,lo
 446
 447         stp     d8,d9,[sp,#16]          // meet ABI requirements
 448         stp     d10,d11,[sp,#32]
 449         stp     d12,d13,[sp,#48]
 450         stp     d14,d15,[sp,#64]
 451
 452         fmov    ${H0},x10
 453         fmov    ${H1},x11
 454         fmov    ${H2},x12
 455         fmov    ${H3},x13
 456         fmov    ${H4},x14
 457
 458 .Ldo_neon:
 459         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
 460         ldp     x9,x13,[$in2],#48
 461
 462         lsl     $padbit,$padbit,#24
 463         add     x15,$ctx,#48
 464
 465 #ifdef  __ARMEB__
 466         rev     x8,x8
 467         rev     x12,x12
 468         rev     x9,x9
 469         rev     x13,x13
 470 #endif
 471         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 472         and     x5,x9,#0x03ffffff
 473         ubfx    x6,x8,#26,#26
 474         ubfx    x7,x9,#26,#26
 475         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 476         extr    x8,x12,x8,#52
 477         extr    x9,x13,x9,#52
 478         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 479         fmov    $IN23_0,x4
 480         and     x8,x8,#0x03ffffff
 481         and     x9,x9,#0x03ffffff
 482         ubfx    x10,x12,#14,#26
 483         ubfx    x11,x13,#14,#26
 484         add     x12,$padbit,x12,lsr#40
 485         add     x13,$padbit,x13,lsr#40
 486         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 487         fmov    $IN23_1,x6
 488         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 489         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 490         fmov    $IN23_2,x8
 491         fmov    $IN23_3,x10
 492         fmov    $IN23_4,x12
 493
 494         ldp     x8,x12,[$inp],#16       // inp[0:1]
 495         ldp     x9,x13,[$inp],#48
 496
 497         ld1     {$R0,$R1,$S1,$R2},[x15],#64
 498         ld1     {$S2,$R3,$S3,$R4},[x15],#64
 499         ld1     {$S4},[x15]
 500
 501 #ifdef  __ARMEB__
 502         rev     x8,x8
 503         rev     x12,x12
 504         rev     x9,x9
 505         rev     x13,x13
 506 #endif
 507         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 508         and     x5,x9,#0x03ffffff
 509         ubfx    x6,x8,#26,#26
 510         ubfx    x7,x9,#26,#26
 511         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 512         extr    x8,x12,x8,#52
 513         extr    x9,x13,x9,#52
 514         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 515         fmov    $IN01_0,x4
 516         and     x8,x8,#0x03ffffff
 517         and     x9,x9,#0x03ffffff
 518         ubfx    x10,x12,#14,#26
 519         ubfx    x11,x13,#14,#26
 520         add     x12,$padbit,x12,lsr#40
 521         add     x13,$padbit,x13,lsr#40
 522         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 523         fmov    $IN01_1,x6
 524         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 525         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 526         movi    $MASK.2d,#-1
 527         fmov    $IN01_2,x8
 528         fmov    $IN01_3,x10
 529         fmov    $IN01_4,x12
 530         ushr    $MASK.2d,$MASK.2d,#38
 531
 532         b.ls    .Lskip_loop
 533
 534 .align  4
 535 .Loop_neon:
 536         ////////////////////////////////////////////////////////////////
 537         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
 538         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
 539         //   \___________________/
 540         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
 541         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
 542         //   \___________________/ \____________________/
 543         //
 544         // Note that we start with inp[2:3]*r^2. This is because it
 545         // doesn't depend on reduction in previous iteration.
 546         ////////////////////////////////////////////////////////////////
 547         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
 548         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
 549         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
 550         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
 551         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
 552
 553         subs    $len,$len,#64
 554         umull   $ACC4,$IN23_0,${R4}[2]
 555         csel    $in2,$zeros,$in2,lo
 556         umull   $ACC3,$IN23_0,${R3}[2]
 557         umull   $ACC2,$IN23_0,${R2}[2]
 558          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
 559         umull   $ACC1,$IN23_0,${R1}[2]
 560          ldp    x9,x13,[$in2],#48
 561         umull   $ACC0,$IN23_0,${R0}[2]
 562 #ifdef  __ARMEB__
 563          rev    x8,x8
 564          rev    x12,x12
 565          rev    x9,x9
 566          rev    x13,x13
 567 #endif
 568
 569         umlal   $ACC4,$IN23_1,${R3}[2]
 570          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 571         umlal   $ACC3,$IN23_1,${R2}[2]
 572          and    x5,x9,#0x03ffffff
 573         umlal   $ACC2,$IN23_1,${R1}[2]
 574          ubfx   x6,x8,#26,#26
 575         umlal   $ACC1,$IN23_1,${R0}[2]
 576          ubfx   x7,x9,#26,#26
 577         umlal   $ACC0,$IN23_1,${S4}[2]
 578          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 579
 580         umlal   $ACC4,$IN23_2,${R2}[2]
 581          extr   x8,x12,x8,#52
 582         umlal   $ACC3,$IN23_2,${R1}[2]
 583          extr   x9,x13,x9,#52
 584         umlal   $ACC2,$IN23_2,${R0}[2]
 585          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 586         umlal   $ACC1,$IN23_2,${S4}[2]
 587          fmov   $IN23_0,x4
 588         umlal   $ACC0,$IN23_2,${S3}[2]
 589          and    x8,x8,#0x03ffffff
 590
 591         umlal   $ACC4,$IN23_3,${R1}[2]
 592          and    x9,x9,#0x03ffffff
 593         umlal   $ACC3,$IN23_3,${R0}[2]
 594          ubfx   x10,x12,#14,#26
 595         umlal   $ACC2,$IN23_3,${S4}[2]
 596          ubfx   x11,x13,#14,#26
 597         umlal   $ACC1,$IN23_3,${S3}[2]
 598          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 599         umlal   $ACC0,$IN23_3,${S2}[2]
 600          fmov   $IN23_1,x6
 601
 602         add     $IN01_2,$IN01_2,$H2
 603          add    x12,$padbit,x12,lsr#40
 604         umlal   $ACC4,$IN23_4,${R0}[2]
 605          add    x13,$padbit,x13,lsr#40
 606         umlal   $ACC3,$IN23_4,${S4}[2]
 607          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 608         umlal   $ACC2,$IN23_4,${S3}[2]
 609          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 610         umlal   $ACC1,$IN23_4,${S2}[2]
 611          fmov   $IN23_2,x8
 612         umlal   $ACC0,$IN23_4,${S1}[2]
 613          fmov   $IN23_3,x10
 614
 615         ////////////////////////////////////////////////////////////////
 616         // (hash+inp[0:1])*r^4 and accumulate
 617
 618         add     $IN01_0,$IN01_0,$H0
 619          fmov   $IN23_4,x12
 620         umlal   $ACC3,$IN01_2,${R1}[0]
 621          ldp    x8,x12,[$inp],#16       // inp[0:1]
 622         umlal   $ACC0,$IN01_2,${S3}[0]
 623          ldp    x9,x13,[$inp],#48
 624         umlal   $ACC4,$IN01_2,${R2}[0]
 625         umlal   $ACC1,$IN01_2,${S4}[0]
 626         umlal   $ACC2,$IN01_2,${R0}[0]
 627 #ifdef  __ARMEB__
 628          rev    x8,x8
 629          rev    x12,x12
 630          rev    x9,x9
 631          rev    x13,x13
 632 #endif
 633
 634         add     $IN01_1,$IN01_1,$H1
 635         umlal   $ACC3,$IN01_0,${R3}[0]
 636         umlal   $ACC4,$IN01_0,${R4}[0]
 637          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 638         umlal   $ACC2,$IN01_0,${R2}[0]
 639          and    x5,x9,#0x03ffffff
 640         umlal   $ACC0,$IN01_0,${R0}[0]
 641          ubfx   x6,x8,#26,#26
 642         umlal   $ACC1,$IN01_0,${R1}[0]
 643          ubfx   x7,x9,#26,#26
 644
 645         add     $IN01_3,$IN01_3,$H3
 646          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 647         umlal   $ACC3,$IN01_1,${R2}[0]
 648          extr   x8,x12,x8,#52
 649         umlal   $ACC4,$IN01_1,${R3}[0]
 650          extr   x9,x13,x9,#52
 651         umlal   $ACC0,$IN01_1,${S4}[0]
 652          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 653         umlal   $ACC2,$IN01_1,${R1}[0]
 654          fmov   $IN01_0,x4
 655         umlal   $ACC1,$IN01_1,${R0}[0]
 656          and    x8,x8,#0x03ffffff
 657
 658         add     $IN01_4,$IN01_4,$H4
 659          and    x9,x9,#0x03ffffff
 660         umlal   $ACC3,$IN01_3,${R0}[0]
 661          ubfx   x10,x12,#14,#26
 662         umlal   $ACC0,$IN01_3,${S2}[0]
 663          ubfx   x11,x13,#14,#26
 664         umlal   $ACC4,$IN01_3,${R1}[0]
 665          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 666         umlal   $ACC1,$IN01_3,${S3}[0]
 667          fmov   $IN01_1,x6
 668         umlal   $ACC2,$IN01_3,${S4}[0]
 669          add    x12,$padbit,x12,lsr#40
 670
 671         umlal   $ACC3,$IN01_4,${S4}[0]
 672          add    x13,$padbit,x13,lsr#40
 673         umlal   $ACC0,$IN01_4,${S1}[0]
 674          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 675         umlal   $ACC4,$IN01_4,${R0}[0]
 676          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 677         umlal   $ACC1,$IN01_4,${S2}[0]
 678          fmov   $IN01_2,x8
 679         umlal   $ACC2,$IN01_4,${S3}[0]
 680          fmov   $IN01_3,x10
 681          fmov   $IN01_4,x12
 682
 683         /////////////////////////////////////////////////////////////////
 684         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
 685         // and P. Schwabe
 686         //
 687         // [see discussion in poly1305-armv4 module]
 688
 689         ushr    $T0.2d,$ACC3,#26
 690         xtn     $H3,$ACC3
 691          ushr   $T1.2d,$ACC0,#26
 692          and    $ACC0,$ACC0,$MASK.2d
 693         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 694         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
 695          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 696
 697         ushr    $T0.2d,$ACC4,#26
 698         xtn     $H4,$ACC4
 699          ushr   $T1.2d,$ACC1,#26
 700          xtn    $H1,$ACC1
 701         bic     $H4,#0xfc,lsl#24
 702          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 703
 704         add     $ACC0,$ACC0,$T0.2d
 705         shl     $T0.2d,$T0.2d,#2
 706          shrn   $T1.2s,$ACC2,#26
 707          xtn    $H2,$ACC2
 708         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 709          bic    $H1,#0xfc,lsl#24
 710          add    $H3,$H3,$T1.2s          // h2 -> h3
 711          bic    $H2,#0xfc,lsl#24
 712
 713         shrn    $T0.2s,$ACC0,#26
 714         xtn     $H0,$ACC0
 715          ushr   $T1.2s,$H3,#26
 716          bic    $H3,#0xfc,lsl#24
 717          bic    $H0,#0xfc,lsl#24
 718         add     $H1,$H1,$T0.2s          // h0 -> h1
 719          add    $H4,$H4,$T1.2s          // h3 -> h4
 720
 721         b.hi    .Loop_neon
 722
 723 .Lskip_loop:
 724         dup     $IN23_2,${IN23_2}[0]
 725         add     $IN01_2,$IN01_2,$H2
 726
 727         ////////////////////////////////////////////////////////////////
 728         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
 729
 730         adds    $len,$len,#32
 731         b.ne    .Long_tail
 732
 733         dup     $IN23_2,${IN01_2}[0]
 734         add     $IN23_0,$IN01_0,$H0
 735         add     $IN23_3,$IN01_3,$H3
 736         add     $IN23_1,$IN01_1,$H1
 737         add     $IN23_4,$IN01_4,$H4
 738
 739 .Long_tail:
 740         dup     $IN23_0,${IN23_0}[0]
 741         umull2  $ACC0,$IN23_2,${S3}
 742         umull2  $ACC3,$IN23_2,${R1}
 743         umull2  $ACC4,$IN23_2,${R2}
 744         umull2  $ACC2,$IN23_2,${R0}
 745         umull2  $ACC1,$IN23_2,${S4}
 746
 747         dup     $IN23_1,${IN23_1}[0]
 748         umlal2  $ACC0,$IN23_0,${R0}
 749         umlal2  $ACC2,$IN23_0,${R2}
 750         umlal2  $ACC3,$IN23_0,${R3}
 751         umlal2  $ACC4,$IN23_0,${R4}
 752         umlal2  $ACC1,$IN23_0,${R1}
 753
 754         dup     $IN23_3,${IN23_3}[0]
 755         umlal2  $ACC0,$IN23_1,${S4}
 756         umlal2  $ACC3,$IN23_1,${R2}
 757         umlal2  $ACC2,$IN23_1,${R1}
 758         umlal2  $ACC4,$IN23_1,${R3}
 759         umlal2  $ACC1,$IN23_1,${R0}
 760
 761         dup     $IN23_4,${IN23_4}[0]
 762         umlal2  $ACC3,$IN23_3,${R0}
 763         umlal2  $ACC4,$IN23_3,${R1}
 764         umlal2  $ACC0,$IN23_3,${S2}
 765         umlal2  $ACC1,$IN23_3,${S3}
 766         umlal2  $ACC2,$IN23_3,${S4}
 767
 768         umlal2  $ACC3,$IN23_4,${S4}
 769         umlal2  $ACC0,$IN23_4,${S1}
 770         umlal2  $ACC4,$IN23_4,${R0}
 771         umlal2  $ACC1,$IN23_4,${S2}
 772         umlal2  $ACC2,$IN23_4,${S3}
 773
 774         b.eq    .Lshort_tail
 775
 776         ////////////////////////////////////////////////////////////////
 777         // (hash+inp[0:1])*r^4:r^3 and accumulate
 778
 779         add     $IN01_0,$IN01_0,$H0
 780         umlal   $ACC3,$IN01_2,${R1}
 781         umlal   $ACC0,$IN01_2,${S3}
 782         umlal   $ACC4,$IN01_2,${R2}
 783         umlal   $ACC1,$IN01_2,${S4}
 784         umlal   $ACC2,$IN01_2,${R0}
 785
 786         add     $IN01_1,$IN01_1,$H1
 787         umlal   $ACC3,$IN01_0,${R3}
 788         umlal   $ACC0,$IN01_0,${R0}
 789         umlal   $ACC4,$IN01_0,${R4}
 790         umlal   $ACC1,$IN01_0,${R1}
 791         umlal   $ACC2,$IN01_0,${R2}
 792
 793         add     $IN01_3,$IN01_3,$H3
 794         umlal   $ACC3,$IN01_1,${R2}
 795         umlal   $ACC0,$IN01_1,${S4}
 796         umlal   $ACC4,$IN01_1,${R3}
 797         umlal   $ACC1,$IN01_1,${R0}
 798         umlal   $ACC2,$IN01_1,${R1}
 799
 800         add     $IN01_4,$IN01_4,$H4
 801         umlal   $ACC3,$IN01_3,${R0}
 802         umlal   $ACC0,$IN01_3,${S2}
 803         umlal   $ACC4,$IN01_3,${R1}
 804         umlal   $ACC1,$IN01_3,${S3}
 805         umlal   $ACC2,$IN01_3,${S4}
 806
 807         umlal   $ACC3,$IN01_4,${S4}
 808         umlal   $ACC0,$IN01_4,${S1}
 809         umlal   $ACC4,$IN01_4,${R0}
 810         umlal   $ACC1,$IN01_4,${S2}
 811         umlal   $ACC2,$IN01_4,${S3}
 812
 813 .Lshort_tail:
 814         ////////////////////////////////////////////////////////////////
 815         // horizontal add
 816
 817         addp    $ACC3,$ACC3,$ACC3
 818          ldp    d8,d9,[sp,#16]          // meet ABI requirements
 819         addp    $ACC0,$ACC0,$ACC0
 820          ldp    d10,d11,[sp,#32]
 821         addp    $ACC4,$ACC4,$ACC4
 822          ldp    d12,d13,[sp,#48]
 823         addp    $ACC1,$ACC1,$ACC1
 824          ldp    d14,d15,[sp,#64]
 825         addp    $ACC2,$ACC2,$ACC2
 826
 827         ////////////////////////////////////////////////////////////////
 828         // lazy reduction, but without narrowing
 829
 830         ushr    $T0.2d,$ACC3,#26
 831         and     $ACC3,$ACC3,$MASK.2d
 832          ushr   $T1.2d,$ACC0,#26
 833          and    $ACC0,$ACC0,$MASK.2d
 834
 835         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 836          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 837
 838         ushr    $T0.2d,$ACC4,#26
 839         and     $ACC4,$ACC4,$MASK.2d
 840          ushr   $T1.2d,$ACC1,#26
 841          and    $ACC1,$ACC1,$MASK.2d
 842          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 843
 844         add     $ACC0,$ACC0,$T0.2d
 845         shl     $T0.2d,$T0.2d,#2
 846          ushr   $T1.2d,$ACC2,#26
 847          and    $ACC2,$ACC2,$MASK.2d
 848         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 849          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
 850
 851         ushr    $T0.2d,$ACC0,#26
 852         and     $ACC0,$ACC0,$MASK.2d
 853          ushr   $T1.2d,$ACC3,#26
 854          and    $ACC3,$ACC3,$MASK.2d
 855         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
 856          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
 857
 858         ////////////////////////////////////////////////////////////////
 859         // write the result, can be partially reduced
 860
 861         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
 862         st1     {$ACC4}[0],[$ctx]
 863
 864 .Lno_data_neon:
 865         .inst   0xd50323bf              // autiasp
 866         ldr     x29,[sp],#80
 867         ret
 868 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
 869
 870 .type   poly1305_emit_neon,%function
 871 .align  5
 872 poly1305_emit_neon:
 873 .Lpoly1305_emit_neon:
 874         ldr     $is_base2_26,[$ctx,#24]
 875         cbz     $is_base2_26,poly1305_emit
 876
 877         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 878         ldp     w12,w13,[$ctx,#8]
 879         ldr     w14,[$ctx,#16]
 880
 881         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 882         lsr     $h1,x12,#12
 883         adds    $h0,$h0,x12,lsl#52
 884         add     $h1,$h1,x13,lsl#14
 885         adc     $h1,$h1,xzr
 886         lsr     $h2,x14,#24
 887         adds    $h1,$h1,x14,lsl#40
 888         adc     $h2,$h2,xzr             // can be partially reduced...
 889
 890         ldp     $t0,$t1,[$nonce]        // load nonce
 891
 892         and     $d0,$h2,#-4             // ... so reduce
 893         add     $d0,$d0,$h2,lsr#2
 894         and     $h2,$h2,#3
 895         adds    $h0,$h0,$d0
 896         adcs    $h1,$h1,xzr
 897         adc     $h2,$h2,xzr
 898
 899         adds    $d0,$h0,#5              // compare to modulus
 900         adcs    $d1,$h1,xzr
 901         adc     $d2,$h2,xzr
 902
 903         tst     $d2,#-4                 // see if it's carried/borrowed
 904
 905         csel    $h0,$h0,$d0,eq
 906         csel    $h1,$h1,$d1,eq
 907
 908 #ifdef  __ARMEB__
 909         ror     $t0,$t0,#32             // flip nonce words
 910         ror     $t1,$t1,#32
 911 #endif
 912         adds    $h0,$h0,$t0             // accumulate nonce
 913         adc     $h1,$h1,$t1
 914 #ifdef  __ARMEB__
 915         rev     $h0,$h0                 // flip output bytes
 916         rev     $h1,$h1
 917 #endif
 918         stp     $h0,$h1,[$mac]          // write result
 919
 920         ret
 921 .size   poly1305_emit_neon,.-poly1305_emit_neon
 922
 923 .align  5
 924 .Lzeros:
 925 .long   0,0,0,0,0,0,0,0
 926 .asciz  "Poly1305 for ARMv8, CRYPTOGAMS by <appro\@openssl.org>"
 927 .align  2
 928 ___
 929
 930 foreach (split("\n",$code)) {
 931         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
 932         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
 933         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
 934         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
 935         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
 936         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
 937         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
 938
 939         s/\.[124]([sd])\[/.$1\[/;
 940
 941         print $_,"\n";
 942 }
 943 close STDOUT or die "error closing STDOUT: $!";