crypto/poly1305/asm/poly1305-armv8.pl

   1 #! /usr/bin/env perl
   2 # Copyright 2016-2022 The OpenSSL Project Authors. All Rights Reserved.
   3 #
   4 # Licensed under the Apache License 2.0 (the "License").  You may not use
   5 # this file except in compliance with the License.  You can obtain a copy
   6 # in the file LICENSE in the source distribution or at
   7 # https://www.openssl.org/source/license.html
   8
   9 #
  10 # ====================================================================
  11 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  12 # project. The module is, however, dual licensed under OpenSSL and
  13 # CRYPTOGAMS licenses depending on where you obtain it. For further
  14 # details see http://www.openssl.org/~appro/cryptogams/.
  15 # ====================================================================
  16 #
  17 # This module implements Poly1305 hash for ARMv8.
  18 #
  19 # June 2015
  20 #
  21 # Numbers are cycles per processed byte with poly1305_blocks alone.
  22 #
  23 #               IALU/gcc-4.9    NEON
  24 #
  25 # Apple A7      1.86/+5%        0.72
  26 # Cortex-A53    2.69/+58%       1.47
  27 # Cortex-A57    2.70/+7%        1.14
  28 # Denver        1.64/+50%       1.18(*)
  29 # X-Gene        2.13/+68%       2.27
  30 # Mongoose      1.77/+75%       1.12
  31 # Kryo          2.70/+55%       1.13
  32 # ThunderX2     1.17/+95%       1.36
  33 #
  34 # (*)   estimate based on resources availability is less than 1.0,
  35 #       i.e. measured result is worse than expected, presumably binary
  36 #       translator is not almighty;
  37
  38 # $output is the last argument if it looks like a file (it has an extension)
  39 # $flavour is the first argument if it doesn't look like a file
  40 $output = $#ARGV >= 0 && $ARGV[$#ARGV] =~ m|\.\w+$| ? pop : undef;
  41 $flavour = $#ARGV >= 0 && $ARGV[0] !~ m|\.| ? shift : undef;
  42
  43 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  44 ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
  45 ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
  46 die "can't locate arm-xlate.pl";
  47
  48 open OUT,"| \"$^X\" $xlate $flavour \"$output\""
  49     or die "can't call $xlate: $!";
  50 *STDOUT=*OUT;
  51
  52 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
  53 my ($mac,$nonce)=($inp,$len);
  54
  55 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
  56
  57 $code.=<<___;
  58 #include "arm_arch.h"
  59
  60 .text
  61
  62 // forward "declarations" are required for Apple
  63 .extern OPENSSL_armcap_P
  64 .hidden OPENSSL_armcap_P
  65 .globl  poly1305_init
  66 .hidden poly1305_init
  67 .globl  poly1305_blocks
  68 .hidden poly1305_blocks
  69 .globl  poly1305_emit
  70 .hidden poly1305_emit
  71
  72 .type   poly1305_init,%function
  73 .align  5
  74 poly1305_init:
  75         AARCH64_VALID_CALL_TARGET
  76         cmp     $inp,xzr
  77         stp     xzr,xzr,[$ctx]          // zero hash value
  78         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
  79
  80         csel    x0,xzr,x0,eq
  81         b.eq    .Lno_key
  82
  83         adrp    x17,OPENSSL_armcap_P
  84         ldr     w17,[x17,#:lo12:OPENSSL_armcap_P]
  85
  86         ldp     $r0,$r1,[$inp]          // load key
  87         mov     $s1,#0xfffffffc0fffffff
  88         movk    $s1,#0x0fff,lsl#48
  89 #ifdef  __AARCH64EB__
  90         rev     $r0,$r0                 // flip bytes
  91         rev     $r1,$r1
  92 #endif
  93         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
  94         and     $s1,$s1,#-4
  95         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
  96         stp     $r0,$r1,[$ctx,#32]      // save key value
  97
  98         tst     w17,#ARMV7_NEON
  99
 100         adr     $d0,.Lpoly1305_blocks
 101         adr     $r0,.Lpoly1305_blocks_neon
 102         adr     $d1,.Lpoly1305_emit
 103         adr     $r1,.Lpoly1305_emit_neon
 104
 105         csel    $d0,$d0,$r0,eq
 106         csel    $d1,$d1,$r1,eq
 107
 108 #ifdef  __ILP32__
 109         stp     w12,w13,[$len]
 110 #else
 111         stp     $d0,$d1,[$len]
 112 #endif
 113
 114         mov     x0,#1
 115 .Lno_key:
 116         ret
 117 .size   poly1305_init,.-poly1305_init
 118
 119 .type   poly1305_blocks,%function
 120 .align  5
 121 poly1305_blocks:
 122 .Lpoly1305_blocks:
 123         // The symbol .Lpoly1305_blocks is not a .globl symbol
 124         // but a pointer to it is returned by poly1305_init
 125         AARCH64_VALID_CALL_TARGET
 126         ands    $len,$len,#-16
 127         b.eq    .Lno_data
 128
 129         ldp     $h0,$h1,[$ctx]          // load hash value
 130         ldp     $r0,$r1,[$ctx,#32]      // load key value
 131         ldr     $h2,[$ctx,#16]
 132         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 133         b       .Loop
 134
 135 .align  5
 136 .Loop:
 137         ldp     $t0,$t1,[$inp],#16      // load input
 138         sub     $len,$len,#16
 139 #ifdef  __AARCH64EB__
 140         rev     $t0,$t0
 141         rev     $t1,$t1
 142 #endif
 143         adds    $h0,$h0,$t0             // accumulate input
 144         adcs    $h1,$h1,$t1
 145
 146         mul     $d0,$h0,$r0             // h0*r0
 147         adc     $h2,$h2,$padbit
 148         umulh   $d1,$h0,$r0
 149
 150         mul     $t0,$h1,$s1             // h1*5*r1
 151         umulh   $t1,$h1,$s1
 152
 153         adds    $d0,$d0,$t0
 154         mul     $t0,$h0,$r1             // h0*r1
 155         adc     $d1,$d1,$t1
 156         umulh   $d2,$h0,$r1
 157
 158         adds    $d1,$d1,$t0
 159         mul     $t0,$h1,$r0             // h1*r0
 160         adc     $d2,$d2,xzr
 161         umulh   $t1,$h1,$r0
 162
 163         adds    $d1,$d1,$t0
 164         mul     $t0,$h2,$s1             // h2*5*r1
 165         adc     $d2,$d2,$t1
 166         mul     $t1,$h2,$r0             // h2*r0
 167
 168         adds    $d1,$d1,$t0
 169         adc     $d2,$d2,$t1
 170
 171         and     $t0,$d2,#-4             // final reduction
 172         and     $h2,$d2,#3
 173         add     $t0,$t0,$d2,lsr#2
 174         adds    $h0,$d0,$t0
 175         adcs    $h1,$d1,xzr
 176         adc     $h2,$h2,xzr
 177
 178         cbnz    $len,.Loop
 179
 180         stp     $h0,$h1,[$ctx]          // store hash value
 181         str     $h2,[$ctx,#16]
 182
 183 .Lno_data:
 184         ret
 185 .size   poly1305_blocks,.-poly1305_blocks
 186
 187 .type   poly1305_emit,%function
 188 .align  5
 189 poly1305_emit:
 190 .Lpoly1305_emit:
 191         // The symbol .poly1305_emit is not a .globl symbol
 192         // but a pointer to it is returned by poly1305_init
 193         AARCH64_VALID_CALL_TARGET
 194         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
 195         ldr     $h2,[$ctx,#16]
 196         ldp     $t0,$t1,[$nonce]        // load nonce
 197
 198         adds    $d0,$h0,#5              // compare to modulus
 199         adcs    $d1,$h1,xzr
 200         adc     $d2,$h2,xzr
 201
 202         tst     $d2,#-4                 // see if it's carried/borrowed
 203
 204         csel    $h0,$h0,$d0,eq
 205         csel    $h1,$h1,$d1,eq
 206
 207 #ifdef  __AARCH64EB__
 208         ror     $t0,$t0,#32             // flip nonce words
 209         ror     $t1,$t1,#32
 210 #endif
 211         adds    $h0,$h0,$t0             // accumulate nonce
 212         adc     $h1,$h1,$t1
 213 #ifdef  __AARCH64EB__
 214         rev     $h0,$h0                 // flip output bytes
 215         rev     $h1,$h1
 216 #endif
 217         stp     $h0,$h1,[$mac]          // write result
 218
 219         ret
 220 .size   poly1305_emit,.-poly1305_emit
 221 ___
 222 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
 223 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
 224 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
 225 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
 226 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
 227 my ($T0,$T1,$MASK) = map("v$_",(29..31));
 228
 229 my ($in2,$zeros)=("x16","x17");
 230 my $is_base2_26 = $zeros;               # borrow
 231
 232 $code.=<<___;
 233 .type   poly1305_mult,%function
 234 .align  5
 235 poly1305_mult:
 236         mul     $d0,$h0,$r0             // h0*r0
 237         umulh   $d1,$h0,$r0
 238
 239         mul     $t0,$h1,$s1             // h1*5*r1
 240         umulh   $t1,$h1,$s1
 241
 242         adds    $d0,$d0,$t0
 243         mul     $t0,$h0,$r1             // h0*r1
 244         adc     $d1,$d1,$t1
 245         umulh   $d2,$h0,$r1
 246
 247         adds    $d1,$d1,$t0
 248         mul     $t0,$h1,$r0             // h1*r0
 249         adc     $d2,$d2,xzr
 250         umulh   $t1,$h1,$r0
 251
 252         adds    $d1,$d1,$t0
 253         mul     $t0,$h2,$s1             // h2*5*r1
 254         adc     $d2,$d2,$t1
 255         mul     $t1,$h2,$r0             // h2*r0
 256
 257         adds    $d1,$d1,$t0
 258         adc     $d2,$d2,$t1
 259
 260         and     $t0,$d2,#-4             // final reduction
 261         and     $h2,$d2,#3
 262         add     $t0,$t0,$d2,lsr#2
 263         adds    $h0,$d0,$t0
 264         adcs    $h1,$d1,xzr
 265         adc     $h2,$h2,xzr
 266
 267         ret
 268 .size   poly1305_mult,.-poly1305_mult
 269
 270 .type   poly1305_splat,%function
 271 .align  5
 272 poly1305_splat:
 273         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 274         ubfx    x13,$h0,#26,#26
 275         extr    x14,$h1,$h0,#52
 276         and     x14,x14,#0x03ffffff
 277         ubfx    x15,$h1,#14,#26
 278         extr    x16,$h2,$h1,#40
 279
 280         str     w12,[$ctx,#16*0]        // r0
 281         add     w12,w13,w13,lsl#2       // r1*5
 282         str     w13,[$ctx,#16*1]        // r1
 283         add     w13,w14,w14,lsl#2       // r2*5
 284         str     w12,[$ctx,#16*2]        // s1
 285         str     w14,[$ctx,#16*3]        // r2
 286         add     w14,w15,w15,lsl#2       // r3*5
 287         str     w13,[$ctx,#16*4]        // s2
 288         str     w15,[$ctx,#16*5]        // r3
 289         add     w15,w16,w16,lsl#2       // r4*5
 290         str     w14,[$ctx,#16*6]        // s3
 291         str     w16,[$ctx,#16*7]        // r4
 292         str     w15,[$ctx,#16*8]        // s4
 293
 294         ret
 295 .size   poly1305_splat,.-poly1305_splat
 296
 297 .type   poly1305_blocks_neon,%function
 298 .align  5
 299 poly1305_blocks_neon:
 300 .Lpoly1305_blocks_neon:
 301         // The symbol .Lpoly1305_blocks_neon is not a .globl symbol
 302         // but a pointer to it is returned by poly1305_init
 303         AARCH64_VALID_CALL_TARGET
 304         ldr     $is_base2_26,[$ctx,#24]
 305         cmp     $len,#128
 306         b.hs    .Lblocks_neon
 307         cbz     $is_base2_26,.Lpoly1305_blocks
 308
 309 .Lblocks_neon:
 310         AARCH64_SIGN_LINK_REGISTER
 311         stp     x29,x30,[sp,#-80]!
 312         add     x29,sp,#0
 313
 314         ands    $len,$len,#-16
 315         b.eq    .Lno_data_neon
 316
 317         cbz     $is_base2_26,.Lbase2_64_neon
 318
 319         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 320         ldp     w12,w13,[$ctx,#8]
 321         ldr     w14,[$ctx,#16]
 322
 323         tst     $len,#31
 324         b.eq    .Leven_neon
 325
 326         ldp     $r0,$r1,[$ctx,#32]      // load key value
 327
 328         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 329         lsr     $h1,x12,#12
 330         adds    $h0,$h0,x12,lsl#52
 331         add     $h1,$h1,x13,lsl#14
 332         adc     $h1,$h1,xzr
 333         lsr     $h2,x14,#24
 334         adds    $h1,$h1,x14,lsl#40
 335         adc     $d2,$h2,xzr             // can be partially reduced...
 336
 337         ldp     $d0,$d1,[$inp],#16      // load input
 338         sub     $len,$len,#16
 339         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 340
 341         and     $t0,$d2,#-4             // ... so reduce
 342         and     $h2,$d2,#3
 343         add     $t0,$t0,$d2,lsr#2
 344         adds    $h0,$h0,$t0
 345         adcs    $h1,$h1,xzr
 346         adc     $h2,$h2,xzr
 347
 348 #ifdef  __AARCH64EB__
 349         rev     $d0,$d0
 350         rev     $d1,$d1
 351 #endif
 352         adds    $h0,$h0,$d0             // accumulate input
 353         adcs    $h1,$h1,$d1
 354         adc     $h2,$h2,$padbit
 355
 356         bl      poly1305_mult
 357         ldr     x30,[sp,#8]
 358
 359         cbz     $padbit,.Lstore_base2_64_neon
 360
 361         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 362         ubfx    x11,$h0,#26,#26
 363         extr    x12,$h1,$h0,#52
 364         and     x12,x12,#0x03ffffff
 365         ubfx    x13,$h1,#14,#26
 366         extr    x14,$h2,$h1,#40
 367
 368         cbnz    $len,.Leven_neon
 369
 370         stp     w10,w11,[$ctx]          // store hash value base 2^26
 371         stp     w12,w13,[$ctx,#8]
 372         str     w14,[$ctx,#16]
 373         b       .Lno_data_neon
 374
 375 .align  4
 376 .Lstore_base2_64_neon:
 377         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
 378         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
 379         b       .Lno_data_neon
 380
 381 .align  4
 382 .Lbase2_64_neon:
 383         ldp     $r0,$r1,[$ctx,#32]      // load key value
 384
 385         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
 386         ldr     $h2,[$ctx,#16]
 387
 388         tst     $len,#31
 389         b.eq    .Linit_neon
 390
 391         ldp     $d0,$d1,[$inp],#16      // load input
 392         sub     $len,$len,#16
 393         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 394 #ifdef  __AARCH64EB__
 395         rev     $d0,$d0
 396         rev     $d1,$d1
 397 #endif
 398         adds    $h0,$h0,$d0             // accumulate input
 399         adcs    $h1,$h1,$d1
 400         adc     $h2,$h2,$padbit
 401
 402         bl      poly1305_mult
 403
 404 .Linit_neon:
 405         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 406         ubfx    x11,$h0,#26,#26
 407         extr    x12,$h1,$h0,#52
 408         and     x12,x12,#0x03ffffff
 409         ubfx    x13,$h1,#14,#26
 410         extr    x14,$h2,$h1,#40
 411
 412         stp     d8,d9,[sp,#16]          // meet ABI requirements
 413         stp     d10,d11,[sp,#32]
 414         stp     d12,d13,[sp,#48]
 415         stp     d14,d15,[sp,#64]
 416
 417         fmov    ${H0},x10
 418         fmov    ${H1},x11
 419         fmov    ${H2},x12
 420         fmov    ${H3},x13
 421         fmov    ${H4},x14
 422
 423         ////////////////////////////////// initialize r^n table
 424         mov     $h0,$r0                 // r^1
 425         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 426         mov     $h1,$r1
 427         mov     $h2,xzr
 428         add     $ctx,$ctx,#48+12
 429         bl      poly1305_splat
 430
 431         bl      poly1305_mult           // r^2
 432         sub     $ctx,$ctx,#4
 433         bl      poly1305_splat
 434
 435         bl      poly1305_mult           // r^3
 436         sub     $ctx,$ctx,#4
 437         bl      poly1305_splat
 438
 439         bl      poly1305_mult           // r^4
 440         sub     $ctx,$ctx,#4
 441         bl      poly1305_splat
 442         ldr     x30,[sp,#8]
 443
 444         add     $in2,$inp,#32
 445         adr     $zeros,.Lzeros
 446         subs    $len,$len,#64
 447         csel    $in2,$zeros,$in2,lo
 448
 449         mov     x4,#1
 450         stur    x4,[$ctx,#-24]          // set is_base2_26
 451         sub     $ctx,$ctx,#48           // restore original $ctx
 452         b       .Ldo_neon
 453
 454 .align  4
 455 .Leven_neon:
 456         add     $in2,$inp,#32
 457         adr     $zeros,.Lzeros
 458         subs    $len,$len,#64
 459         csel    $in2,$zeros,$in2,lo
 460
 461         stp     d8,d9,[sp,#16]          // meet ABI requirements
 462         stp     d10,d11,[sp,#32]
 463         stp     d12,d13,[sp,#48]
 464         stp     d14,d15,[sp,#64]
 465
 466         fmov    ${H0},x10
 467         fmov    ${H1},x11
 468         fmov    ${H2},x12
 469         fmov    ${H3},x13
 470         fmov    ${H4},x14
 471
 472 .Ldo_neon:
 473         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
 474         ldp     x9,x13,[$in2],#48
 475
 476         lsl     $padbit,$padbit,#24
 477         add     x15,$ctx,#48
 478
 479 #ifdef  __AARCH64EB__
 480         rev     x8,x8
 481         rev     x12,x12
 482         rev     x9,x9
 483         rev     x13,x13
 484 #endif
 485         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 486         and     x5,x9,#0x03ffffff
 487         ubfx    x6,x8,#26,#26
 488         ubfx    x7,x9,#26,#26
 489         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 490         extr    x8,x12,x8,#52
 491         extr    x9,x13,x9,#52
 492         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 493         fmov    $IN23_0,x4
 494         and     x8,x8,#0x03ffffff
 495         and     x9,x9,#0x03ffffff
 496         ubfx    x10,x12,#14,#26
 497         ubfx    x11,x13,#14,#26
 498         add     x12,$padbit,x12,lsr#40
 499         add     x13,$padbit,x13,lsr#40
 500         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 501         fmov    $IN23_1,x6
 502         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 503         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 504         fmov    $IN23_2,x8
 505         fmov    $IN23_3,x10
 506         fmov    $IN23_4,x12
 507
 508         ldp     x8,x12,[$inp],#16       // inp[0:1]
 509         ldp     x9,x13,[$inp],#48
 510
 511         ld1     {$R0,$R1,$S1,$R2},[x15],#64
 512         ld1     {$S2,$R3,$S3,$R4},[x15],#64
 513         ld1     {$S4},[x15]
 514
 515 #ifdef  __AARCH64EB__
 516         rev     x8,x8
 517         rev     x12,x12
 518         rev     x9,x9
 519         rev     x13,x13
 520 #endif
 521         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 522         and     x5,x9,#0x03ffffff
 523         ubfx    x6,x8,#26,#26
 524         ubfx    x7,x9,#26,#26
 525         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 526         extr    x8,x12,x8,#52
 527         extr    x9,x13,x9,#52
 528         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 529         fmov    $IN01_0,x4
 530         and     x8,x8,#0x03ffffff
 531         and     x9,x9,#0x03ffffff
 532         ubfx    x10,x12,#14,#26
 533         ubfx    x11,x13,#14,#26
 534         add     x12,$padbit,x12,lsr#40
 535         add     x13,$padbit,x13,lsr#40
 536         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 537         fmov    $IN01_1,x6
 538         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 539         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 540         movi    $MASK.2d,#-1
 541         fmov    $IN01_2,x8
 542         fmov    $IN01_3,x10
 543         fmov    $IN01_4,x12
 544         ushr    $MASK.2d,$MASK.2d,#38
 545
 546         b.ls    .Lskip_loop
 547
 548 .align  4
 549 .Loop_neon:
 550         ////////////////////////////////////////////////////////////////
 551         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
 552         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
 553         //   \___________________/
 554         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
 555         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
 556         //   \___________________/ \____________________/
 557         //
 558         // Note that we start with inp[2:3]*r^2. This is because it
 559         // doesn't depend on reduction in previous iteration.
 560         ////////////////////////////////////////////////////////////////
 561         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
 562         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
 563         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
 564         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
 565         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
 566
 567         subs    $len,$len,#64
 568         umull   $ACC4,$IN23_0,${R4}[2]
 569         csel    $in2,$zeros,$in2,lo
 570         umull   $ACC3,$IN23_0,${R3}[2]
 571         umull   $ACC2,$IN23_0,${R2}[2]
 572          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
 573         umull   $ACC1,$IN23_0,${R1}[2]
 574          ldp    x9,x13,[$in2],#48
 575         umull   $ACC0,$IN23_0,${R0}[2]
 576 #ifdef  __AARCH64EB__
 577          rev    x8,x8
 578          rev    x12,x12
 579          rev    x9,x9
 580          rev    x13,x13
 581 #endif
 582
 583         umlal   $ACC4,$IN23_1,${R3}[2]
 584          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 585         umlal   $ACC3,$IN23_1,${R2}[2]
 586          and    x5,x9,#0x03ffffff
 587         umlal   $ACC2,$IN23_1,${R1}[2]
 588          ubfx   x6,x8,#26,#26
 589         umlal   $ACC1,$IN23_1,${R0}[2]
 590          ubfx   x7,x9,#26,#26
 591         umlal   $ACC0,$IN23_1,${S4}[2]
 592          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 593
 594         umlal   $ACC4,$IN23_2,${R2}[2]
 595          extr   x8,x12,x8,#52
 596         umlal   $ACC3,$IN23_2,${R1}[2]
 597          extr   x9,x13,x9,#52
 598         umlal   $ACC2,$IN23_2,${R0}[2]
 599          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 600         umlal   $ACC1,$IN23_2,${S4}[2]
 601          fmov   $IN23_0,x4
 602         umlal   $ACC0,$IN23_2,${S3}[2]
 603          and    x8,x8,#0x03ffffff
 604
 605         umlal   $ACC4,$IN23_3,${R1}[2]
 606          and    x9,x9,#0x03ffffff
 607         umlal   $ACC3,$IN23_3,${R0}[2]
 608          ubfx   x10,x12,#14,#26
 609         umlal   $ACC2,$IN23_3,${S4}[2]
 610          ubfx   x11,x13,#14,#26
 611         umlal   $ACC1,$IN23_3,${S3}[2]
 612          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 613         umlal   $ACC0,$IN23_3,${S2}[2]
 614          fmov   $IN23_1,x6
 615
 616         add     $IN01_2,$IN01_2,$H2
 617          add    x12,$padbit,x12,lsr#40
 618         umlal   $ACC4,$IN23_4,${R0}[2]
 619          add    x13,$padbit,x13,lsr#40
 620         umlal   $ACC3,$IN23_4,${S4}[2]
 621          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 622         umlal   $ACC2,$IN23_4,${S3}[2]
 623          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 624         umlal   $ACC1,$IN23_4,${S2}[2]
 625          fmov   $IN23_2,x8
 626         umlal   $ACC0,$IN23_4,${S1}[2]
 627          fmov   $IN23_3,x10
 628
 629         ////////////////////////////////////////////////////////////////
 630         // (hash+inp[0:1])*r^4 and accumulate
 631
 632         add     $IN01_0,$IN01_0,$H0
 633          fmov   $IN23_4,x12
 634         umlal   $ACC3,$IN01_2,${R1}[0]
 635          ldp    x8,x12,[$inp],#16       // inp[0:1]
 636         umlal   $ACC0,$IN01_2,${S3}[0]
 637          ldp    x9,x13,[$inp],#48
 638         umlal   $ACC4,$IN01_2,${R2}[0]
 639         umlal   $ACC1,$IN01_2,${S4}[0]
 640         umlal   $ACC2,$IN01_2,${R0}[0]
 641 #ifdef  __AARCH64EB__
 642          rev    x8,x8
 643          rev    x12,x12
 644          rev    x9,x9
 645          rev    x13,x13
 646 #endif
 647
 648         add     $IN01_1,$IN01_1,$H1
 649         umlal   $ACC3,$IN01_0,${R3}[0]
 650         umlal   $ACC4,$IN01_0,${R4}[0]
 651          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 652         umlal   $ACC2,$IN01_0,${R2}[0]
 653          and    x5,x9,#0x03ffffff
 654         umlal   $ACC0,$IN01_0,${R0}[0]
 655          ubfx   x6,x8,#26,#26
 656         umlal   $ACC1,$IN01_0,${R1}[0]
 657          ubfx   x7,x9,#26,#26
 658
 659         add     $IN01_3,$IN01_3,$H3
 660          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 661         umlal   $ACC3,$IN01_1,${R2}[0]
 662          extr   x8,x12,x8,#52
 663         umlal   $ACC4,$IN01_1,${R3}[0]
 664          extr   x9,x13,x9,#52
 665         umlal   $ACC0,$IN01_1,${S4}[0]
 666          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 667         umlal   $ACC2,$IN01_1,${R1}[0]
 668          fmov   $IN01_0,x4
 669         umlal   $ACC1,$IN01_1,${R0}[0]
 670          and    x8,x8,#0x03ffffff
 671
 672         add     $IN01_4,$IN01_4,$H4
 673          and    x9,x9,#0x03ffffff
 674         umlal   $ACC3,$IN01_3,${R0}[0]
 675          ubfx   x10,x12,#14,#26
 676         umlal   $ACC0,$IN01_3,${S2}[0]
 677          ubfx   x11,x13,#14,#26
 678         umlal   $ACC4,$IN01_3,${R1}[0]
 679          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 680         umlal   $ACC1,$IN01_3,${S3}[0]
 681          fmov   $IN01_1,x6
 682         umlal   $ACC2,$IN01_3,${S4}[0]
 683          add    x12,$padbit,x12,lsr#40
 684
 685         umlal   $ACC3,$IN01_4,${S4}[0]
 686          add    x13,$padbit,x13,lsr#40
 687         umlal   $ACC0,$IN01_4,${S1}[0]
 688          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 689         umlal   $ACC4,$IN01_4,${R0}[0]
 690          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 691         umlal   $ACC1,$IN01_4,${S2}[0]
 692          fmov   $IN01_2,x8
 693         umlal   $ACC2,$IN01_4,${S3}[0]
 694          fmov   $IN01_3,x10
 695          fmov   $IN01_4,x12
 696
 697         /////////////////////////////////////////////////////////////////
 698         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
 699         // and P. Schwabe
 700         //
 701         // [see discussion in poly1305-armv4 module]
 702
 703         ushr    $T0.2d,$ACC3,#26
 704         xtn     $H3,$ACC3
 705          ushr   $T1.2d,$ACC0,#26
 706          and    $ACC0,$ACC0,$MASK.2d
 707         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 708         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
 709          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 710
 711         ushr    $T0.2d,$ACC4,#26
 712         xtn     $H4,$ACC4
 713          ushr   $T1.2d,$ACC1,#26
 714          xtn    $H1,$ACC1
 715         bic     $H4,#0xfc,lsl#24
 716          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 717
 718         add     $ACC0,$ACC0,$T0.2d
 719         shl     $T0.2d,$T0.2d,#2
 720          shrn   $T1.2s,$ACC2,#26
 721          xtn    $H2,$ACC2
 722         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 723          bic    $H1,#0xfc,lsl#24
 724          add    $H3,$H3,$T1.2s          // h2 -> h3
 725          bic    $H2,#0xfc,lsl#24
 726
 727         shrn    $T0.2s,$ACC0,#26
 728         xtn     $H0,$ACC0
 729          ushr   $T1.2s,$H3,#26
 730          bic    $H3,#0xfc,lsl#24
 731          bic    $H0,#0xfc,lsl#24
 732         add     $H1,$H1,$T0.2s          // h0 -> h1
 733          add    $H4,$H4,$T1.2s          // h3 -> h4
 734
 735         b.hi    .Loop_neon
 736
 737 .Lskip_loop:
 738         dup     $IN23_2,${IN23_2}[0]
 739         add     $IN01_2,$IN01_2,$H2
 740
 741         ////////////////////////////////////////////////////////////////
 742         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
 743
 744         adds    $len,$len,#32
 745         b.ne    .Long_tail
 746
 747         dup     $IN23_2,${IN01_2}[0]
 748         add     $IN23_0,$IN01_0,$H0
 749         add     $IN23_3,$IN01_3,$H3
 750         add     $IN23_1,$IN01_1,$H1
 751         add     $IN23_4,$IN01_4,$H4
 752
 753 .Long_tail:
 754         dup     $IN23_0,${IN23_0}[0]
 755         umull2  $ACC0,$IN23_2,${S3}
 756         umull2  $ACC3,$IN23_2,${R1}
 757         umull2  $ACC4,$IN23_2,${R2}
 758         umull2  $ACC2,$IN23_2,${R0}
 759         umull2  $ACC1,$IN23_2,${S4}
 760
 761         dup     $IN23_1,${IN23_1}[0]
 762         umlal2  $ACC0,$IN23_0,${R0}
 763         umlal2  $ACC2,$IN23_0,${R2}
 764         umlal2  $ACC3,$IN23_0,${R3}
 765         umlal2  $ACC4,$IN23_0,${R4}
 766         umlal2  $ACC1,$IN23_0,${R1}
 767
 768         dup     $IN23_3,${IN23_3}[0]
 769         umlal2  $ACC0,$IN23_1,${S4}
 770         umlal2  $ACC3,$IN23_1,${R2}
 771         umlal2  $ACC2,$IN23_1,${R1}
 772         umlal2  $ACC4,$IN23_1,${R3}
 773         umlal2  $ACC1,$IN23_1,${R0}
 774
 775         dup     $IN23_4,${IN23_4}[0]
 776         umlal2  $ACC3,$IN23_3,${R0}
 777         umlal2  $ACC4,$IN23_3,${R1}
 778         umlal2  $ACC0,$IN23_3,${S2}
 779         umlal2  $ACC1,$IN23_3,${S3}
 780         umlal2  $ACC2,$IN23_3,${S4}
 781
 782         umlal2  $ACC3,$IN23_4,${S4}
 783         umlal2  $ACC0,$IN23_4,${S1}
 784         umlal2  $ACC4,$IN23_4,${R0}
 785         umlal2  $ACC1,$IN23_4,${S2}
 786         umlal2  $ACC2,$IN23_4,${S3}
 787
 788         b.eq    .Lshort_tail
 789
 790         ////////////////////////////////////////////////////////////////
 791         // (hash+inp[0:1])*r^4:r^3 and accumulate
 792
 793         add     $IN01_0,$IN01_0,$H0
 794         umlal   $ACC3,$IN01_2,${R1}
 795         umlal   $ACC0,$IN01_2,${S3}
 796         umlal   $ACC4,$IN01_2,${R2}
 797         umlal   $ACC1,$IN01_2,${S4}
 798         umlal   $ACC2,$IN01_2,${R0}
 799
 800         add     $IN01_1,$IN01_1,$H1
 801         umlal   $ACC3,$IN01_0,${R3}
 802         umlal   $ACC0,$IN01_0,${R0}
 803         umlal   $ACC4,$IN01_0,${R4}
 804         umlal   $ACC1,$IN01_0,${R1}
 805         umlal   $ACC2,$IN01_0,${R2}
 806
 807         add     $IN01_3,$IN01_3,$H3
 808         umlal   $ACC3,$IN01_1,${R2}
 809         umlal   $ACC0,$IN01_1,${S4}
 810         umlal   $ACC4,$IN01_1,${R3}
 811         umlal   $ACC1,$IN01_1,${R0}
 812         umlal   $ACC2,$IN01_1,${R1}
 813
 814         add     $IN01_4,$IN01_4,$H4
 815         umlal   $ACC3,$IN01_3,${R0}
 816         umlal   $ACC0,$IN01_3,${S2}
 817         umlal   $ACC4,$IN01_3,${R1}
 818         umlal   $ACC1,$IN01_3,${S3}
 819         umlal   $ACC2,$IN01_3,${S4}
 820
 821         umlal   $ACC3,$IN01_4,${S4}
 822         umlal   $ACC0,$IN01_4,${S1}
 823         umlal   $ACC4,$IN01_4,${R0}
 824         umlal   $ACC1,$IN01_4,${S2}
 825         umlal   $ACC2,$IN01_4,${S3}
 826
 827 .Lshort_tail:
 828         ////////////////////////////////////////////////////////////////
 829         // horizontal add
 830
 831         addp    $ACC3,$ACC3,$ACC3
 832          ldp    d8,d9,[sp,#16]          // meet ABI requirements
 833         addp    $ACC0,$ACC0,$ACC0
 834          ldp    d10,d11,[sp,#32]
 835         addp    $ACC4,$ACC4,$ACC4
 836          ldp    d12,d13,[sp,#48]
 837         addp    $ACC1,$ACC1,$ACC1
 838          ldp    d14,d15,[sp,#64]
 839         addp    $ACC2,$ACC2,$ACC2
 840
 841         ////////////////////////////////////////////////////////////////
 842         // lazy reduction, but without narrowing
 843
 844         ushr    $T0.2d,$ACC3,#26
 845         and     $ACC3,$ACC3,$MASK.2d
 846          ushr   $T1.2d,$ACC0,#26
 847          and    $ACC0,$ACC0,$MASK.2d
 848
 849         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 850          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 851
 852         ushr    $T0.2d,$ACC4,#26
 853         and     $ACC4,$ACC4,$MASK.2d
 854          ushr   $T1.2d,$ACC1,#26
 855          and    $ACC1,$ACC1,$MASK.2d
 856          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 857
 858         add     $ACC0,$ACC0,$T0.2d
 859         shl     $T0.2d,$T0.2d,#2
 860          ushr   $T1.2d,$ACC2,#26
 861          and    $ACC2,$ACC2,$MASK.2d
 862         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 863          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
 864
 865         ushr    $T0.2d,$ACC0,#26
 866         and     $ACC0,$ACC0,$MASK.2d
 867          ushr   $T1.2d,$ACC3,#26
 868          and    $ACC3,$ACC3,$MASK.2d
 869         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
 870          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
 871
 872         ////////////////////////////////////////////////////////////////
 873         // write the result, can be partially reduced
 874
 875         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
 876         st1     {$ACC4}[0],[$ctx]
 877
 878 .Lno_data_neon:
 879         ldr     x29,[sp],#80
 880         AARCH64_VALIDATE_LINK_REGISTER
 881         ret
 882 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
 883
 884 .type   poly1305_emit_neon,%function
 885 .align  5
 886 poly1305_emit_neon:
 887 .Lpoly1305_emit_neon:
 888         // The symbol .Lpoly1305_emit_neon is not a .globl symbol
 889         // but a pointer to it is returned by poly1305_init
 890         AARCH64_VALID_CALL_TARGET
 891         ldr     $is_base2_26,[$ctx,#24]
 892         cbz     $is_base2_26,poly1305_emit
 893
 894         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 895         ldp     w12,w13,[$ctx,#8]
 896         ldr     w14,[$ctx,#16]
 897
 898         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 899         lsr     $h1,x12,#12
 900         adds    $h0,$h0,x12,lsl#52
 901         add     $h1,$h1,x13,lsl#14
 902         adc     $h1,$h1,xzr
 903         lsr     $h2,x14,#24
 904         adds    $h1,$h1,x14,lsl#40
 905         adc     $h2,$h2,xzr             // can be partially reduced...
 906
 907         ldp     $t0,$t1,[$nonce]        // load nonce
 908
 909         and     $d0,$h2,#-4             // ... so reduce
 910         add     $d0,$d0,$h2,lsr#2
 911         and     $h2,$h2,#3
 912         adds    $h0,$h0,$d0
 913         adcs    $h1,$h1,xzr
 914         adc     $h2,$h2,xzr
 915
 916         adds    $d0,$h0,#5              // compare to modulus
 917         adcs    $d1,$h1,xzr
 918         adc     $d2,$h2,xzr
 919
 920         tst     $d2,#-4                 // see if it's carried/borrowed
 921
 922         csel    $h0,$h0,$d0,eq
 923         csel    $h1,$h1,$d1,eq
 924
 925 #ifdef  __AARCH64EB__
 926         ror     $t0,$t0,#32             // flip nonce words
 927         ror     $t1,$t1,#32
 928 #endif
 929         adds    $h0,$h0,$t0             // accumulate nonce
 930         adc     $h1,$h1,$t1
 931 #ifdef  __AARCH64EB__
 932         rev     $h0,$h0                 // flip output bytes
 933         rev     $h1,$h1
 934 #endif
 935         stp     $h0,$h1,[$mac]          // write result
 936
 937         ret
 938 .size   poly1305_emit_neon,.-poly1305_emit_neon
 939
 940 .align  5
 941 .Lzeros:
 942 .long   0,0,0,0,0,0,0,0
 943 .asciz  "Poly1305 for ARMv8, CRYPTOGAMS by <appro\@openssl.org>"
 944 .align  2
 945 ___
 946
 947 foreach (split("\n",$code)) {
 948         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
 949         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
 950         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
 951         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
 952         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
 953         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
 954         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
 955
 956         s/\.[124]([sd])\[/.$1\[/;
 957
 958         print $_,"\n";
 959 }
 960 close STDOUT or die "error closing STDOUT: $!";