crypto/poly1305/asm/poly1305-armv8.pl

   1 #!/usr/bin/env perl
   2 #
   3 # ====================================================================
   4 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
   5 # project. The module is, however, dual licensed under OpenSSL and
   6 # CRYPTOGAMS licenses depending on where you obtain it. For further
   7 # details see http://www.openssl.org/~appro/cryptogams/.
   8 # ====================================================================
   9 #
  10 # This module implements Poly1305 hash for ARMv8.
  11 #
  12 # June 2015
  13 #
  14 # Numbers are cycles per processed byte with poly1305_blocks alone.
  15 #
  16 #               IALU/gcc-4.9    NEON
  17 #
  18 # Apple A7      1.86/+5%        0.72
  19 # Cortex-A53    2.69/+58%       1.47
  20 # Cortex-A57    2.70/+7%        1.14
  21 # Denver        1.64/+50%       1.18(*)
  22 # X-Gene        2.13/+68%       2.27
  23 #
  24 # (*)   estimate based on resources availability is less than 1.0,
  25 #       i.e. measured result is worse than expected, presumably binary
  26 #       translator is not almighty;
  27
  28 $flavour=shift;
  29 $output=shift;
  30
  31 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  32 ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
  33 ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
  34 die "can't locate arm-xlate.pl";
  35
  36 open OUT,"| \"$^X\" $xlate $flavour $output";
  37 *STDOUT=*OUT;
  38
  39 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
  40 my ($mac,$nonce)=($inp,$len);
  41
  42 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
  43
  44 $code.=<<___;
  45 #include "arm_arch.h"
  46
  47 .text
  48
  49 // forward "declarations" are required for Apple
  50 .extern OPENSSL_armcap_P
  51 .globl  poly1305_blocks
  52 .globl  poly1305_emit
  53
  54 .globl  poly1305_init
  55 .type   poly1305_init,%function
  56 .align  5
  57 poly1305_init:
  58         cmp     $inp,xzr
  59         stp     xzr,xzr,[$ctx]          // zero hash value
  60         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
  61
  62         csel    x0,xzr,x0,eq
  63         b.eq    .Lno_key
  64
  65 #ifdef  __ILP32__
  66         ldrsw   $t1,.LOPENSSL_armcap_P
  67 #else
  68         ldr     $t1,.LOPENSSL_armcap_P
  69 #endif
  70         adr     $t0,.LOPENSSL_armcap_P
  71
  72         ldp     $r0,$r1,[$inp]          // load key
  73         mov     $s1,#0xfffffffc0fffffff
  74         movk    $s1,#0x0fff,lsl#48
  75         ldr     w17,[$t0,$t1]
  76 #ifdef  __ARMEB__
  77         rev     $r0,$r0                 // flip bytes
  78         rev     $r1,$r1
  79 #endif
  80         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
  81         and     $s1,$s1,#-4
  82         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
  83         stp     $r0,$r1,[$ctx,#32]      // save key value
  84
  85         tst     w17,#ARMV7_NEON
  86
  87         adr     $d0,poly1305_blocks
  88         adr     $r0,poly1305_blocks_neon
  89         adr     $d1,poly1305_emit
  90         adr     $r1,poly1305_emit_neon
  91
  92         csel    $d0,$d0,$r0,eq
  93         csel    $d1,$d1,$r1,eq
  94
  95         stp     $d0,$d1,[$len]
  96
  97         mov     x0,#1
  98 .Lno_key:
  99         ret
 100 .size   poly1305_init,.-poly1305_init
 101
 102 .type   poly1305_blocks,%function
 103 .align  5
 104 poly1305_blocks:
 105         ands    $len,$len,#-16
 106         b.eq    .Lno_data
 107
 108         ldp     $h0,$h1,[$ctx]          // load hash value
 109         ldp     $r0,$r1,[$ctx,#32]      // load key value
 110         ldr     $h2,[$ctx,#16]
 111         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 112         b       .Loop
 113
 114 .align  5
 115 .Loop:
 116         ldp     $t0,$t1,[$inp],#16      // load input
 117         sub     $len,$len,#16
 118 #ifdef  __ARMEB__
 119         rev     $t0,$t0
 120         rev     $t1,$t1
 121 #endif
 122         adds    $h0,$h0,$t0             // accumulate input
 123         adcs    $h1,$h1,$t1
 124
 125         mul     $d0,$h0,$r0             // h0*r0
 126         adc     $h2,$h2,$padbit
 127         umulh   $d1,$h0,$r0
 128
 129         mul     $t0,$h1,$s1             // h1*5*r1
 130         umulh   $t1,$h1,$s1
 131
 132         adds    $d0,$d0,$t0
 133         mul     $t0,$h0,$r1             // h0*r1
 134         adc     $d1,$d1,$t1
 135         umulh   $d2,$h0,$r1
 136
 137         adds    $d1,$d1,$t0
 138         mul     $t0,$h1,$r0             // h1*r0
 139         adc     $d2,$d2,xzr
 140         umulh   $t1,$h1,$r0
 141
 142         adds    $d1,$d1,$t0
 143         mul     $t0,$h2,$s1             // h2*5*r1
 144         adc     $d2,$d2,$t1
 145         mul     $t1,$h2,$r0             // h2*r0
 146
 147         adds    $d1,$d1,$t0
 148         adc     $d2,$d2,$t1
 149
 150         and     $t0,$d2,#-4             // final reduction
 151         and     $h2,$d2,#3
 152         add     $t0,$t0,$d2,lsr#2
 153         adds    $h0,$d0,$t0
 154         adcs    $h1,$d1,xzr
 155         adc     $h2,$h2,xzr
 156
 157         cbnz    $len,.Loop
 158
 159         stp     $h0,$h1,[$ctx]          // store hash value
 160         str     $h2,[$ctx,#16]
 161
 162 .Lno_data:
 163         ret
 164 .size   poly1305_blocks,.-poly1305_blocks
 165
 166 .type   poly1305_emit,%function
 167 .align  5
 168 poly1305_emit:
 169         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
 170         ldr     $h2,[$ctx,#16]
 171         ldp     $t0,$t1,[$nonce]        // load nonce
 172
 173         adds    $d0,$h0,#5              // compare to modulus
 174         adcs    $d1,$h1,xzr
 175         adc     $d2,$h2,xzr
 176
 177         tst     $d2,#-4                 // see if it's carried/borrowed
 178
 179         csel    $h0,$h0,$d0,eq
 180         csel    $h1,$h1,$d1,eq
 181
 182 #ifdef  __ARMEB__
 183         ror     $t0,$t0,#32             // flip nonce words
 184         ror     $t1,$t1,#32
 185 #endif
 186         adds    $h0,$h0,$t0             // accumulate nonce
 187         adc     $h1,$h1,$t1
 188 #ifdef  __ARMEB__
 189         rev     $h0,$h0                 // flip output bytes
 190         rev     $h1,$h1
 191 #endif
 192         stp     $h0,$h1,[$mac]          // write result
 193
 194         ret
 195 .size   poly1305_emit,.-poly1305_emit
 196 ___
 197 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
 198 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
 199 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
 200 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
 201 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
 202 my ($T0,$T1,$MASK) = map("v$_",(29..31));
 203
 204 my ($in2,$zeros)=("x16","x17");
 205 my $is_base2_26 = $zeros;               # borrow
 206
 207 $code.=<<___;
 208 .type   poly1305_mult,%function
 209 .align  5
 210 poly1305_mult:
 211         mul     $d0,$h0,$r0             // h0*r0
 212         umulh   $d1,$h0,$r0
 213
 214         mul     $t0,$h1,$s1             // h1*5*r1
 215         umulh   $t1,$h1,$s1
 216
 217         adds    $d0,$d0,$t0
 218         mul     $t0,$h0,$r1             // h0*r1
 219         adc     $d1,$d1,$t1
 220         umulh   $d2,$h0,$r1
 221
 222         adds    $d1,$d1,$t0
 223         mul     $t0,$h1,$r0             // h1*r0
 224         adc     $d2,$d2,xzr
 225         umulh   $t1,$h1,$r0
 226
 227         adds    $d1,$d1,$t0
 228         mul     $t0,$h2,$s1             // h2*5*r1
 229         adc     $d2,$d2,$t1
 230         mul     $t1,$h2,$r0             // h2*r0
 231
 232         adds    $d1,$d1,$t0
 233         adc     $d2,$d2,$t1
 234
 235         and     $t0,$d2,#-4             // final reduction
 236         and     $h2,$d2,#3
 237         add     $t0,$t0,$d2,lsr#2
 238         adds    $h0,$d0,$t0
 239         adcs    $h1,$d1,xzr
 240         adc     $h2,$h2,xzr
 241
 242         ret
 243 .size   poly1305_mult,.-poly1305_mult
 244
 245 .type   poly1305_splat,%function
 246 .align  5
 247 poly1305_splat:
 248         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 249         ubfx    x13,$h0,#26,#26
 250         extr    x14,$h1,$h0,#52
 251         and     x14,x14,#0x03ffffff
 252         ubfx    x15,$h1,#14,#26
 253         extr    x16,$h2,$h1,#40
 254
 255         str     w12,[$ctx,#16*0]        // r0
 256         add     w12,w13,w13,lsl#2       // r1*5
 257         str     w13,[$ctx,#16*1]        // r1
 258         add     w13,w14,w14,lsl#2       // r2*5
 259         str     w12,[$ctx,#16*2]        // s1
 260         str     w14,[$ctx,#16*3]        // r2
 261         add     w14,w15,w15,lsl#2       // r3*5
 262         str     w13,[$ctx,#16*4]        // s2
 263         str     w15,[$ctx,#16*5]        // r3
 264         add     w15,w16,w16,lsl#2       // r4*5
 265         str     w14,[$ctx,#16*6]        // s3
 266         str     w16,[$ctx,#16*7]        // r4
 267         str     w15,[$ctx,#16*8]        // s4
 268
 269         ret
 270 .size   poly1305_splat,.-poly1305_splat
 271
 272 .type   poly1305_blocks_neon,%function
 273 .align  5
 274 poly1305_blocks_neon:
 275         ldr     $is_base2_26,[$ctx,#24]
 276         cmp     $len,#128
 277         b.hs    .Lblocks_neon
 278         cbz     $is_base2_26,poly1305_blocks
 279
 280 .Lblocks_neon:
 281         stp     x29,x30,[sp,#-80]!
 282         add     x29,sp,#0
 283
 284         ands    $len,$len,#-16
 285         b.eq    .Lno_data_neon
 286
 287         cbz     $is_base2_26,.Lbase2_64_neon
 288
 289         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 290         ldp     w12,w13,[$ctx,#8]
 291         ldr     w14,[$ctx,#16]
 292
 293         tst     $len,#31
 294         b.eq    .Leven_neon
 295
 296         ldp     $r0,$r1,[$ctx,#32]      // load key value
 297
 298         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 299         lsr     $h1,x12,#12
 300         adds    $h0,$h0,x12,lsl#52
 301         add     $h1,$h1,x13,lsl#14
 302         adc     $h1,$h1,xzr
 303         lsr     $h2,x14,#24
 304         adds    $h1,$h1,x14,lsl#40
 305         adc     $d2,$h2,xzr             // can be partially reduced...
 306
 307         ldp     $d0,$d1,[$inp],#16      // load input
 308         sub     $len,$len,#16
 309         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 310
 311         and     $t0,$d2,#-4             // ... so reduce
 312         and     $h2,$d2,#3
 313         add     $t0,$t0,$d2,lsr#2
 314         adds    $h0,$h0,$t0
 315         adcs    $h1,$h1,xzr
 316         adc     $h2,$h2,xzr
 317
 318 #ifdef  __ARMEB__
 319         rev     $d0,$d0
 320         rev     $d1,$d1
 321 #endif
 322         adds    $h0,$h0,$d0             // accumulate input
 323         adcs    $h1,$h1,$d1
 324         adc     $h2,$h2,$padbit
 325
 326         bl      poly1305_mult
 327         ldr     x30,[sp,#8]
 328
 329         cbz     $padbit,.Lstore_base2_64_neon
 330
 331         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 332         ubfx    x11,$h0,#26,#26
 333         extr    x12,$h1,$h0,#52
 334         and     x12,x12,#0x03ffffff
 335         ubfx    x13,$h1,#14,#26
 336         extr    x14,$h2,$h1,#40
 337
 338         cbnz    $len,.Leven_neon
 339
 340         stp     w10,w11,[$ctx]          // store hash value base 2^26
 341         stp     w12,w13,[$ctx,#8]
 342         str     w14,[$ctx,#16]
 343         b       .Lno_data_neon
 344
 345 .align  4
 346 .Lstore_base2_64_neon:
 347         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
 348         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
 349         b       .Lno_data_neon
 350
 351 .align  4
 352 .Lbase2_64_neon:
 353         ldp     $r0,$r1,[$ctx,#32]      // load key value
 354
 355         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
 356         ldr     $h2,[$ctx,#16]
 357
 358         tst     $len,#31
 359         b.eq    .Linit_neon
 360
 361         ldp     $d0,$d1,[$inp],#16      // load input
 362         sub     $len,$len,#16
 363         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 364 #ifdef  __ARMEB__
 365         rev     $d0,$d0
 366         rev     $d1,$d1
 367 #endif
 368         adds    $h0,$h0,$d0             // accumulate input
 369         adcs    $h1,$h1,$d1
 370         adc     $h2,$h2,$padbit
 371
 372         bl      poly1305_mult
 373
 374 .Linit_neon:
 375         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 376         ubfx    x11,$h0,#26,#26
 377         extr    x12,$h1,$h0,#52
 378         and     x12,x12,#0x03ffffff
 379         ubfx    x13,$h1,#14,#26
 380         extr    x14,$h2,$h1,#40
 381
 382         stp     d8,d9,[sp,#16]          // meet ABI requirements
 383         stp     d10,d11,[sp,#32]
 384         stp     d12,d13,[sp,#48]
 385         stp     d14,d15,[sp,#64]
 386
 387         fmov    ${H0},x10
 388         fmov    ${H1},x11
 389         fmov    ${H2},x12
 390         fmov    ${H3},x13
 391         fmov    ${H4},x14
 392
 393         ////////////////////////////////// initialize r^n table
 394         mov     $h0,$r0                 // r^1
 395         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 396         mov     $h1,$r1
 397         mov     $h2,xzr
 398         add     $ctx,$ctx,#48+12
 399         bl      poly1305_splat
 400
 401         bl      poly1305_mult           // r^2
 402         sub     $ctx,$ctx,#4
 403         bl      poly1305_splat
 404
 405         bl      poly1305_mult           // r^3
 406         sub     $ctx,$ctx,#4
 407         bl      poly1305_splat
 408
 409         bl      poly1305_mult           // r^4
 410         sub     $ctx,$ctx,#4
 411         bl      poly1305_splat
 412         ldr     x30,[sp,#8]
 413
 414         add     $in2,$inp,#32
 415         adr     $zeros,.Lzeros
 416         subs    $len,$len,#64
 417         csel    $in2,$zeros,$in2,lo
 418
 419         mov     x4,#1
 420         str     x4,[$ctx,#-24]          // set is_base2_26
 421         sub     $ctx,$ctx,#48           // restore original $ctx
 422         b       .Ldo_neon
 423
 424 .align  4
 425 .Leven_neon:
 426         add     $in2,$inp,#32
 427         adr     $zeros,.Lzeros
 428         subs    $len,$len,#64
 429         csel    $in2,$zeros,$in2,lo
 430
 431         stp     d8,d9,[sp,#16]          // meet ABI requirements
 432         stp     d10,d11,[sp,#32]
 433         stp     d12,d13,[sp,#48]
 434         stp     d14,d15,[sp,#64]
 435
 436         fmov    ${H0},x10
 437         fmov    ${H1},x11
 438         fmov    ${H2},x12
 439         fmov    ${H3},x13
 440         fmov    ${H4},x14
 441
 442 .Ldo_neon:
 443         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
 444         ldp     x9,x13,[$in2],#48
 445
 446         lsl     $padbit,$padbit,#24
 447         add     x15,$ctx,#48
 448
 449 #ifdef  __ARMEB__
 450         rev     x8,x8
 451         rev     x12,x12
 452         rev     x9,x9
 453         rev     x13,x13
 454 #endif
 455         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 456         and     x5,x9,#0x03ffffff
 457         ubfx    x6,x8,#26,#26
 458         ubfx    x7,x9,#26,#26
 459         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 460         extr    x8,x12,x8,#52
 461         extr    x9,x13,x9,#52
 462         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 463         fmov    $IN23_0,x4
 464         and     x8,x8,#0x03ffffff
 465         and     x9,x9,#0x03ffffff
 466         ubfx    x10,x12,#14,#26
 467         ubfx    x11,x13,#14,#26
 468         add     x12,$padbit,x12,lsr#40
 469         add     x13,$padbit,x13,lsr#40
 470         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 471         fmov    $IN23_1,x6
 472         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 473         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 474         fmov    $IN23_2,x8
 475         fmov    $IN23_3,x10
 476         fmov    $IN23_4,x12
 477
 478         ldp     x8,x12,[$inp],#16       // inp[0:1]
 479         ldp     x9,x13,[$inp],#48
 480
 481         ld1     {$R0,$R1,$S1,$R2},[x15],#64
 482         ld1     {$S2,$R3,$S3,$R4},[x15],#64
 483         ld1     {$S4},[x15]
 484
 485 #ifdef  __ARMEB__
 486         rev     x8,x8
 487         rev     x12,x12
 488         rev     x9,x9
 489         rev     x13,x13
 490 #endif
 491         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 492         and     x5,x9,#0x03ffffff
 493         ubfx    x6,x8,#26,#26
 494         ubfx    x7,x9,#26,#26
 495         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 496         extr    x8,x12,x8,#52
 497         extr    x9,x13,x9,#52
 498         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 499         fmov    $IN01_0,x4
 500         and     x8,x8,#0x03ffffff
 501         and     x9,x9,#0x03ffffff
 502         ubfx    x10,x12,#14,#26
 503         ubfx    x11,x13,#14,#26
 504         add     x12,$padbit,x12,lsr#40
 505         add     x13,$padbit,x13,lsr#40
 506         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 507         fmov    $IN01_1,x6
 508         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 509         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 510         movi    $MASK.2d,#-1
 511         fmov    $IN01_2,x8
 512         fmov    $IN01_3,x10
 513         fmov    $IN01_4,x12
 514         ushr    $MASK.2d,$MASK.2d,#38
 515
 516         b.ls    .Lskip_loop
 517
 518 .align  4
 519 .Loop_neon:
 520         ////////////////////////////////////////////////////////////////
 521         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
 522         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
 523         //   \___________________/
 524         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
 525         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
 526         //   \___________________/ \____________________/
 527         //
 528         // Note that we start with inp[2:3]*r^2. This is because it
 529         // doesn't depend on reduction in previous iteration.
 530         ////////////////////////////////////////////////////////////////
 531         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
 532         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
 533         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
 534         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
 535         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
 536
 537         subs    $len,$len,#64
 538         umull   $ACC4,$IN23_0,${R4}[2]
 539         csel    $in2,$zeros,$in2,lo
 540         umull   $ACC3,$IN23_0,${R3}[2]
 541         umull   $ACC2,$IN23_0,${R2}[2]
 542          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
 543         umull   $ACC1,$IN23_0,${R1}[2]
 544          ldp    x9,x13,[$in2],#48
 545         umull   $ACC0,$IN23_0,${R0}[2]
 546 #ifdef  __ARMEB__
 547          rev    x8,x8
 548          rev    x12,x12
 549          rev    x9,x9
 550          rev    x13,x13
 551 #endif
 552
 553         umlal   $ACC4,$IN23_1,${R3}[2]
 554          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 555         umlal   $ACC3,$IN23_1,${R2}[2]
 556          and    x5,x9,#0x03ffffff
 557         umlal   $ACC2,$IN23_1,${R1}[2]
 558          ubfx   x6,x8,#26,#26
 559         umlal   $ACC1,$IN23_1,${R0}[2]
 560          ubfx   x7,x9,#26,#26
 561         umlal   $ACC0,$IN23_1,${S4}[2]
 562          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 563
 564         umlal   $ACC4,$IN23_2,${R2}[2]
 565          extr   x8,x12,x8,#52
 566         umlal   $ACC3,$IN23_2,${R1}[2]
 567          extr   x9,x13,x9,#52
 568         umlal   $ACC2,$IN23_2,${R0}[2]
 569          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 570         umlal   $ACC1,$IN23_2,${S4}[2]
 571          fmov   $IN23_0,x4
 572         umlal   $ACC0,$IN23_2,${S3}[2]
 573          and    x8,x8,#0x03ffffff
 574
 575         umlal   $ACC4,$IN23_3,${R1}[2]
 576          and    x9,x9,#0x03ffffff
 577         umlal   $ACC3,$IN23_3,${R0}[2]
 578          ubfx   x10,x12,#14,#26
 579         umlal   $ACC2,$IN23_3,${S4}[2]
 580          ubfx   x11,x13,#14,#26
 581         umlal   $ACC1,$IN23_3,${S3}[2]
 582          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 583         umlal   $ACC0,$IN23_3,${S2}[2]
 584          fmov   $IN23_1,x6
 585
 586         add     $IN01_2,$IN01_2,$H2
 587          add    x12,$padbit,x12,lsr#40
 588         umlal   $ACC4,$IN23_4,${R0}[2]
 589          add    x13,$padbit,x13,lsr#40
 590         umlal   $ACC3,$IN23_4,${S4}[2]
 591          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 592         umlal   $ACC2,$IN23_4,${S3}[2]
 593          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 594         umlal   $ACC1,$IN23_4,${S2}[2]
 595          fmov   $IN23_2,x8
 596         umlal   $ACC0,$IN23_4,${S1}[2]
 597          fmov   $IN23_3,x10
 598
 599         ////////////////////////////////////////////////////////////////
 600         // (hash+inp[0:1])*r^4 and accumulate
 601
 602         add     $IN01_0,$IN01_0,$H0
 603          fmov   $IN23_4,x12
 604         umlal   $ACC3,$IN01_2,${R1}[0]
 605          ldp    x8,x12,[$inp],#16       // inp[0:1]
 606         umlal   $ACC0,$IN01_2,${S3}[0]
 607          ldp    x9,x13,[$inp],#48
 608         umlal   $ACC4,$IN01_2,${R2}[0]
 609         umlal   $ACC1,$IN01_2,${S4}[0]
 610         umlal   $ACC2,$IN01_2,${R0}[0]
 611 #ifdef  __ARMEB__
 612          rev    x8,x8
 613          rev    x12,x12
 614          rev    x9,x9
 615          rev    x13,x13
 616 #endif
 617
 618         add     $IN01_1,$IN01_1,$H1
 619         umlal   $ACC3,$IN01_0,${R3}[0]
 620         umlal   $ACC4,$IN01_0,${R4}[0]
 621          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 622         umlal   $ACC2,$IN01_0,${R2}[0]
 623          and    x5,x9,#0x03ffffff
 624         umlal   $ACC0,$IN01_0,${R0}[0]
 625          ubfx   x6,x8,#26,#26
 626         umlal   $ACC1,$IN01_0,${R1}[0]
 627          ubfx   x7,x9,#26,#26
 628
 629         add     $IN01_3,$IN01_3,$H3
 630          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 631         umlal   $ACC3,$IN01_1,${R2}[0]
 632          extr   x8,x12,x8,#52
 633         umlal   $ACC4,$IN01_1,${R3}[0]
 634          extr   x9,x13,x9,#52
 635         umlal   $ACC0,$IN01_1,${S4}[0]
 636          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 637         umlal   $ACC2,$IN01_1,${R1}[0]
 638          fmov   $IN01_0,x4
 639         umlal   $ACC1,$IN01_1,${R0}[0]
 640          and    x8,x8,#0x03ffffff
 641
 642         add     $IN01_4,$IN01_4,$H4
 643          and    x9,x9,#0x03ffffff
 644         umlal   $ACC3,$IN01_3,${R0}[0]
 645          ubfx   x10,x12,#14,#26
 646         umlal   $ACC0,$IN01_3,${S2}[0]
 647          ubfx   x11,x13,#14,#26
 648         umlal   $ACC4,$IN01_3,${R1}[0]
 649          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 650         umlal   $ACC1,$IN01_3,${S3}[0]
 651          fmov   $IN01_1,x6
 652         umlal   $ACC2,$IN01_3,${S4}[0]
 653          add    x12,$padbit,x12,lsr#40
 654
 655         umlal   $ACC3,$IN01_4,${S4}[0]
 656          add    x13,$padbit,x13,lsr#40
 657         umlal   $ACC0,$IN01_4,${S1}[0]
 658          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 659         umlal   $ACC4,$IN01_4,${R0}[0]
 660          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 661         umlal   $ACC1,$IN01_4,${S2}[0]
 662          fmov   $IN01_2,x8
 663         umlal   $ACC2,$IN01_4,${S3}[0]
 664          fmov   $IN01_3,x10
 665          fmov   $IN01_4,x12
 666
 667         /////////////////////////////////////////////////////////////////
 668         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
 669         // and P. Schwabe
 670         //
 671         // [see discussion in poly1305-armv4 module]
 672
 673         ushr    $T0.2d,$ACC3,#26
 674         xtn     $H3,$ACC3
 675          ushr   $T1.2d,$ACC0,#26
 676          and    $ACC0,$ACC0,$MASK.2d
 677         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 678         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
 679          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 680
 681         ushr    $T0.2d,$ACC4,#26
 682         xtn     $H4,$ACC4
 683          ushr   $T1.2d,$ACC1,#26
 684          xtn    $H1,$ACC1
 685         bic     $H4,#0xfc,lsl#24
 686          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 687
 688         add     $ACC0,$ACC0,$T0.2d
 689         shl     $T0.2d,$T0.2d,#2
 690          shrn   $T1.2s,$ACC2,#26
 691          xtn    $H2,$ACC2
 692         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 693          bic    $H1,#0xfc,lsl#24
 694          add    $H3,$H3,$T1.2s          // h2 -> h3
 695          bic    $H2,#0xfc,lsl#24
 696
 697         shrn    $T0.2s,$ACC0,#26
 698         xtn     $H0,$ACC0
 699          ushr   $T1.2s,$H3,#26
 700          bic    $H3,#0xfc,lsl#24
 701          bic    $H0,#0xfc,lsl#24
 702         add     $H1,$H1,$T0.2s          // h0 -> h1
 703          add    $H4,$H4,$T1.2s          // h3 -> h4
 704
 705         b.hi    .Loop_neon
 706
 707 .Lskip_loop:
 708         dup     $IN23_2,${IN23_2}[0]
 709         add     $IN01_2,$IN01_2,$H2
 710
 711         ////////////////////////////////////////////////////////////////
 712         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
 713
 714         adds    $len,$len,#32
 715         b.ne    .Long_tail
 716
 717         dup     $IN23_2,${IN01_2}[0]
 718         add     $IN23_0,$IN01_0,$H0
 719         add     $IN23_3,$IN01_3,$H3
 720         add     $IN23_1,$IN01_1,$H1
 721         add     $IN23_4,$IN01_4,$H4
 722
 723 .Long_tail:
 724         dup     $IN23_0,${IN23_0}[0]
 725         umull2  $ACC0,$IN23_2,${S3}
 726         umull2  $ACC3,$IN23_2,${R1}
 727         umull2  $ACC4,$IN23_2,${R2}
 728         umull2  $ACC2,$IN23_2,${R0}
 729         umull2  $ACC1,$IN23_2,${S4}
 730
 731         dup     $IN23_1,${IN23_1}[0]
 732         umlal2  $ACC0,$IN23_0,${R0}
 733         umlal2  $ACC2,$IN23_0,${R2}
 734         umlal2  $ACC3,$IN23_0,${R3}
 735         umlal2  $ACC4,$IN23_0,${R4}
 736         umlal2  $ACC1,$IN23_0,${R1}
 737
 738         dup     $IN23_3,${IN23_3}[0]
 739         umlal2  $ACC0,$IN23_1,${S4}
 740         umlal2  $ACC3,$IN23_1,${R2}
 741         umlal2  $ACC2,$IN23_1,${R1}
 742         umlal2  $ACC4,$IN23_1,${R3}
 743         umlal2  $ACC1,$IN23_1,${R0}
 744
 745         dup     $IN23_4,${IN23_4}[0]
 746         umlal2  $ACC3,$IN23_3,${R0}
 747         umlal2  $ACC4,$IN23_3,${R1}
 748         umlal2  $ACC0,$IN23_3,${S2}
 749         umlal2  $ACC1,$IN23_3,${S3}
 750         umlal2  $ACC2,$IN23_3,${S4}
 751
 752         umlal2  $ACC3,$IN23_4,${S4}
 753         umlal2  $ACC0,$IN23_4,${S1}
 754         umlal2  $ACC4,$IN23_4,${R0}
 755         umlal2  $ACC1,$IN23_4,${S2}
 756         umlal2  $ACC2,$IN23_4,${S3}
 757
 758         b.eq    .Lshort_tail
 759
 760         ////////////////////////////////////////////////////////////////
 761         // (hash+inp[0:1])*r^4:r^3 and accumulate
 762
 763         add     $IN01_0,$IN01_0,$H0
 764         umlal   $ACC3,$IN01_2,${R1}
 765         umlal   $ACC0,$IN01_2,${S3}
 766         umlal   $ACC4,$IN01_2,${R2}
 767         umlal   $ACC1,$IN01_2,${S4}
 768         umlal   $ACC2,$IN01_2,${R0}
 769
 770         add     $IN01_1,$IN01_1,$H1
 771         umlal   $ACC3,$IN01_0,${R3}
 772         umlal   $ACC0,$IN01_0,${R0}
 773         umlal   $ACC4,$IN01_0,${R4}
 774         umlal   $ACC1,$IN01_0,${R1}
 775         umlal   $ACC2,$IN01_0,${R2}
 776
 777         add     $IN01_3,$IN01_3,$H3
 778         umlal   $ACC3,$IN01_1,${R2}
 779         umlal   $ACC0,$IN01_1,${S4}
 780         umlal   $ACC4,$IN01_1,${R3}
 781         umlal   $ACC1,$IN01_1,${R0}
 782         umlal   $ACC2,$IN01_1,${R1}
 783
 784         add     $IN01_4,$IN01_4,$H4
 785         umlal   $ACC3,$IN01_3,${R0}
 786         umlal   $ACC0,$IN01_3,${S2}
 787         umlal   $ACC4,$IN01_3,${R1}
 788         umlal   $ACC1,$IN01_3,${S3}
 789         umlal   $ACC2,$IN01_3,${S4}
 790
 791         umlal   $ACC3,$IN01_4,${S4}
 792         umlal   $ACC0,$IN01_4,${S1}
 793         umlal   $ACC4,$IN01_4,${R0}
 794         umlal   $ACC1,$IN01_4,${S2}
 795         umlal   $ACC2,$IN01_4,${S3}
 796
 797 .Lshort_tail:
 798         ////////////////////////////////////////////////////////////////
 799         // horizontal add
 800
 801         addp    $ACC3,$ACC3,$ACC3
 802          ldp    d8,d9,[sp,#16]          // meet ABI requirements
 803         addp    $ACC0,$ACC0,$ACC0
 804          ldp    d10,d11,[sp,#32]
 805         addp    $ACC4,$ACC4,$ACC4
 806          ldp    d12,d13,[sp,#48]
 807         addp    $ACC1,$ACC1,$ACC1
 808          ldp    d14,d15,[sp,#64]
 809         addp    $ACC2,$ACC2,$ACC2
 810
 811         ////////////////////////////////////////////////////////////////
 812         // lazy reduction, but without narrowing
 813
 814         ushr    $T0.2d,$ACC3,#26
 815         and     $ACC3,$ACC3,$MASK.2d
 816          ushr   $T1.2d,$ACC0,#26
 817          and    $ACC0,$ACC0,$MASK.2d
 818
 819         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 820          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 821
 822         ushr    $T0.2d,$ACC4,#26
 823         and     $ACC4,$ACC4,$MASK.2d
 824          ushr   $T1.2d,$ACC1,#26
 825          and    $ACC1,$ACC1,$MASK.2d
 826          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 827
 828         add     $ACC0,$ACC0,$T0.2d
 829         shl     $T0.2d,$T0.2d,#2
 830          ushr   $T1.2d,$ACC2,#26
 831          and    $ACC2,$ACC2,$MASK.2d
 832         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 833          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
 834
 835         ushr    $T0.2d,$ACC0,#26
 836         and     $ACC0,$ACC0,$MASK.2d
 837          ushr   $T1.2d,$ACC3,#26
 838          and    $ACC3,$ACC3,$MASK.2d
 839         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
 840          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
 841
 842         ////////////////////////////////////////////////////////////////
 843         // write the result, can be partially reduced
 844
 845         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
 846         st1     {$ACC4}[0],[$ctx]
 847
 848 .Lno_data_neon:
 849         ldr     x29,[sp],#80
 850         ret
 851 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
 852
 853 .type   poly1305_emit_neon,%function
 854 .align  5
 855 poly1305_emit_neon:
 856         ldr     $is_base2_26,[$ctx,#24]
 857         cbz     $is_base2_26,poly1305_emit
 858
 859         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 860         ldp     w12,w13,[$ctx,#8]
 861         ldr     w14,[$ctx,#16]
 862
 863         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 864         lsr     $h1,x12,#12
 865         adds    $h0,$h0,x12,lsl#52
 866         add     $h1,$h1,x13,lsl#14
 867         adc     $h1,$h1,xzr
 868         lsr     $h2,x14,#24
 869         adds    $h1,$h1,x14,lsl#40
 870         adc     $h2,$h2,xzr             // can be partially reduced...
 871
 872         ldp     $t0,$t1,[$nonce]        // load nonce
 873
 874         and     $d0,$h2,#-4             // ... so reduce
 875         add     $d0,$d0,$h2,lsr#2
 876         and     $h2,$h2,#3
 877         adds    $h0,$h0,$d0
 878         adcs    $h1,$h1,xzr
 879         adc     $h2,$h2,xzr
 880
 881         adds    $d0,$h0,#5              // compare to modulus
 882         adcs    $d1,$h1,xzr
 883         adc     $d2,$h2,xzr
 884
 885         tst     $d2,#-4                 // see if it's carried/borrowed
 886
 887         csel    $h0,$h0,$d0,eq
 888         csel    $h1,$h1,$d1,eq
 889
 890 #ifdef  __ARMEB__
 891         ror     $t0,$t0,#32             // flip nonce words
 892         ror     $t1,$t1,#32
 893 #endif
 894         adds    $h0,$h0,$t0             // accumulate nonce
 895         adc     $h1,$h1,$t1
 896 #ifdef  __ARMEB__
 897         rev     $h0,$h0                 // flip output bytes
 898         rev     $h1,$h1
 899 #endif
 900         stp     $h0,$h1,[$mac]          // write result
 901
 902         ret
 903 .size   poly1305_emit_neon,.-poly1305_emit_neon
 904
 905 .align  5
 906 .Lzeros:
 907 .long   0,0,0,0,0,0,0,0
 908 .LOPENSSL_armcap_P:
 909 #ifdef  __ILP32__
 910 .long   OPENSSL_armcap_P-.
 911 #else
 912 .quad   OPENSSL_armcap_P-.
 913 #endif
 914 .asciz  "Poly1305 for ARMv8, CRYPTOGAMS by <appro\@openssl.org>"
 915 .align  2
 916 ___
 917
 918 foreach (split("\n",$code)) {
 919         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
 920         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
 921         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
 922         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
 923         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
 924         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
 925         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
 926
 927         s/\.[124]([sd])\[/.$1\[/;
 928
 929         print $_,"\n";
 930 }
 931 close STDOUT;