crypto/ec/asm/ecp_nistz256-x86_64.pl

   1 #! /usr/bin/env perl
   2 # Copyright 2014-2016 The OpenSSL Project Authors. All Rights Reserved.
   3 # Copyright (c) 2014, Intel Corporation. All Rights Reserved.
   4 # Copyright (c) 2015 CloudFlare, Inc.
   5 #
   6 # Licensed under the OpenSSL license (the "License").  You may not use
   7 # this file except in compliance with the License.  You can obtain a copy
   8 # in the file LICENSE in the source distribution or at
   9 # https://www.openssl.org/source/license.html
  10 #
  11 # Originally written by Shay Gueron (1, 2), and Vlad Krasnov (1, 3)
  12 # (1) Intel Corporation, Israel Development Center, Haifa, Israel
  13 # (2) University of Haifa, Israel
  14 # (3) CloudFlare, Inc.
  15 #
  16 # Reference:
  17 # S.Gueron and V.Krasnov, "Fast Prime Field Elliptic Curve Cryptography with
  18 #                          256 Bit Primes"
  19
  20 # Further optimization by <appro@openssl.org>:
  21 #
  22 #               this/original   with/without -DECP_NISTZ256_ASM(*)
  23 # Opteron       +15-49%         +150-195%
  24 # Bulldozer     +18-45%         +175-240%
  25 # P4            +24-46%         +100-150%
  26 # Westmere      +18-34%         +87-160%
  27 # Sandy Bridge  +14-35%         +120-185%
  28 # Ivy Bridge    +11-35%         +125-180%
  29 # Haswell       +10-37%         +160-200%
  30 # Broadwell     +24-58%         +210-270%
  31 # Atom          +20-50%         +180-240%
  32 # VIA Nano      +50-160%        +480-480%
  33 #
  34 # (*)   "without -DECP_NISTZ256_ASM" refers to build with
  35 #       "enable-ec_nistp_64_gcc_128";
  36 #
  37 # Ranges denote minimum and maximum improvement coefficients depending
  38 # on benchmark. In "this/original" column lower coefficient is for
  39 # ECDSA sign, while in "with/without" - for ECDH key agreement, and
  40 # higher - for ECDSA sign, relatively fastest server-side operation.
  41 # Keep in mind that +100% means 2x improvement.
  42
  43 $flavour = shift;
  44 $output  = shift;
  45 if ($flavour =~ /\./) { $output = $flavour; undef $flavour; }
  46
  47 $win64=0; $win64=1 if ($flavour =~ /[nm]asm|mingw64/ || $output =~ /\.asm$/);
  48
  49 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  50 ( $xlate="${dir}x86_64-xlate.pl" and -f $xlate ) or
  51 ( $xlate="${dir}../../perlasm/x86_64-xlate.pl" and -f $xlate) or
  52 die "can't locate x86_64-xlate.pl";
  53
  54 open OUT,"| \"$^X\" \"$xlate\" $flavour \"$output\"";
  55 *STDOUT=*OUT;
  56
  57 if (`$ENV{CC} -Wa,-v -c -o /dev/null -x assembler /dev/null 2>&1`
  58                 =~ /GNU assembler version ([2-9]\.[0-9]+)/) {
  59         $avx = ($1>=2.19) + ($1>=2.22);
  60         $addx = ($1>=2.23);
  61 }
  62
  63 if (!$addx && $win64 && ($flavour =~ /nasm/ || $ENV{ASM} =~ /nasm/) &&
  64             `nasm -v 2>&1` =~ /NASM version ([2-9]\.[0-9]+)/) {
  65         $avx = ($1>=2.09) + ($1>=2.10);
  66         $addx = ($1>=2.10);
  67 }
  68
  69 if (!$addx && $win64 && ($flavour =~ /masm/ || $ENV{ASM} =~ /ml64/) &&
  70             `ml64 2>&1` =~ /Version ([0-9]+)\./) {
  71         $avx = ($1>=10) + ($1>=11);
  72         $addx = ($1>=12);
  73 }
  74
  75 if (!$addx && `$ENV{CC} -v 2>&1` =~ /((?:^clang|LLVM) version|.*based on LLVM) ([3-9])\.([0-9]+)/) {
  76         my $ver = $2 + $3/100.0;        # 3.1->3.01, 3.10->3.10
  77         $avx = ($ver>=3.0) + ($ver>=3.01);
  78         $addx = ($ver>=3.03);
  79 }
  80
  81 $code.=<<___;
  82 .text
  83 .extern OPENSSL_ia32cap_P
  84
  85 # The polynomial
  86 .align 64
  87 .Lpoly:
  88 .quad 0xffffffffffffffff, 0x00000000ffffffff, 0x0000000000000000, 0xffffffff00000001
  89
  90 # 2^512 mod P precomputed for NIST P256 polynomial
  91 .LRR:
  92 .quad 0x0000000000000003, 0xfffffffbffffffff, 0xfffffffffffffffe, 0x00000004fffffffd
  93
  94 .LOne:
  95 .long 1,1,1,1,1,1,1,1
  96 .LTwo:
  97 .long 2,2,2,2,2,2,2,2
  98 .LThree:
  99 .long 3,3,3,3,3,3,3,3
 100 .LONE_mont:
 101 .quad 0x0000000000000001, 0xffffffff00000000, 0xffffffffffffffff, 0x00000000fffffffe
 102
 103 # Constants for computations modulo ord(p256)
 104 .Lord:
 105 .quad 0xf3b9cac2fc632551, 0xbce6faada7179e84, 0xffffffffffffffff, 0xffffffff00000000
 106 .LordK:
 107 .quad 0xccd1c8aaee00bc4f
 108 ___
 109
 110 {
 111 ################################################################################
 112 # void ecp_nistz256_mul_by_2(uint64_t res[4], uint64_t a[4]);
 113
 114 my ($a0,$a1,$a2,$a3)=map("%r$_",(8..11));
 115 my ($t0,$t1,$t2,$t3,$t4)=("%rax","%rdx","%rcx","%r12","%r13");
 116 my ($r_ptr,$a_ptr,$b_ptr)=("%rdi","%rsi","%rdx");
 117
 118 $code.=<<___;
 119
 120 .globl  ecp_nistz256_mul_by_2
 121 .type   ecp_nistz256_mul_by_2,\@function,2
 122 .align  64
 123 ecp_nistz256_mul_by_2:
 124 .cfi_startproc
 125         push    %r12
 126 .cfi_push       %r12
 127         push    %r13
 128 .cfi_push       %r13
 129 .Lmul_by_2_body:
 130
 131         mov     8*0($a_ptr), $a0
 132         xor     $t4,$t4
 133         mov     8*1($a_ptr), $a1
 134         add     $a0, $a0                # a0:a3+a0:a3
 135         mov     8*2($a_ptr), $a2
 136         adc     $a1, $a1
 137         mov     8*3($a_ptr), $a3
 138         lea     .Lpoly(%rip), $a_ptr
 139          mov    $a0, $t0
 140         adc     $a2, $a2
 141         adc     $a3, $a3
 142          mov    $a1, $t1
 143         adc     \$0, $t4
 144
 145         sub     8*0($a_ptr), $a0
 146          mov    $a2, $t2
 147         sbb     8*1($a_ptr), $a1
 148         sbb     8*2($a_ptr), $a2
 149          mov    $a3, $t3
 150         sbb     8*3($a_ptr), $a3
 151         sbb     \$0, $t4
 152
 153         cmovc   $t0, $a0
 154         cmovc   $t1, $a1
 155         mov     $a0, 8*0($r_ptr)
 156         cmovc   $t2, $a2
 157         mov     $a1, 8*1($r_ptr)
 158         cmovc   $t3, $a3
 159         mov     $a2, 8*2($r_ptr)
 160         mov     $a3, 8*3($r_ptr)
 161
 162         mov     0(%rsp),%r13
 163 .cfi_restore    %r13
 164         mov     8(%rsp),%r12
 165 .cfi_restore    %r12
 166         lea     16(%rsp),%rsp
 167 .cfi_adjust_cfa_offset  -16
 168 .Lmul_by_2_epilogue:
 169         ret
 170 .cfi_endproc
 171 .size   ecp_nistz256_mul_by_2,.-ecp_nistz256_mul_by_2
 172
 173 ################################################################################
 174 # void ecp_nistz256_div_by_2(uint64_t res[4], uint64_t a[4]);
 175 .globl  ecp_nistz256_div_by_2
 176 .type   ecp_nistz256_div_by_2,\@function,2
 177 .align  32
 178 ecp_nistz256_div_by_2:
 179 .cfi_startproc
 180         push    %r12
 181 .cfi_push       %r12
 182         push    %r13
 183 .cfi_push       %r13
 184 .Ldiv_by_2_body:
 185
 186         mov     8*0($a_ptr), $a0
 187         mov     8*1($a_ptr), $a1
 188         mov     8*2($a_ptr), $a2
 189          mov    $a0, $t0
 190         mov     8*3($a_ptr), $a3
 191         lea     .Lpoly(%rip), $a_ptr
 192
 193          mov    $a1, $t1
 194         xor     $t4, $t4
 195         add     8*0($a_ptr), $a0
 196          mov    $a2, $t2
 197         adc     8*1($a_ptr), $a1
 198         adc     8*2($a_ptr), $a2
 199          mov    $a3, $t3
 200         adc     8*3($a_ptr), $a3
 201         adc     \$0, $t4
 202         xor     $a_ptr, $a_ptr          # borrow $a_ptr
 203         test    \$1, $t0
 204
 205         cmovz   $t0, $a0
 206         cmovz   $t1, $a1
 207         cmovz   $t2, $a2
 208         cmovz   $t3, $a3
 209         cmovz   $a_ptr, $t4
 210
 211         mov     $a1, $t0                # a0:a3>>1
 212         shr     \$1, $a0
 213         shl     \$63, $t0
 214         mov     $a2, $t1
 215         shr     \$1, $a1
 216         or      $t0, $a0
 217         shl     \$63, $t1
 218         mov     $a3, $t2
 219         shr     \$1, $a2
 220         or      $t1, $a1
 221         shl     \$63, $t2
 222         shr     \$1, $a3
 223         shl     \$63, $t4
 224         or      $t2, $a2
 225         or      $t4, $a3
 226
 227         mov     $a0, 8*0($r_ptr)
 228         mov     $a1, 8*1($r_ptr)
 229         mov     $a2, 8*2($r_ptr)
 230         mov     $a3, 8*3($r_ptr)
 231
 232         mov     0(%rsp),%r13
 233 .cfi_restore    %r13
 234         mov     8(%rsp),%r12
 235 .cfi_restore    %r12
 236         lea     16(%rsp),%rsp
 237 .cfi_adjust_cfa_offset  -16
 238 .Ldiv_by_2_epilogue:
 239         ret
 240 .cfi_endproc
 241 .size   ecp_nistz256_div_by_2,.-ecp_nistz256_div_by_2
 242
 243 ################################################################################
 244 # void ecp_nistz256_mul_by_3(uint64_t res[4], uint64_t a[4]);
 245 .globl  ecp_nistz256_mul_by_3
 246 .type   ecp_nistz256_mul_by_3,\@function,2
 247 .align  32
 248 ecp_nistz256_mul_by_3:
 249 .cfi_startproc
 250         push    %r12
 251 .cfi_push       %r12
 252         push    %r13
 253 .cfi_push       %r13
 254 .Lmul_by_3_body:
 255
 256         mov     8*0($a_ptr), $a0
 257         xor     $t4, $t4
 258         mov     8*1($a_ptr), $a1
 259         add     $a0, $a0                # a0:a3+a0:a3
 260         mov     8*2($a_ptr), $a2
 261         adc     $a1, $a1
 262         mov     8*3($a_ptr), $a3
 263          mov    $a0, $t0
 264         adc     $a2, $a2
 265         adc     $a3, $a3
 266          mov    $a1, $t1
 267         adc     \$0, $t4
 268
 269         sub     \$-1, $a0
 270          mov    $a2, $t2
 271         sbb     .Lpoly+8*1(%rip), $a1
 272         sbb     \$0, $a2
 273          mov    $a3, $t3
 274         sbb     .Lpoly+8*3(%rip), $a3
 275         sbb     \$0, $t4
 276
 277         cmovc   $t0, $a0
 278         cmovc   $t1, $a1
 279         cmovc   $t2, $a2
 280         cmovc   $t3, $a3
 281
 282         xor     $t4, $t4
 283         add     8*0($a_ptr), $a0        # a0:a3+=a_ptr[0:3]
 284         adc     8*1($a_ptr), $a1
 285          mov    $a0, $t0
 286         adc     8*2($a_ptr), $a2
 287         adc     8*3($a_ptr), $a3
 288          mov    $a1, $t1
 289         adc     \$0, $t4
 290
 291         sub     \$-1, $a0
 292          mov    $a2, $t2
 293         sbb     .Lpoly+8*1(%rip), $a1
 294         sbb     \$0, $a2
 295          mov    $a3, $t3
 296         sbb     .Lpoly+8*3(%rip), $a3
 297         sbb     \$0, $t4
 298
 299         cmovc   $t0, $a0
 300         cmovc   $t1, $a1
 301         mov     $a0, 8*0($r_ptr)
 302         cmovc   $t2, $a2
 303         mov     $a1, 8*1($r_ptr)
 304         cmovc   $t3, $a3
 305         mov     $a2, 8*2($r_ptr)
 306         mov     $a3, 8*3($r_ptr)
 307
 308         mov     0(%rsp),%r13
 309 .cfi_restore    %r13
 310         mov     8(%rsp),%r12
 311 .cfi_restore    %r12
 312         lea     16(%rsp),%rsp
 313 .cfi_adjust_cfa_offset  -16
 314 .Lmul_by_3_epilogue:
 315         ret
 316 .cfi_endproc
 317 .size   ecp_nistz256_mul_by_3,.-ecp_nistz256_mul_by_3
 318
 319 ################################################################################
 320 # void ecp_nistz256_add(uint64_t res[4], uint64_t a[4], uint64_t b[4]);
 321 .globl  ecp_nistz256_add
 322 .type   ecp_nistz256_add,\@function,3
 323 .align  32
 324 ecp_nistz256_add:
 325 .cfi_startproc
 326         push    %r12
 327 .cfi_push       %r12
 328         push    %r13
 329 .cfi_push       %r13
 330 .Ladd_body:
 331
 332         mov     8*0($a_ptr), $a0
 333         xor     $t4, $t4
 334         mov     8*1($a_ptr), $a1
 335         mov     8*2($a_ptr), $a2
 336         mov     8*3($a_ptr), $a3
 337         lea     .Lpoly(%rip), $a_ptr
 338
 339         add     8*0($b_ptr), $a0
 340         adc     8*1($b_ptr), $a1
 341          mov    $a0, $t0
 342         adc     8*2($b_ptr), $a2
 343         adc     8*3($b_ptr), $a3
 344          mov    $a1, $t1
 345         adc     \$0, $t4
 346
 347         sub     8*0($a_ptr), $a0
 348          mov    $a2, $t2
 349         sbb     8*1($a_ptr), $a1
 350         sbb     8*2($a_ptr), $a2
 351          mov    $a3, $t3
 352         sbb     8*3($a_ptr), $a3
 353         sbb     \$0, $t4
 354
 355         cmovc   $t0, $a0
 356         cmovc   $t1, $a1
 357         mov     $a0, 8*0($r_ptr)
 358         cmovc   $t2, $a2
 359         mov     $a1, 8*1($r_ptr)
 360         cmovc   $t3, $a3
 361         mov     $a2, 8*2($r_ptr)
 362         mov     $a3, 8*3($r_ptr)
 363
 364         mov     0(%rsp),%r13
 365 .cfi_restore    %r13
 366         mov     8(%rsp),%r12
 367 .cfi_restore    %r12
 368         lea     16(%rsp),%rsp
 369 .cfi_adjust_cfa_offset  -16
 370 .Ladd_epilogue:
 371         ret
 372 .cfi_endproc
 373 .size   ecp_nistz256_add,.-ecp_nistz256_add
 374
 375 ################################################################################
 376 # void ecp_nistz256_sub(uint64_t res[4], uint64_t a[4], uint64_t b[4]);
 377 .globl  ecp_nistz256_sub
 378 .type   ecp_nistz256_sub,\@function,3
 379 .align  32
 380 ecp_nistz256_sub:
 381 .cfi_startproc
 382         push    %r12
 383 .cfi_push       %r12
 384         push    %r13
 385 .cfi_push       %r13
 386 .Lsub_body:
 387
 388         mov     8*0($a_ptr), $a0
 389         xor     $t4, $t4
 390         mov     8*1($a_ptr), $a1
 391         mov     8*2($a_ptr), $a2
 392         mov     8*3($a_ptr), $a3
 393         lea     .Lpoly(%rip), $a_ptr
 394
 395         sub     8*0($b_ptr), $a0
 396         sbb     8*1($b_ptr), $a1
 397          mov    $a0, $t0
 398         sbb     8*2($b_ptr), $a2
 399         sbb     8*3($b_ptr), $a3
 400          mov    $a1, $t1
 401         sbb     \$0, $t4
 402
 403         add     8*0($a_ptr), $a0
 404          mov    $a2, $t2
 405         adc     8*1($a_ptr), $a1
 406         adc     8*2($a_ptr), $a2
 407          mov    $a3, $t3
 408         adc     8*3($a_ptr), $a3
 409         test    $t4, $t4
 410
 411         cmovz   $t0, $a0
 412         cmovz   $t1, $a1
 413         mov     $a0, 8*0($r_ptr)
 414         cmovz   $t2, $a2
 415         mov     $a1, 8*1($r_ptr)
 416         cmovz   $t3, $a3
 417         mov     $a2, 8*2($r_ptr)
 418         mov     $a3, 8*3($r_ptr)
 419
 420         mov     0(%rsp),%r13
 421 .cfi_restore    %r13
 422         mov     8(%rsp),%r12
 423 .cfi_restore    %r12
 424         lea     16(%rsp),%rsp
 425 .cfi_adjust_cfa_offset  -16
 426 .Lsub_epilogue:
 427         ret
 428 .cfi_endproc
 429 .size   ecp_nistz256_sub,.-ecp_nistz256_sub
 430
 431 ################################################################################
 432 # void ecp_nistz256_neg(uint64_t res[4], uint64_t a[4]);
 433 .globl  ecp_nistz256_neg
 434 .type   ecp_nistz256_neg,\@function,2
 435 .align  32
 436 ecp_nistz256_neg:
 437 .cfi_startproc
 438         push    %r12
 439 .cfi_push       %r12
 440         push    %r13
 441 .cfi_push       %r13
 442 .Lneg_body:
 443
 444         xor     $a0, $a0
 445         xor     $a1, $a1
 446         xor     $a2, $a2
 447         xor     $a3, $a3
 448         xor     $t4, $t4
 449
 450         sub     8*0($a_ptr), $a0
 451         sbb     8*1($a_ptr), $a1
 452         sbb     8*2($a_ptr), $a2
 453          mov    $a0, $t0
 454         sbb     8*3($a_ptr), $a3
 455         lea     .Lpoly(%rip), $a_ptr
 456          mov    $a1, $t1
 457         sbb     \$0, $t4
 458
 459         add     8*0($a_ptr), $a0
 460          mov    $a2, $t2
 461         adc     8*1($a_ptr), $a1
 462         adc     8*2($a_ptr), $a2
 463          mov    $a3, $t3
 464         adc     8*3($a_ptr), $a3
 465         test    $t4, $t4
 466
 467         cmovz   $t0, $a0
 468         cmovz   $t1, $a1
 469         mov     $a0, 8*0($r_ptr)
 470         cmovz   $t2, $a2
 471         mov     $a1, 8*1($r_ptr)
 472         cmovz   $t3, $a3
 473         mov     $a2, 8*2($r_ptr)
 474         mov     $a3, 8*3($r_ptr)
 475
 476         mov     0(%rsp),%r13
 477 .cfi_restore    %r13
 478         mov     8(%rsp),%r12
 479 .cfi_restore    %r12
 480         lea     16(%rsp),%rsp
 481 .cfi_adjust_cfa_offset  -16
 482 .Lneg_epilogue:
 483         ret
 484 .cfi_endproc
 485 .size   ecp_nistz256_neg,.-ecp_nistz256_neg
 486 ___
 487 }
 488 {
 489 my ($r_ptr,$a_ptr,$b_org,$b_ptr)=("%rdi","%rsi","%rdx","%rbx");
 490 my ($acc0,$acc1,$acc2,$acc3,$acc4,$acc5,$acc6,$acc7)=map("%r$_",(8..15));
 491 my ($t0,$t1,$t2,$t3,$t4)=("%rcx","%rbp","%rbx","%rdx","%rax");
 492 my ($poly1,$poly3)=($acc6,$acc7);
 493
 494 $code.=<<___;
 495 ################################################################################
 496 # void ecp_nistz256_ord_mul_mont(
 497 #   uint64_t res[4],
 498 #   uint64_t a[4],
 499 #   uint64_t b[4]);
 500
 501 .globl  ecp_nistz256_ord_mul_mont
 502 .type   ecp_nistz256_ord_mul_mont,\@function,3
 503 .align  32
 504 ecp_nistz256_ord_mul_mont:
 505 ___
 506 $code.=<<___    if ($addx);
 507         mov     \$0x80100, %ecx
 508         and     OPENSSL_ia32cap_P+8(%rip), %ecx
 509         cmp     \$0x80100, %ecx
 510         je      .Lecp_nistz256_ord_mul_montx
 511 ___
 512 $code.=<<___;
 513         push    %rbp
 514         push    %rbx
 515         push    %r12
 516         push    %r13
 517         push    %r14
 518         push    %r15
 519
 520         mov     8*0($b_org), %rax
 521         mov     $b_org, $b_ptr
 522         lea     .Lord(%rip), %r14
 523         mov     .LordK(%rip), %r15
 524
 525         ################################# * b[0]
 526         mov     %rax, $t0
 527         mulq    8*0($a_ptr)
 528         mov     %rax, $acc0
 529         mov     $t0, %rax
 530         mov     %rdx, $acc1
 531
 532         mulq    8*1($a_ptr)
 533         add     %rax, $acc1
 534         mov     $t0, %rax
 535         adc     \$0, %rdx
 536         mov     %rdx, $acc2
 537
 538         mulq    8*2($a_ptr)
 539         add     %rax, $acc2
 540         mov     $t0, %rax
 541         adc     \$0, %rdx
 542
 543          mov    $acc0, $acc5
 544          imulq  %r15,$acc0
 545
 546         mov     %rdx, $acc3
 547         mulq    8*3($a_ptr)
 548         add     %rax, $acc3
 549          mov    $acc0, %rax
 550         adc     \$0, %rdx
 551         mov     %rdx, $acc4
 552
 553         ################################# First reduction step
 554         mulq    8*0(%r14)
 555         mov     $acc0, $t1
 556         add     %rax, $acc5             # guaranteed to be zero
 557         mov     $acc0, %rax
 558         adc     \$0, %rdx
 559         mov     %rdx, $t0
 560
 561         sub     $acc0, $acc2
 562         sbb     \$0, $acc0              # can't borrow
 563
 564         mulq    8*1(%r14)
 565         add     $t0, $acc1
 566         adc     \$0, %rdx
 567         add     %rax, $acc1
 568         mov     $t1, %rax
 569         adc     %rdx, $acc2
 570         mov     $t1, %rdx
 571         adc     \$0, $acc0              # can't overflow
 572
 573         shl     \$32, %rax
 574         shr     \$32, %rdx
 575         sub     %rax, $acc3
 576          mov    8*1($b_ptr), %rax
 577         sbb     %rdx, $t1               # can't borrow
 578
 579         add     $acc0, $acc3
 580         adc     $t1, $acc4
 581         adc     \$0, $acc5
 582
 583         ################################# * b[1]
 584         mov     %rax, $t0
 585         mulq    8*0($a_ptr)
 586         add     %rax, $acc1
 587         mov     $t0, %rax
 588         adc     \$0, %rdx
 589         mov     %rdx, $t1
 590
 591         mulq    8*1($a_ptr)
 592         add     $t1, $acc2
 593         adc     \$0, %rdx
 594         add     %rax, $acc2
 595         mov     $t0, %rax
 596         adc     \$0, %rdx
 597         mov     %rdx, $t1
 598
 599         mulq    8*2($a_ptr)
 600         add     $t1, $acc3
 601         adc     \$0, %rdx
 602         add     %rax, $acc3
 603         mov     $t0, %rax
 604         adc     \$0, %rdx
 605
 606          mov    $acc1, $t0
 607          imulq  %r15, $acc1
 608
 609         mov     %rdx, $t1
 610         mulq    8*3($a_ptr)
 611         add     $t1, $acc4
 612         adc     \$0, %rdx
 613         xor     $acc0, $acc0
 614         add     %rax, $acc4
 615          mov    $acc1, %rax
 616         adc     %rdx, $acc5
 617         adc     \$0, $acc0
 618
 619         ################################# Second reduction step
 620         mulq    8*0(%r14)
 621         mov     $acc1, $t1
 622         add     %rax, $t0               # guaranteed to be zero
 623         mov     $acc1, %rax
 624         adc     %rdx, $t0
 625
 626         sub     $acc1, $acc3
 627         sbb     \$0, $acc1              # can't borrow
 628
 629         mulq    8*1(%r14)
 630         add     $t0, $acc2
 631         adc     \$0, %rdx
 632         add     %rax, $acc2
 633         mov     $t1, %rax
 634         adc     %rdx, $acc3
 635         mov     $t1, %rdx
 636         adc     \$0, $acc1              # can't overflow
 637
 638         shl     \$32, %rax
 639         shr     \$32, %rdx
 640         sub     %rax, $acc4
 641          mov    8*2($b_ptr), %rax
 642         sbb     %rdx, $t1               # can't borrow
 643
 644         add     $acc1, $acc4
 645         adc     $t1, $acc5
 646         adc     \$0, $acc0
 647
 648         ################################## * b[2]
 649         mov     %rax, $t0
 650         mulq    8*0($a_ptr)
 651         add     %rax, $acc2
 652         mov     $t0, %rax
 653         adc     \$0, %rdx
 654         mov     %rdx, $t1
 655
 656         mulq    8*1($a_ptr)
 657         add     $t1, $acc3
 658         adc     \$0, %rdx
 659         add     %rax, $acc3
 660         mov     $t0, %rax
 661         adc     \$0, %rdx
 662         mov     %rdx, $t1
 663
 664         mulq    8*2($a_ptr)
 665         add     $t1, $acc4
 666         adc     \$0, %rdx
 667         add     %rax, $acc4
 668         mov     $t0, %rax
 669         adc     \$0, %rdx
 670
 671          mov    $acc2, $t0
 672          imulq  %r15, $acc2
 673
 674         mov     %rdx, $t1
 675         mulq    8*3($a_ptr)
 676         add     $t1, $acc5
 677         adc     \$0, %rdx
 678         xor     $acc1, $acc1
 679         add     %rax, $acc5
 680          mov    $acc2, %rax
 681         adc     %rdx, $acc0
 682         adc     \$0, $acc1
 683
 684         ################################# Third reduction step
 685         mulq    8*0(%r14)
 686         mov     $acc2, $t1
 687         add     %rax, $t0               # guaranteed to be zero
 688         mov     $acc2, %rax
 689         adc     %rdx, $t0
 690
 691         sub     $acc2, $acc4
 692         sbb     \$0, $acc2              # can't borrow
 693
 694         mulq    8*1(%r14)
 695         add     $t0, $acc3
 696         adc     \$0, %rdx
 697         add     %rax, $acc3
 698         mov     $t1, %rax
 699         adc     %rdx, $acc4
 700         mov     $t1, %rdx
 701         adc     \$0, $acc2              # can't overflow
 702
 703         shl     \$32, %rax
 704         shr     \$32, %rdx
 705         sub     %rax, $acc5
 706          mov    8*3($b_ptr), %rax
 707         sbb     %rdx, $t1               # can't borrow
 708
 709         add     $acc2, $acc5
 710         adc     $t1, $acc0
 711         adc     \$0, $acc1
 712
 713         ################################# * b[3]
 714         mov     %rax, $t0
 715         mulq    8*0($a_ptr)
 716         add     %rax, $acc3
 717         mov     $t0, %rax
 718         adc     \$0, %rdx
 719         mov     %rdx, $t1
 720
 721         mulq    8*1($a_ptr)
 722         add     $t1, $acc4
 723         adc     \$0, %rdx
 724         add     %rax, $acc4
 725         mov     $t0, %rax
 726         adc     \$0, %rdx
 727         mov     %rdx, $t1
 728
 729         mulq    8*2($a_ptr)
 730         add     $t1, $acc5
 731         adc     \$0, %rdx
 732         add     %rax, $acc5
 733         mov     $t0, %rax
 734         adc     \$0, %rdx
 735
 736          mov    $acc3, $t0
 737          imulq  %r15, $acc3
 738
 739         mov     %rdx, $t1
 740         mulq    8*3($a_ptr)
 741         add     $t1, $acc0
 742         adc     \$0, %rdx
 743         xor     $acc2, $acc2
 744         add     %rax, $acc0
 745          mov    $acc3, %rax
 746         adc     %rdx, $acc1
 747         adc     \$0, $acc2
 748
 749         ################################# Last reduction step
 750         mulq    8*0(%r14)
 751         mov     $acc3, $t1
 752         add     %rax, $t0               # guaranteed to be zero
 753         mov     $acc3, %rax
 754         adc     %rdx, $t0
 755
 756         sub     $acc3, $acc5
 757         sbb     \$0, $acc3              # can't borrow
 758
 759         mulq    8*1(%r14)
 760         add     $t0, $acc4
 761         adc     \$0, %rdx
 762         add     %rax, $acc4
 763         mov     $t1, %rax
 764         adc     %rdx, $acc5
 765         mov     $t1, %rdx
 766         adc     \$0, $acc3              # can't overflow
 767
 768         shl     \$32, %rax
 769         shr     \$32, %rdx
 770         sub     %rax, $acc0
 771         sbb     %rdx, $t1               # can't borrow
 772
 773         add     $acc3, $acc0
 774         adc     $t1, $acc1
 775         adc     \$0, $acc2
 776
 777         ################################# Subtract ord
 778          mov    $acc4, $a_ptr
 779         sub     8*0(%r14), $acc4
 780          mov    $acc5, $acc3
 781         sbb     8*1(%r14), $acc5
 782          mov    $acc0, $t0
 783         sbb     8*2(%r14), $acc0
 784          mov    $acc1, $t1
 785         sbb     8*3(%r14), $acc1
 786         sbb     \$0, $acc2
 787
 788         cmovc   $a_ptr, $acc4
 789         cmovc   $acc3, $acc5
 790         cmovc   $t0, $acc0
 791         cmovc   $t1, $acc1
 792
 793         mov     $acc4, 8*0($r_ptr)
 794         mov     $acc5, 8*1($r_ptr)
 795         mov     $acc0, 8*2($r_ptr)
 796         mov     $acc1, 8*3($r_ptr)
 797
 798         pop     %r15
 799         pop     %r14
 800         pop     %r13
 801         pop     %r12
 802         pop     %rbx
 803         pop     %rbp
 804         ret
 805 .size   ecp_nistz256_ord_mul_mont,.-ecp_nistz256_ord_mul_mont
 806
 807 ################################################################################
 808 # void ecp_nistz256_ord_sqr_mont(
 809 #   uint64_t res[4],
 810 #   uint64_t a[4],
 811 #   int rep);
 812
 813 .globl  ecp_nistz256_ord_sqr_mont
 814 .type   ecp_nistz256_ord_sqr_mont,\@function,3
 815 .align  32
 816 ecp_nistz256_ord_sqr_mont:
 817 ___
 818 $code.=<<___    if ($addx);
 819         mov     \$0x80100, %ecx
 820         and     OPENSSL_ia32cap_P+8(%rip), %ecx
 821         cmp     \$0x80100, %ecx
 822         je      .Lecp_nistz256_ord_sqr_montx
 823 ___
 824 $code.=<<___;
 825         push    %rbp
 826         push    %rbx
 827         push    %r12
 828         push    %r13
 829         push    %r14
 830         push    %r15
 831
 832         mov     8*0($a_ptr), $acc0
 833         mov     8*1($a_ptr), %rax
 834         mov     8*2($a_ptr), $acc6
 835         mov     8*3($a_ptr), $acc7
 836         lea     .Lord(%rip), $a_ptr     # pointer to modulus
 837         mov     $b_org, $b_ptr
 838         jmp     .Loop_ord_sqr
 839
 840 .align  32
 841 .Loop_ord_sqr:
 842         ################################# a[1:] * a[0]
 843         mov     %rax, $t1               # put aside a[1]
 844         mul     $acc0                   # a[1] * a[0]
 845         mov     %rax, $acc1
 846         movq    $t1, %xmm1              # offload a[1]
 847         mov     $acc6, %rax
 848         mov     %rdx, $acc2
 849
 850         mul     $acc0                   # a[2] * a[0]
 851         add     %rax, $acc2
 852         mov     $acc7, %rax
 853         movq    $acc6, %xmm2            # offload a[2]
 854         adc     \$0, %rdx
 855         mov     %rdx, $acc3
 856
 857         mul     $acc0                   # a[3] * a[0]
 858         add     %rax, $acc3
 859         mov     $acc7, %rax
 860         movq    $acc7, %xmm3            # offload a[3]
 861         adc     \$0, %rdx
 862         mov     %rdx, $acc4
 863
 864         ################################# a[3] * a[2]
 865         mul     $acc6                   # a[3] * a[2]
 866         mov     %rax, $acc5
 867         mov     $acc6, %rax
 868         mov     %rdx, $acc6
 869
 870         ################################# a[2:] * a[1]
 871         mul     $t1                     # a[2] * a[1]
 872         add     %rax, $acc3
 873         mov     $acc7, %rax
 874         adc     \$0, %rdx
 875         mov     %rdx, $acc7
 876
 877         mul     $t1                     # a[3] * a[1]
 878         add     %rax, $acc4
 879         adc     \$0, %rdx
 880
 881         add     $acc7, $acc4
 882         adc     %rdx, $acc5
 883         adc     \$0, $acc6              # can't overflow
 884
 885         ################################# *2
 886         xor     $acc7, $acc7
 887         mov     $acc0, %rax
 888         add     $acc1, $acc1
 889         adc     $acc2, $acc2
 890         adc     $acc3, $acc3
 891         adc     $acc4, $acc4
 892         adc     $acc5, $acc5
 893         adc     $acc6, $acc6
 894         adc     \$0, $acc7
 895
 896         ################################# Missing products
 897         mul     %rax                    # a[0] * a[0]
 898         mov     %rax, $acc0
 899         movq    %xmm1, %rax
 900         mov     %rdx, $t1
 901
 902         mul     %rax                    # a[1] * a[1]
 903         add     $t1, $acc1
 904         adc     %rax, $acc2
 905         movq    %xmm2, %rax
 906         adc     \$0, %rdx
 907         mov     %rdx, $t1
 908
 909         mul     %rax                    # a[2] * a[2]
 910         add     $t1, $acc3
 911         adc     %rax, $acc4
 912         movq    %xmm3, %rax
 913         adc     \$0, %rdx
 914         mov     %rdx, $t1
 915
 916          mov    $acc0, $t0
 917          imulq  8*4($a_ptr), $acc0      # *= .LordK
 918
 919         mul     %rax                    # a[3] * a[3]
 920         add     $t1, $acc5
 921         adc     %rax, $acc6
 922          mov    8*0($a_ptr), %rax       # modulus[0]
 923         adc     %rdx, $acc7             # can't overflow
 924
 925         ################################# First reduction step
 926         mul     $acc0
 927         mov     $acc0, $t1
 928         add     %rax, $t0               # guaranteed to be zero
 929         mov     8*1($a_ptr), %rax       # modulus[1]
 930         adc     %rdx, $t0
 931
 932         sub     $acc0, $acc2
 933         sbb     \$0, $t1                # can't borrow
 934
 935         mul     $acc0
 936         add     $t0, $acc1
 937         adc     \$0, %rdx
 938         add     %rax, $acc1
 939         mov     $acc0, %rax
 940         adc     %rdx, $acc2
 941         mov     $acc0, %rdx
 942         adc     \$0, $t1                # can't overflow
 943
 944          mov    $acc1, $t0
 945          imulq  8*4($a_ptr), $acc1      # *= .LordK
 946
 947         shl     \$32, %rax
 948         shr     \$32, %rdx
 949         sub     %rax, $acc3
 950          mov    8*0($a_ptr), %rax
 951         sbb     %rdx, $acc0             # can't borrow
 952
 953         add     $t1, $acc3
 954         adc     \$0, $acc0              # can't overflow
 955
 956         ################################# Second reduction step
 957         mul     $acc1
 958         mov     $acc1, $t1
 959         add     %rax, $t0               # guaranteed to be zero
 960         mov     8*1($a_ptr), %rax
 961         adc     %rdx, $t0
 962
 963         sub     $acc1, $acc3
 964         sbb     \$0, $t1                # can't borrow
 965
 966         mul     $acc1
 967         add     $t0, $acc2
 968         adc     \$0, %rdx
 969         add     %rax, $acc2
 970         mov     $acc1, %rax
 971         adc     %rdx, $acc3
 972         mov     $acc1, %rdx
 973         adc     \$0, $t1                # can't overflow
 974
 975          mov    $acc2, $t0
 976          imulq  8*4($a_ptr), $acc2      # *= .LordK
 977
 978         shl     \$32, %rax
 979         shr     \$32, %rdx
 980         sub     %rax, $acc0
 981          mov    8*0($a_ptr), %rax
 982         sbb     %rdx, $acc1             # can't borrow
 983
 984         add     $t1, $acc0
 985         adc     \$0, $acc1              # can't overflow
 986
 987         ################################# Third reduction step
 988         mul     $acc2
 989         mov     $acc2, $t1
 990         add     %rax, $t0               # guaranteed to be zero
 991         mov     8*1($a_ptr), %rax
 992         adc     %rdx, $t0
 993
 994         sub     $acc2, $acc0
 995         sbb     \$0, $t1                # can't borrow
 996
 997         mul     $acc2
 998         add     $t0, $acc3
 999         adc     \$0, %rdx
1000         add     %rax, $acc3
1001         mov     $acc2, %rax
1002         adc     %rdx, $acc0
1003         mov     $acc2, %rdx
1004         adc     \$0, $t1                # can't overflow
1005
1006          mov    $acc3, $t0
1007          imulq  8*4($a_ptr), $acc3      # *= .LordK
1008
1009         shl     \$32, %rax
1010         shr     \$32, %rdx
1011         sub     %rax, $acc1
1012          mov    8*0($a_ptr), %rax
1013         sbb     %rdx, $acc2             # can't borrow
1014
1015         add     $t1, $acc1
1016         adc     \$0, $acc2              # can't overflow
1017
1018         ################################# Last reduction step
1019         mul     $acc3
1020         mov     $acc3, $t1
1021         add     %rax, $t0               # guaranteed to be zero
1022         mov     8*1($a_ptr), %rax
1023         adc     %rdx, $t0
1024
1025         sub     $acc3, $acc1
1026         sbb     \$0, $t1                # can't borrow
1027
1028         mul     $acc3
1029         add     $t0, $acc0
1030         adc     \$0, %rdx
1031         add     %rax, $acc0
1032         mov     $acc3, %rax
1033         adc     %rdx, $acc1
1034         mov     $acc3, %rdx
1035         adc     \$0, $t1                # can't overflow
1036
1037         shl     \$32, %rax
1038         shr     \$32, %rdx
1039         sub     %rax, $acc2
1040         sbb     %rdx, $acc3             # can't borrow
1041
1042         add     $t1, $acc2
1043         adc     \$0, $acc3              # can't overflow
1044
1045         ################################# Add bits [511:256] of the sqr result
1046         xor     %rdx, %rdx
1047         add     $acc4, $acc0
1048         adc     $acc5, $acc1
1049          mov    $acc0, $acc4
1050         adc     $acc6, $acc2
1051         adc     $acc7, $acc3
1052          mov    $acc1, %rax
1053         adc     \$0, %rdx
1054
1055         ################################# Compare to modulus
1056         sub     8*0($a_ptr), $acc0
1057          mov    $acc2, $acc6
1058         sbb     8*1($a_ptr), $acc1
1059         sbb     8*2($a_ptr), $acc2
1060          mov    $acc3, $acc7
1061         sbb     8*3($a_ptr), $acc3
1062         sbb     \$0, %rdx
1063
1064         cmovc   $acc4, $acc0
1065         cmovnc  $acc1, %rax
1066         cmovnc  $acc2, $acc6
1067         cmovnc  $acc3, $acc7
1068
1069         dec     $b_ptr
1070         jnz     .Loop_ord_sqr
1071
1072         mov     $acc0, 8*0($r_ptr)
1073         mov     %rax,  8*1($r_ptr)
1074         pxor    %xmm1, %xmm1
1075         mov     $acc6, 8*2($r_ptr)
1076         pxor    %xmm2, %xmm2
1077         mov     $acc7, 8*3($r_ptr)
1078         pxor    %xmm3, %xmm3
1079
1080         pop     %r15
1081         pop     %r14
1082         pop     %r13
1083         pop     %r12
1084         pop     %rbx
1085         pop     %rbp
1086         ret
1087 .size   ecp_nistz256_ord_sqr_mont,.-ecp_nistz256_ord_sqr_mont
1088 ___
1089
1090 $code.=<<___    if ($addx);
1091 ################################################################################
1092 .type   ecp_nistz256_ord_mul_montx,\@function,3
1093 .align  32
1094 ecp_nistz256_ord_mul_montx:
1095 .Lecp_nistz256_ord_mul_montx:
1096         push    %rbp
1097         push    %rbx
1098         push    %r12
1099         push    %r13
1100         push    %r14
1101         push    %r15
1102
1103         mov     $b_org, $b_ptr
1104         mov     8*0($b_org), %rdx
1105         mov     8*0($a_ptr), $acc1
1106         mov     8*1($a_ptr), $acc2
1107         mov     8*2($a_ptr), $acc3
1108         mov     8*3($a_ptr), $acc4
1109         lea     -128($a_ptr), $a_ptr    # control u-op density
1110         lea     .Lord-128(%rip), %r14
1111         mov     .LordK(%rip), %r15
1112
1113         ################################# Multiply by b[0]
1114         mulx    $acc1, $acc0, $acc1
1115         mulx    $acc2, $t0, $acc2
1116         mulx    $acc3, $t1, $acc3
1117         add     $t0, $acc1
1118         mulx    $acc4, $t0, $acc4
1119          mov    $acc0, %rdx
1120          mulx   %r15, %rdx, %rax
1121         adc     $t1, $acc2
1122         adc     $t0, $acc3
1123         adc     \$0, $acc4
1124
1125         ################################# reduction
1126         xor     $acc5, $acc5            # $acc5=0, cf=0, of=0
1127         mulx    8*0+128(%r14), $t0, $t1
1128         adcx    $t0, $acc0              # guaranteed to be zero
1129         adox    $t1, $acc1
1130
1131         mulx    8*1+128(%r14), $t0, $t1
1132         adcx    $t0, $acc1
1133         adox    $t1, $acc2
1134
1135         mulx    8*2+128(%r14), $t0, $t1
1136         adcx    $t0, $acc2
1137         adox    $t1, $acc3
1138
1139         mulx    8*3+128(%r14), $t0, $t1
1140          mov    8*1($b_ptr), %rdx
1141         adcx    $t0, $acc3
1142         adox    $t1, $acc4
1143         adcx    $acc0, $acc4
1144         adox    $acc0, $acc5
1145         adc     \$0, $acc5              # cf=0, of=0
1146
1147         ################################# Multiply by b[1]
1148         mulx    8*0+128($a_ptr), $t0, $t1
1149         adcx    $t0, $acc1
1150         adox    $t1, $acc2
1151
1152         mulx    8*1+128($a_ptr), $t0, $t1
1153         adcx    $t0, $acc2
1154         adox    $t1, $acc3
1155
1156         mulx    8*2+128($a_ptr), $t0, $t1
1157         adcx    $t0, $acc3
1158         adox    $t1, $acc4
1159
1160         mulx    8*3+128($a_ptr), $t0, $t1
1161          mov    $acc1, %rdx
1162          mulx   %r15, %rdx, %rax
1163         adcx    $t0, $acc4
1164         adox    $t1, $acc5
1165
1166         adcx    $acc0, $acc5
1167         adox    $acc0, $acc0
1168         adc     \$0, $acc0              # cf=0, of=0
1169
1170         ################################# reduction
1171         mulx    8*0+128(%r14), $t0, $t1
1172         adcx    $t0, $acc1              # guaranteed to be zero
1173         adox    $t1, $acc2
1174
1175         mulx    8*1+128(%r14), $t0, $t1
1176         adcx    $t0, $acc2
1177         adox    $t1, $acc3
1178
1179         mulx    8*2+128(%r14), $t0, $t1
1180         adcx    $t0, $acc3
1181         adox    $t1, $acc4
1182
1183         mulx    8*3+128(%r14), $t0, $t1
1184          mov    8*2($b_ptr), %rdx
1185         adcx    $t0, $acc4
1186         adox    $t1, $acc5
1187         adcx    $acc1, $acc5
1188         adox    $acc1, $acc0
1189         adc     \$0, $acc0              # cf=0, of=0
1190
1191         ################################# Multiply by b[2]
1192         mulx    8*0+128($a_ptr), $t0, $t1
1193         adcx    $t0, $acc2
1194         adox    $t1, $acc3
1195
1196         mulx    8*1+128($a_ptr), $t0, $t1
1197         adcx    $t0, $acc3
1198         adox    $t1, $acc4
1199
1200         mulx    8*2+128($a_ptr), $t0, $t1
1201         adcx    $t0, $acc4
1202         adox    $t1, $acc5
1203
1204         mulx    8*3+128($a_ptr), $t0, $t1
1205          mov    $acc2, %rdx
1206          mulx   %r15, %rdx, %rax
1207         adcx    $t0, $acc5
1208         adox    $t1, $acc0
1209
1210         adcx    $acc1, $acc0
1211         adox    $acc1, $acc1
1212         adc     \$0, $acc1              # cf=0, of=0
1213
1214         ################################# reduction
1215         mulx    8*0+128(%r14), $t0, $t1
1216         adcx    $t0, $acc2              # guaranteed to be zero
1217         adox    $t1, $acc3
1218
1219         mulx    8*1+128(%r14), $t0, $t1
1220         adcx    $t0, $acc3
1221         adox    $t1, $acc4
1222
1223         mulx    8*2+128(%r14), $t0, $t1
1224         adcx    $t0, $acc4
1225         adox    $t1, $acc5
1226
1227         mulx    8*3+128(%r14), $t0, $t1
1228          mov    8*3($b_ptr), %rdx
1229         adcx    $t0, $acc5
1230         adox    $t1, $acc0
1231         adcx    $acc2, $acc0
1232         adox    $acc2, $acc1
1233         adc     \$0, $acc1              # cf=0, of=0
1234
1235         ################################# Multiply by b[3]
1236         mulx    8*0+128($a_ptr), $t0, $t1
1237         adcx    $t0, $acc3
1238         adox    $t1, $acc4
1239
1240         mulx    8*1+128($a_ptr), $t0, $t1
1241         adcx    $t0, $acc4
1242         adox    $t1, $acc5
1243
1244         mulx    8*2+128($a_ptr), $t0, $t1
1245         adcx    $t0, $acc5
1246         adox    $t1, $acc0
1247
1248         mulx    8*3+128($a_ptr), $t0, $t1
1249          mov    $acc3, %rdx
1250          mulx   %r15, %rdx, %rax
1251         adcx    $t0, $acc0
1252         adox    $t1, $acc1
1253
1254         adcx    $acc2, $acc1
1255         adox    $acc2, $acc2
1256         adc     \$0, $acc2              # cf=0, of=0
1257
1258         ################################# reduction
1259         mulx    8*0+128(%r14), $t0, $t1
1260         adcx    $t0, $acc3              # guranteed to be zero
1261         adox    $t1, $acc4
1262
1263         mulx    8*1+128(%r14), $t0, $t1
1264         adcx    $t0, $acc4
1265         adox    $t1, $acc5
1266
1267         mulx    8*2+128(%r14), $t0, $t1
1268         adcx    $t0, $acc5
1269         adox    $t1, $acc0
1270
1271         mulx    8*3+128(%r14), $t0, $t1
1272         lea     128(%r14),%r14
1273          mov    $acc4, $t2
1274         adcx    $t0, $acc0
1275         adox    $t1, $acc1
1276          mov    $acc5, $t3
1277         adcx    $acc3, $acc1
1278         adox    $acc3, $acc2
1279         adc     \$0, $acc2
1280
1281         #################################
1282         # Branch-less conditional subtraction of P
1283          mov    $acc0, $t0
1284         sub     8*0(%r14), $acc4
1285         sbb     8*1(%r14), $acc5
1286         sbb     8*2(%r14), $acc0
1287          mov    $acc1, $t1
1288         sbb     8*3(%r14), $acc1
1289         sbb     \$0, $acc2
1290
1291         cmovc   $t2, $acc4
1292         cmovc   $t3, $acc5
1293         cmovc   $t0, $acc0
1294         cmovc   $t1, $acc1
1295
1296         mov     $acc4, 8*0($r_ptr)
1297         mov     $acc5, 8*1($r_ptr)
1298         mov     $acc0, 8*2($r_ptr)
1299         mov     $acc1, 8*3($r_ptr)
1300
1301         pop     %r15
1302         pop     %r14
1303         pop     %r13
1304         pop     %r12
1305         pop     %rbx
1306         pop     %rbp
1307         ret
1308 .size   ecp_nistz256_ord_mul_montx,.-ecp_nistz256_ord_mul_montx
1309
1310 .type   ecp_nistz256_ord_sqr_montx,\@function,3
1311 .align  32
1312 ecp_nistz256_ord_sqr_montx:
1313 .Lecp_nistz256_ord_sqr_montx:
1314         push    %rbp
1315         push    %rbx
1316         push    %r12
1317         push    %r13
1318         push    %r14
1319         push    %r15
1320
1321         mov     $b_org, $b_ptr
1322         mov     8*0($a_ptr), %rdx
1323         mov     8*1($a_ptr), $acc6
1324         mov     8*2($a_ptr), $acc7
1325         mov     8*3($a_ptr), $acc0
1326         lea     .Lord(%rip), $a_ptr
1327         jmp     .Loop_ord_sqrx
1328
1329 .align  32
1330 .Loop_ord_sqrx:
1331         mulx    $acc6, $acc1, $acc2     # a[0]*a[1]
1332         mulx    $acc7, $t0, $acc3       # a[0]*a[2]
1333          mov    %rdx, %rax              # offload a[0]
1334          movq   $acc6, %xmm1            # offload a[1]
1335         mulx    $acc0, $t1, $acc4       # a[0]*a[3]
1336          mov    $acc6, %rdx
1337         add     $t0, $acc2
1338          movq   $acc7, %xmm2            # offload a[2]
1339         adc     $t1, $acc3
1340         adc     \$0, $acc4
1341         xor     $acc5, $acc5            # $acc5=0,cf=0,of=0
1342         #################################
1343         mulx    $acc7, $t0, $t1         # a[1]*a[2]
1344         adcx    $t0, $acc3
1345         adox    $t1, $acc4
1346
1347         mulx    $acc0, $t0, $t1         # a[1]*a[3]
1348          mov    $acc7, %rdx
1349         adcx    $t0, $acc4
1350         adox    $t1, $acc5
1351         adc     \$0, $acc5
1352         #################################
1353         mulx    $acc0, $t0, $acc6       # a[2]*a[3]
1354         mov     %rax, %rdx
1355          movq   $acc0, %xmm3            # offload a[3]
1356         xor     $acc7, $acc7            # $acc7=0,cf=0,of=0
1357          adcx   $acc1, $acc1            # acc1:6<<1
1358         adox    $t0, $acc5
1359          adcx   $acc2, $acc2
1360         adox    $acc7, $acc6            # of=0
1361
1362         ################################# a[i]*a[i]
1363         mulx    %rdx, $acc0, $t1
1364         movq    %xmm1, %rdx
1365          adcx   $acc3, $acc3
1366         adox    $t1, $acc1
1367          adcx   $acc4, $acc4
1368         mulx    %rdx, $t0, $t4
1369         movq    %xmm2, %rdx
1370          adcx   $acc5, $acc5
1371         adox    $t0, $acc2
1372          adcx   $acc6, $acc6
1373         mulx    %rdx, $t0, $t1
1374         .byte   0x67
1375         movq    %xmm3, %rdx
1376         adox    $t4, $acc3
1377          adcx   $acc7, $acc7
1378         adox    $t0, $acc4
1379         adox    $t1, $acc5
1380         mulx    %rdx, $t0, $t4
1381         adox    $t0, $acc6
1382         adox    $t4, $acc7
1383
1384         ################################# reduction
1385         mov     $acc0, %rdx
1386         mulx    8*4($a_ptr), %rdx, $t0
1387
1388         xor     %rax, %rax              # cf=0, of=0
1389         mulx    8*0($a_ptr), $t0, $t1
1390         adcx    $t0, $acc0              # guaranteed to be zero
1391         adox    $t1, $acc1
1392         mulx    8*1($a_ptr), $t0, $t1
1393         adcx    $t0, $acc1
1394         adox    $t1, $acc2
1395         mulx    8*2($a_ptr), $t0, $t1
1396         adcx    $t0, $acc2
1397         adox    $t1, $acc3
1398         mulx    8*3($a_ptr), $t0, $t1
1399         adcx    $t0, $acc3
1400         adox    $t1, $acc0              # of=0
1401         adcx    %rax, $acc0             # cf=0
1402
1403         #################################
1404         mov     $acc1, %rdx
1405         mulx    8*4($a_ptr), %rdx, $t0
1406
1407         mulx    8*0($a_ptr), $t0, $t1
1408         adox    $t0, $acc1              # guaranteed to be zero
1409         adcx    $t1, $acc2
1410         mulx    8*1($a_ptr), $t0, $t1
1411         adox    $t0, $acc2
1412         adcx    $t1, $acc3
1413         mulx    8*2($a_ptr), $t0, $t1
1414         adox    $t0, $acc3
1415         adcx    $t1, $acc0
1416         mulx    8*3($a_ptr), $t0, $t1
1417         adox    $t0, $acc0
1418         adcx    $t1, $acc1              # cf=0
1419         adox    %rax, $acc1             # of=0
1420
1421         #################################
1422         mov     $acc2, %rdx
1423         mulx    8*4($a_ptr), %rdx, $t0
1424
1425         mulx    8*0($a_ptr), $t0, $t1
1426         adcx    $t0, $acc2              # guaranteed to be zero
1427         adox    $t1, $acc3
1428         mulx    8*1($a_ptr), $t0, $t1
1429         adcx    $t0, $acc3
1430         adox    $t1, $acc0
1431         mulx    8*2($a_ptr), $t0, $t1
1432         adcx    $t0, $acc0
1433         adox    $t1, $acc1
1434         mulx    8*3($a_ptr), $t0, $t1
1435         adcx    $t0, $acc1
1436         adox    $t1, $acc2              # of=0
1437         adcx    %rax, $acc2             # cf=0
1438
1439         #################################
1440         mov     $acc3, %rdx
1441         mulx    8*4($a_ptr), %rdx, $t0
1442
1443         mulx    8*0($a_ptr), $t0, $t1
1444         adox    $t0, $acc3              # guaranteed to be zero
1445         adcx    $t1, $acc0
1446         mulx    8*1($a_ptr), $t0, $t1
1447         adox    $t0, $acc0
1448         adcx    $t1, $acc1
1449         mulx    8*2($a_ptr), $t0, $t1
1450         adox    $t0, $acc1
1451         adcx    $t1, $acc2
1452         mulx    8*3($a_ptr), $t0, $t1
1453         adox    $t0, $acc2
1454         adcx    $t1, $acc3
1455         adox    %rax, $acc3
1456
1457         ################################# accumulate upper half
1458         add     $acc0, $acc4            # add   $acc4, $acc0
1459         adc     $acc5, $acc1
1460          mov    $acc4, %rdx
1461         adc     $acc6, $acc2
1462         adc     $acc7, $acc3
1463          mov    $acc1, $acc6
1464         adc     \$0, %rax
1465
1466         ################################# compare to modulus
1467         sub     8*0($a_ptr), $acc4
1468          mov    $acc2, $acc7
1469         sbb     8*1($a_ptr), $acc1
1470         sbb     8*2($a_ptr), $acc2
1471          mov    $acc3, $acc0
1472         sbb     8*3($a_ptr), $acc3
1473         sbb     \$0, %rax
1474
1475         cmovnc  $acc4, %rdx
1476         cmovnc  $acc1, $acc6
1477         cmovnc  $acc2, $acc7
1478         cmovnc  $acc3, $acc0
1479
1480         dec     $b_ptr
1481         jnz     .Loop_ord_sqrx
1482
1483         mov     %rdx, 8*0($r_ptr)
1484         mov     $acc6, 8*1($r_ptr)
1485         pxor    %xmm1, %xmm1
1486         mov     $acc7, 8*2($r_ptr)
1487         pxor    %xmm2, %xmm2
1488         mov     $acc0, 8*3($r_ptr)
1489         pxor    %xmm3, %xmm3
1490
1491         pop     %r15
1492         pop     %r14
1493         pop     %r13
1494         pop     %r12
1495         pop     %rbx
1496         pop     %rbp
1497         ret
1498
1499 .size   ecp_nistz256_ord_sqr_montx,.-ecp_nistz256_ord_sqr_montx
1500 ___
1501
1502 $code.=<<___;
1503 ################################################################################
1504 # void ecp_nistz256_to_mont(
1505 #   uint64_t res[4],
1506 #   uint64_t in[4]);
1507 .globl  ecp_nistz256_to_mont
1508 .type   ecp_nistz256_to_mont,\@function,2
1509 .align  32
1510 ecp_nistz256_to_mont:
1511 ___
1512 $code.=<<___    if ($addx);
1513         mov     \$0x80100, %ecx
1514         and     OPENSSL_ia32cap_P+8(%rip), %ecx
1515 ___
1516 $code.=<<___;
1517         lea     .LRR(%rip), $b_org
1518         jmp     .Lmul_mont
1519 .size   ecp_nistz256_to_mont,.-ecp_nistz256_to_mont
1520
1521 ################################################################################
1522 # void ecp_nistz256_mul_mont(
1523 #   uint64_t res[4],
1524 #   uint64_t a[4],
1525 #   uint64_t b[4]);
1526
1527 .globl  ecp_nistz256_mul_mont
1528 .type   ecp_nistz256_mul_mont,\@function,3
1529 .align  32
1530 ecp_nistz256_mul_mont:
1531 .cfi_startproc
1532 ___
1533 $code.=<<___    if ($addx);
1534         mov     \$0x80100, %ecx
1535         and     OPENSSL_ia32cap_P+8(%rip), %ecx
1536 ___
1537 $code.=<<___;
1538 .Lmul_mont:
1539         push    %rbp
1540 .cfi_push       %rbp
1541         push    %rbx
1542 .cfi_push       %rbx
1543         push    %r12
1544 .cfi_push       %r12
1545         push    %r13
1546 .cfi_push       %r13
1547         push    %r14
1548 .cfi_push       %r14
1549         push    %r15
1550 .cfi_push       %r15
1551 .Lmul_body:
1552 ___
1553 $code.=<<___    if ($addx);
1554         cmp     \$0x80100, %ecx
1555         je      .Lmul_montx
1556 ___
1557 $code.=<<___;
1558         mov     $b_org, $b_ptr
1559         mov     8*0($b_org), %rax
1560         mov     8*0($a_ptr), $acc1
1561         mov     8*1($a_ptr), $acc2
1562         mov     8*2($a_ptr), $acc3
1563         mov     8*3($a_ptr), $acc4
1564
1565         call    __ecp_nistz256_mul_montq
1566 ___
1567 $code.=<<___    if ($addx);
1568         jmp     .Lmul_mont_done
1569
1570 .align  32
1571 .Lmul_montx:
1572         mov     $b_org, $b_ptr
1573         mov     8*0($b_org), %rdx
1574         mov     8*0($a_ptr), $acc1
1575         mov     8*1($a_ptr), $acc2
1576         mov     8*2($a_ptr), $acc3
1577         mov     8*3($a_ptr), $acc4
1578         lea     -128($a_ptr), $a_ptr    # control u-op density
1579
1580         call    __ecp_nistz256_mul_montx
1581 ___
1582 $code.=<<___;
1583 .Lmul_mont_done:
1584         mov     0(%rsp),%r15
1585 .cfi_restore    %r15
1586         mov     8(%rsp),%r14
1587 .cfi_restore    %r14
1588         mov     16(%rsp),%r13
1589 .cfi_restore    %r13
1590         mov     24(%rsp),%r12
1591 .cfi_restore    %r12
1592         mov     32(%rsp),%rbx
1593 .cfi_restore    %rbx
1594         mov     40(%rsp),%rbp
1595 .cfi_restore    %rbp
1596         lea     48(%rsp),%rsp
1597 .cfi_adjust_cfa_offset  -48
1598 .Lmul_epilogue:
1599         ret
1600 .cfi_endproc
1601 .size   ecp_nistz256_mul_mont,.-ecp_nistz256_mul_mont
1602
1603 .type   __ecp_nistz256_mul_montq,\@abi-omnipotent
1604 .align  32
1605 __ecp_nistz256_mul_montq:
1606         ########################################################################
1607         # Multiply a by b[0]
1608         mov     %rax, $t1
1609         mulq    $acc1
1610         mov     .Lpoly+8*1(%rip),$poly1
1611         mov     %rax, $acc0
1612         mov     $t1, %rax
1613         mov     %rdx, $acc1
1614
1615         mulq    $acc2
1616         mov     .Lpoly+8*3(%rip),$poly3
1617         add     %rax, $acc1
1618         mov     $t1, %rax
1619         adc     \$0, %rdx
1620         mov     %rdx, $acc2
1621
1622         mulq    $acc3
1623         add     %rax, $acc2
1624         mov     $t1, %rax
1625         adc     \$0, %rdx
1626         mov     %rdx, $acc3
1627
1628         mulq    $acc4
1629         add     %rax, $acc3
1630          mov    $acc0, %rax
1631         adc     \$0, %rdx
1632         xor     $acc5, $acc5
1633         mov     %rdx, $acc4
1634
1635         ########################################################################
1636         # First reduction step
1637         # Basically now we want to multiply acc[0] by p256,
1638         # and add the result to the acc.
1639         # Due to the special form of p256 we do some optimizations
1640         #
1641         # acc[0] x p256[0..1] = acc[0] x 2^96 - acc[0]
1642         # then we add acc[0] and get acc[0] x 2^96
1643
1644         mov     $acc0, $t1
1645         shl     \$32, $acc0
1646         mulq    $poly3
1647         shr     \$32, $t1
1648         add     $acc0, $acc1            # +=acc[0]<<96
1649         adc     $t1, $acc2
1650         adc     %rax, $acc3
1651          mov    8*1($b_ptr), %rax
1652         adc     %rdx, $acc4
1653         adc     \$0, $acc5
1654         xor     $acc0, $acc0
1655
1656         ########################################################################
1657         # Multiply by b[1]
1658         mov     %rax, $t1
1659         mulq    8*0($a_ptr)
1660         add     %rax, $acc1
1661         mov     $t1, %rax
1662         adc     \$0, %rdx
1663         mov     %rdx, $t0
1664
1665         mulq    8*1($a_ptr)
1666         add     $t0, $acc2
1667         adc     \$0, %rdx
1668         add     %rax, $acc2
1669         mov     $t1, %rax
1670         adc     \$0, %rdx
1671         mov     %rdx, $t0
1672
1673         mulq    8*2($a_ptr)
1674         add     $t0, $acc3
1675         adc     \$0, %rdx
1676         add     %rax, $acc3
1677         mov     $t1, %rax
1678         adc     \$0, %rdx
1679         mov     %rdx, $t0
1680
1681         mulq    8*3($a_ptr)
1682         add     $t0, $acc4
1683         adc     \$0, %rdx
1684         add     %rax, $acc4
1685          mov    $acc1, %rax
1686         adc     %rdx, $acc5
1687         adc     \$0, $acc0
1688
1689         ########################################################################
1690         # Second reduction step
1691         mov     $acc1, $t1
1692         shl     \$32, $acc1
1693         mulq    $poly3
1694         shr     \$32, $t1
1695         add     $acc1, $acc2
1696         adc     $t1, $acc3
1697         adc     %rax, $acc4
1698          mov    8*2($b_ptr), %rax
1699         adc     %rdx, $acc5
1700         adc     \$0, $acc0
1701         xor     $acc1, $acc1
1702
1703         ########################################################################
1704         # Multiply by b[2]
1705         mov     %rax, $t1
1706         mulq    8*0($a_ptr)
1707         add     %rax, $acc2
1708         mov     $t1, %rax
1709         adc     \$0, %rdx
1710         mov     %rdx, $t0
1711
1712         mulq    8*1($a_ptr)
1713         add     $t0, $acc3
1714         adc     \$0, %rdx
1715         add     %rax, $acc3
1716         mov     $t1, %rax
1717         adc     \$0, %rdx
1718         mov     %rdx, $t0
1719
1720         mulq    8*2($a_ptr)
1721         add     $t0, $acc4
1722         adc     \$0, %rdx
1723         add     %rax, $acc4
1724         mov     $t1, %rax
1725         adc     \$0, %rdx
1726         mov     %rdx, $t0
1727
1728         mulq    8*3($a_ptr)
1729         add     $t0, $acc5
1730         adc     \$0, %rdx
1731         add     %rax, $acc5
1732          mov    $acc2, %rax
1733         adc     %rdx, $acc0
1734         adc     \$0, $acc1
1735
1736         ########################################################################
1737         # Third reduction step
1738         mov     $acc2, $t1
1739         shl     \$32, $acc2
1740         mulq    $poly3
1741         shr     \$32, $t1
1742         add     $acc2, $acc3
1743         adc     $t1, $acc4
1744         adc     %rax, $acc5
1745          mov    8*3($b_ptr), %rax
1746         adc     %rdx, $acc0
1747         adc     \$0, $acc1
1748         xor     $acc2, $acc2
1749
1750         ########################################################################
1751         # Multiply by b[3]
1752         mov     %rax, $t1
1753         mulq    8*0($a_ptr)
1754         add     %rax, $acc3
1755         mov     $t1, %rax
1756         adc     \$0, %rdx
1757         mov     %rdx, $t0
1758
1759         mulq    8*1($a_ptr)
1760         add     $t0, $acc4
1761         adc     \$0, %rdx
1762         add     %rax, $acc4
1763         mov     $t1, %rax
1764         adc     \$0, %rdx
1765         mov     %rdx, $t0
1766
1767         mulq    8*2($a_ptr)
1768         add     $t0, $acc5
1769         adc     \$0, %rdx
1770         add     %rax, $acc5
1771         mov     $t1, %rax
1772         adc     \$0, %rdx
1773         mov     %rdx, $t0
1774
1775         mulq    8*3($a_ptr)
1776         add     $t0, $acc0
1777         adc     \$0, %rdx
1778         add     %rax, $acc0
1779          mov    $acc3, %rax
1780         adc     %rdx, $acc1
1781         adc     \$0, $acc2
1782
1783         ########################################################################
1784         # Final reduction step
1785         mov     $acc3, $t1
1786         shl     \$32, $acc3
1787         mulq    $poly3
1788         shr     \$32, $t1
1789         add     $acc3, $acc4
1790         adc     $t1, $acc5
1791          mov    $acc4, $t0
1792         adc     %rax, $acc0
1793         adc     %rdx, $acc1
1794          mov    $acc5, $t1
1795         adc     \$0, $acc2
1796
1797         ########################################################################
1798         # Branch-less conditional subtraction of P
1799         sub     \$-1, $acc4             # .Lpoly[0]
1800          mov    $acc0, $t2
1801         sbb     $poly1, $acc5           # .Lpoly[1]
1802         sbb     \$0, $acc0              # .Lpoly[2]
1803          mov    $acc1, $t3
1804         sbb     $poly3, $acc1           # .Lpoly[3]
1805         sbb     \$0, $acc2
1806
1807         cmovc   $t0, $acc4
1808         cmovc   $t1, $acc5
1809         mov     $acc4, 8*0($r_ptr)
1810         cmovc   $t2, $acc0
1811         mov     $acc5, 8*1($r_ptr)
1812         cmovc   $t3, $acc1
1813         mov     $acc0, 8*2($r_ptr)
1814         mov     $acc1, 8*3($r_ptr)
1815
1816         ret
1817 .size   __ecp_nistz256_mul_montq,.-__ecp_nistz256_mul_montq
1818
1819 ################################################################################
1820 # void ecp_nistz256_sqr_mont(
1821 #   uint64_t res[4],
1822 #   uint64_t a[4]);
1823
1824 # we optimize the square according to S.Gueron and V.Krasnov,
1825 # "Speeding up Big-Number Squaring"
1826 .globl  ecp_nistz256_sqr_mont
1827 .type   ecp_nistz256_sqr_mont,\@function,2
1828 .align  32
1829 ecp_nistz256_sqr_mont:
1830 .cfi_startproc
1831 ___
1832 $code.=<<___    if ($addx);
1833         mov     \$0x80100, %ecx
1834         and     OPENSSL_ia32cap_P+8(%rip), %ecx
1835 ___
1836 $code.=<<___;
1837         push    %rbp
1838 .cfi_push       %rbp
1839         push    %rbx
1840 .cfi_push       %rbx
1841         push    %r12
1842 .cfi_push       %r12
1843         push    %r13
1844 .cfi_push       %r13
1845         push    %r14
1846 .cfi_push       %r14
1847         push    %r15
1848 .cfi_push       %r15
1849 .Lsqr_body:
1850 ___
1851 $code.=<<___    if ($addx);
1852         cmp     \$0x80100, %ecx
1853         je      .Lsqr_montx
1854 ___
1855 $code.=<<___;
1856         mov     8*0($a_ptr), %rax
1857         mov     8*1($a_ptr), $acc6
1858         mov     8*2($a_ptr), $acc7
1859         mov     8*3($a_ptr), $acc0
1860
1861         call    __ecp_nistz256_sqr_montq
1862 ___
1863 $code.=<<___    if ($addx);
1864         jmp     .Lsqr_mont_done
1865
1866 .align  32
1867 .Lsqr_montx:
1868         mov     8*0($a_ptr), %rdx
1869         mov     8*1($a_ptr), $acc6
1870         mov     8*2($a_ptr), $acc7
1871         mov     8*3($a_ptr), $acc0
1872         lea     -128($a_ptr), $a_ptr    # control u-op density
1873
1874         call    __ecp_nistz256_sqr_montx
1875 ___
1876 $code.=<<___;
1877 .Lsqr_mont_done:
1878         mov     0(%rsp),%r15
1879 .cfi_restore    %r15
1880         mov     8(%rsp),%r14
1881 .cfi_restore    %r14
1882         mov     16(%rsp),%r13
1883 .cfi_restore    %r13
1884         mov     24(%rsp),%r12
1885 .cfi_restore    %r12
1886         mov     32(%rsp),%rbx
1887 .cfi_restore    %rbx
1888         mov     40(%rsp),%rbp
1889 .cfi_restore    %rbp
1890         lea     48(%rsp),%rsp
1891 .cfi_adjust_cfa_offset  -48
1892 .Lsqr_epilogue:
1893         ret
1894 .cfi_endproc
1895 .size   ecp_nistz256_sqr_mont,.-ecp_nistz256_sqr_mont
1896
1897 .type   __ecp_nistz256_sqr_montq,\@abi-omnipotent
1898 .align  32
1899 __ecp_nistz256_sqr_montq:
1900         mov     %rax, $acc5
1901         mulq    $acc6                   # a[1]*a[0]
1902         mov     %rax, $acc1
1903         mov     $acc7, %rax
1904         mov     %rdx, $acc2
1905
1906         mulq    $acc5                   # a[0]*a[2]
1907         add     %rax, $acc2
1908         mov     $acc0, %rax
1909         adc     \$0, %rdx
1910         mov     %rdx, $acc3
1911
1912         mulq    $acc5                   # a[0]*a[3]
1913         add     %rax, $acc3
1914          mov    $acc7, %rax
1915         adc     \$0, %rdx
1916         mov     %rdx, $acc4
1917
1918         #################################
1919         mulq    $acc6                   # a[1]*a[2]
1920         add     %rax, $acc3
1921         mov     $acc0, %rax
1922         adc     \$0, %rdx
1923         mov     %rdx, $t1
1924
1925         mulq    $acc6                   # a[1]*a[3]
1926         add     %rax, $acc4
1927          mov    $acc0, %rax
1928         adc     \$0, %rdx
1929         add     $t1, $acc4
1930         mov     %rdx, $acc5
1931         adc     \$0, $acc5
1932
1933         #################################
1934         mulq    $acc7                   # a[2]*a[3]
1935         xor     $acc7, $acc7
1936         add     %rax, $acc5
1937          mov    8*0($a_ptr), %rax
1938         mov     %rdx, $acc6
1939         adc     \$0, $acc6
1940
1941         add     $acc1, $acc1            # acc1:6<<1
1942         adc     $acc2, $acc2
1943         adc     $acc3, $acc3
1944         adc     $acc4, $acc4
1945         adc     $acc5, $acc5
1946         adc     $acc6, $acc6
1947         adc     \$0, $acc7
1948
1949         mulq    %rax
1950         mov     %rax, $acc0
1951         mov     8*1($a_ptr), %rax
1952         mov     %rdx, $t0
1953
1954         mulq    %rax
1955         add     $t0, $acc1
1956         adc     %rax, $acc2
1957         mov     8*2($a_ptr), %rax
1958         adc     \$0, %rdx
1959         mov     %rdx, $t0
1960
1961         mulq    %rax
1962         add     $t0, $acc3
1963         adc     %rax, $acc4
1964         mov     8*3($a_ptr), %rax
1965         adc     \$0, %rdx
1966         mov     %rdx, $t0
1967
1968         mulq    %rax
1969         add     $t0, $acc5
1970         adc     %rax, $acc6
1971          mov    $acc0, %rax
1972         adc     %rdx, $acc7
1973
1974         mov     .Lpoly+8*1(%rip), $a_ptr
1975         mov     .Lpoly+8*3(%rip), $t1
1976
1977         ##########################################
1978         # Now the reduction
1979         # First iteration
1980         mov     $acc0, $t0
1981         shl     \$32, $acc0
1982         mulq    $t1
1983         shr     \$32, $t0
1984         add     $acc0, $acc1            # +=acc[0]<<96
1985         adc     $t0, $acc2
1986         adc     %rax, $acc3
1987          mov    $acc1, %rax
1988         adc     \$0, %rdx
1989
1990         ##########################################
1991         # Second iteration
1992         mov     $acc1, $t0
1993         shl     \$32, $acc1
1994         mov     %rdx, $acc0
1995         mulq    $t1
1996         shr     \$32, $t0
1997         add     $acc1, $acc2
1998         adc     $t0, $acc3
1999         adc     %rax, $acc0
2000          mov    $acc2, %rax
2001         adc     \$0, %rdx
2002
2003         ##########################################
2004         # Third iteration
2005         mov     $acc2, $t0
2006         shl     \$32, $acc2
2007         mov     %rdx, $acc1
2008         mulq    $t1
2009         shr     \$32, $t0
2010         add     $acc2, $acc3
2011         adc     $t0, $acc0
2012         adc     %rax, $acc1
2013          mov    $acc3, %rax
2014         adc     \$0, %rdx
2015
2016         ###########################################
2017         # Last iteration
2018         mov     $acc3, $t0
2019         shl     \$32, $acc3
2020         mov     %rdx, $acc2
2021         mulq    $t1
2022         shr     \$32, $t0
2023         add     $acc3, $acc0
2024         adc     $t0, $acc1
2025         adc     %rax, $acc2
2026         adc     \$0, %rdx
2027         xor     $acc3, $acc3
2028
2029         ############################################
2030         # Add the rest of the acc
2031         add     $acc0, $acc4
2032         adc     $acc1, $acc5
2033          mov    $acc4, $acc0
2034         adc     $acc2, $acc6
2035         adc     %rdx, $acc7
2036          mov    $acc5, $acc1
2037         adc     \$0, $acc3
2038
2039         sub     \$-1, $acc4             # .Lpoly[0]
2040          mov    $acc6, $acc2
2041         sbb     $a_ptr, $acc5           # .Lpoly[1]
2042         sbb     \$0, $acc6              # .Lpoly[2]
2043          mov    $acc7, $t0
2044         sbb     $t1, $acc7              # .Lpoly[3]
2045         sbb     \$0, $acc3
2046
2047         cmovc   $acc0, $acc4
2048         cmovc   $acc1, $acc5
2049         mov     $acc4, 8*0($r_ptr)
2050         cmovc   $acc2, $acc6
2051         mov     $acc5, 8*1($r_ptr)
2052         cmovc   $t0, $acc7
2053         mov     $acc6, 8*2($r_ptr)
2054         mov     $acc7, 8*3($r_ptr)
2055
2056         ret
2057 .size   __ecp_nistz256_sqr_montq,.-__ecp_nistz256_sqr_montq
2058 ___
2059
2060 if ($addx) {
2061 $code.=<<___;
2062 .type   __ecp_nistz256_mul_montx,\@abi-omnipotent
2063 .align  32
2064 __ecp_nistz256_mul_montx:
2065         ########################################################################
2066         # Multiply by b[0]
2067         mulx    $acc1, $acc0, $acc1
2068         mulx    $acc2, $t0, $acc2
2069         mov     \$32, $poly1
2070         xor     $acc5, $acc5            # cf=0
2071         mulx    $acc3, $t1, $acc3
2072         mov     .Lpoly+8*3(%rip), $poly3
2073         adc     $t0, $acc1
2074         mulx    $acc4, $t0, $acc4
2075          mov    $acc0, %rdx
2076         adc     $t1, $acc2
2077          shlx   $poly1,$acc0,$t1
2078         adc     $t0, $acc3
2079          shrx   $poly1,$acc0,$t0
2080         adc     \$0, $acc4
2081
2082         ########################################################################
2083         # First reduction step
2084         add     $t1, $acc1
2085         adc     $t0, $acc2
2086
2087         mulx    $poly3, $t0, $t1
2088          mov    8*1($b_ptr), %rdx
2089         adc     $t0, $acc3
2090         adc     $t1, $acc4
2091         adc     \$0, $acc5
2092         xor     $acc0, $acc0            # $acc0=0,cf=0,of=0
2093
2094         ########################################################################
2095         # Multiply by b[1]
2096         mulx    8*0+128($a_ptr), $t0, $t1
2097         adcx    $t0, $acc1
2098         adox    $t1, $acc2
2099
2100         mulx    8*1+128($a_ptr), $t0, $t1
2101         adcx    $t0, $acc2
2102         adox    $t1, $acc3
2103
2104         mulx    8*2+128($a_ptr), $t0, $t1
2105         adcx    $t0, $acc3
2106         adox    $t1, $acc4
2107
2108         mulx    8*3+128($a_ptr), $t0, $t1
2109          mov    $acc1, %rdx
2110         adcx    $t0, $acc4
2111          shlx   $poly1, $acc1, $t0
2112         adox    $t1, $acc5
2113          shrx   $poly1, $acc1, $t1
2114
2115         adcx    $acc0, $acc5
2116         adox    $acc0, $acc0
2117         adc     \$0, $acc0
2118
2119         ########################################################################
2120         # Second reduction step
2121         add     $t0, $acc2
2122         adc     $t1, $acc3
2123
2124         mulx    $poly3, $t0, $t1
2125          mov    8*2($b_ptr), %rdx
2126         adc     $t0, $acc4
2127         adc     $t1, $acc5
2128         adc     \$0, $acc0
2129         xor     $acc1 ,$acc1            # $acc1=0,cf=0,of=0
2130
2131         ########################################################################
2132         # Multiply by b[2]
2133         mulx    8*0+128($a_ptr), $t0, $t1
2134         adcx    $t0, $acc2
2135         adox    $t1, $acc3
2136
2137         mulx    8*1+128($a_ptr), $t0, $t1
2138         adcx    $t0, $acc3
2139         adox    $t1, $acc4
2140
2141         mulx    8*2+128($a_ptr), $t0, $t1
2142         adcx    $t0, $acc4
2143         adox    $t1, $acc5
2144
2145         mulx    8*3+128($a_ptr), $t0, $t1
2146          mov    $acc2, %rdx
2147         adcx    $t0, $acc5
2148          shlx   $poly1, $acc2, $t0
2149         adox    $t1, $acc0
2150          shrx   $poly1, $acc2, $t1
2151
2152         adcx    $acc1, $acc0
2153         adox    $acc1, $acc1
2154         adc     \$0, $acc1
2155
2156         ########################################################################
2157         # Third reduction step
2158         add     $t0, $acc3
2159         adc     $t1, $acc4
2160
2161         mulx    $poly3, $t0, $t1
2162          mov    8*3($b_ptr), %rdx
2163         adc     $t0, $acc5
2164         adc     $t1, $acc0
2165         adc     \$0, $acc1
2166         xor     $acc2, $acc2            # $acc2=0,cf=0,of=0
2167
2168         ########################################################################
2169         # Multiply by b[3]
2170         mulx    8*0+128($a_ptr), $t0, $t1
2171         adcx    $t0, $acc3
2172         adox    $t1, $acc4
2173
2174         mulx    8*1+128($a_ptr), $t0, $t1
2175         adcx    $t0, $acc4
2176         adox    $t1, $acc5
2177
2178         mulx    8*2+128($a_ptr), $t0, $t1
2179         adcx    $t0, $acc5
2180         adox    $t1, $acc0
2181
2182         mulx    8*3+128($a_ptr), $t0, $t1
2183          mov    $acc3, %rdx
2184         adcx    $t0, $acc0
2185          shlx   $poly1, $acc3, $t0
2186         adox    $t1, $acc1
2187          shrx   $poly1, $acc3, $t1
2188
2189         adcx    $acc2, $acc1
2190         adox    $acc2, $acc2
2191         adc     \$0, $acc2
2192
2193         ########################################################################
2194         # Fourth reduction step
2195         add     $t0, $acc4
2196         adc     $t1, $acc5
2197
2198         mulx    $poly3, $t0, $t1
2199          mov    $acc4, $t2
2200         mov     .Lpoly+8*1(%rip), $poly1
2201         adc     $t0, $acc0
2202          mov    $acc5, $t3
2203         adc     $t1, $acc1
2204         adc     \$0, $acc2
2205
2206         ########################################################################
2207         # Branch-less conditional subtraction of P
2208         xor     %eax, %eax
2209          mov    $acc0, $t0
2210         sbb     \$-1, $acc4             # .Lpoly[0]
2211         sbb     $poly1, $acc5           # .Lpoly[1]
2212         sbb     \$0, $acc0              # .Lpoly[2]
2213          mov    $acc1, $t1
2214         sbb     $poly3, $acc1           # .Lpoly[3]
2215         sbb     \$0, $acc2
2216
2217         cmovc   $t2, $acc4
2218         cmovc   $t3, $acc5
2219         mov     $acc4, 8*0($r_ptr)
2220         cmovc   $t0, $acc0
2221         mov     $acc5, 8*1($r_ptr)
2222         cmovc   $t1, $acc1
2223         mov     $acc0, 8*2($r_ptr)
2224         mov     $acc1, 8*3($r_ptr)
2225
2226         ret
2227 .size   __ecp_nistz256_mul_montx,.-__ecp_nistz256_mul_montx
2228
2229 .type   __ecp_nistz256_sqr_montx,\@abi-omnipotent
2230 .align  32
2231 __ecp_nistz256_sqr_montx:
2232         mulx    $acc6, $acc1, $acc2     # a[0]*a[1]
2233         mulx    $acc7, $t0, $acc3       # a[0]*a[2]
2234         xor     %eax, %eax
2235         adc     $t0, $acc2
2236         mulx    $acc0, $t1, $acc4       # a[0]*a[3]
2237          mov    $acc6, %rdx
2238         adc     $t1, $acc3
2239         adc     \$0, $acc4
2240         xor     $acc5, $acc5            # $acc5=0,cf=0,of=0
2241
2242         #################################
2243         mulx    $acc7, $t0, $t1         # a[1]*a[2]
2244         adcx    $t0, $acc3
2245         adox    $t1, $acc4
2246
2247         mulx    $acc0, $t0, $t1         # a[1]*a[3]
2248          mov    $acc7, %rdx
2249         adcx    $t0, $acc4
2250         adox    $t1, $acc5
2251         adc     \$0, $acc5
2252
2253         #################################
2254         mulx    $acc0, $t0, $acc6       # a[2]*a[3]
2255          mov    8*0+128($a_ptr), %rdx
2256         xor     $acc7, $acc7            # $acc7=0,cf=0,of=0
2257          adcx   $acc1, $acc1            # acc1:6<<1
2258         adox    $t0, $acc5
2259          adcx   $acc2, $acc2
2260         adox    $acc7, $acc6            # of=0
2261
2262         mulx    %rdx, $acc0, $t1
2263         mov     8*1+128($a_ptr), %rdx
2264          adcx   $acc3, $acc3
2265         adox    $t1, $acc1
2266          adcx   $acc4, $acc4
2267         mulx    %rdx, $t0, $t4
2268         mov     8*2+128($a_ptr), %rdx
2269          adcx   $acc5, $acc5
2270         adox    $t0, $acc2
2271          adcx   $acc6, $acc6
2272         .byte   0x67
2273         mulx    %rdx, $t0, $t1
2274         mov     8*3+128($a_ptr), %rdx
2275         adox    $t4, $acc3
2276          adcx   $acc7, $acc7
2277         adox    $t0, $acc4
2278          mov    \$32, $a_ptr
2279         adox    $t1, $acc5
2280         .byte   0x67,0x67
2281         mulx    %rdx, $t0, $t4
2282          mov    .Lpoly+8*3(%rip), %rdx
2283         adox    $t0, $acc6
2284          shlx   $a_ptr, $acc0, $t0
2285         adox    $t4, $acc7
2286          shrx   $a_ptr, $acc0, $t4
2287         mov     %rdx,$t1
2288
2289         # reduction step 1
2290         add     $t0, $acc1
2291         adc     $t4, $acc2
2292
2293         mulx    $acc0, $t0, $acc0
2294         adc     $t0, $acc3
2295          shlx   $a_ptr, $acc1, $t0
2296         adc     \$0, $acc0
2297          shrx   $a_ptr, $acc1, $t4
2298
2299         # reduction step 2
2300         add     $t0, $acc2
2301         adc     $t4, $acc3
2302
2303         mulx    $acc1, $t0, $acc1
2304         adc     $t0, $acc0
2305          shlx   $a_ptr, $acc2, $t0
2306         adc     \$0, $acc1
2307          shrx   $a_ptr, $acc2, $t4
2308
2309         # reduction step 3
2310         add     $t0, $acc3
2311         adc     $t4, $acc0
2312
2313         mulx    $acc2, $t0, $acc2
2314         adc     $t0, $acc1
2315          shlx   $a_ptr, $acc3, $t0
2316         adc     \$0, $acc2
2317          shrx   $a_ptr, $acc3, $t4
2318
2319         # reduction step 4
2320         add     $t0, $acc0
2321         adc     $t4, $acc1
2322
2323         mulx    $acc3, $t0, $acc3
2324         adc     $t0, $acc2
2325         adc     \$0, $acc3
2326
2327         xor     $t3, $t3
2328         add     $acc0, $acc4            # accumulate upper half
2329          mov    .Lpoly+8*1(%rip), $a_ptr
2330         adc     $acc1, $acc5
2331          mov    $acc4, $acc0
2332         adc     $acc2, $acc6
2333         adc     $acc3, $acc7
2334          mov    $acc5, $acc1
2335         adc     \$0, $t3
2336
2337         sub     \$-1, $acc4             # .Lpoly[0]
2338          mov    $acc6, $acc2
2339         sbb     $a_ptr, $acc5           # .Lpoly[1]
2340         sbb     \$0, $acc6              # .Lpoly[2]
2341          mov    $acc7, $acc3
2342         sbb     $t1, $acc7              # .Lpoly[3]
2343         sbb     \$0, $t3
2344
2345         cmovc   $acc0, $acc4
2346         cmovc   $acc1, $acc5
2347         mov     $acc4, 8*0($r_ptr)
2348         cmovc   $acc2, $acc6
2349         mov     $acc5, 8*1($r_ptr)
2350         cmovc   $acc3, $acc7
2351         mov     $acc6, 8*2($r_ptr)
2352         mov     $acc7, 8*3($r_ptr)
2353
2354         ret
2355 .size   __ecp_nistz256_sqr_montx,.-__ecp_nistz256_sqr_montx
2356 ___
2357 }
2358 }
2359 {
2360 my ($r_ptr,$in_ptr)=("%rdi","%rsi");
2361 my ($acc0,$acc1,$acc2,$acc3)=map("%r$_",(8..11));
2362 my ($t0,$t1,$t2)=("%rcx","%r12","%r13");
2363
2364 $code.=<<___;
2365 ################################################################################
2366 # void ecp_nistz256_from_mont(
2367 #   uint64_t res[4],
2368 #   uint64_t in[4]);
2369 # This one performs Montgomery multiplication by 1, so we only need the reduction
2370
2371 .globl  ecp_nistz256_from_mont
2372 .type   ecp_nistz256_from_mont,\@function,2
2373 .align  32
2374 ecp_nistz256_from_mont:
2375 .cfi_startproc
2376         push    %r12
2377 .cfi_push       %r12
2378         push    %r13
2379 .cfi_push       %r13
2380 .Lfrom_body:
2381
2382         mov     8*0($in_ptr), %rax
2383         mov     .Lpoly+8*3(%rip), $t2
2384         mov     8*1($in_ptr), $acc1
2385         mov     8*2($in_ptr), $acc2
2386         mov     8*3($in_ptr), $acc3
2387         mov     %rax, $acc0
2388         mov     .Lpoly+8*1(%rip), $t1
2389
2390         #########################################
2391         # First iteration
2392         mov     %rax, $t0
2393         shl     \$32, $acc0
2394         mulq    $t2
2395         shr     \$32, $t0
2396         add     $acc0, $acc1
2397         adc     $t0, $acc2
2398         adc     %rax, $acc3
2399          mov    $acc1, %rax
2400         adc     \$0, %rdx
2401
2402         #########################################
2403         # Second iteration
2404         mov     $acc1, $t0
2405         shl     \$32, $acc1
2406         mov     %rdx, $acc0
2407         mulq    $t2
2408         shr     \$32, $t0
2409         add     $acc1, $acc2
2410         adc     $t0, $acc3
2411         adc     %rax, $acc0
2412          mov    $acc2, %rax
2413         adc     \$0, %rdx
2414
2415         ##########################################
2416         # Third iteration
2417         mov     $acc2, $t0
2418         shl     \$32, $acc2
2419         mov     %rdx, $acc1
2420         mulq    $t2
2421         shr     \$32, $t0
2422         add     $acc2, $acc3
2423         adc     $t0, $acc0
2424         adc     %rax, $acc1
2425          mov    $acc3, %rax
2426         adc     \$0, %rdx
2427
2428         ###########################################
2429         # Last iteration
2430         mov     $acc3, $t0
2431         shl     \$32, $acc3
2432         mov     %rdx, $acc2
2433         mulq    $t2
2434         shr     \$32, $t0
2435         add     $acc3, $acc0
2436         adc     $t0, $acc1
2437          mov    $acc0, $t0
2438         adc     %rax, $acc2
2439          mov    $acc1, $in_ptr
2440         adc     \$0, %rdx
2441
2442         ###########################################
2443         # Branch-less conditional subtraction
2444         sub     \$-1, $acc0
2445          mov    $acc2, %rax
2446         sbb     $t1, $acc1
2447         sbb     \$0, $acc2
2448          mov    %rdx, $acc3
2449         sbb     $t2, %rdx
2450         sbb     $t2, $t2
2451
2452         cmovnz  $t0, $acc0
2453         cmovnz  $in_ptr, $acc1
2454         mov     $acc0, 8*0($r_ptr)
2455         cmovnz  %rax, $acc2
2456         mov     $acc1, 8*1($r_ptr)
2457         cmovz   %rdx, $acc3
2458         mov     $acc2, 8*2($r_ptr)
2459         mov     $acc3, 8*3($r_ptr)
2460
2461         mov     0(%rsp),%r13
2462 .cfi_restore    %r13
2463         mov     8(%rsp),%r12
2464 .cfi_restore    %r12
2465         lea     16(%rsp),%rsp
2466 .cfi_adjust_cfa_offset  -16
2467 .Lfrom_epilogue:
2468         ret
2469 .cfi_endproc
2470 .size   ecp_nistz256_from_mont,.-ecp_nistz256_from_mont
2471 ___
2472 }
2473 {
2474 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
2475 my ($ONE,$INDEX,$Ra,$Rb,$Rc,$Rd,$Re,$Rf)=map("%xmm$_",(0..7));
2476 my ($M0,$T0a,$T0b,$T0c,$T0d,$T0e,$T0f,$TMP0)=map("%xmm$_",(8..15));
2477 my ($M1,$T2a,$T2b,$TMP2,$M2,$T2a,$T2b,$TMP2)=map("%xmm$_",(8..15));
2478
2479 $code.=<<___;
2480 ################################################################################
2481 # void ecp_nistz256_scatter_w5(uint64_t *val, uint64_t *in_t, int index);
2482 .globl  ecp_nistz256_scatter_w5
2483 .type   ecp_nistz256_scatter_w5,\@abi-omnipotent
2484 .align  32
2485 ecp_nistz256_scatter_w5:
2486         lea     -3($index,$index,2), $index
2487         movdqa  0x00($in_t), %xmm0
2488         shl     \$5, $index
2489         movdqa  0x10($in_t), %xmm1
2490         movdqa  0x20($in_t), %xmm2
2491         movdqa  0x30($in_t), %xmm3
2492         movdqa  0x40($in_t), %xmm4
2493         movdqa  0x50($in_t), %xmm5
2494         movdqa  %xmm0, 0x00($val,$index)
2495         movdqa  %xmm1, 0x10($val,$index)
2496         movdqa  %xmm2, 0x20($val,$index)
2497         movdqa  %xmm3, 0x30($val,$index)
2498         movdqa  %xmm4, 0x40($val,$index)
2499         movdqa  %xmm5, 0x50($val,$index)
2500
2501         ret
2502 .size   ecp_nistz256_scatter_w5,.-ecp_nistz256_scatter_w5
2503
2504 ################################################################################
2505 # void ecp_nistz256_gather_w5(uint64_t *val, uint64_t *in_t, int index);
2506 .globl  ecp_nistz256_gather_w5
2507 .type   ecp_nistz256_gather_w5,\@abi-omnipotent
2508 .align  32
2509 ecp_nistz256_gather_w5:
2510 ___
2511 $code.=<<___    if ($avx>1);
2512         mov     OPENSSL_ia32cap_P+8(%rip), %eax
2513         test    \$`1<<5`, %eax
2514         jnz     .Lavx2_gather_w5
2515 ___
2516 $code.=<<___    if ($win64);
2517         lea     -0x88(%rsp), %rax
2518 .LSEH_begin_ecp_nistz256_gather_w5:
2519         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
2520         .byte   0x0f,0x29,0x70,0xe0             #movaps %xmm6, -0x20(%rax)
2521         .byte   0x0f,0x29,0x78,0xf0             #movaps %xmm7, -0x10(%rax)
2522         .byte   0x44,0x0f,0x29,0x00             #movaps %xmm8, 0(%rax)
2523         .byte   0x44,0x0f,0x29,0x48,0x10        #movaps %xmm9, 0x10(%rax)
2524         .byte   0x44,0x0f,0x29,0x50,0x20        #movaps %xmm10, 0x20(%rax)
2525         .byte   0x44,0x0f,0x29,0x58,0x30        #movaps %xmm11, 0x30(%rax)
2526         .byte   0x44,0x0f,0x29,0x60,0x40        #movaps %xmm12, 0x40(%rax)
2527         .byte   0x44,0x0f,0x29,0x68,0x50        #movaps %xmm13, 0x50(%rax)
2528         .byte   0x44,0x0f,0x29,0x70,0x60        #movaps %xmm14, 0x60(%rax)
2529         .byte   0x44,0x0f,0x29,0x78,0x70        #movaps %xmm15, 0x70(%rax)
2530 ___
2531 $code.=<<___;
2532         movdqa  .LOne(%rip), $ONE
2533         movd    $index, $INDEX
2534
2535         pxor    $Ra, $Ra
2536         pxor    $Rb, $Rb
2537         pxor    $Rc, $Rc
2538         pxor    $Rd, $Rd
2539         pxor    $Re, $Re
2540         pxor    $Rf, $Rf
2541
2542         movdqa  $ONE, $M0
2543         pshufd  \$0, $INDEX, $INDEX
2544
2545         mov     \$16, %rax
2546 .Lselect_loop_sse_w5:
2547
2548         movdqa  $M0, $TMP0
2549         paddd   $ONE, $M0
2550         pcmpeqd $INDEX, $TMP0
2551
2552         movdqa  16*0($in_t), $T0a
2553         movdqa  16*1($in_t), $T0b
2554         movdqa  16*2($in_t), $T0c
2555         movdqa  16*3($in_t), $T0d
2556         movdqa  16*4($in_t), $T0e
2557         movdqa  16*5($in_t), $T0f
2558         lea 16*6($in_t), $in_t
2559
2560         pand    $TMP0, $T0a
2561         pand    $TMP0, $T0b
2562         por     $T0a, $Ra
2563         pand    $TMP0, $T0c
2564         por     $T0b, $Rb
2565         pand    $TMP0, $T0d
2566         por     $T0c, $Rc
2567         pand    $TMP0, $T0e
2568         por     $T0d, $Rd
2569         pand    $TMP0, $T0f
2570         por     $T0e, $Re
2571         por     $T0f, $Rf
2572
2573         dec     %rax
2574         jnz     .Lselect_loop_sse_w5
2575
2576         movdqu  $Ra, 16*0($val)
2577         movdqu  $Rb, 16*1($val)
2578         movdqu  $Rc, 16*2($val)
2579         movdqu  $Rd, 16*3($val)
2580         movdqu  $Re, 16*4($val)
2581         movdqu  $Rf, 16*5($val)
2582 ___
2583 $code.=<<___    if ($win64);
2584         movaps  (%rsp), %xmm6
2585         movaps  0x10(%rsp), %xmm7
2586         movaps  0x20(%rsp), %xmm8
2587         movaps  0x30(%rsp), %xmm9
2588         movaps  0x40(%rsp), %xmm10
2589         movaps  0x50(%rsp), %xmm11
2590         movaps  0x60(%rsp), %xmm12
2591         movaps  0x70(%rsp), %xmm13
2592         movaps  0x80(%rsp), %xmm14
2593         movaps  0x90(%rsp), %xmm15
2594         lea     0xa8(%rsp), %rsp
2595 ___
2596 $code.=<<___;
2597         ret
2598 .LSEH_end_ecp_nistz256_gather_w5:
2599 .size   ecp_nistz256_gather_w5,.-ecp_nistz256_gather_w5
2600
2601 ################################################################################
2602 # void ecp_nistz256_scatter_w7(uint64_t *val, uint64_t *in_t, int index);
2603 .globl  ecp_nistz256_scatter_w7
2604 .type   ecp_nistz256_scatter_w7,\@abi-omnipotent
2605 .align  32
2606 ecp_nistz256_scatter_w7:
2607         movdqu  0x00($in_t), %xmm0
2608         shl     \$6, $index
2609         movdqu  0x10($in_t), %xmm1
2610         movdqu  0x20($in_t), %xmm2
2611         movdqu  0x30($in_t), %xmm3
2612         movdqa  %xmm0, 0x00($val,$index)
2613         movdqa  %xmm1, 0x10($val,$index)
2614         movdqa  %xmm2, 0x20($val,$index)
2615         movdqa  %xmm3, 0x30($val,$index)
2616
2617         ret
2618 .size   ecp_nistz256_scatter_w7,.-ecp_nistz256_scatter_w7
2619
2620 ################################################################################
2621 # void ecp_nistz256_gather_w7(uint64_t *val, uint64_t *in_t, int index);
2622 .globl  ecp_nistz256_gather_w7
2623 .type   ecp_nistz256_gather_w7,\@abi-omnipotent
2624 .align  32
2625 ecp_nistz256_gather_w7:
2626 ___
2627 $code.=<<___    if ($avx>1);
2628         mov     OPENSSL_ia32cap_P+8(%rip), %eax
2629         test    \$`1<<5`, %eax
2630         jnz     .Lavx2_gather_w7
2631 ___
2632 $code.=<<___    if ($win64);
2633         lea     -0x88(%rsp), %rax
2634 .LSEH_begin_ecp_nistz256_gather_w7:
2635         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
2636         .byte   0x0f,0x29,0x70,0xe0             #movaps %xmm6, -0x20(%rax)
2637         .byte   0x0f,0x29,0x78,0xf0             #movaps %xmm7, -0x10(%rax)
2638         .byte   0x44,0x0f,0x29,0x00             #movaps %xmm8, 0(%rax)
2639         .byte   0x44,0x0f,0x29,0x48,0x10        #movaps %xmm9, 0x10(%rax)
2640         .byte   0x44,0x0f,0x29,0x50,0x20        #movaps %xmm10, 0x20(%rax)
2641         .byte   0x44,0x0f,0x29,0x58,0x30        #movaps %xmm11, 0x30(%rax)
2642         .byte   0x44,0x0f,0x29,0x60,0x40        #movaps %xmm12, 0x40(%rax)
2643         .byte   0x44,0x0f,0x29,0x68,0x50        #movaps %xmm13, 0x50(%rax)
2644         .byte   0x44,0x0f,0x29,0x70,0x60        #movaps %xmm14, 0x60(%rax)
2645         .byte   0x44,0x0f,0x29,0x78,0x70        #movaps %xmm15, 0x70(%rax)
2646 ___
2647 $code.=<<___;
2648         movdqa  .LOne(%rip), $M0
2649         movd    $index, $INDEX
2650
2651         pxor    $Ra, $Ra
2652         pxor    $Rb, $Rb
2653         pxor    $Rc, $Rc
2654         pxor    $Rd, $Rd
2655
2656         movdqa  $M0, $ONE
2657         pshufd  \$0, $INDEX, $INDEX
2658         mov     \$64, %rax
2659
2660 .Lselect_loop_sse_w7:
2661         movdqa  $M0, $TMP0
2662         paddd   $ONE, $M0
2663         movdqa  16*0($in_t), $T0a
2664         movdqa  16*1($in_t), $T0b
2665         pcmpeqd $INDEX, $TMP0
2666         movdqa  16*2($in_t), $T0c
2667         movdqa  16*3($in_t), $T0d
2668         lea     16*4($in_t), $in_t
2669
2670         pand    $TMP0, $T0a
2671         pand    $TMP0, $T0b
2672         por     $T0a, $Ra
2673         pand    $TMP0, $T0c
2674         por     $T0b, $Rb
2675         pand    $TMP0, $T0d
2676         por     $T0c, $Rc
2677         prefetcht0      255($in_t)
2678         por     $T0d, $Rd
2679
2680         dec     %rax
2681         jnz     .Lselect_loop_sse_w7
2682
2683         movdqu  $Ra, 16*0($val)
2684         movdqu  $Rb, 16*1($val)
2685         movdqu  $Rc, 16*2($val)
2686         movdqu  $Rd, 16*3($val)
2687 ___
2688 $code.=<<___    if ($win64);
2689         movaps  (%rsp), %xmm6
2690         movaps  0x10(%rsp), %xmm7
2691         movaps  0x20(%rsp), %xmm8
2692         movaps  0x30(%rsp), %xmm9
2693         movaps  0x40(%rsp), %xmm10
2694         movaps  0x50(%rsp), %xmm11
2695         movaps  0x60(%rsp), %xmm12
2696         movaps  0x70(%rsp), %xmm13
2697         movaps  0x80(%rsp), %xmm14
2698         movaps  0x90(%rsp), %xmm15
2699         lea     0xa8(%rsp), %rsp
2700 ___
2701 $code.=<<___;
2702         ret
2703 .LSEH_end_ecp_nistz256_gather_w7:
2704 .size   ecp_nistz256_gather_w7,.-ecp_nistz256_gather_w7
2705 ___
2706 }
2707 if ($avx>1) {
2708 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
2709 my ($TWO,$INDEX,$Ra,$Rb,$Rc)=map("%ymm$_",(0..4));
2710 my ($M0,$T0a,$T0b,$T0c,$TMP0)=map("%ymm$_",(5..9));
2711 my ($M1,$T1a,$T1b,$T1c,$TMP1)=map("%ymm$_",(10..14));
2712
2713 $code.=<<___;
2714 ################################################################################
2715 # void ecp_nistz256_avx2_gather_w5(uint64_t *val, uint64_t *in_t, int index);
2716 .type   ecp_nistz256_avx2_gather_w5,\@abi-omnipotent
2717 .align  32
2718 ecp_nistz256_avx2_gather_w5:
2719 .Lavx2_gather_w5:
2720         vzeroupper
2721 ___
2722 $code.=<<___    if ($win64);
2723         lea     -0x88(%rsp), %rax
2724         mov     %rsp,%r11
2725 .LSEH_begin_ecp_nistz256_avx2_gather_w5:
2726         .byte   0x48,0x8d,0x60,0xe0             # lea   -0x20(%rax), %rsp
2727         .byte   0xc5,0xf8,0x29,0x70,0xe0        # vmovaps %xmm6, -0x20(%rax)
2728         .byte   0xc5,0xf8,0x29,0x78,0xf0        # vmovaps %xmm7, -0x10(%rax)
2729         .byte   0xc5,0x78,0x29,0x40,0x00        # vmovaps %xmm8, 8(%rax)
2730         .byte   0xc5,0x78,0x29,0x48,0x10        # vmovaps %xmm9, 0x10(%rax)
2731         .byte   0xc5,0x78,0x29,0x50,0x20        # vmovaps %xmm10, 0x20(%rax)
2732         .byte   0xc5,0x78,0x29,0x58,0x30        # vmovaps %xmm11, 0x30(%rax)
2733         .byte   0xc5,0x78,0x29,0x60,0x40        # vmovaps %xmm12, 0x40(%rax)
2734         .byte   0xc5,0x78,0x29,0x68,0x50        # vmovaps %xmm13, 0x50(%rax)
2735         .byte   0xc5,0x78,0x29,0x70,0x60        # vmovaps %xmm14, 0x60(%rax)
2736         .byte   0xc5,0x78,0x29,0x78,0x70        # vmovaps %xmm15, 0x70(%rax)
2737 ___
2738 $code.=<<___;
2739         vmovdqa .LTwo(%rip), $TWO
2740
2741         vpxor   $Ra, $Ra, $Ra
2742         vpxor   $Rb, $Rb, $Rb
2743         vpxor   $Rc, $Rc, $Rc
2744
2745         vmovdqa .LOne(%rip), $M0
2746         vmovdqa .LTwo(%rip), $M1
2747
2748         vmovd   $index, %xmm1
2749         vpermd  $INDEX, $Ra, $INDEX
2750
2751         mov     \$8, %rax
2752 .Lselect_loop_avx2_w5:
2753
2754         vmovdqa 32*0($in_t), $T0a
2755         vmovdqa 32*1($in_t), $T0b
2756         vmovdqa 32*2($in_t), $T0c
2757
2758         vmovdqa 32*3($in_t), $T1a
2759         vmovdqa 32*4($in_t), $T1b
2760         vmovdqa 32*5($in_t), $T1c
2761
2762         vpcmpeqd        $INDEX, $M0, $TMP0
2763         vpcmpeqd        $INDEX, $M1, $TMP1
2764
2765         vpaddd  $TWO, $M0, $M0
2766         vpaddd  $TWO, $M1, $M1
2767         lea     32*6($in_t), $in_t
2768
2769         vpand   $TMP0, $T0a, $T0a
2770         vpand   $TMP0, $T0b, $T0b
2771         vpand   $TMP0, $T0c, $T0c
2772         vpand   $TMP1, $T1a, $T1a
2773         vpand   $TMP1, $T1b, $T1b
2774         vpand   $TMP1, $T1c, $T1c
2775
2776         vpxor   $T0a, $Ra, $Ra
2777         vpxor   $T0b, $Rb, $Rb
2778         vpxor   $T0c, $Rc, $Rc
2779         vpxor   $T1a, $Ra, $Ra
2780         vpxor   $T1b, $Rb, $Rb
2781         vpxor   $T1c, $Rc, $Rc
2782
2783         dec %rax
2784         jnz .Lselect_loop_avx2_w5
2785
2786         vmovdqu $Ra, 32*0($val)
2787         vmovdqu $Rb, 32*1($val)
2788         vmovdqu $Rc, 32*2($val)
2789         vzeroupper
2790 ___
2791 $code.=<<___    if ($win64);
2792         movaps  (%rsp), %xmm6
2793         movaps  0x10(%rsp), %xmm7
2794         movaps  0x20(%rsp), %xmm8
2795         movaps  0x30(%rsp), %xmm9
2796         movaps  0x40(%rsp), %xmm10
2797         movaps  0x50(%rsp), %xmm11
2798         movaps  0x60(%rsp), %xmm12
2799         movaps  0x70(%rsp), %xmm13
2800         movaps  0x80(%rsp), %xmm14
2801         movaps  0x90(%rsp), %xmm15
2802         lea     (%r11), %rsp
2803 ___
2804 $code.=<<___;
2805         ret
2806 .LSEH_end_ecp_nistz256_avx2_gather_w5:
2807 .size   ecp_nistz256_avx2_gather_w5,.-ecp_nistz256_avx2_gather_w5
2808 ___
2809 }
2810 if ($avx>1) {
2811 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
2812 my ($THREE,$INDEX,$Ra,$Rb)=map("%ymm$_",(0..3));
2813 my ($M0,$T0a,$T0b,$TMP0)=map("%ymm$_",(4..7));
2814 my ($M1,$T1a,$T1b,$TMP1)=map("%ymm$_",(8..11));
2815 my ($M2,$T2a,$T2b,$TMP2)=map("%ymm$_",(12..15));
2816
2817 $code.=<<___;
2818
2819 ################################################################################
2820 # void ecp_nistz256_avx2_gather_w7(uint64_t *val, uint64_t *in_t, int index);
2821 .globl  ecp_nistz256_avx2_gather_w7
2822 .type   ecp_nistz256_avx2_gather_w7,\@abi-omnipotent
2823 .align  32
2824 ecp_nistz256_avx2_gather_w7:
2825 .Lavx2_gather_w7:
2826         vzeroupper
2827 ___
2828 $code.=<<___    if ($win64);
2829         mov     %rsp,%r11
2830         lea     -0x88(%rsp), %rax
2831 .LSEH_begin_ecp_nistz256_avx2_gather_w7:
2832         .byte   0x48,0x8d,0x60,0xe0             # lea   -0x20(%rax), %rsp
2833         .byte   0xc5,0xf8,0x29,0x70,0xe0        # vmovaps %xmm6, -0x20(%rax)
2834         .byte   0xc5,0xf8,0x29,0x78,0xf0        # vmovaps %xmm7, -0x10(%rax)
2835         .byte   0xc5,0x78,0x29,0x40,0x00        # vmovaps %xmm8, 8(%rax)
2836         .byte   0xc5,0x78,0x29,0x48,0x10        # vmovaps %xmm9, 0x10(%rax)
2837         .byte   0xc5,0x78,0x29,0x50,0x20        # vmovaps %xmm10, 0x20(%rax)
2838         .byte   0xc5,0x78,0x29,0x58,0x30        # vmovaps %xmm11, 0x30(%rax)
2839         .byte   0xc5,0x78,0x29,0x60,0x40        # vmovaps %xmm12, 0x40(%rax)
2840         .byte   0xc5,0x78,0x29,0x68,0x50        # vmovaps %xmm13, 0x50(%rax)
2841         .byte   0xc5,0x78,0x29,0x70,0x60        # vmovaps %xmm14, 0x60(%rax)
2842         .byte   0xc5,0x78,0x29,0x78,0x70        # vmovaps %xmm15, 0x70(%rax)
2843 ___
2844 $code.=<<___;
2845         vmovdqa .LThree(%rip), $THREE
2846
2847         vpxor   $Ra, $Ra, $Ra
2848         vpxor   $Rb, $Rb, $Rb
2849
2850         vmovdqa .LOne(%rip), $M0
2851         vmovdqa .LTwo(%rip), $M1
2852         vmovdqa .LThree(%rip), $M2
2853
2854         vmovd   $index, %xmm1
2855         vpermd  $INDEX, $Ra, $INDEX
2856         # Skip index = 0, because it is implicitly the point at infinity
2857
2858         mov     \$21, %rax
2859 .Lselect_loop_avx2_w7:
2860
2861         vmovdqa 32*0($in_t), $T0a
2862         vmovdqa 32*1($in_t), $T0b
2863
2864         vmovdqa 32*2($in_t), $T1a
2865         vmovdqa 32*3($in_t), $T1b
2866
2867         vmovdqa 32*4($in_t), $T2a
2868         vmovdqa 32*5($in_t), $T2b
2869
2870         vpcmpeqd        $INDEX, $M0, $TMP0
2871         vpcmpeqd        $INDEX, $M1, $TMP1
2872         vpcmpeqd        $INDEX, $M2, $TMP2
2873
2874         vpaddd  $THREE, $M0, $M0
2875         vpaddd  $THREE, $M1, $M1
2876         vpaddd  $THREE, $M2, $M2
2877         lea     32*6($in_t), $in_t
2878
2879         vpand   $TMP0, $T0a, $T0a
2880         vpand   $TMP0, $T0b, $T0b
2881         vpand   $TMP1, $T1a, $T1a
2882         vpand   $TMP1, $T1b, $T1b
2883         vpand   $TMP2, $T2a, $T2a
2884         vpand   $TMP2, $T2b, $T2b
2885
2886         vpxor   $T0a, $Ra, $Ra
2887         vpxor   $T0b, $Rb, $Rb
2888         vpxor   $T1a, $Ra, $Ra
2889         vpxor   $T1b, $Rb, $Rb
2890         vpxor   $T2a, $Ra, $Ra
2891         vpxor   $T2b, $Rb, $Rb
2892
2893         dec %rax
2894         jnz .Lselect_loop_avx2_w7
2895
2896
2897         vmovdqa 32*0($in_t), $T0a
2898         vmovdqa 32*1($in_t), $T0b
2899
2900         vpcmpeqd        $INDEX, $M0, $TMP0
2901
2902         vpand   $TMP0, $T0a, $T0a
2903         vpand   $TMP0, $T0b, $T0b
2904
2905         vpxor   $T0a, $Ra, $Ra
2906         vpxor   $T0b, $Rb, $Rb
2907
2908         vmovdqu $Ra, 32*0($val)
2909         vmovdqu $Rb, 32*1($val)
2910         vzeroupper
2911 ___
2912 $code.=<<___    if ($win64);
2913         movaps  (%rsp), %xmm6
2914         movaps  0x10(%rsp), %xmm7
2915         movaps  0x20(%rsp), %xmm8
2916         movaps  0x30(%rsp), %xmm9
2917         movaps  0x40(%rsp), %xmm10
2918         movaps  0x50(%rsp), %xmm11
2919         movaps  0x60(%rsp), %xmm12
2920         movaps  0x70(%rsp), %xmm13
2921         movaps  0x80(%rsp), %xmm14
2922         movaps  0x90(%rsp), %xmm15
2923         lea     (%r11), %rsp
2924 ___
2925 $code.=<<___;
2926         ret
2927 .LSEH_end_ecp_nistz256_avx2_gather_w7:
2928 .size   ecp_nistz256_avx2_gather_w7,.-ecp_nistz256_avx2_gather_w7
2929 ___
2930 } else {
2931 $code.=<<___;
2932 .globl  ecp_nistz256_avx2_gather_w7
2933 .type   ecp_nistz256_avx2_gather_w7,\@function,3
2934 .align  32
2935 ecp_nistz256_avx2_gather_w7:
2936         .byte   0x0f,0x0b       # ud2
2937         ret
2938 .size   ecp_nistz256_avx2_gather_w7,.-ecp_nistz256_avx2_gather_w7
2939 ___
2940 }
2941 {{{
2942 ########################################################################
2943 # This block implements higher level point_double, point_add and
2944 # point_add_affine. The key to performance in this case is to allow
2945 # out-of-order execution logic to overlap computations from next step
2946 # with tail processing from current step. By using tailored calling
2947 # sequence we minimize inter-step overhead to give processor better
2948 # shot at overlapping operations...
2949 #
2950 # You will notice that input data is copied to stack. Trouble is that
2951 # there are no registers to spare for holding original pointers and
2952 # reloading them, pointers, would create undesired dependencies on
2953 # effective addresses calculation paths. In other words it's too done
2954 # to favour out-of-order execution logic.
2955 #                                               <appro@openssl.org>
2956
2957 my ($r_ptr,$a_ptr,$b_org,$b_ptr)=("%rdi","%rsi","%rdx","%rbx");
2958 my ($acc0,$acc1,$acc2,$acc3,$acc4,$acc5,$acc6,$acc7)=map("%r$_",(8..15));
2959 my ($t0,$t1,$t2,$t3,$t4)=("%rax","%rbp","%rcx",$acc4,$acc4);
2960 my ($poly1,$poly3)=($acc6,$acc7);
2961
2962 sub load_for_mul () {
2963 my ($a,$b,$src0) = @_;
2964 my $bias = $src0 eq "%rax" ? 0 : -128;
2965
2966 "       mov     $b, $src0
2967         lea     $b, $b_ptr
2968         mov     8*0+$a, $acc1
2969         mov     8*1+$a, $acc2
2970         lea     $bias+$a, $a_ptr
2971         mov     8*2+$a, $acc3
2972         mov     8*3+$a, $acc4"
2973 }
2974
2975 sub load_for_sqr () {
2976 my ($a,$src0) = @_;
2977 my $bias = $src0 eq "%rax" ? 0 : -128;
2978
2979 "       mov     8*0+$a, $src0
2980         mov     8*1+$a, $acc6
2981         lea     $bias+$a, $a_ptr
2982         mov     8*2+$a, $acc7
2983         mov     8*3+$a, $acc0"
2984 }
2985
2986                                                                         {
2987 ########################################################################
2988 # operate in 4-5-0-1 "name space" that matches multiplication output
2989 #
2990 my ($a0,$a1,$a2,$a3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
2991
2992 $code.=<<___;
2993 .type   __ecp_nistz256_add_toq,\@abi-omnipotent
2994 .align  32
2995 __ecp_nistz256_add_toq:
2996         xor     $t4,$t4
2997         add     8*0($b_ptr), $a0
2998         adc     8*1($b_ptr), $a1
2999          mov    $a0, $t0
3000         adc     8*2($b_ptr), $a2
3001         adc     8*3($b_ptr), $a3
3002          mov    $a1, $t1
3003         adc     \$0, $t4
3004
3005         sub     \$-1, $a0
3006          mov    $a2, $t2
3007         sbb     $poly1, $a1
3008         sbb     \$0, $a2
3009          mov    $a3, $t3
3010         sbb     $poly3, $a3
3011         sbb     \$0, $t4
3012
3013         cmovc   $t0, $a0
3014         cmovc   $t1, $a1
3015         mov     $a0, 8*0($r_ptr)
3016         cmovc   $t2, $a2
3017         mov     $a1, 8*1($r_ptr)
3018         cmovc   $t3, $a3
3019         mov     $a2, 8*2($r_ptr)
3020         mov     $a3, 8*3($r_ptr)
3021
3022         ret
3023 .size   __ecp_nistz256_add_toq,.-__ecp_nistz256_add_toq
3024
3025 .type   __ecp_nistz256_sub_fromq,\@abi-omnipotent
3026 .align  32
3027 __ecp_nistz256_sub_fromq:
3028         sub     8*0($b_ptr), $a0
3029         sbb     8*1($b_ptr), $a1
3030          mov    $a0, $t0
3031         sbb     8*2($b_ptr), $a2
3032         sbb     8*3($b_ptr), $a3
3033          mov    $a1, $t1
3034         sbb     $t4, $t4
3035
3036         add     \$-1, $a0
3037          mov    $a2, $t2
3038         adc     $poly1, $a1
3039         adc     \$0, $a2
3040          mov    $a3, $t3
3041         adc     $poly3, $a3
3042         test    $t4, $t4
3043
3044         cmovz   $t0, $a0
3045         cmovz   $t1, $a1
3046         mov     $a0, 8*0($r_ptr)
3047         cmovz   $t2, $a2
3048         mov     $a1, 8*1($r_ptr)
3049         cmovz   $t3, $a3
3050         mov     $a2, 8*2($r_ptr)
3051         mov     $a3, 8*3($r_ptr)
3052
3053         ret
3054 .size   __ecp_nistz256_sub_fromq,.-__ecp_nistz256_sub_fromq
3055
3056 .type   __ecp_nistz256_subq,\@abi-omnipotent
3057 .align  32
3058 __ecp_nistz256_subq:
3059         sub     $a0, $t0
3060         sbb     $a1, $t1
3061          mov    $t0, $a0
3062         sbb     $a2, $t2
3063         sbb     $a3, $t3
3064          mov    $t1, $a1
3065         sbb     $t4, $t4
3066
3067         add     \$-1, $t0
3068          mov    $t2, $a2
3069         adc     $poly1, $t1
3070         adc     \$0, $t2
3071          mov    $t3, $a3
3072         adc     $poly3, $t3
3073         test    $t4, $t4
3074
3075         cmovnz  $t0, $a0
3076         cmovnz  $t1, $a1
3077         cmovnz  $t2, $a2
3078         cmovnz  $t3, $a3
3079
3080         ret
3081 .size   __ecp_nistz256_subq,.-__ecp_nistz256_subq
3082
3083 .type   __ecp_nistz256_mul_by_2q,\@abi-omnipotent
3084 .align  32
3085 __ecp_nistz256_mul_by_2q:
3086         xor     $t4, $t4
3087         add     $a0, $a0                # a0:a3+a0:a3
3088         adc     $a1, $a1
3089          mov    $a0, $t0
3090         adc     $a2, $a2
3091         adc     $a3, $a3
3092          mov    $a1, $t1
3093         adc     \$0, $t4
3094
3095         sub     \$-1, $a0
3096          mov    $a2, $t2
3097         sbb     $poly1, $a1
3098         sbb     \$0, $a2
3099          mov    $a3, $t3
3100         sbb     $poly3, $a3
3101         sbb     \$0, $t4
3102
3103         cmovc   $t0, $a0
3104         cmovc   $t1, $a1
3105         mov     $a0, 8*0($r_ptr)
3106         cmovc   $t2, $a2
3107         mov     $a1, 8*1($r_ptr)
3108         cmovc   $t3, $a3
3109         mov     $a2, 8*2($r_ptr)
3110         mov     $a3, 8*3($r_ptr)
3111
3112         ret
3113 .size   __ecp_nistz256_mul_by_2q,.-__ecp_nistz256_mul_by_2q
3114 ___
3115                                                                         }
3116 sub gen_double () {
3117     my $x = shift;
3118     my ($src0,$sfx,$bias);
3119     my ($S,$M,$Zsqr,$in_x,$tmp0)=map(32*$_,(0..4));
3120
3121     if ($x ne "x") {
3122         $src0 = "%rax";
3123         $sfx  = "";
3124         $bias = 0;
3125
3126 $code.=<<___;
3127 .globl  ecp_nistz256_point_double
3128 .type   ecp_nistz256_point_double,\@function,2
3129 .align  32
3130 ecp_nistz256_point_double:
3131 .cfi_startproc
3132 ___
3133 $code.=<<___    if ($addx);
3134         mov     \$0x80100, %ecx
3135         and     OPENSSL_ia32cap_P+8(%rip), %ecx
3136         cmp     \$0x80100, %ecx
3137         je      .Lpoint_doublex
3138 ___
3139     } else {
3140         $src0 = "%rdx";
3141         $sfx  = "x";
3142         $bias = 128;
3143
3144 $code.=<<___;
3145 .type   ecp_nistz256_point_doublex,\@function,2
3146 .align  32
3147 ecp_nistz256_point_doublex:
3148 .cfi_startproc
3149 .Lpoint_doublex:
3150 ___
3151     }
3152 $code.=<<___;
3153         push    %rbp
3154 .cfi_push       %rbp
3155         push    %rbx
3156 .cfi_push       %rbx
3157         push    %r12
3158 .cfi_push       %r12
3159         push    %r13
3160 .cfi_push       %r13
3161         push    %r14
3162 .cfi_push       %r14
3163         push    %r15
3164 .cfi_push       %r15
3165         sub     \$32*5+8, %rsp
3166 .cfi_adjust_cfa_offset  32*5+8
3167 .Lpoint_double${x}_body:
3168
3169 .Lpoint_double_shortcut$x:
3170         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$a_ptr.x
3171         mov     $a_ptr, $b_ptr                  # backup copy
3172         movdqu  0x10($a_ptr), %xmm1
3173          mov    0x20+8*0($a_ptr), $acc4         # load in_y in "5-4-0-1" order
3174          mov    0x20+8*1($a_ptr), $acc5
3175          mov    0x20+8*2($a_ptr), $acc0
3176          mov    0x20+8*3($a_ptr), $acc1
3177          mov    .Lpoly+8*1(%rip), $poly1
3178          mov    .Lpoly+8*3(%rip), $poly3
3179         movdqa  %xmm0, $in_x(%rsp)
3180         movdqa  %xmm1, $in_x+0x10(%rsp)
3181         lea     0x20($r_ptr), $acc2
3182         lea     0x40($r_ptr), $acc3
3183         movq    $r_ptr, %xmm0
3184         movq    $acc2, %xmm1
3185         movq    $acc3, %xmm2
3186
3187         lea     $S(%rsp), $r_ptr
3188         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(S, in_y);
3189
3190         mov     0x40+8*0($a_ptr), $src0
3191         mov     0x40+8*1($a_ptr), $acc6
3192         mov     0x40+8*2($a_ptr), $acc7
3193         mov     0x40+8*3($a_ptr), $acc0
3194         lea     0x40-$bias($a_ptr), $a_ptr
3195         lea     $Zsqr(%rsp), $r_ptr
3196         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Zsqr, in_z);
3197
3198         `&load_for_sqr("$S(%rsp)", "$src0")`
3199         lea     $S(%rsp), $r_ptr
3200         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(S, S);
3201
3202         mov     0x20($b_ptr), $src0             # $b_ptr is still valid
3203         mov     0x40+8*0($b_ptr), $acc1
3204         mov     0x40+8*1($b_ptr), $acc2
3205         mov     0x40+8*2($b_ptr), $acc3
3206         mov     0x40+8*3($b_ptr), $acc4
3207         lea     0x40-$bias($b_ptr), $a_ptr
3208         lea     0x20($b_ptr), $b_ptr
3209         movq    %xmm2, $r_ptr
3210         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, in_z, in_y);
3211         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(res_z, res_z);
3212
3213         mov     $in_x+8*0(%rsp), $acc4          # "5-4-0-1" order
3214         mov     $in_x+8*1(%rsp), $acc5
3215         lea     $Zsqr(%rsp), $b_ptr
3216         mov     $in_x+8*2(%rsp), $acc0
3217         mov     $in_x+8*3(%rsp), $acc1
3218         lea     $M(%rsp), $r_ptr
3219         call    __ecp_nistz256_add_to$x         # p256_add(M, in_x, Zsqr);
3220
3221         mov     $in_x+8*0(%rsp), $acc4          # "5-4-0-1" order
3222         mov     $in_x+8*1(%rsp), $acc5
3223         lea     $Zsqr(%rsp), $b_ptr
3224         mov     $in_x+8*2(%rsp), $acc0
3225         mov     $in_x+8*3(%rsp), $acc1
3226         lea     $Zsqr(%rsp), $r_ptr
3227         call    __ecp_nistz256_sub_from$x       # p256_sub(Zsqr, in_x, Zsqr);
3228
3229         `&load_for_sqr("$S(%rsp)", "$src0")`
3230         movq    %xmm1, $r_ptr
3231         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(res_y, S);
3232 ___
3233 {
3234 ######## ecp_nistz256_div_by_2(res_y, res_y); ##########################
3235 # operate in 4-5-6-7 "name space" that matches squaring output
3236 #
3237 my ($poly1,$poly3)=($a_ptr,$t1);
3238 my ($a0,$a1,$a2,$a3,$t3,$t4,$t1)=($acc4,$acc5,$acc6,$acc7,$acc0,$acc1,$acc2);
3239
3240 $code.=<<___;
3241         xor     $t4, $t4
3242         mov     $a0, $t0
3243         add     \$-1, $a0
3244         mov     $a1, $t1
3245         adc     $poly1, $a1
3246         mov     $a2, $t2
3247         adc     \$0, $a2
3248         mov     $a3, $t3
3249         adc     $poly3, $a3
3250         adc     \$0, $t4
3251         xor     $a_ptr, $a_ptr          # borrow $a_ptr
3252         test    \$1, $t0
3253
3254         cmovz   $t0, $a0
3255         cmovz   $t1, $a1
3256         cmovz   $t2, $a2
3257         cmovz   $t3, $a3
3258         cmovz   $a_ptr, $t4
3259
3260         mov     $a1, $t0                # a0:a3>>1
3261         shr     \$1, $a0
3262         shl     \$63, $t0
3263         mov     $a2, $t1
3264         shr     \$1, $a1
3265         or      $t0, $a0
3266         shl     \$63, $t1
3267         mov     $a3, $t2
3268         shr     \$1, $a2
3269         or      $t1, $a1
3270         shl     \$63, $t2
3271         mov     $a0, 8*0($r_ptr)
3272         shr     \$1, $a3
3273         mov     $a1, 8*1($r_ptr)
3274         shl     \$63, $t4
3275         or      $t2, $a2
3276         or      $t4, $a3
3277         mov     $a2, 8*2($r_ptr)
3278         mov     $a3, 8*3($r_ptr)
3279 ___
3280 }
3281 $code.=<<___;
3282         `&load_for_mul("$M(%rsp)", "$Zsqr(%rsp)", "$src0")`
3283         lea     $M(%rsp), $r_ptr
3284         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(M, M, Zsqr);
3285
3286         lea     $tmp0(%rsp), $r_ptr
3287         call    __ecp_nistz256_mul_by_2$x
3288
3289         lea     $M(%rsp), $b_ptr
3290         lea     $M(%rsp), $r_ptr
3291         call    __ecp_nistz256_add_to$x         # p256_mul_by_3(M, M);
3292
3293         `&load_for_mul("$S(%rsp)", "$in_x(%rsp)", "$src0")`
3294         lea     $S(%rsp), $r_ptr
3295         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S, S, in_x);
3296
3297         lea     $tmp0(%rsp), $r_ptr
3298         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(tmp0, S);
3299
3300         `&load_for_sqr("$M(%rsp)", "$src0")`
3301         movq    %xmm0, $r_ptr
3302         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(res_x, M);
3303
3304         lea     $tmp0(%rsp), $b_ptr
3305         mov     $acc6, $acc0                    # harmonize sqr output and sub input
3306         mov     $acc7, $acc1
3307         mov     $a_ptr, $poly1
3308         mov     $t1, $poly3
3309         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, tmp0);
3310
3311         mov     $S+8*0(%rsp), $t0
3312         mov     $S+8*1(%rsp), $t1
3313         mov     $S+8*2(%rsp), $t2
3314         mov     $S+8*3(%rsp), $acc2             # "4-5-0-1" order
3315         lea     $S(%rsp), $r_ptr
3316         call    __ecp_nistz256_sub$x            # p256_sub(S, S, res_x);
3317
3318         mov     $M(%rsp), $src0
3319         lea     $M(%rsp), $b_ptr
3320         mov     $acc4, $acc6                    # harmonize sub output and mul input
3321         xor     %ecx, %ecx
3322         mov     $acc4, $S+8*0(%rsp)             # have to save:-(
3323         mov     $acc5, $acc2
3324         mov     $acc5, $S+8*1(%rsp)
3325         cmovz   $acc0, $acc3
3326         mov     $acc0, $S+8*2(%rsp)
3327         lea     $S-$bias(%rsp), $a_ptr
3328         cmovz   $acc1, $acc4
3329         mov     $acc1, $S+8*3(%rsp)
3330         mov     $acc6, $acc1
3331         lea     $S(%rsp), $r_ptr
3332         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S, S, M);
3333
3334         movq    %xmm1, $b_ptr
3335         movq    %xmm1, $r_ptr
3336         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, S, res_y);
3337
3338         lea     32*5+56(%rsp), %rsi
3339 .cfi_def_cfa    %rsi,8
3340         mov     -48(%rsi),%r15
3341 .cfi_restore    %r15
3342         mov     -40(%rsi),%r14
3343 .cfi_restore    %r14
3344         mov     -32(%rsi),%r13
3345 .cfi_restore    %r13
3346         mov     -24(%rsi),%r12
3347 .cfi_restore    %r12
3348         mov     -16(%rsi),%rbx
3349 .cfi_restore    %rbx
3350         mov     -8(%rsi),%rbp
3351 .cfi_restore    %rbp
3352         lea     (%rsi),%rsp
3353 .cfi_def_cfa_register   %rsp
3354 .Lpoint_double${x}_epilogue:
3355         ret
3356 .cfi_endproc
3357 .size   ecp_nistz256_point_double$sfx,.-ecp_nistz256_point_double$sfx
3358 ___
3359 }
3360 &gen_double("q");
3361
3362 sub gen_add () {
3363     my $x = shift;
3364     my ($src0,$sfx,$bias);
3365     my ($H,$Hsqr,$R,$Rsqr,$Hcub,
3366         $U1,$U2,$S1,$S2,
3367         $res_x,$res_y,$res_z,
3368         $in1_x,$in1_y,$in1_z,
3369         $in2_x,$in2_y,$in2_z)=map(32*$_,(0..17));
3370     my ($Z1sqr, $Z2sqr) = ($Hsqr, $Rsqr);
3371
3372     if ($x ne "x") {
3373         $src0 = "%rax";
3374         $sfx  = "";
3375         $bias = 0;
3376
3377 $code.=<<___;
3378 .globl  ecp_nistz256_point_add
3379 .type   ecp_nistz256_point_add,\@function,3
3380 .align  32
3381 ecp_nistz256_point_add:
3382 .cfi_startproc
3383 ___
3384 $code.=<<___    if ($addx);
3385         mov     \$0x80100, %ecx
3386         and     OPENSSL_ia32cap_P+8(%rip), %ecx
3387         cmp     \$0x80100, %ecx
3388         je      .Lpoint_addx
3389 ___
3390     } else {
3391         $src0 = "%rdx";
3392         $sfx  = "x";
3393         $bias = 128;
3394
3395 $code.=<<___;
3396 .type   ecp_nistz256_point_addx,\@function,3
3397 .align  32
3398 ecp_nistz256_point_addx:
3399 .cfi_startproc
3400 .Lpoint_addx:
3401 ___
3402     }
3403 $code.=<<___;
3404         push    %rbp
3405 .cfi_push       %rbp
3406         push    %rbx
3407 .cfi_push       %rbx
3408         push    %r12
3409 .cfi_push       %r12
3410         push    %r13
3411 .cfi_push       %r13
3412         push    %r14
3413 .cfi_push       %r14
3414         push    %r15
3415 .cfi_push       %r15
3416         sub     \$32*18+8, %rsp
3417 .cfi_adjust_cfa_offset  32*18+8
3418 .Lpoint_add${x}_body:
3419
3420         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$a_ptr
3421         movdqu  0x10($a_ptr), %xmm1
3422         movdqu  0x20($a_ptr), %xmm2
3423         movdqu  0x30($a_ptr), %xmm3
3424         movdqu  0x40($a_ptr), %xmm4
3425         movdqu  0x50($a_ptr), %xmm5
3426         mov     $a_ptr, $b_ptr                  # reassign
3427         mov     $b_org, $a_ptr                  # reassign
3428         movdqa  %xmm0, $in1_x(%rsp)
3429         movdqa  %xmm1, $in1_x+0x10(%rsp)
3430         movdqa  %xmm2, $in1_y(%rsp)
3431         movdqa  %xmm3, $in1_y+0x10(%rsp)
3432         movdqa  %xmm4, $in1_z(%rsp)
3433         movdqa  %xmm5, $in1_z+0x10(%rsp)
3434         por     %xmm4, %xmm5
3435
3436         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$b_ptr
3437          pshufd \$0xb1, %xmm5, %xmm3
3438         movdqu  0x10($a_ptr), %xmm1
3439         movdqu  0x20($a_ptr), %xmm2
3440          por    %xmm3, %xmm5
3441         movdqu  0x30($a_ptr), %xmm3
3442          mov    0x40+8*0($a_ptr), $src0         # load original in2_z
3443          mov    0x40+8*1($a_ptr), $acc6
3444          mov    0x40+8*2($a_ptr), $acc7
3445          mov    0x40+8*3($a_ptr), $acc0
3446         movdqa  %xmm0, $in2_x(%rsp)
3447          pshufd \$0x1e, %xmm5, %xmm4
3448         movdqa  %xmm1, $in2_x+0x10(%rsp)
3449         movdqu  0x40($a_ptr),%xmm0              # in2_z again
3450         movdqu  0x50($a_ptr),%xmm1
3451         movdqa  %xmm2, $in2_y(%rsp)
3452         movdqa  %xmm3, $in2_y+0x10(%rsp)
3453          por    %xmm4, %xmm5
3454          pxor   %xmm4, %xmm4
3455         por     %xmm0, %xmm1
3456          movq   $r_ptr, %xmm0                   # save $r_ptr
3457
3458         lea     0x40-$bias($a_ptr), $a_ptr      # $a_ptr is still valid
3459          mov    $src0, $in2_z+8*0(%rsp)         # make in2_z copy
3460          mov    $acc6, $in2_z+8*1(%rsp)
3461          mov    $acc7, $in2_z+8*2(%rsp)
3462          mov    $acc0, $in2_z+8*3(%rsp)
3463         lea     $Z2sqr(%rsp), $r_ptr            # Z2^2
3464         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z2sqr, in2_z);
3465
3466         pcmpeqd %xmm4, %xmm5
3467         pshufd  \$0xb1, %xmm1, %xmm4
3468         por     %xmm1, %xmm4
3469         pshufd  \$0, %xmm5, %xmm5               # in1infty
3470         pshufd  \$0x1e, %xmm4, %xmm3
3471         por     %xmm3, %xmm4
3472         pxor    %xmm3, %xmm3
3473         pcmpeqd %xmm3, %xmm4
3474         pshufd  \$0, %xmm4, %xmm4               # in2infty
3475          mov    0x40+8*0($b_ptr), $src0         # load original in1_z
3476          mov    0x40+8*1($b_ptr), $acc6
3477          mov    0x40+8*2($b_ptr), $acc7
3478          mov    0x40+8*3($b_ptr), $acc0
3479         movq    $b_ptr, %xmm1
3480
3481         lea     0x40-$bias($b_ptr), $a_ptr
3482         lea     $Z1sqr(%rsp), $r_ptr            # Z1^2
3483         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z1sqr, in1_z);
3484
3485         `&load_for_mul("$Z2sqr(%rsp)", "$in2_z(%rsp)", "$src0")`
3486         lea     $S1(%rsp), $r_ptr               # S1 = Z2^3
3487         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S1, Z2sqr, in2_z);
3488
3489         `&load_for_mul("$Z1sqr(%rsp)", "$in1_z(%rsp)", "$src0")`
3490         lea     $S2(%rsp), $r_ptr               # S2 = Z1^3
3491         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Z1sqr, in1_z);
3492
3493         `&load_for_mul("$S1(%rsp)", "$in1_y(%rsp)", "$src0")`
3494         lea     $S1(%rsp), $r_ptr               # S1 = Y1*Z2^3
3495         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S1, S1, in1_y);
3496
3497         `&load_for_mul("$S2(%rsp)", "$in2_y(%rsp)", "$src0")`
3498         lea     $S2(%rsp), $r_ptr               # S2 = Y2*Z1^3
3499         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S2, in2_y);
3500
3501         lea     $S1(%rsp), $b_ptr
3502         lea     $R(%rsp), $r_ptr                # R = S2 - S1
3503         call    __ecp_nistz256_sub_from$x       # p256_sub(R, S2, S1);
3504
3505         or      $acc5, $acc4                    # see if result is zero
3506         movdqa  %xmm4, %xmm2
3507         or      $acc0, $acc4
3508         or      $acc1, $acc4
3509         por     %xmm5, %xmm2                    # in1infty || in2infty
3510         movq    $acc4, %xmm3
3511
3512         `&load_for_mul("$Z2sqr(%rsp)", "$in1_x(%rsp)", "$src0")`
3513         lea     $U1(%rsp), $r_ptr               # U1 = X1*Z2^2
3514         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U1, in1_x, Z2sqr);
3515
3516         `&load_for_mul("$Z1sqr(%rsp)", "$in2_x(%rsp)", "$src0")`
3517         lea     $U2(%rsp), $r_ptr               # U2 = X2*Z1^2
3518         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, in2_x, Z1sqr);
3519
3520         lea     $U1(%rsp), $b_ptr
3521         lea     $H(%rsp), $r_ptr                # H = U2 - U1
3522         call    __ecp_nistz256_sub_from$x       # p256_sub(H, U2, U1);
3523
3524         or      $acc5, $acc4                    # see if result is zero
3525         or      $acc0, $acc4
3526         or      $acc1, $acc4
3527
3528         .byte   0x3e                            # predict taken
3529         jnz     .Ladd_proceed$x                 # is_equal(U1,U2)?
3530         movq    %xmm2, $acc0
3531         movq    %xmm3, $acc1
3532         test    $acc0, $acc0
3533         jnz     .Ladd_proceed$x                 # (in1infty || in2infty)?
3534         test    $acc1, $acc1
3535         jz      .Ladd_double$x                  # is_equal(S1,S2)?
3536
3537         movq    %xmm0, $r_ptr                   # restore $r_ptr
3538         pxor    %xmm0, %xmm0
3539         movdqu  %xmm0, 0x00($r_ptr)
3540         movdqu  %xmm0, 0x10($r_ptr)
3541         movdqu  %xmm0, 0x20($r_ptr)
3542         movdqu  %xmm0, 0x30($r_ptr)
3543         movdqu  %xmm0, 0x40($r_ptr)
3544         movdqu  %xmm0, 0x50($r_ptr)
3545         jmp     .Ladd_done$x
3546
3547 .align  32
3548 .Ladd_double$x:
3549         movq    %xmm1, $a_ptr                   # restore $a_ptr
3550         movq    %xmm0, $r_ptr                   # restore $r_ptr
3551         add     \$`32*(18-5)`, %rsp             # difference in frame sizes
3552         jmp     .Lpoint_double_shortcut$x
3553
3554 .align  32
3555 .Ladd_proceed$x:
3556         `&load_for_sqr("$R(%rsp)", "$src0")`
3557         lea     $Rsqr(%rsp), $r_ptr             # R^2
3558         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Rsqr, R);
3559
3560         `&load_for_mul("$H(%rsp)", "$in1_z(%rsp)", "$src0")`
3561         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
3562         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, H, in1_z);
3563
3564         `&load_for_sqr("$H(%rsp)", "$src0")`
3565         lea     $Hsqr(%rsp), $r_ptr             # H^2
3566         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Hsqr, H);
3567
3568         `&load_for_mul("$res_z(%rsp)", "$in2_z(%rsp)", "$src0")`
3569         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
3570         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, res_z, in2_z);
3571
3572         `&load_for_mul("$Hsqr(%rsp)", "$H(%rsp)", "$src0")`
3573         lea     $Hcub(%rsp), $r_ptr             # H^3
3574         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(Hcub, Hsqr, H);
3575
3576         `&load_for_mul("$Hsqr(%rsp)", "$U1(%rsp)", "$src0")`
3577         lea     $U2(%rsp), $r_ptr               # U1*H^2
3578         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, U1, Hsqr);
3579 ___
3580 {
3581 #######################################################################
3582 # operate in 4-5-0-1 "name space" that matches multiplication output
3583 #
3584 my ($acc0,$acc1,$acc2,$acc3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
3585 my ($poly1, $poly3)=($acc6,$acc7);
3586
3587 $code.=<<___;
3588         #lea    $U2(%rsp), $a_ptr
3589         #lea    $Hsqr(%rsp), $r_ptr     # 2*U1*H^2
3590         #call   __ecp_nistz256_mul_by_2 # ecp_nistz256_mul_by_2(Hsqr, U2);
3591
3592         xor     $t4, $t4
3593         add     $acc0, $acc0            # a0:a3+a0:a3
3594         lea     $Rsqr(%rsp), $a_ptr
3595         adc     $acc1, $acc1
3596          mov    $acc0, $t0
3597         adc     $acc2, $acc2
3598         adc     $acc3, $acc3
3599          mov    $acc1, $t1
3600         adc     \$0, $t4
3601
3602         sub     \$-1, $acc0
3603          mov    $acc2, $t2
3604         sbb     $poly1, $acc1
3605         sbb     \$0, $acc2
3606          mov    $acc3, $t3
3607         sbb     $poly3, $acc3
3608         sbb     \$0, $t4
3609
3610         cmovc   $t0, $acc0
3611         mov     8*0($a_ptr), $t0
3612         cmovc   $t1, $acc1
3613         mov     8*1($a_ptr), $t1
3614         cmovc   $t2, $acc2
3615         mov     8*2($a_ptr), $t2
3616         cmovc   $t3, $acc3
3617         mov     8*3($a_ptr), $t3
3618
3619         call    __ecp_nistz256_sub$x            # p256_sub(res_x, Rsqr, Hsqr);
3620
3621         lea     $Hcub(%rsp), $b_ptr
3622         lea     $res_x(%rsp), $r_ptr
3623         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, Hcub);
3624
3625         mov     $U2+8*0(%rsp), $t0
3626         mov     $U2+8*1(%rsp), $t1
3627         mov     $U2+8*2(%rsp), $t2
3628         mov     $U2+8*3(%rsp), $t3
3629         lea     $res_y(%rsp), $r_ptr
3630
3631         call    __ecp_nistz256_sub$x            # p256_sub(res_y, U2, res_x);
3632
3633         mov     $acc0, 8*0($r_ptr)              # save the result, as
3634         mov     $acc1, 8*1($r_ptr)              # __ecp_nistz256_sub doesn't
3635         mov     $acc2, 8*2($r_ptr)
3636         mov     $acc3, 8*3($r_ptr)
3637 ___
3638 }
3639 $code.=<<___;
3640         `&load_for_mul("$S1(%rsp)", "$Hcub(%rsp)", "$src0")`
3641         lea     $S2(%rsp), $r_ptr
3642         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S1, Hcub);
3643
3644         `&load_for_mul("$R(%rsp)", "$res_y(%rsp)", "$src0")`
3645         lea     $res_y(%rsp), $r_ptr
3646         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_y, R, res_y);
3647
3648         lea     $S2(%rsp), $b_ptr
3649         lea     $res_y(%rsp), $r_ptr
3650         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, res_y, S2);
3651
3652         movq    %xmm0, $r_ptr           # restore $r_ptr
3653
3654         movdqa  %xmm5, %xmm0            # copy_conditional(res_z, in2_z, in1infty);
3655         movdqa  %xmm5, %xmm1
3656         pandn   $res_z(%rsp), %xmm0
3657         movdqa  %xmm5, %xmm2
3658         pandn   $res_z+0x10(%rsp), %xmm1
3659         movdqa  %xmm5, %xmm3
3660         pand    $in2_z(%rsp), %xmm2
3661         pand    $in2_z+0x10(%rsp), %xmm3
3662         por     %xmm0, %xmm2
3663         por     %xmm1, %xmm3
3664
3665         movdqa  %xmm4, %xmm0            # copy_conditional(res_z, in1_z, in2infty);
3666         movdqa  %xmm4, %xmm1
3667         pandn   %xmm2, %xmm0
3668         movdqa  %xmm4, %xmm2
3669         pandn   %xmm3, %xmm1
3670         movdqa  %xmm4, %xmm3
3671         pand    $in1_z(%rsp), %xmm2
3672         pand    $in1_z+0x10(%rsp), %xmm3
3673         por     %xmm0, %xmm2
3674         por     %xmm1, %xmm3
3675         movdqu  %xmm2, 0x40($r_ptr)
3676         movdqu  %xmm3, 0x50($r_ptr)
3677
3678         movdqa  %xmm5, %xmm0            # copy_conditional(res_x, in2_x, in1infty);
3679         movdqa  %xmm5, %xmm1
3680         pandn   $res_x(%rsp), %xmm0
3681         movdqa  %xmm5, %xmm2
3682         pandn   $res_x+0x10(%rsp), %xmm1
3683         movdqa  %xmm5, %xmm3
3684         pand    $in2_x(%rsp), %xmm2
3685         pand    $in2_x+0x10(%rsp), %xmm3
3686         por     %xmm0, %xmm2
3687         por     %xmm1, %xmm3
3688
3689         movdqa  %xmm4, %xmm0            # copy_conditional(res_x, in1_x, in2infty);
3690         movdqa  %xmm4, %xmm1
3691         pandn   %xmm2, %xmm0
3692         movdqa  %xmm4, %xmm2
3693         pandn   %xmm3, %xmm1
3694         movdqa  %xmm4, %xmm3
3695         pand    $in1_x(%rsp), %xmm2
3696         pand    $in1_x+0x10(%rsp), %xmm3
3697         por     %xmm0, %xmm2
3698         por     %xmm1, %xmm3
3699         movdqu  %xmm2, 0x00($r_ptr)
3700         movdqu  %xmm3, 0x10($r_ptr)
3701
3702         movdqa  %xmm5, %xmm0            # copy_conditional(res_y, in2_y, in1infty);
3703         movdqa  %xmm5, %xmm1
3704         pandn   $res_y(%rsp), %xmm0
3705         movdqa  %xmm5, %xmm2
3706         pandn   $res_y+0x10(%rsp), %xmm1
3707         movdqa  %xmm5, %xmm3
3708         pand    $in2_y(%rsp), %xmm2
3709         pand    $in2_y+0x10(%rsp), %xmm3
3710         por     %xmm0, %xmm2
3711         por     %xmm1, %xmm3
3712
3713         movdqa  %xmm4, %xmm0            # copy_conditional(res_y, in1_y, in2infty);
3714         movdqa  %xmm4, %xmm1
3715         pandn   %xmm2, %xmm0
3716         movdqa  %xmm4, %xmm2
3717         pandn   %xmm3, %xmm1
3718         movdqa  %xmm4, %xmm3
3719         pand    $in1_y(%rsp), %xmm2
3720         pand    $in1_y+0x10(%rsp), %xmm3
3721         por     %xmm0, %xmm2
3722         por     %xmm1, %xmm3
3723         movdqu  %xmm2, 0x20($r_ptr)
3724         movdqu  %xmm3, 0x30($r_ptr)
3725
3726 .Ladd_done$x:
3727         lea     32*18+56(%rsp), %rsi
3728 .cfi_def_cfa    %rsi,8
3729         mov     -48(%rsi),%r15
3730 .cfi_restore    %r15
3731         mov     -40(%rsi),%r14
3732 .cfi_restore    %r14
3733         mov     -32(%rsi),%r13
3734 .cfi_restore    %r13
3735         mov     -24(%rsi),%r12
3736 .cfi_restore    %r12
3737         mov     -16(%rsi),%rbx
3738 .cfi_restore    %rbx
3739         mov     -8(%rsi),%rbp
3740 .cfi_restore    %rbp
3741         lea     (%rsi),%rsp
3742 .cfi_def_cfa_register   %rsp
3743 .Lpoint_add${x}_epilogue:
3744         ret
3745 .cfi_endproc
3746 .size   ecp_nistz256_point_add$sfx,.-ecp_nistz256_point_add$sfx
3747 ___
3748 }
3749 &gen_add("q");
3750
3751 sub gen_add_affine () {
3752     my $x = shift;
3753     my ($src0,$sfx,$bias);
3754     my ($U2,$S2,$H,$R,$Hsqr,$Hcub,$Rsqr,
3755         $res_x,$res_y,$res_z,
3756         $in1_x,$in1_y,$in1_z,
3757         $in2_x,$in2_y)=map(32*$_,(0..14));
3758     my $Z1sqr = $S2;
3759
3760     if ($x ne "x") {
3761         $src0 = "%rax";
3762         $sfx  = "";
3763         $bias = 0;
3764
3765 $code.=<<___;
3766 .globl  ecp_nistz256_point_add_affine
3767 .type   ecp_nistz256_point_add_affine,\@function,3
3768 .align  32
3769 ecp_nistz256_point_add_affine:
3770 .cfi_startproc
3771 ___
3772 $code.=<<___    if ($addx);
3773         mov     \$0x80100, %ecx
3774         and     OPENSSL_ia32cap_P+8(%rip), %ecx
3775         cmp     \$0x80100, %ecx
3776         je      .Lpoint_add_affinex
3777 ___
3778     } else {
3779         $src0 = "%rdx";
3780         $sfx  = "x";
3781         $bias = 128;
3782
3783 $code.=<<___;
3784 .type   ecp_nistz256_point_add_affinex,\@function,3
3785 .align  32
3786 ecp_nistz256_point_add_affinex:
3787 .cfi_startproc
3788 .Lpoint_add_affinex:
3789 ___
3790     }
3791 $code.=<<___;
3792         push    %rbp
3793 .cfi_push       %rbp
3794         push    %rbx
3795 .cfi_push       %rbx
3796         push    %r12
3797 .cfi_push       %r12
3798         push    %r13
3799 .cfi_push       %r13
3800         push    %r14
3801 .cfi_push       %r14
3802         push    %r15
3803 .cfi_push       %r15
3804         sub     \$32*15+8, %rsp
3805 .cfi_adjust_cfa_offset  32*15+8
3806 .Ladd_affine${x}_body:
3807
3808         movdqu  0x00($a_ptr), %xmm0     # copy  *(P256_POINT *)$a_ptr
3809         mov     $b_org, $b_ptr          # reassign
3810         movdqu  0x10($a_ptr), %xmm1
3811         movdqu  0x20($a_ptr), %xmm2
3812         movdqu  0x30($a_ptr), %xmm3
3813         movdqu  0x40($a_ptr), %xmm4
3814         movdqu  0x50($a_ptr), %xmm5
3815          mov    0x40+8*0($a_ptr), $src0 # load original in1_z
3816          mov    0x40+8*1($a_ptr), $acc6
3817          mov    0x40+8*2($a_ptr), $acc7
3818          mov    0x40+8*3($a_ptr), $acc0
3819         movdqa  %xmm0, $in1_x(%rsp)
3820         movdqa  %xmm1, $in1_x+0x10(%rsp)
3821         movdqa  %xmm2, $in1_y(%rsp)
3822         movdqa  %xmm3, $in1_y+0x10(%rsp)
3823         movdqa  %xmm4, $in1_z(%rsp)
3824         movdqa  %xmm5, $in1_z+0x10(%rsp)
3825         por     %xmm4, %xmm5
3826
3827         movdqu  0x00($b_ptr), %xmm0     # copy  *(P256_POINT_AFFINE *)$b_ptr
3828          pshufd \$0xb1, %xmm5, %xmm3
3829         movdqu  0x10($b_ptr), %xmm1
3830         movdqu  0x20($b_ptr), %xmm2
3831          por    %xmm3, %xmm5
3832         movdqu  0x30($b_ptr), %xmm3
3833         movdqa  %xmm0, $in2_x(%rsp)
3834          pshufd \$0x1e, %xmm5, %xmm4
3835         movdqa  %xmm1, $in2_x+0x10(%rsp)
3836         por     %xmm0, %xmm1
3837          movq   $r_ptr, %xmm0           # save $r_ptr
3838         movdqa  %xmm2, $in2_y(%rsp)
3839         movdqa  %xmm3, $in2_y+0x10(%rsp)
3840         por     %xmm2, %xmm3
3841          por    %xmm4, %xmm5
3842          pxor   %xmm4, %xmm4
3843         por     %xmm1, %xmm3
3844
3845         lea     0x40-$bias($a_ptr), $a_ptr      # $a_ptr is still valid
3846         lea     $Z1sqr(%rsp), $r_ptr            # Z1^2
3847         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z1sqr, in1_z);
3848
3849         pcmpeqd %xmm4, %xmm5
3850         pshufd  \$0xb1, %xmm3, %xmm4
3851          mov    0x00($b_ptr), $src0             # $b_ptr is still valid
3852          #lea   0x00($b_ptr), $b_ptr
3853          mov    $acc4, $acc1                    # harmonize sqr output and mul input
3854         por     %xmm3, %xmm4
3855         pshufd  \$0, %xmm5, %xmm5               # in1infty
3856         pshufd  \$0x1e, %xmm4, %xmm3
3857          mov    $acc5, $acc2
3858         por     %xmm3, %xmm4
3859         pxor    %xmm3, %xmm3
3860          mov    $acc6, $acc3
3861         pcmpeqd %xmm3, %xmm4
3862         pshufd  \$0, %xmm4, %xmm4               # in2infty
3863
3864         lea     $Z1sqr-$bias(%rsp), $a_ptr
3865         mov     $acc7, $acc4
3866         lea     $U2(%rsp), $r_ptr               # U2 = X2*Z1^2
3867         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, Z1sqr, in2_x);
3868
3869         lea     $in1_x(%rsp), $b_ptr
3870         lea     $H(%rsp), $r_ptr                # H = U2 - U1
3871         call    __ecp_nistz256_sub_from$x       # p256_sub(H, U2, in1_x);
3872
3873         `&load_for_mul("$Z1sqr(%rsp)", "$in1_z(%rsp)", "$src0")`
3874         lea     $S2(%rsp), $r_ptr               # S2 = Z1^3
3875         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Z1sqr, in1_z);
3876
3877         `&load_for_mul("$H(%rsp)", "$in1_z(%rsp)", "$src0")`
3878         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
3879         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, H, in1_z);
3880
3881         `&load_for_mul("$S2(%rsp)", "$in2_y(%rsp)", "$src0")`
3882         lea     $S2(%rsp), $r_ptr               # S2 = Y2*Z1^3
3883         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S2, in2_y);
3884
3885         lea     $in1_y(%rsp), $b_ptr
3886         lea     $R(%rsp), $r_ptr                # R = S2 - S1
3887         call    __ecp_nistz256_sub_from$x       # p256_sub(R, S2, in1_y);
3888
3889         `&load_for_sqr("$H(%rsp)", "$src0")`
3890         lea     $Hsqr(%rsp), $r_ptr             # H^2
3891         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Hsqr, H);
3892
3893         `&load_for_sqr("$R(%rsp)", "$src0")`
3894         lea     $Rsqr(%rsp), $r_ptr             # R^2
3895         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Rsqr, R);
3896
3897         `&load_for_mul("$H(%rsp)", "$Hsqr(%rsp)", "$src0")`
3898         lea     $Hcub(%rsp), $r_ptr             # H^3
3899         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(Hcub, Hsqr, H);
3900
3901         `&load_for_mul("$Hsqr(%rsp)", "$in1_x(%rsp)", "$src0")`
3902         lea     $U2(%rsp), $r_ptr               # U1*H^2
3903         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, in1_x, Hsqr);
3904 ___
3905 {
3906 #######################################################################
3907 # operate in 4-5-0-1 "name space" that matches multiplication output
3908 #
3909 my ($acc0,$acc1,$acc2,$acc3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
3910 my ($poly1, $poly3)=($acc6,$acc7);
3911
3912 $code.=<<___;
3913         #lea    $U2(%rsp), $a_ptr
3914         #lea    $Hsqr(%rsp), $r_ptr     # 2*U1*H^2
3915         #call   __ecp_nistz256_mul_by_2 # ecp_nistz256_mul_by_2(Hsqr, U2);
3916
3917         xor     $t4, $t4
3918         add     $acc0, $acc0            # a0:a3+a0:a3
3919         lea     $Rsqr(%rsp), $a_ptr
3920         adc     $acc1, $acc1
3921          mov    $acc0, $t0
3922         adc     $acc2, $acc2
3923         adc     $acc3, $acc3
3924          mov    $acc1, $t1
3925         adc     \$0, $t4
3926
3927         sub     \$-1, $acc0
3928          mov    $acc2, $t2
3929         sbb     $poly1, $acc1
3930         sbb     \$0, $acc2
3931          mov    $acc3, $t3
3932         sbb     $poly3, $acc3
3933         sbb     \$0, $t4
3934
3935         cmovc   $t0, $acc0
3936         mov     8*0($a_ptr), $t0
3937         cmovc   $t1, $acc1
3938         mov     8*1($a_ptr), $t1
3939         cmovc   $t2, $acc2
3940         mov     8*2($a_ptr), $t2
3941         cmovc   $t3, $acc3
3942         mov     8*3($a_ptr), $t3
3943
3944         call    __ecp_nistz256_sub$x            # p256_sub(res_x, Rsqr, Hsqr);
3945
3946         lea     $Hcub(%rsp), $b_ptr
3947         lea     $res_x(%rsp), $r_ptr
3948         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, Hcub);
3949
3950         mov     $U2+8*0(%rsp), $t0
3951         mov     $U2+8*1(%rsp), $t1
3952         mov     $U2+8*2(%rsp), $t2
3953         mov     $U2+8*3(%rsp), $t3
3954         lea     $H(%rsp), $r_ptr
3955
3956         call    __ecp_nistz256_sub$x            # p256_sub(H, U2, res_x);
3957
3958         mov     $acc0, 8*0($r_ptr)              # save the result, as
3959         mov     $acc1, 8*1($r_ptr)              # __ecp_nistz256_sub doesn't
3960         mov     $acc2, 8*2($r_ptr)
3961         mov     $acc3, 8*3($r_ptr)
3962 ___
3963 }
3964 $code.=<<___;
3965         `&load_for_mul("$Hcub(%rsp)", "$in1_y(%rsp)", "$src0")`
3966         lea     $S2(%rsp), $r_ptr
3967         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Hcub, in1_y);
3968
3969         `&load_for_mul("$H(%rsp)", "$R(%rsp)", "$src0")`
3970         lea     $H(%rsp), $r_ptr
3971         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(H, H, R);
3972
3973         lea     $S2(%rsp), $b_ptr
3974         lea     $res_y(%rsp), $r_ptr
3975         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, H, S2);
3976
3977         movq    %xmm0, $r_ptr           # restore $r_ptr
3978
3979         movdqa  %xmm5, %xmm0            # copy_conditional(res_z, ONE, in1infty);
3980         movdqa  %xmm5, %xmm1
3981         pandn   $res_z(%rsp), %xmm0
3982         movdqa  %xmm5, %xmm2
3983         pandn   $res_z+0x10(%rsp), %xmm1
3984         movdqa  %xmm5, %xmm3
3985         pand    .LONE_mont(%rip), %xmm2
3986         pand    .LONE_mont+0x10(%rip), %xmm3
3987         por     %xmm0, %xmm2
3988         por     %xmm1, %xmm3
3989
3990         movdqa  %xmm4, %xmm0            # copy_conditional(res_z, in1_z, in2infty);
3991         movdqa  %xmm4, %xmm1
3992         pandn   %xmm2, %xmm0
3993         movdqa  %xmm4, %xmm2
3994         pandn   %xmm3, %xmm1
3995         movdqa  %xmm4, %xmm3
3996         pand    $in1_z(%rsp), %xmm2
3997         pand    $in1_z+0x10(%rsp), %xmm3
3998         por     %xmm0, %xmm2
3999         por     %xmm1, %xmm3
4000         movdqu  %xmm2, 0x40($r_ptr)
4001         movdqu  %xmm3, 0x50($r_ptr)
4002
4003         movdqa  %xmm5, %xmm0            # copy_conditional(res_x, in2_x, in1infty);
4004         movdqa  %xmm5, %xmm1
4005         pandn   $res_x(%rsp), %xmm0
4006         movdqa  %xmm5, %xmm2
4007         pandn   $res_x+0x10(%rsp), %xmm1
4008         movdqa  %xmm5, %xmm3
4009         pand    $in2_x(%rsp), %xmm2
4010         pand    $in2_x+0x10(%rsp), %xmm3
4011         por     %xmm0, %xmm2
4012         por     %xmm1, %xmm3
4013
4014         movdqa  %xmm4, %xmm0            # copy_conditional(res_x, in1_x, in2infty);
4015         movdqa  %xmm4, %xmm1
4016         pandn   %xmm2, %xmm0
4017         movdqa  %xmm4, %xmm2
4018         pandn   %xmm3, %xmm1
4019         movdqa  %xmm4, %xmm3
4020         pand    $in1_x(%rsp), %xmm2
4021         pand    $in1_x+0x10(%rsp), %xmm3
4022         por     %xmm0, %xmm2
4023         por     %xmm1, %xmm3
4024         movdqu  %xmm2, 0x00($r_ptr)
4025         movdqu  %xmm3, 0x10($r_ptr)
4026
4027         movdqa  %xmm5, %xmm0            # copy_conditional(res_y, in2_y, in1infty);
4028         movdqa  %xmm5, %xmm1
4029         pandn   $res_y(%rsp), %xmm0
4030         movdqa  %xmm5, %xmm2
4031         pandn   $res_y+0x10(%rsp), %xmm1
4032         movdqa  %xmm5, %xmm3
4033         pand    $in2_y(%rsp), %xmm2
4034         pand    $in2_y+0x10(%rsp), %xmm3
4035         por     %xmm0, %xmm2
4036         por     %xmm1, %xmm3
4037
4038         movdqa  %xmm4, %xmm0            # copy_conditional(res_y, in1_y, in2infty);
4039         movdqa  %xmm4, %xmm1
4040         pandn   %xmm2, %xmm0
4041         movdqa  %xmm4, %xmm2
4042         pandn   %xmm3, %xmm1
4043         movdqa  %xmm4, %xmm3
4044         pand    $in1_y(%rsp), %xmm2
4045         pand    $in1_y+0x10(%rsp), %xmm3
4046         por     %xmm0, %xmm2
4047         por     %xmm1, %xmm3
4048         movdqu  %xmm2, 0x20($r_ptr)
4049         movdqu  %xmm3, 0x30($r_ptr)
4050
4051         lea     32*15+56(%rsp), %rsi
4052 .cfi_def_cfa    %rsi,8
4053         mov     -48(%rsi),%r15
4054 .cfi_restore    %r15
4055         mov     -40(%rsi),%r14
4056 .cfi_restore    %r14
4057         mov     -32(%rsi),%r13
4058 .cfi_restore    %r13
4059         mov     -24(%rsi),%r12
4060 .cfi_restore    %r12
4061         mov     -16(%rsi),%rbx
4062 .cfi_restore    %rbx
4063         mov     -8(%rsi),%rbp
4064 .cfi_restore    %rbp
4065         lea     (%rsi),%rsp
4066 .cfi_def_cfa_register   %rsp
4067 .Ladd_affine${x}_epilogue:
4068         ret
4069 .cfi_endproc
4070 .size   ecp_nistz256_point_add_affine$sfx,.-ecp_nistz256_point_add_affine$sfx
4071 ___
4072 }
4073 &gen_add_affine("q");
4074
4075 ########################################################################
4076 # AD*X magic
4077 #
4078 if ($addx) {                                                            {
4079 ########################################################################
4080 # operate in 4-5-0-1 "name space" that matches multiplication output
4081 #
4082 my ($a0,$a1,$a2,$a3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
4083
4084 $code.=<<___;
4085 .type   __ecp_nistz256_add_tox,\@abi-omnipotent
4086 .align  32
4087 __ecp_nistz256_add_tox:
4088         xor     $t4, $t4
4089         adc     8*0($b_ptr), $a0
4090         adc     8*1($b_ptr), $a1
4091          mov    $a0, $t0
4092         adc     8*2($b_ptr), $a2
4093         adc     8*3($b_ptr), $a3
4094          mov    $a1, $t1
4095         adc     \$0, $t4
4096
4097         xor     $t3, $t3
4098         sbb     \$-1, $a0
4099          mov    $a2, $t2
4100         sbb     $poly1, $a1
4101         sbb     \$0, $a2
4102          mov    $a3, $t3
4103         sbb     $poly3, $a3
4104         sbb     \$0, $t4
4105
4106         cmovc   $t0, $a0
4107         cmovc   $t1, $a1
4108         mov     $a0, 8*0($r_ptr)
4109         cmovc   $t2, $a2
4110         mov     $a1, 8*1($r_ptr)
4111         cmovc   $t3, $a3
4112         mov     $a2, 8*2($r_ptr)
4113         mov     $a3, 8*3($r_ptr)
4114
4115         ret
4116 .size   __ecp_nistz256_add_tox,.-__ecp_nistz256_add_tox
4117
4118 .type   __ecp_nistz256_sub_fromx,\@abi-omnipotent
4119 .align  32
4120 __ecp_nistz256_sub_fromx:
4121         xor     $t4, $t4
4122         sbb     8*0($b_ptr), $a0
4123         sbb     8*1($b_ptr), $a1
4124          mov    $a0, $t0
4125         sbb     8*2($b_ptr), $a2
4126         sbb     8*3($b_ptr), $a3
4127          mov    $a1, $t1
4128         sbb     \$0, $t4
4129
4130         xor     $t3, $t3
4131         adc     \$-1, $a0
4132          mov    $a2, $t2
4133         adc     $poly1, $a1
4134         adc     \$0, $a2
4135          mov    $a3, $t3
4136         adc     $poly3, $a3
4137
4138         bt      \$0, $t4
4139         cmovnc  $t0, $a0
4140         cmovnc  $t1, $a1
4141         mov     $a0, 8*0($r_ptr)
4142         cmovnc  $t2, $a2
4143         mov     $a1, 8*1($r_ptr)
4144         cmovnc  $t3, $a3
4145         mov     $a2, 8*2($r_ptr)
4146         mov     $a3, 8*3($r_ptr)
4147
4148         ret
4149 .size   __ecp_nistz256_sub_fromx,.-__ecp_nistz256_sub_fromx
4150
4151 .type   __ecp_nistz256_subx,\@abi-omnipotent
4152 .align  32
4153 __ecp_nistz256_subx:
4154         xor     $t4, $t4
4155         sbb     $a0, $t0
4156         sbb     $a1, $t1
4157          mov    $t0, $a0
4158         sbb     $a2, $t2
4159         sbb     $a3, $t3
4160          mov    $t1, $a1
4161         sbb     \$0, $t4
4162
4163         xor     $a3 ,$a3
4164         adc     \$-1, $t0
4165          mov    $t2, $a2
4166         adc     $poly1, $t1
4167         adc     \$0, $t2
4168          mov    $t3, $a3
4169         adc     $poly3, $t3
4170
4171         bt      \$0, $t4
4172         cmovc   $t0, $a0
4173         cmovc   $t1, $a1
4174         cmovc   $t2, $a2
4175         cmovc   $t3, $a3
4176
4177         ret
4178 .size   __ecp_nistz256_subx,.-__ecp_nistz256_subx
4179
4180 .type   __ecp_nistz256_mul_by_2x,\@abi-omnipotent
4181 .align  32
4182 __ecp_nistz256_mul_by_2x:
4183         xor     $t4, $t4
4184         adc     $a0, $a0                # a0:a3+a0:a3
4185         adc     $a1, $a1
4186          mov    $a0, $t0
4187         adc     $a2, $a2
4188         adc     $a3, $a3
4189          mov    $a1, $t1
4190         adc     \$0, $t4
4191
4192         xor     $t3, $t3
4193         sbb     \$-1, $a0
4194          mov    $a2, $t2
4195         sbb     $poly1, $a1
4196         sbb     \$0, $a2
4197          mov    $a3, $t3
4198         sbb     $poly3, $a3
4199         sbb     \$0, $t4
4200
4201         cmovc   $t0, $a0
4202         cmovc   $t1, $a1
4203         mov     $a0, 8*0($r_ptr)
4204         cmovc   $t2, $a2
4205         mov     $a1, 8*1($r_ptr)
4206         cmovc   $t3, $a3
4207         mov     $a2, 8*2($r_ptr)
4208         mov     $a3, 8*3($r_ptr)
4209
4210         ret
4211 .size   __ecp_nistz256_mul_by_2x,.-__ecp_nistz256_mul_by_2x
4212 ___
4213                                                                         }
4214 &gen_double("x");
4215 &gen_add("x");
4216 &gen_add_affine("x");
4217 }
4218 }}}
4219
4220 # EXCEPTION_DISPOSITION handler (EXCEPTION_RECORD *rec,ULONG64 frame,
4221 #               CONTEXT *context,DISPATCHER_CONTEXT *disp)
4222 if ($win64) {
4223 $rec="%rcx";
4224 $frame="%rdx";
4225 $context="%r8";
4226 $disp="%r9";
4227
4228 $code.=<<___;
4229 .extern __imp_RtlVirtualUnwind
4230
4231 .type   short_handler,\@abi-omnipotent
4232 .align  16
4233 short_handler:
4234         push    %rsi
4235         push    %rdi
4236         push    %rbx
4237         push    %rbp
4238         push    %r12
4239         push    %r13
4240         push    %r14
4241         push    %r15
4242         pushfq
4243         sub     \$64,%rsp
4244
4245         mov     120($context),%rax      # pull context->Rax
4246         mov     248($context),%rbx      # pull context->Rip
4247
4248         mov     8($disp),%rsi           # disp->ImageBase
4249         mov     56($disp),%r11          # disp->HandlerData
4250
4251         mov     0(%r11),%r10d           # HandlerData[0]
4252         lea     (%rsi,%r10),%r10        # end of prologue label
4253         cmp     %r10,%rbx               # context->Rip<end of prologue label
4254         jb      .Lcommon_seh_tail
4255
4256         mov     152($context),%rax      # pull context->Rsp
4257
4258         mov     4(%r11),%r10d           # HandlerData[1]
4259         lea     (%rsi,%r10),%r10        # epilogue label
4260         cmp     %r10,%rbx               # context->Rip>=epilogue label
4261         jae     .Lcommon_seh_tail
4262
4263         lea     16(%rax),%rax
4264
4265         mov     -8(%rax),%r12
4266         mov     -16(%rax),%r13
4267         mov     %r12,216($context)      # restore context->R12
4268         mov     %r13,224($context)      # restore context->R13
4269
4270         jmp     .Lcommon_seh_tail
4271 .size   short_handler,.-short_handler
4272
4273 .type   full_handler,\@abi-omnipotent
4274 .align  16
4275 full_handler:
4276         push    %rsi
4277         push    %rdi
4278         push    %rbx
4279         push    %rbp
4280         push    %r12
4281         push    %r13
4282         push    %r14
4283         push    %r15
4284         pushfq
4285         sub     \$64,%rsp
4286
4287         mov     120($context),%rax      # pull context->Rax
4288         mov     248($context),%rbx      # pull context->Rip
4289
4290         mov     8($disp),%rsi           # disp->ImageBase
4291         mov     56($disp),%r11          # disp->HandlerData
4292
4293         mov     0(%r11),%r10d           # HandlerData[0]
4294         lea     (%rsi,%r10),%r10        # end of prologue label
4295         cmp     %r10,%rbx               # context->Rip<end of prologue label
4296         jb      .Lcommon_seh_tail
4297
4298         mov     152($context),%rax      # pull context->Rsp
4299
4300         mov     4(%r11),%r10d           # HandlerData[1]
4301         lea     (%rsi,%r10),%r10        # epilogue label
4302         cmp     %r10,%rbx               # context->Rip>=epilogue label
4303         jae     .Lcommon_seh_tail
4304
4305         mov     8(%r11),%r10d           # HandlerData[2]
4306         lea     (%rax,%r10),%rax
4307
4308         mov     -8(%rax),%rbp
4309         mov     -16(%rax),%rbx
4310         mov     -24(%rax),%r12
4311         mov     -32(%rax),%r13
4312         mov     -40(%rax),%r14
4313         mov     -48(%rax),%r15
4314         mov     %rbx,144($context)      # restore context->Rbx
4315         mov     %rbp,160($context)      # restore context->Rbp
4316         mov     %r12,216($context)      # restore context->R12
4317         mov     %r13,224($context)      # restore context->R13
4318         mov     %r14,232($context)      # restore context->R14
4319         mov     %r15,240($context)      # restore context->R15
4320
4321 .Lcommon_seh_tail:
4322         mov     8(%rax),%rdi
4323         mov     16(%rax),%rsi
4324         mov     %rax,152($context)      # restore context->Rsp
4325         mov     %rsi,168($context)      # restore context->Rsi
4326         mov     %rdi,176($context)      # restore context->Rdi
4327
4328         mov     40($disp),%rdi          # disp->ContextRecord
4329         mov     $context,%rsi           # context
4330         mov     \$154,%ecx              # sizeof(CONTEXT)
4331         .long   0xa548f3fc              # cld; rep movsq
4332
4333         mov     $disp,%rsi
4334         xor     %rcx,%rcx               # arg1, UNW_FLAG_NHANDLER
4335         mov     8(%rsi),%rdx            # arg2, disp->ImageBase
4336         mov     0(%rsi),%r8             # arg3, disp->ControlPc
4337         mov     16(%rsi),%r9            # arg4, disp->FunctionEntry
4338         mov     40(%rsi),%r10           # disp->ContextRecord
4339         lea     56(%rsi),%r11           # &disp->HandlerData
4340         lea     24(%rsi),%r12           # &disp->EstablisherFrame
4341         mov     %r10,32(%rsp)           # arg5
4342         mov     %r11,40(%rsp)           # arg6
4343         mov     %r12,48(%rsp)           # arg7
4344         mov     %rcx,56(%rsp)           # arg8, (NULL)
4345         call    *__imp_RtlVirtualUnwind(%rip)
4346
4347         mov     \$1,%eax                # ExceptionContinueSearch
4348         add     \$64,%rsp
4349         popfq
4350         pop     %r15
4351         pop     %r14
4352         pop     %r13
4353         pop     %r12
4354         pop     %rbp
4355         pop     %rbx
4356         pop     %rdi
4357         pop     %rsi
4358         ret
4359 .size   full_handler,.-full_handler
4360
4361 .section        .pdata
4362 .align  4
4363         .rva    .LSEH_begin_ecp_nistz256_mul_by_2
4364         .rva    .LSEH_end_ecp_nistz256_mul_by_2
4365         .rva    .LSEH_info_ecp_nistz256_mul_by_2
4366
4367         .rva    .LSEH_begin_ecp_nistz256_div_by_2
4368         .rva    .LSEH_end_ecp_nistz256_div_by_2
4369         .rva    .LSEH_info_ecp_nistz256_div_by_2
4370
4371         .rva    .LSEH_begin_ecp_nistz256_mul_by_3
4372         .rva    .LSEH_end_ecp_nistz256_mul_by_3
4373         .rva    .LSEH_info_ecp_nistz256_mul_by_3
4374
4375         .rva    .LSEH_begin_ecp_nistz256_add
4376         .rva    .LSEH_end_ecp_nistz256_add
4377         .rva    .LSEH_info_ecp_nistz256_add
4378
4379         .rva    .LSEH_begin_ecp_nistz256_sub
4380         .rva    .LSEH_end_ecp_nistz256_sub
4381         .rva    .LSEH_info_ecp_nistz256_sub
4382
4383         .rva    .LSEH_begin_ecp_nistz256_neg
4384         .rva    .LSEH_end_ecp_nistz256_neg
4385         .rva    .LSEH_info_ecp_nistz256_neg
4386
4387         .rva    .LSEH_begin_ecp_nistz256_to_mont
4388         .rva    .LSEH_end_ecp_nistz256_to_mont
4389         .rva    .LSEH_info_ecp_nistz256_to_mont
4390
4391         .rva    .LSEH_begin_ecp_nistz256_mul_mont
4392         .rva    .LSEH_end_ecp_nistz256_mul_mont
4393         .rva    .LSEH_info_ecp_nistz256_mul_mont
4394
4395         .rva    .LSEH_begin_ecp_nistz256_sqr_mont
4396         .rva    .LSEH_end_ecp_nistz256_sqr_mont
4397         .rva    .LSEH_info_ecp_nistz256_sqr_mont
4398
4399         .rva    .LSEH_begin_ecp_nistz256_from_mont
4400         .rva    .LSEH_end_ecp_nistz256_from_mont
4401         .rva    .LSEH_info_ecp_nistz256_from_mont
4402
4403         .rva    .LSEH_begin_ecp_nistz256_gather_w5
4404         .rva    .LSEH_end_ecp_nistz256_gather_w5
4405         .rva    .LSEH_info_ecp_nistz256_gather_wX
4406
4407         .rva    .LSEH_begin_ecp_nistz256_gather_w7
4408         .rva    .LSEH_end_ecp_nistz256_gather_w7
4409         .rva    .LSEH_info_ecp_nistz256_gather_wX
4410 ___
4411 $code.=<<___    if ($avx>1);
4412         .rva    .LSEH_begin_ecp_nistz256_avx2_gather_w5
4413         .rva    .LSEH_end_ecp_nistz256_avx2_gather_w5
4414         .rva    .LSEH_info_ecp_nistz256_avx2_gather_wX
4415
4416         .rva    .LSEH_begin_ecp_nistz256_avx2_gather_w7
4417         .rva    .LSEH_end_ecp_nistz256_avx2_gather_w7
4418         .rva    .LSEH_info_ecp_nistz256_avx2_gather_wX
4419 ___
4420 $code.=<<___;
4421         .rva    .LSEH_begin_ecp_nistz256_point_double
4422         .rva    .LSEH_end_ecp_nistz256_point_double
4423         .rva    .LSEH_info_ecp_nistz256_point_double
4424
4425         .rva    .LSEH_begin_ecp_nistz256_point_add
4426         .rva    .LSEH_end_ecp_nistz256_point_add
4427         .rva    .LSEH_info_ecp_nistz256_point_add
4428
4429         .rva    .LSEH_begin_ecp_nistz256_point_add_affine
4430         .rva    .LSEH_end_ecp_nistz256_point_add_affine
4431         .rva    .LSEH_info_ecp_nistz256_point_add_affine
4432 ___
4433 $code.=<<___ if ($addx);
4434         .rva    .LSEH_begin_ecp_nistz256_point_doublex
4435         .rva    .LSEH_end_ecp_nistz256_point_doublex
4436         .rva    .LSEH_info_ecp_nistz256_point_doublex
4437
4438         .rva    .LSEH_begin_ecp_nistz256_point_addx
4439         .rva    .LSEH_end_ecp_nistz256_point_addx
4440         .rva    .LSEH_info_ecp_nistz256_point_addx
4441
4442         .rva    .LSEH_begin_ecp_nistz256_point_add_affinex
4443         .rva    .LSEH_end_ecp_nistz256_point_add_affinex
4444         .rva    .LSEH_info_ecp_nistz256_point_add_affinex
4445 ___
4446 $code.=<<___;
4447
4448 .section        .xdata
4449 .align  8
4450 .LSEH_info_ecp_nistz256_mul_by_2:
4451         .byte   9,0,0,0
4452         .rva    short_handler
4453         .rva    .Lmul_by_2_body,.Lmul_by_2_epilogue     # HandlerData[]
4454 .LSEH_info_ecp_nistz256_div_by_2:
4455         .byte   9,0,0,0
4456         .rva    short_handler
4457         .rva    .Ldiv_by_2_body,.Ldiv_by_2_epilogue     # HandlerData[]
4458 .LSEH_info_ecp_nistz256_mul_by_3:
4459         .byte   9,0,0,0
4460         .rva    short_handler
4461         .rva    .Lmul_by_3_body,.Lmul_by_3_epilogue     # HandlerData[]
4462 .LSEH_info_ecp_nistz256_add:
4463         .byte   9,0,0,0
4464         .rva    short_handler
4465         .rva    .Ladd_body,.Ladd_epilogue               # HandlerData[]
4466 .LSEH_info_ecp_nistz256_sub:
4467         .byte   9,0,0,0
4468         .rva    short_handler
4469         .rva    .Lsub_body,.Lsub_epilogue               # HandlerData[]
4470 .LSEH_info_ecp_nistz256_neg:
4471         .byte   9,0,0,0
4472         .rva    short_handler
4473         .rva    .Lneg_body,.Lneg_epilogue               # HandlerData[]
4474 .LSEH_info_ecp_nistz256_to_mont:
4475         .byte   9,0,0,0
4476         .rva    full_handler
4477         .rva    .Lmul_body,.Lmul_epilogue               # HandlerData[]
4478         .long   48,0
4479 .LSEH_info_ecp_nistz256_mul_mont:
4480         .byte   9,0,0,0
4481         .rva    full_handler
4482         .rva    .Lmul_body,.Lmul_epilogue               # HandlerData[]
4483         .long   48,0
4484 .LSEH_info_ecp_nistz256_sqr_mont:
4485         .byte   9,0,0,0
4486         .rva    full_handler
4487         .rva    .Lsqr_body,.Lsqr_epilogue               # HandlerData[]
4488         .long   48,0
4489 .LSEH_info_ecp_nistz256_from_mont:
4490         .byte   9,0,0,0
4491         .rva    short_handler
4492         .rva    .Lfrom_body,.Lfrom_epilogue             # HandlerData[]
4493 .LSEH_info_ecp_nistz256_gather_wX:
4494         .byte   0x01,0x33,0x16,0x00
4495         .byte   0x33,0xf8,0x09,0x00     #movaps 0x90(rsp),xmm15
4496         .byte   0x2e,0xe8,0x08,0x00     #movaps 0x80(rsp),xmm14
4497         .byte   0x29,0xd8,0x07,0x00     #movaps 0x70(rsp),xmm13
4498         .byte   0x24,0xc8,0x06,0x00     #movaps 0x60(rsp),xmm12
4499         .byte   0x1f,0xb8,0x05,0x00     #movaps 0x50(rsp),xmm11
4500         .byte   0x1a,0xa8,0x04,0x00     #movaps 0x40(rsp),xmm10
4501         .byte   0x15,0x98,0x03,0x00     #movaps 0x30(rsp),xmm9
4502         .byte   0x10,0x88,0x02,0x00     #movaps 0x20(rsp),xmm8
4503         .byte   0x0c,0x78,0x01,0x00     #movaps 0x10(rsp),xmm7
4504         .byte   0x08,0x68,0x00,0x00     #movaps 0x00(rsp),xmm6
4505         .byte   0x04,0x01,0x15,0x00     #sub    rsp,0xa8
4506         .align  8
4507 ___
4508 $code.=<<___    if ($avx>1);
4509 .LSEH_info_ecp_nistz256_avx2_gather_wX:
4510         .byte   0x01,0x36,0x17,0x0b
4511         .byte   0x36,0xf8,0x09,0x00     # vmovaps 0x90(rsp),xmm15
4512         .byte   0x31,0xe8,0x08,0x00     # vmovaps 0x80(rsp),xmm14
4513         .byte   0x2c,0xd8,0x07,0x00     # vmovaps 0x70(rsp),xmm13
4514         .byte   0x27,0xc8,0x06,0x00     # vmovaps 0x60(rsp),xmm12
4515         .byte   0x22,0xb8,0x05,0x00     # vmovaps 0x50(rsp),xmm11
4516         .byte   0x1d,0xa8,0x04,0x00     # vmovaps 0x40(rsp),xmm10
4517         .byte   0x18,0x98,0x03,0x00     # vmovaps 0x30(rsp),xmm9
4518         .byte   0x13,0x88,0x02,0x00     # vmovaps 0x20(rsp),xmm8
4519         .byte   0x0e,0x78,0x01,0x00     # vmovaps 0x10(rsp),xmm7
4520         .byte   0x09,0x68,0x00,0x00     # vmovaps 0x00(rsp),xmm6
4521         .byte   0x04,0x01,0x15,0x00     # sub     rsp,0xa8
4522         .byte   0x00,0xb3,0x00,0x00     # set_frame r11
4523         .align  8
4524 ___
4525 $code.=<<___;
4526 .LSEH_info_ecp_nistz256_point_double:
4527         .byte   9,0,0,0
4528         .rva    full_handler
4529         .rva    .Lpoint_doubleq_body,.Lpoint_doubleq_epilogue   # HandlerData[]
4530         .long   32*5+56,0
4531 .LSEH_info_ecp_nistz256_point_add:
4532         .byte   9,0,0,0
4533         .rva    full_handler
4534         .rva    .Lpoint_addq_body,.Lpoint_addq_epilogue         # HandlerData[]
4535         .long   32*18+56,0
4536 .LSEH_info_ecp_nistz256_point_add_affine:
4537         .byte   9,0,0,0
4538         .rva    full_handler
4539         .rva    .Ladd_affineq_body,.Ladd_affineq_epilogue       # HandlerData[]
4540         .long   32*15+56,0
4541 ___
4542 $code.=<<___ if ($addx);
4543 .align  8
4544 .LSEH_info_ecp_nistz256_point_doublex:
4545         .byte   9,0,0,0
4546         .rva    full_handler
4547         .rva    .Lpoint_doublex_body,.Lpoint_doublex_epilogue   # HandlerData[]
4548         .long   32*5+56,0
4549 .LSEH_info_ecp_nistz256_point_addx:
4550         .byte   9,0,0,0
4551         .rva    full_handler
4552         .rva    .Lpoint_addx_body,.Lpoint_addx_epilogue         # HandlerData[]
4553         .long   32*18+56,0
4554 .LSEH_info_ecp_nistz256_point_add_affinex:
4555         .byte   9,0,0,0
4556         .rva    full_handler
4557         .rva    .Ladd_affinex_body,.Ladd_affinex_epilogue       # HandlerData[]
4558         .long   32*15+56,0
4559 ___
4560 }
4561
4562 ########################################################################
4563 # Convert ecp_nistz256_table.c to layout expected by ecp_nistz_gather_w7
4564 #
4565 open TABLE,"<ecp_nistz256_table.c"              or
4566 open TABLE,"<${dir}../ecp_nistz256_table.c"     or
4567 die "failed to open ecp_nistz256_table.c:",$!;
4568
4569 use integer;
4570
4571 foreach(<TABLE>) {
4572         s/TOBN\(\s*(0x[0-9a-f]+),\s*(0x[0-9a-f]+)\s*\)/push @arr,hex($2),hex($1)/geo;
4573 }
4574 close TABLE;
4575
4576 die "insane number of elements" if ($#arr != 64*16*37-1);
4577
4578 print <<___;
4579 .text
4580 .globl  ecp_nistz256_precomputed
4581 .type   ecp_nistz256_precomputed,\@object
4582 .align  4096
4583 ecp_nistz256_precomputed:
4584 ___
4585 while (@line=splice(@arr,0,16)) {
4586         print ".long\t",join(',',map { sprintf "0x%08x",$_} @line),"\n";
4587 }
4588 print <<___;
4589 .size   ecp_nistz256_precomputed,.-ecp_nistz256_precomputed
4590 ___
4591
4592 $code =~ s/\`([^\`]*)\`/eval $1/gem;
4593 print $code;
4594 close STDOUT;