crypto/ec/asm/ecp_nistz256-avx2.pl

   1 #!/usr/bin/env perl
   2
   3 ##############################################################################
   4 #                                                                            #
   5 # Copyright 2014 Intel Corporation                                           #
   6 #                                                                            #
   7 # Licensed under the Apache License, Version 2.0 (the "License");            #
   8 # you may not use this file except in compliance with the License.           #
   9 # You may obtain a copy of the License at                                    #
  10 #                                                                            #
  11 #    http://www.apache.org/licenses/LICENSE-2.0                              #
  12 #                                                                            #
  13 # Unless required by applicable law or agreed to in writing, software        #
  14 # distributed under the License is distributed on an "AS IS" BASIS,          #
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.   #
  16 # See the License for the specific language governing permissions and        #
  17 # limitations under the License.                                             #
  18 #                                                                            #
  19 ##############################################################################
  20 #                                                                            #
  21 #  Developers and authors:                                                   #
  22 #  Shay Gueron (1, 2), and Vlad Krasnov (1)                                  #
  23 #  (1) Intel Corporation, Israel Development Center                          #
  24 #  (2) University of Haifa                                                   #
  25 #  Reference:                                                                #
  26 #  S.Gueron and V.Krasnov, "Fast Prime Field Elliptic Curve Cryptography with#
  27 #                           256 Bit Primes"                                  #
  28 #                                                                            #
  29 ##############################################################################
  30
  31 $flavour = shift;
  32 $output  = shift;
  33 if ($flavour =~ /\./) { $output = $flavour; undef $flavour; }
  34
  35 $win64=0; $win64=1 if ($flavour =~ /[nm]asm|mingw64/ || $output =~ /\.asm$/);
  36
  37 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  38 ( $xlate="${dir}x86_64-xlate.pl" and -f $xlate ) or
  39 ( $xlate="${dir}../../perlasm/x86_64-xlate.pl" and -f $xlate) or
  40 die "can't locate x86_64-xlate.pl";
  41
  42 open OUT,"| \"$^X\" $xlate $flavour $output";
  43 *STDOUT=*OUT;
  44
  45 if (`$ENV{CC} -Wa,-v -c -o /dev/null -x assembler /dev/null 2>&1`
  46                 =~ /GNU assembler version ([2-9]\.[0-9]+)/) {
  47         $avx = ($1>=2.19) + ($1>=2.22);
  48         $addx = ($1>=2.23);
  49 }
  50
  51 if (!$addx && $win64 && ($flavour =~ /nasm/ || $ENV{ASM} =~ /nasm/) &&
  52             `nasm -v 2>&1` =~ /NASM version ([2-9]\.[0-9]+)/) {
  53         $avx = ($1>=2.09) + ($1>=2.10);
  54         $addx = ($1>=2.10);
  55 }
  56
  57 if (!$addx && $win64 && ($flavour =~ /masm/ || $ENV{ASM} =~ /ml64/) &&
  58             `ml64 2>&1` =~ /Version ([0-9]+)\./) {
  59         $avx = ($1>=10) + ($1>=11);
  60         $addx = ($1>=12);
  61 }
  62
  63 if (!$addx && `$ENV{CC} -v 2>&1` =~ /(^clang version|based on LLVM) ([3-9])\.([0-9]+)/) {
  64         my $ver = $2 + $3/100.0;        # 3.1->3.01, 3.10->3.10
  65         $avx = ($ver>=3.0) + ($ver>=3.01);
  66         $addx = ($ver>=3.03);
  67 }
  68
  69 if ($avx>=2) {{
  70 $digit_size = "\$29";
  71 $n_digits = "\$9";
  72
  73 $code.=<<___;
  74 .text
  75
  76 .align 64
  77 .LAVX2_AND_MASK:
  78 .LAVX2_POLY:
  79 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
  80 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
  81 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
  82 .quad 0x000001ff, 0x000001ff, 0x000001ff, 0x000001ff
  83 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
  84 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
  85 .quad 0x00040000, 0x00040000, 0x00040000, 0x00040000
  86 .quad 0x1fe00000, 0x1fe00000, 0x1fe00000, 0x1fe00000
  87 .quad 0x00ffffff, 0x00ffffff, 0x00ffffff, 0x00ffffff
  88
  89 .LAVX2_POLY_x2:
  90 .quad 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC
  91 .quad 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC
  92 .quad 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC
  93 .quad 0x400007FC, 0x400007FC, 0x400007FC, 0x400007FC
  94 .quad 0x3FFFFFFE, 0x3FFFFFFE, 0x3FFFFFFE, 0x3FFFFFFE
  95 .quad 0x3FFFFFFE, 0x3FFFFFFE, 0x3FFFFFFE, 0x3FFFFFFE
  96 .quad 0x400FFFFE, 0x400FFFFE, 0x400FFFFE, 0x400FFFFE
  97 .quad 0x7F7FFFFE, 0x7F7FFFFE, 0x7F7FFFFE, 0x7F7FFFFE
  98 .quad 0x03FFFFFC, 0x03FFFFFC, 0x03FFFFFC, 0x03FFFFFC
  99
 100 .LAVX2_POLY_x8:
 101 .quad 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8
 102 .quad 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8
 103 .quad 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8, 0xFFFFFFF8
 104 .quad 0x80000FF8, 0x80000FF8, 0x80000FF8, 0x80000FF8
 105 .quad 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC
 106 .quad 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC, 0x7FFFFFFC
 107 .quad 0x801FFFFC, 0x801FFFFC, 0x801FFFFC, 0x801FFFFC
 108 .quad 0xFEFFFFFC, 0xFEFFFFFC, 0xFEFFFFFC, 0xFEFFFFFC
 109 .quad 0x07FFFFF8, 0x07FFFFF8, 0x07FFFFF8, 0x07FFFFF8
 110
 111 .LONE:
 112 .quad 0x00000020, 0x00000020, 0x00000020, 0x00000020
 113 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 114 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 115 .quad 0x1fffc000, 0x1fffc000, 0x1fffc000, 0x1fffc000
 116 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 117 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 118 .quad 0x1f7fffff, 0x1f7fffff, 0x1f7fffff, 0x1f7fffff
 119 .quad 0x03ffffff, 0x03ffffff, 0x03ffffff, 0x03ffffff
 120 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 121
 122 # RR = 2^266 mod p in AVX2 format, to transform from the native OpenSSL
 123 # Montgomery form (*2^256) to our format (*2^261)
 124
 125 .LTO_MONT_AVX2:
 126 .quad 0x00000400, 0x00000400, 0x00000400, 0x00000400
 127 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 128 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 129 .quad 0x1ff80000, 0x1ff80000, 0x1ff80000, 0x1ff80000
 130 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 131 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 132 .quad 0x0fffffff, 0x0fffffff, 0x0fffffff, 0x0fffffff
 133 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 134 .quad 0x00000003, 0x00000003, 0x00000003, 0x00000003
 135
 136 .LFROM_MONT_AVX2:
 137 .quad 0x00000001, 0x00000001, 0x00000001, 0x00000001
 138 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 139 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 140 .quad 0x1ffffe00, 0x1ffffe00, 0x1ffffe00, 0x1ffffe00
 141 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 142 .quad 0x1fffffff, 0x1fffffff, 0x1fffffff, 0x1fffffff
 143 .quad 0x1ffbffff, 0x1ffbffff, 0x1ffbffff, 0x1ffbffff
 144 .quad 0x001fffff, 0x001fffff, 0x001fffff, 0x001fffff
 145 .quad 0x00000000, 0x00000000, 0x00000000, 0x00000000
 146
 147 .LIntOne:
 148 .long 1,1,1,1,1,1,1,1
 149 ___
 150
 151 {
 152 # This function recieves a pointer to an array of four affine points
 153 # (X, Y, <1>) and rearanges the data for AVX2 execution, while
 154 # converting it to 2^29 radix redundant form
 155
 156 my ($X0,$X1,$X2,$X3, $Y0,$Y1,$Y2,$Y3,
 157     $T0,$T1,$T2,$T3, $T4,$T5,$T6,$T7)=map("%ymm$_",(0..15));
 158
 159 $code.=<<___;
 160 .globl  ecp_nistz256_avx2_transpose_convert
 161 .type   ecp_nistz256_avx2_transpose_convert,\@function,2
 162 .align 64
 163 ecp_nistz256_avx2_transpose_convert:
 164         vzeroupper
 165 ___
 166 $code.=<<___    if ($win64);
 167         lea     -8-16*10(%rsp), %rsp
 168         vmovaps %xmm6, -8-16*10(%rax)
 169         vmovaps %xmm7, -8-16*9(%rax)
 170         vmovaps %xmm8, -8-16*8(%rax)
 171         vmovaps %xmm9, -8-16*7(%rax)
 172         vmovaps %xmm10, -8-16*6(%rax)
 173         vmovaps %xmm11, -8-16*5(%rax)
 174         vmovaps %xmm12, -8-16*4(%rax)
 175         vmovaps %xmm13, -8-16*3(%rax)
 176         vmovaps %xmm14, -8-16*2(%rax)
 177         vmovaps %xmm15, -8-16*1(%rax)
 178 ___
 179 $code.=<<___;
 180         # Load the data
 181         vmovdqa         32*0(%rsi), $X0
 182         lea             112(%rsi), %rax         # size optimization
 183         vmovdqa         32*1(%rsi), $Y0
 184         lea             .LAVX2_AND_MASK(%rip), %rdx
 185         vmovdqa         32*2(%rsi), $X1
 186         vmovdqa         32*3(%rsi), $Y1
 187         vmovdqa         32*4-112(%rax), $X2
 188         vmovdqa         32*5-112(%rax), $Y2
 189         vmovdqa         32*6-112(%rax), $X3
 190         vmovdqa         32*7-112(%rax), $Y3
 191
 192         # Transpose X and Y independently
 193         vpunpcklqdq     $X1, $X0, $T0           # T0 = [B2 A2 B0 A0]
 194         vpunpcklqdq     $X3, $X2, $T1           # T1 = [D2 C2 D0 C0]
 195         vpunpckhqdq     $X1, $X0, $T2           # T2 = [B3 A3 B1 A1]
 196         vpunpckhqdq     $X3, $X2, $T3           # T3 = [D3 C3 D1 C1]
 197
 198         vpunpcklqdq     $Y1, $Y0, $T4
 199         vpunpcklqdq     $Y3, $Y2, $T5
 200         vpunpckhqdq     $Y1, $Y0, $T6
 201         vpunpckhqdq     $Y3, $Y2, $T7
 202
 203         vperm2i128      \$0x20, $T1, $T0, $X0   # X0 = [D0 C0 B0 A0]
 204         vperm2i128      \$0x20, $T3, $T2, $X1   # X1 = [D1 C1 B1 A1]
 205         vperm2i128      \$0x31, $T1, $T0, $X2   # X2 = [D2 C2 B2 A2]
 206         vperm2i128      \$0x31, $T3, $T2, $X3   # X3 = [D3 C3 B3 A3]
 207
 208         vperm2i128      \$0x20, $T5, $T4, $Y0
 209         vperm2i128      \$0x20, $T7, $T6, $Y1
 210         vperm2i128      \$0x31, $T5, $T4, $Y2
 211         vperm2i128      \$0x31, $T7, $T6, $Y3
 212         vmovdqa         (%rdx), $T7
 213
 214         vpand           (%rdx), $X0, $T0        # out[0] = in[0] & mask;
 215         vpsrlq          \$29, $X0, $X0
 216         vpand           $T7, $X0, $T1           # out[1] = (in[0] >> shift) & mask;
 217         vpsrlq          \$29, $X0, $X0
 218         vpsllq          \$6, $X1, $T2
 219         vpxor           $X0, $T2, $T2
 220         vpand           $T7, $T2, $T2           # out[2] = ((in[0] >> (shift*2)) ^ (in[1] << (64-shift*2))) & mask;
 221         vpsrlq          \$23, $X1, $X1
 222         vpand           $T7, $X1, $T3           # out[3] = (in[1] >> ((shift*3)%64)) & mask;
 223         vpsrlq          \$29, $X1, $X1
 224         vpsllq          \$12, $X2, $T4
 225         vpxor           $X1, $T4, $T4
 226         vpand           $T7, $T4, $T4           # out[4] = ((in[1] >> ((shift*4)%64)) ^ (in[2] << (64*2-shift*4))) & mask;
 227         vpsrlq          \$17, $X2, $X2
 228         vpand           $T7, $X2, $T5           # out[5] = (in[2] >> ((shift*5)%64)) & mask;
 229         vpsrlq          \$29, $X2, $X2
 230         vpsllq          \$18, $X3, $T6
 231         vpxor           $X2, $T6, $T6
 232         vpand           $T7, $T6, $T6           # out[6] = ((in[2] >> ((shift*6)%64)) ^ (in[3] << (64*3-shift*6))) & mask;
 233         vpsrlq          \$11, $X3, $X3
 234          vmovdqa        $T0, 32*0(%rdi)
 235          lea            112(%rdi), %rax         # size optimization
 236         vpand           $T7, $X3, $T0           # out[7] = (in[3] >> ((shift*7)%64)) & mask;
 237         vpsrlq          \$29, $X3, $X3          # out[8] = (in[3] >> ((shift*8)%64)) & mask;
 238
 239         vmovdqa         $T1, 32*1(%rdi)
 240         vmovdqa         $T2, 32*2(%rdi)
 241         vmovdqa         $T3, 32*3(%rdi)
 242         vmovdqa         $T4, 32*4-112(%rax)
 243         vmovdqa         $T5, 32*5-112(%rax)
 244         vmovdqa         $T6, 32*6-112(%rax)
 245         vmovdqa         $T0, 32*7-112(%rax)
 246         vmovdqa         $X3, 32*8-112(%rax)
 247         lea             448(%rdi), %rax         # size optimization
 248
 249         vpand           $T7, $Y0, $T0           # out[0] = in[0] & mask;
 250         vpsrlq          \$29, $Y0, $Y0
 251         vpand           $T7, $Y0, $T1           # out[1] = (in[0] >> shift) & mask;
 252         vpsrlq          \$29, $Y0, $Y0
 253         vpsllq          \$6, $Y1, $T2
 254         vpxor           $Y0, $T2, $T2
 255         vpand           $T7, $T2, $T2           # out[2] = ((in[0] >> (shift*2)) ^ (in[1] << (64-shift*2))) & mask;
 256         vpsrlq          \$23, $Y1, $Y1
 257         vpand           $T7, $Y1, $T3           # out[3] = (in[1] >> ((shift*3)%64)) & mask;
 258         vpsrlq          \$29, $Y1, $Y1
 259         vpsllq          \$12, $Y2, $T4
 260         vpxor           $Y1, $T4, $T4
 261         vpand           $T7, $T4, $T4           # out[4] = ((in[1] >> ((shift*4)%64)) ^ (in[2] << (64*2-shift*4))) & mask;
 262         vpsrlq          \$17, $Y2, $Y2
 263         vpand           $T7, $Y2, $T5           # out[5] = (in[2] >> ((shift*5)%64)) & mask;
 264         vpsrlq          \$29, $Y2, $Y2
 265         vpsllq          \$18, $Y3, $T6
 266         vpxor           $Y2, $T6, $T6
 267         vpand           $T7, $T6, $T6           # out[6] = ((in[2] >> ((shift*6)%64)) ^ (in[3] << (64*3-shift*6))) & mask;
 268         vpsrlq          \$11, $Y3, $Y3
 269          vmovdqa        $T0, 32*9-448(%rax)
 270         vpand           $T7, $Y3, $T0           # out[7] = (in[3] >> ((shift*7)%64)) & mask;
 271         vpsrlq          \$29, $Y3, $Y3          # out[8] = (in[3] >> ((shift*8)%64)) & mask;
 272
 273         vmovdqa         $T1, 32*10-448(%rax)
 274         vmovdqa         $T2, 32*11-448(%rax)
 275         vmovdqa         $T3, 32*12-448(%rax)
 276         vmovdqa         $T4, 32*13-448(%rax)
 277         vmovdqa         $T5, 32*14-448(%rax)
 278         vmovdqa         $T6, 32*15-448(%rax)
 279         vmovdqa         $T0, 32*16-448(%rax)
 280         vmovdqa         $Y3, 32*17-448(%rax)
 281
 282         vzeroupper
 283 ___
 284 $code.=<<___    if ($win64);
 285         movaps  16*0(%rsp), %xmm6
 286         movaps  16*1(%rsp), %xmm7
 287         movaps  16*2(%rsp), %xmm8
 288         movaps  16*3(%rsp), %xmm9
 289         movaps  16*4(%rsp), %xmm10
 290         movaps  16*5(%rsp), %xmm11
 291         movaps  16*6(%rsp), %xmm12
 292         movaps  16*7(%rsp), %xmm13
 293         movaps  16*8(%rsp), %xmm14
 294         movaps  16*9(%rsp), %xmm15
 295         lea     8+16*10(%rsp), %rsp
 296 ___
 297 $code.=<<___;
 298         ret
 299 .size   ecp_nistz256_avx2_transpose_convert,.-ecp_nistz256_avx2_transpose_convert
 300 ___
 301 }
 302 {
 303 ################################################################################
 304 # This function recieves a pointer to an array of four AVX2 formatted points
 305 # (X, Y, Z) convert the data to normal representation, and rearanges the data
 306
 307 my ($D0,$D1,$D2,$D3, $D4,$D5,$D6,$D7, $D8)=map("%ymm$_",(0..8));
 308 my ($T0,$T1,$T2,$T3, $T4,$T5,$T6)=map("%ymm$_",(9..15));
 309
 310 $code.=<<___;
 311
 312 .globl  ecp_nistz256_avx2_convert_transpose_back
 313 .type   ecp_nistz256_avx2_convert_transpose_back,\@function,2
 314 .align  32
 315 ecp_nistz256_avx2_convert_transpose_back:
 316         vzeroupper
 317 ___
 318 $code.=<<___    if ($win64);
 319         lea     -8-16*10(%rsp), %rsp
 320         vmovaps %xmm6, -8-16*10(%rax)
 321         vmovaps %xmm7, -8-16*9(%rax)
 322         vmovaps %xmm8, -8-16*8(%rax)
 323         vmovaps %xmm9, -8-16*7(%rax)
 324         vmovaps %xmm10, -8-16*6(%rax)
 325         vmovaps %xmm11, -8-16*5(%rax)
 326         vmovaps %xmm12, -8-16*4(%rax)
 327         vmovaps %xmm13, -8-16*3(%rax)
 328         vmovaps %xmm14, -8-16*2(%rax)
 329         vmovaps %xmm15, -8-16*1(%rax)
 330 ___
 331 $code.=<<___;
 332         mov     \$3, %ecx
 333
 334 .Lconv_loop:
 335         vmovdqa         32*0(%rsi), $D0
 336         lea             160(%rsi), %rax         # size optimization
 337         vmovdqa         32*1(%rsi), $D1
 338         vmovdqa         32*2(%rsi), $D2
 339         vmovdqa         32*3(%rsi), $D3
 340         vmovdqa         32*4-160(%rax), $D4
 341         vmovdqa         32*5-160(%rax), $D5
 342         vmovdqa         32*6-160(%rax), $D6
 343         vmovdqa         32*7-160(%rax), $D7
 344         vmovdqa         32*8-160(%rax), $D8
 345
 346         vpsllq          \$29, $D1, $D1
 347         vpsllq          \$58, $D2, $T0
 348         vpaddq          $D1, $D0, $D0
 349         vpaddq          $T0, $D0, $D0           # out[0] = (in[0]) ^ (in[1] << shift*1) ^ (in[2] << shift*2);
 350
 351         vpsrlq          \$6, $D2, $D2
 352         vpsllq          \$23, $D3, $D3
 353         vpsllq          \$52, $D4, $T1
 354         vpaddq          $D2, $D3, $D3
 355         vpaddq          $D3, $T1, $D1           # out[1] = (in[2] >> (64*1-shift*2)) ^ (in[3] << shift*3%64) ^ (in[4] << shift*4%64);
 356
 357         vpsrlq          \$12, $D4, $D4
 358         vpsllq          \$17, $D5, $D5
 359         vpsllq          \$46, $D6, $T2
 360         vpaddq          $D4, $D5, $D5
 361         vpaddq          $D5, $T2, $D2           # out[2] = (in[4] >> (64*2-shift*4)) ^ (in[5] << shift*5%64) ^ (in[6] << shift*6%64);
 362
 363         vpsrlq          \$18, $D6, $D6
 364         vpsllq          \$11, $D7, $D7
 365         vpsllq          \$40, $D8, $T3
 366         vpaddq          $D6, $D7, $D7
 367         vpaddq          $D7, $T3, $D3           # out[3] = (in[6] >> (64*3-shift*6)) ^ (in[7] << shift*7%64) ^ (in[8] << shift*8%64);
 368
 369         vpunpcklqdq     $D1, $D0, $T0           # T0 = [B2 A2 B0 A0]
 370         vpunpcklqdq     $D3, $D2, $T1           # T1 = [D2 C2 D0 C0]
 371         vpunpckhqdq     $D1, $D0, $T2           # T2 = [B3 A3 B1 A1]
 372         vpunpckhqdq     $D3, $D2, $T3           # T3 = [D3 C3 D1 C1]
 373
 374         vperm2i128      \$0x20, $T1, $T0, $D0   # X0 = [D0 C0 B0 A0]
 375         vperm2i128      \$0x20, $T3, $T2, $D1   # X1 = [D1 C1 B1 A1]
 376         vperm2i128      \$0x31, $T1, $T0, $D2   # X2 = [D2 C2 B2 A2]
 377         vperm2i128      \$0x31, $T3, $T2, $D3   # X3 = [D3 C3 B3 A3]
 378
 379         vmovdqa         $D0, 32*0(%rdi)
 380         vmovdqa         $D1, 32*3(%rdi)
 381         vmovdqa         $D2, 32*6(%rdi)
 382         vmovdqa         $D3, 32*9(%rdi)
 383
 384         lea             32*9(%rsi), %rsi
 385         lea             32*1(%rdi), %rdi
 386
 387         dec     %ecx
 388         jnz     .Lconv_loop
 389
 390         vzeroupper
 391 ___
 392 $code.=<<___    if ($win64);
 393         movaps  16*0(%rsp), %xmm6
 394         movaps  16*1(%rsp), %xmm7
 395         movaps  16*2(%rsp), %xmm8
 396         movaps  16*3(%rsp), %xmm9
 397         movaps  16*4(%rsp), %xmm10
 398         movaps  16*5(%rsp), %xmm11
 399         movaps  16*6(%rsp), %xmm12
 400         movaps  16*7(%rsp), %xmm13
 401         movaps  16*8(%rsp), %xmm14
 402         movaps  16*9(%rsp), %xmm15
 403         lea     8+16*10(%rsp), %rsp
 404 ___
 405 $code.=<<___;
 406         ret
 407 .size   ecp_nistz256_avx2_convert_transpose_back,.-ecp_nistz256_avx2_convert_transpose_back
 408 ___
 409 }
 410 {
 411 my ($r_ptr,$a_ptr,$b_ptr,$itr)=("%rdi","%rsi","%rdx","%ecx");
 412 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4,$ACC5,$ACC6,$ACC7,$ACC8)=map("%ymm$_",(0..8));
 413 my ($B,$Y,$T0,$AND_MASK,$OVERFLOW)=map("%ymm$_",(9..13));
 414
 415 sub NORMALIZE {
 416 my $ret=<<___;
 417         vpsrlq          $digit_size, $ACC0, $T0
 418         vpand           $AND_MASK, $ACC0, $ACC0
 419         vpaddq          $T0, $ACC1, $ACC1
 420
 421         vpsrlq          $digit_size, $ACC1, $T0
 422         vpand           $AND_MASK, $ACC1, $ACC1
 423         vpaddq          $T0, $ACC2, $ACC2
 424
 425         vpsrlq          $digit_size, $ACC2, $T0
 426         vpand           $AND_MASK, $ACC2, $ACC2
 427         vpaddq          $T0, $ACC3, $ACC3
 428
 429         vpsrlq          $digit_size, $ACC3, $T0
 430         vpand           $AND_MASK, $ACC3, $ACC3
 431         vpaddq          $T0, $ACC4, $ACC4
 432
 433         vpsrlq          $digit_size, $ACC4, $T0
 434         vpand           $AND_MASK, $ACC4, $ACC4
 435         vpaddq          $T0, $ACC5, $ACC5
 436
 437         vpsrlq          $digit_size, $ACC5, $T0
 438         vpand           $AND_MASK, $ACC5, $ACC5
 439         vpaddq          $T0, $ACC6, $ACC6
 440
 441         vpsrlq          $digit_size, $ACC6, $T0
 442         vpand           $AND_MASK, $ACC6, $ACC6
 443         vpaddq          $T0, $ACC7, $ACC7
 444
 445         vpsrlq          $digit_size, $ACC7, $T0
 446         vpand           $AND_MASK, $ACC7, $ACC7
 447         vpaddq          $T0, $ACC8, $ACC8
 448         #vpand          $AND_MASK, $ACC8, $ACC8
 449 ___
 450     $ret;
 451 }
 452
 453 sub STORE {
 454 my $ret=<<___;
 455         vmovdqa         $ACC0, 32*0(%rdi)
 456         lea             160(%rdi), %rax         # size optimization
 457         vmovdqa         $ACC1, 32*1(%rdi)
 458         vmovdqa         $ACC2, 32*2(%rdi)
 459         vmovdqa         $ACC3, 32*3(%rdi)
 460         vmovdqa         $ACC4, 32*4-160(%rax)
 461         vmovdqa         $ACC5, 32*5-160(%rax)
 462         vmovdqa         $ACC6, 32*6-160(%rax)
 463         vmovdqa         $ACC7, 32*7-160(%rax)
 464         vmovdqa         $ACC8, 32*8-160(%rax)
 465 ___
 466     $ret;
 467 }
 468
 469 $code.=<<___;
 470 .type   avx2_normalize,\@abi-omnipotent
 471 .align  32
 472 avx2_normalize:
 473         vpsrlq          $digit_size, $ACC0, $T0
 474         vpand           $AND_MASK, $ACC0, $ACC0
 475         vpaddq          $T0, $ACC1, $ACC1
 476
 477         vpsrlq          $digit_size, $ACC1, $T0
 478         vpand           $AND_MASK, $ACC1, $ACC1
 479         vpaddq          $T0, $ACC2, $ACC2
 480
 481         vpsrlq          $digit_size, $ACC2, $T0
 482         vpand           $AND_MASK, $ACC2, $ACC2
 483         vpaddq          $T0, $ACC3, $ACC3
 484
 485         vpsrlq          $digit_size, $ACC3, $T0
 486         vpand           $AND_MASK, $ACC3, $ACC3
 487         vpaddq          $T0, $ACC4, $ACC4
 488
 489         vpsrlq          $digit_size, $ACC4, $T0
 490         vpand           $AND_MASK, $ACC4, $ACC4
 491         vpaddq          $T0, $ACC5, $ACC5
 492
 493         vpsrlq          $digit_size, $ACC5, $T0
 494         vpand           $AND_MASK, $ACC5, $ACC5
 495         vpaddq          $T0, $ACC6, $ACC6
 496
 497         vpsrlq          $digit_size, $ACC6, $T0
 498         vpand           $AND_MASK, $ACC6, $ACC6
 499         vpaddq          $T0, $ACC7, $ACC7
 500
 501         vpsrlq          $digit_size, $ACC7, $T0
 502         vpand           $AND_MASK, $ACC7, $ACC7
 503         vpaddq          $T0, $ACC8, $ACC8
 504         #vpand          $AND_MASK, $ACC8, $ACC8
 505
 506         ret
 507 .size   avx2_normalize,.-avx2_normalize
 508
 509 .type   avx2_normalize_n_store,\@abi-omnipotent
 510 .align  32
 511 avx2_normalize_n_store:
 512         vpsrlq          $digit_size, $ACC0, $T0
 513         vpand           $AND_MASK, $ACC0, $ACC0
 514         vpaddq          $T0, $ACC1, $ACC1
 515
 516         vpsrlq          $digit_size, $ACC1, $T0
 517         vpand           $AND_MASK, $ACC1, $ACC1
 518          vmovdqa        $ACC0, 32*0(%rdi)
 519          lea            160(%rdi), %rax         # size optimization
 520         vpaddq          $T0, $ACC2, $ACC2
 521
 522         vpsrlq          $digit_size, $ACC2, $T0
 523         vpand           $AND_MASK, $ACC2, $ACC2
 524          vmovdqa        $ACC1, 32*1(%rdi)
 525         vpaddq          $T0, $ACC3, $ACC3
 526
 527         vpsrlq          $digit_size, $ACC3, $T0
 528         vpand           $AND_MASK, $ACC3, $ACC3
 529          vmovdqa        $ACC2, 32*2(%rdi)
 530         vpaddq          $T0, $ACC4, $ACC4
 531
 532         vpsrlq          $digit_size, $ACC4, $T0
 533         vpand           $AND_MASK, $ACC4, $ACC4
 534          vmovdqa        $ACC3, 32*3(%rdi)
 535         vpaddq          $T0, $ACC5, $ACC5
 536
 537         vpsrlq          $digit_size, $ACC5, $T0
 538         vpand           $AND_MASK, $ACC5, $ACC5
 539          vmovdqa        $ACC4, 32*4-160(%rax)
 540         vpaddq          $T0, $ACC6, $ACC6
 541
 542         vpsrlq          $digit_size, $ACC6, $T0
 543         vpand           $AND_MASK, $ACC6, $ACC6
 544          vmovdqa        $ACC5, 32*5-160(%rax)
 545         vpaddq          $T0, $ACC7, $ACC7
 546
 547         vpsrlq          $digit_size, $ACC7, $T0
 548         vpand           $AND_MASK, $ACC7, $ACC7
 549          vmovdqa        $ACC6, 32*6-160(%rax)
 550         vpaddq          $T0, $ACC8, $ACC8
 551         #vpand          $AND_MASK, $ACC8, $ACC8
 552          vmovdqa        $ACC7, 32*7-160(%rax)
 553          vmovdqa        $ACC8, 32*8-160(%rax)
 554
 555         ret
 556 .size   avx2_normalize_n_store,.-avx2_normalize_n_store
 557
 558 ################################################################################
 559 # void avx2_mul_x4(void* RESULTx4, void *Ax4, void *Bx4);
 560 .type   avx2_mul_x4,\@abi-omnipotent
 561 .align  32
 562 avx2_mul_x4:
 563         lea     .LAVX2_POLY(%rip), %rax
 564
 565         vpxor   $ACC0, $ACC0, $ACC0
 566         vpxor   $ACC1, $ACC1, $ACC1
 567         vpxor   $ACC2, $ACC2, $ACC2
 568         vpxor   $ACC3, $ACC3, $ACC3
 569         vpxor   $ACC4, $ACC4, $ACC4
 570         vpxor   $ACC5, $ACC5, $ACC5
 571         vpxor   $ACC6, $ACC6, $ACC6
 572         vpxor   $ACC7, $ACC7, $ACC7
 573
 574         vmovdqa 32*7(%rax), %ymm14
 575         vmovdqa 32*8(%rax), %ymm15
 576
 577         mov     $n_digits, $itr
 578         lea     -512($a_ptr), $a_ptr    # strategic bias to control u-op density
 579         jmp     .Lavx2_mul_x4_loop
 580
 581 .align  32
 582 .Lavx2_mul_x4_loop:
 583         vmovdqa         32*0($b_ptr), $B
 584         lea             32*1($b_ptr), $b_ptr
 585
 586         vpmuludq        32*0+512($a_ptr), $B, $T0
 587         vpmuludq        32*1+512($a_ptr), $B, $OVERFLOW # borrow $OVERFLOW
 588         vpaddq          $T0, $ACC0, $ACC0
 589         vpmuludq        32*2+512($a_ptr), $B, $T0
 590         vpaddq          $OVERFLOW, $ACC1, $ACC1
 591          vpand          $AND_MASK, $ACC0, $Y
 592         vpmuludq        32*3+512($a_ptr), $B, $OVERFLOW
 593         vpaddq          $T0, $ACC2, $ACC2
 594         vpmuludq        32*4+512($a_ptr), $B, $T0
 595         vpaddq          $OVERFLOW, $ACC3, $ACC3
 596         vpmuludq        32*5+512($a_ptr), $B, $OVERFLOW
 597         vpaddq          $T0, $ACC4, $ACC4
 598         vpmuludq        32*6+512($a_ptr), $B, $T0
 599         vpaddq          $OVERFLOW, $ACC5, $ACC5
 600         vpmuludq        32*7+512($a_ptr), $B, $OVERFLOW
 601         vpaddq          $T0, $ACC6, $ACC6
 602
 603         # Skip some multiplications, optimizing for the constant poly
 604         vpmuludq        $AND_MASK, $Y, $T0
 605          vpaddq         $OVERFLOW, $ACC7, $ACC7
 606          vpmuludq       32*8+512($a_ptr), $B, $ACC8
 607         vpaddq          $T0, $ACC0, $OVERFLOW
 608         vpaddq          $T0, $ACC1, $ACC0
 609         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 610         vpaddq          $T0, $ACC2, $ACC1
 611         vpmuludq        32*3(%rax), $Y, $T0
 612         vpaddq          $OVERFLOW, $ACC0, $ACC0
 613         vpaddq          $T0, $ACC3, $ACC2
 614         .byte           0x67
 615         vmovdqa         $ACC4, $ACC3
 616         vpsllq          \$18, $Y, $OVERFLOW
 617         .byte           0x67
 618         vmovdqa         $ACC5, $ACC4
 619         vpmuludq        %ymm14, $Y, $T0
 620         vpaddq          $OVERFLOW, $ACC6, $ACC5
 621         vpmuludq        %ymm15, $Y, $OVERFLOW
 622         vpaddq          $T0, $ACC7, $ACC6
 623         vpaddq          $OVERFLOW, $ACC8, $ACC7
 624
 625         dec     $itr
 626         jnz     .Lavx2_mul_x4_loop
 627
 628         vpxor   $ACC8, $ACC8, $ACC8
 629
 630         ret
 631 .size   avx2_mul_x4,.-avx2_mul_x4
 632
 633 # Function optimized for the constant 1
 634 ################################################################################
 635 # void avx2_mul_by1_x4(void* RESULTx4, void *Ax4);
 636 .type   avx2_mul_by1_x4,\@abi-omnipotent
 637 .align  32
 638 avx2_mul_by1_x4:
 639         lea     .LAVX2_POLY(%rip), %rax
 640
 641         vpxor   $ACC0, $ACC0, $ACC0
 642         vpxor   $ACC1, $ACC1, $ACC1
 643         vpxor   $ACC2, $ACC2, $ACC2
 644         vpxor   $ACC3, $ACC3, $ACC3
 645         vpxor   $ACC4, $ACC4, $ACC4
 646         vpxor   $ACC5, $ACC5, $ACC5
 647         vpxor   $ACC6, $ACC6, $ACC6
 648         vpxor   $ACC7, $ACC7, $ACC7
 649         vpxor   $ACC8, $ACC8, $ACC8
 650
 651         vmovdqa 32*3+.LONE(%rip), %ymm14
 652         vmovdqa 32*7+.LONE(%rip), %ymm15
 653
 654         mov     $n_digits, $itr
 655         jmp     .Lavx2_mul_by1_x4_loop
 656
 657 .align  32
 658 .Lavx2_mul_by1_x4_loop:
 659         vmovdqa         32*0($a_ptr), $B
 660         .byte           0x48,0x8d,0xb6,0x20,0,0,0       # lea   32*1($a_ptr), $a_ptr
 661
 662         vpsllq          \$5, $B, $OVERFLOW
 663         vpmuludq        %ymm14, $B, $T0
 664         vpaddq          $OVERFLOW, $ACC0, $ACC0
 665         vpaddq          $T0, $ACC3, $ACC3
 666         .byte           0x67
 667         vpmuludq        $AND_MASK, $B, $T0
 668         vpand           $AND_MASK, $ACC0, $Y
 669         vpaddq          $T0, $ACC4, $ACC4
 670         vpaddq          $T0, $ACC5, $ACC5
 671         vpaddq          $T0, $ACC6, $ACC6
 672         vpsllq          \$23, $B, $T0
 673
 674         .byte           0x67,0x67
 675         vpmuludq        %ymm15, $B, $OVERFLOW
 676         vpsubq          $T0, $ACC6, $ACC6
 677
 678         vpmuludq        $AND_MASK, $Y, $T0
 679         vpaddq          $OVERFLOW, $ACC7, $ACC7
 680         vpaddq          $T0, $ACC0, $OVERFLOW
 681         vpaddq          $T0, $ACC1, $ACC0
 682         .byte           0x67,0x67
 683         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 684         vpaddq          $T0, $ACC2, $ACC1
 685         vpmuludq        32*3(%rax), $Y, $T0
 686         vpaddq          $OVERFLOW, $ACC0, $ACC0
 687         vpaddq          $T0, $ACC3, $ACC2
 688         vmovdqa         $ACC4, $ACC3
 689         vpsllq          \$18, $Y, $OVERFLOW
 690         vmovdqa         $ACC5, $ACC4
 691         vpmuludq        32*7(%rax), $Y, $T0
 692         vpaddq          $OVERFLOW, $ACC6, $ACC5
 693         vpaddq          $T0, $ACC7, $ACC6
 694         vpmuludq        32*8(%rax), $Y, $ACC7
 695
 696         dec     $itr
 697         jnz     .Lavx2_mul_by1_x4_loop
 698
 699         ret
 700 .size   avx2_mul_by1_x4,.-avx2_mul_by1_x4
 701
 702 ################################################################################
 703 # void avx2_sqr_x4(void* RESULTx4, void *Ax4, void *Bx4);
 704 .type   avx2_sqr_x4,\@abi-omnipotent
 705 .align  32
 706 avx2_sqr_x4:
 707         lea             .LAVX2_POLY(%rip), %rax
 708
 709         vmovdqa         32*7(%rax), %ymm14
 710         vmovdqa         32*8(%rax), %ymm15
 711
 712         vmovdqa         32*0($a_ptr), $B
 713         vmovdqa         32*1($a_ptr), $ACC1
 714         vmovdqa         32*2($a_ptr), $ACC2
 715         vmovdqa         32*3($a_ptr), $ACC3
 716         vmovdqa         32*4($a_ptr), $ACC4
 717         vmovdqa         32*5($a_ptr), $ACC5
 718         vmovdqa         32*6($a_ptr), $ACC6
 719         vmovdqa         32*7($a_ptr), $ACC7
 720         vpaddq          $ACC1, $ACC1, $ACC1     # 2*$ACC0..7
 721         vmovdqa         32*8($a_ptr), $ACC8
 722         vpaddq          $ACC2, $ACC2, $ACC2
 723         vmovdqa         $ACC1, 32*0(%rcx)
 724         vpaddq          $ACC3, $ACC3, $ACC3
 725         vmovdqa         $ACC2, 32*1(%rcx)
 726         vpaddq          $ACC4, $ACC4, $ACC4
 727         vmovdqa         $ACC3, 32*2(%rcx)
 728         vpaddq          $ACC5, $ACC5, $ACC5
 729         vmovdqa         $ACC4, 32*3(%rcx)
 730         vpaddq          $ACC6, $ACC6, $ACC6
 731         vmovdqa         $ACC5, 32*4(%rcx)
 732         vpaddq          $ACC7, $ACC7, $ACC7
 733         vmovdqa         $ACC6, 32*5(%rcx)
 734         vpaddq          $ACC8, $ACC8, $ACC8
 735         vmovdqa         $ACC7, 32*6(%rcx)
 736         vmovdqa         $ACC8, 32*7(%rcx)
 737
 738         #itr            1
 739         vpmuludq        $B, $B, $ACC0
 740         vpmuludq        $B, $ACC1, $ACC1
 741          vpand          $AND_MASK, $ACC0, $Y
 742         vpmuludq        $B, $ACC2, $ACC2
 743         vpmuludq        $B, $ACC3, $ACC3
 744         vpmuludq        $B, $ACC4, $ACC4
 745         vpmuludq        $B, $ACC5, $ACC5
 746         vpmuludq        $B, $ACC6, $ACC6
 747          vpmuludq       $AND_MASK, $Y, $T0
 748         vpmuludq        $B, $ACC7, $ACC7
 749         vpmuludq        $B, $ACC8, $ACC8
 750          vmovdqa        32*1($a_ptr), $B
 751
 752         vpaddq          $T0, $ACC0, $OVERFLOW
 753         vpaddq          $T0, $ACC1, $ACC0
 754         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 755         vpaddq          $T0, $ACC2, $ACC1
 756         vpmuludq        32*3(%rax), $Y, $T0
 757         vpaddq          $OVERFLOW, $ACC0, $ACC0
 758         vpaddq          $T0, $ACC3, $ACC2
 759         vmovdqa         $ACC4, $ACC3
 760         vpsllq          \$18, $Y, $T0
 761         vmovdqa         $ACC5, $ACC4
 762         vpmuludq        %ymm14, $Y, $OVERFLOW
 763         vpaddq          $T0, $ACC6, $ACC5
 764         vpmuludq        %ymm15, $Y, $T0
 765         vpaddq          $OVERFLOW, $ACC7, $ACC6
 766         vpaddq          $T0, $ACC8, $ACC7
 767
 768         #itr            2
 769         vpmuludq        $B, $B, $OVERFLOW
 770          vpand          $AND_MASK, $ACC0, $Y
 771         vpmuludq        32*1(%rcx), $B, $T0
 772         vpaddq          $OVERFLOW, $ACC1, $ACC1
 773         vpmuludq        32*2(%rcx), $B, $OVERFLOW
 774         vpaddq          $T0, $ACC2, $ACC2
 775         vpmuludq        32*3(%rcx), $B, $T0
 776         vpaddq          $OVERFLOW, $ACC3, $ACC3
 777         vpmuludq        32*4(%rcx), $B, $OVERFLOW
 778         vpaddq          $T0, $ACC4, $ACC4
 779         vpmuludq        32*5(%rcx), $B, $T0
 780         vpaddq          $OVERFLOW, $ACC5, $ACC5
 781         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 782         vpaddq          $T0, $ACC6, $ACC6
 783
 784         vpmuludq        $AND_MASK, $Y, $T0
 785          vpaddq         $OVERFLOW, $ACC7, $ACC7
 786          vpmuludq       32*7(%rcx), $B, $ACC8
 787          vmovdqa        32*2($a_ptr), $B
 788         vpaddq          $T0, $ACC0, $OVERFLOW
 789         vpaddq          $T0, $ACC1, $ACC0
 790         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 791         vpaddq          $T0, $ACC2, $ACC1
 792         vpmuludq        32*3(%rax), $Y, $T0
 793         vpaddq          $OVERFLOW, $ACC0, $ACC0
 794         vpaddq          $T0, $ACC3, $ACC2
 795         vmovdqa         $ACC4, $ACC3
 796         vpsllq          \$18, $Y, $T0
 797         vmovdqa         $ACC5, $ACC4
 798         vpmuludq        %ymm14, $Y, $OVERFLOW
 799         vpaddq          $T0, $ACC6, $ACC5
 800         vpmuludq        %ymm15, $Y, $T0
 801         vpaddq          $OVERFLOW, $ACC7, $ACC6
 802         vpaddq          $T0, $ACC8, $ACC7
 803
 804         #itr            3
 805         vpmuludq        $B, $B, $T0
 806          vpand          $AND_MASK, $ACC0, $Y
 807         vpmuludq        32*2(%rcx), $B, $OVERFLOW
 808         vpaddq          $T0, $ACC2, $ACC2
 809         vpmuludq        32*3(%rcx), $B, $T0
 810         vpaddq          $OVERFLOW, $ACC3, $ACC3
 811         vpmuludq        32*4(%rcx), $B, $OVERFLOW
 812         vpaddq          $T0, $ACC4, $ACC4
 813         vpmuludq        32*5(%rcx), $B, $T0
 814         vpaddq          $OVERFLOW, $ACC5, $ACC5
 815         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 816         vpaddq          $T0, $ACC6, $ACC6
 817
 818         vpmuludq        $AND_MASK, $Y, $T0
 819          vpaddq         $OVERFLOW, $ACC7, $ACC7
 820          vpmuludq       32*7(%rcx), $B, $ACC8
 821          vmovdqa        32*3($a_ptr), $B
 822         vpaddq          $T0, $ACC0, $OVERFLOW
 823         vpaddq          $T0, $ACC1, $ACC0
 824         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 825         vpaddq          $T0, $ACC2, $ACC1
 826         vpmuludq        32*3(%rax), $Y, $T0
 827         vpaddq          $OVERFLOW, $ACC0, $ACC0
 828         vpaddq          $T0, $ACC3, $ACC2
 829         vmovdqa         $ACC4, $ACC3
 830         vpsllq          \$18, $Y, $T0
 831         vmovdqa         $ACC5, $ACC4
 832         vpmuludq        %ymm14, $Y, $OVERFLOW
 833         vpaddq          $T0, $ACC6, $ACC5
 834         vpmuludq        %ymm15, $Y, $T0
 835          vpand          $AND_MASK, $ACC0, $Y
 836         vpaddq          $OVERFLOW, $ACC7, $ACC6
 837         vpaddq          $T0, $ACC8, $ACC7
 838
 839         #itr            4
 840         vpmuludq        $B, $B, $OVERFLOW
 841         vpmuludq        32*3(%rcx), $B, $T0
 842         vpaddq          $OVERFLOW, $ACC3, $ACC3
 843         vpmuludq        32*4(%rcx), $B, $OVERFLOW
 844         vpaddq          $T0, $ACC4, $ACC4
 845         vpmuludq        32*5(%rcx), $B, $T0
 846         vpaddq          $OVERFLOW, $ACC5, $ACC5
 847         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 848         vpaddq          $T0, $ACC6, $ACC6
 849
 850         vpmuludq        $AND_MASK, $Y, $T0
 851          vpaddq         $OVERFLOW, $ACC7, $ACC7
 852          vpmuludq       32*7(%rcx), $B, $ACC8
 853          vmovdqa        32*4($a_ptr), $B
 854         vpaddq          $T0, $ACC0, $OVERFLOW
 855         vpaddq          $T0, $ACC1, $ACC0
 856         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 857         vpaddq          $T0, $ACC2, $ACC1
 858         vpmuludq        32*3(%rax), $Y, $T0
 859         vpaddq          $OVERFLOW, $ACC0, $ACC0
 860         vpaddq          $T0, $ACC3, $ACC2
 861         vmovdqa         $ACC4, $ACC3
 862         vpsllq          \$18, $Y, $T0
 863         vmovdqa         $ACC5, $ACC4
 864         vpmuludq        %ymm14, $Y, $OVERFLOW
 865         vpaddq          $T0, $ACC6, $ACC5
 866         vpmuludq        %ymm15, $Y, $T0
 867          vpand          $AND_MASK, $ACC0, $Y
 868         vpaddq          $OVERFLOW, $ACC7, $ACC6
 869         vpaddq          $T0, $ACC8, $ACC7
 870
 871         #itr            5
 872         vpmuludq        $B, $B, $T0
 873         vpmuludq        32*4(%rcx), $B, $OVERFLOW
 874         vpaddq          $T0, $ACC4, $ACC4
 875         vpmuludq        32*5(%rcx), $B, $T0
 876         vpaddq          $OVERFLOW, $ACC5, $ACC5
 877         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 878         vpaddq          $T0, $ACC6, $ACC6
 879
 880         vpmuludq        $AND_MASK, $Y, $T0
 881          vpaddq         $OVERFLOW, $ACC7, $ACC7
 882          vpmuludq       32*7(%rcx), $B, $ACC8
 883          vmovdqa        32*5($a_ptr), $B
 884         vpaddq          $T0, $ACC0, $OVERFLOW
 885         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 886         vpaddq          $T0, $ACC1, $ACC0
 887         vpaddq          $T0, $ACC2, $ACC1
 888         vpmuludq        32*3+.LAVX2_POLY(%rip), $Y, $T0
 889         vpaddq          $OVERFLOW, $ACC0, $ACC0
 890         vpaddq          $T0, $ACC3, $ACC2
 891         vmovdqa         $ACC4, $ACC3
 892         vpsllq          \$18, $Y, $T0
 893         vmovdqa         $ACC5, $ACC4
 894         vpmuludq        %ymm14, $Y, $OVERFLOW
 895         vpaddq          $T0, $ACC6, $ACC5
 896         vpmuludq        %ymm15, $Y, $T0
 897          vpand          $AND_MASK, $ACC0, $Y
 898         vpaddq          $OVERFLOW, $ACC7, $ACC6
 899         vpaddq          $T0, $ACC8, $ACC7
 900
 901         #itr            6
 902         vpmuludq        $B, $B, $OVERFLOW
 903         vpmuludq        32*5(%rcx), $B, $T0
 904         vpaddq          $OVERFLOW, $ACC5, $ACC5
 905         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 906         vpaddq          $T0, $ACC6, $ACC6
 907
 908         vpmuludq        $AND_MASK, $Y, $T0
 909          vpaddq         $OVERFLOW, $ACC7, $ACC7
 910          vpmuludq       32*7(%rcx), $B, $ACC8
 911          vmovdqa        32*6($a_ptr), $B
 912         vpaddq          $T0, $ACC0, $OVERFLOW
 913         vpaddq          $T0, $ACC1, $ACC0
 914         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 915         vpaddq          $T0, $ACC2, $ACC1
 916         vpmuludq        32*3(%rax), $Y, $T0
 917         vpaddq          $OVERFLOW, $ACC0, $ACC0
 918         vpaddq          $T0, $ACC3, $ACC2
 919         vmovdqa         $ACC4, $ACC3
 920         vpsllq          \$18, $Y, $T0
 921         vmovdqa         $ACC5, $ACC4
 922         vpmuludq        %ymm14, $Y, $OVERFLOW
 923         vpaddq          $T0, $ACC6, $ACC5
 924         vpmuludq        %ymm15, $Y, $T0
 925          vpand          $AND_MASK, $ACC0, $Y
 926         vpaddq          $OVERFLOW, $ACC7, $ACC6
 927         vpaddq          $T0, $ACC8, $ACC7
 928
 929         #itr            7
 930         vpmuludq        $B, $B, $T0
 931         vpmuludq        32*6(%rcx), $B, $OVERFLOW
 932         vpaddq          $T0, $ACC6, $ACC6
 933
 934         vpmuludq        $AND_MASK, $Y, $T0
 935          vpaddq         $OVERFLOW, $ACC7, $ACC7
 936          vpmuludq       32*7(%rcx), $B, $ACC8
 937          vmovdqa        32*7($a_ptr), $B
 938         vpaddq          $T0, $ACC0, $OVERFLOW
 939         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 940         vpaddq          $T0, $ACC1, $ACC0
 941         vpaddq          $T0, $ACC2, $ACC1
 942         vpmuludq        32*3(%rax), $Y, $T0
 943         vpaddq          $OVERFLOW, $ACC0, $ACC0
 944         vpaddq          $T0, $ACC3, $ACC2
 945         vmovdqa         $ACC4, $ACC3
 946         vpsllq          \$18, $Y, $T0
 947         vmovdqa         $ACC5, $ACC4
 948         vpmuludq        %ymm14, $Y, $OVERFLOW
 949         vpaddq          $T0, $ACC6, $ACC5
 950         vpmuludq        %ymm15, $Y, $T0
 951          vpand          $AND_MASK, $ACC0, $Y
 952         vpaddq          $OVERFLOW, $ACC7, $ACC6
 953         vpaddq          $T0, $ACC8, $ACC7
 954
 955         #itr            8
 956         vpmuludq        $B, $B, $OVERFLOW
 957
 958         vpmuludq        $AND_MASK, $Y, $T0
 959          vpaddq         $OVERFLOW, $ACC7, $ACC7
 960          vpmuludq       32*7(%rcx), $B, $ACC8
 961          vmovdqa        32*8($a_ptr), $B
 962         vpaddq          $T0, $ACC0, $OVERFLOW
 963         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 964         vpaddq          $T0, $ACC1, $ACC0
 965         vpaddq          $T0, $ACC2, $ACC1
 966         vpmuludq        32*3(%rax), $Y, $T0
 967         vpaddq          $OVERFLOW, $ACC0, $ACC0
 968         vpaddq          $T0, $ACC3, $ACC2
 969         vmovdqa         $ACC4, $ACC3
 970         vpsllq          \$18, $Y, $T0
 971         vmovdqa         $ACC5, $ACC4
 972         vpmuludq        %ymm14, $Y, $OVERFLOW
 973         vpaddq          $T0, $ACC6, $ACC5
 974         vpmuludq        %ymm15, $Y, $T0
 975          vpand          $AND_MASK, $ACC0, $Y
 976         vpaddq          $OVERFLOW, $ACC7, $ACC6
 977         vpaddq          $T0, $ACC8, $ACC7
 978
 979         #itr            9
 980         vpmuludq        $B, $B, $ACC8
 981
 982         vpmuludq        $AND_MASK, $Y, $T0
 983         vpaddq          $T0, $ACC0, $OVERFLOW
 984         vpsrlq          $digit_size, $OVERFLOW, $OVERFLOW
 985         vpaddq          $T0, $ACC1, $ACC0
 986         vpaddq          $T0, $ACC2, $ACC1
 987         vpmuludq        32*3(%rax), $Y, $T0
 988         vpaddq          $OVERFLOW, $ACC0, $ACC0
 989         vpaddq          $T0, $ACC3, $ACC2
 990         vmovdqa         $ACC4, $ACC3
 991         vpsllq          \$18, $Y, $T0
 992         vmovdqa         $ACC5, $ACC4
 993         vpmuludq        %ymm14, $Y, $OVERFLOW
 994         vpaddq          $T0, $ACC6, $ACC5
 995         vpmuludq        %ymm15, $Y, $T0
 996         vpaddq          $OVERFLOW, $ACC7, $ACC6
 997         vpaddq          $T0, $ACC8, $ACC7
 998
 999         vpxor           $ACC8, $ACC8, $ACC8
1000
1001         ret
1002 .size   avx2_sqr_x4,.-avx2_sqr_x4
1003
1004 ################################################################################
1005 # void avx2_sub_x4(void* RESULTx4, void *Ax4, void *Bx4);
1006 .type   avx2_sub_x4,\@abi-omnipotent
1007 .align  32
1008 avx2_sub_x4:
1009         vmovdqa 32*0($a_ptr), $ACC0
1010         lea     160($a_ptr), $a_ptr
1011         lea     .LAVX2_POLY_x8+128(%rip), %rax
1012         lea     128($b_ptr), $b_ptr
1013         vmovdqa 32*1-160($a_ptr), $ACC1
1014         vmovdqa 32*2-160($a_ptr), $ACC2
1015         vmovdqa 32*3-160($a_ptr), $ACC3
1016         vmovdqa 32*4-160($a_ptr), $ACC4
1017         vmovdqa 32*5-160($a_ptr), $ACC5
1018         vmovdqa 32*6-160($a_ptr), $ACC6
1019         vmovdqa 32*7-160($a_ptr), $ACC7
1020         vmovdqa 32*8-160($a_ptr), $ACC8
1021
1022         vpaddq  32*0-128(%rax), $ACC0, $ACC0
1023         vpaddq  32*1-128(%rax), $ACC1, $ACC1
1024         vpaddq  32*2-128(%rax), $ACC2, $ACC2
1025         vpaddq  32*3-128(%rax), $ACC3, $ACC3
1026         vpaddq  32*4-128(%rax), $ACC4, $ACC4
1027         vpaddq  32*5-128(%rax), $ACC5, $ACC5
1028         vpaddq  32*6-128(%rax), $ACC6, $ACC6
1029         vpaddq  32*7-128(%rax), $ACC7, $ACC7
1030         vpaddq  32*8-128(%rax), $ACC8, $ACC8
1031
1032         vpsubq  32*0-128($b_ptr), $ACC0, $ACC0
1033         vpsubq  32*1-128($b_ptr), $ACC1, $ACC1
1034         vpsubq  32*2-128($b_ptr), $ACC2, $ACC2
1035         vpsubq  32*3-128($b_ptr), $ACC3, $ACC3
1036         vpsubq  32*4-128($b_ptr), $ACC4, $ACC4
1037         vpsubq  32*5-128($b_ptr), $ACC5, $ACC5
1038         vpsubq  32*6-128($b_ptr), $ACC6, $ACC6
1039         vpsubq  32*7-128($b_ptr), $ACC7, $ACC7
1040         vpsubq  32*8-128($b_ptr), $ACC8, $ACC8
1041
1042         ret
1043 .size   avx2_sub_x4,.-avx2_sub_x4
1044
1045 .type   avx2_select_n_store,\@abi-omnipotent
1046 .align  32
1047 avx2_select_n_store:
1048         vmovdqa `8+32*9*8`(%rsp), $Y
1049         vpor    `8+32*9*8+32`(%rsp), $Y, $Y
1050
1051         vpandn  $ACC0, $Y, $ACC0
1052         vpandn  $ACC1, $Y, $ACC1
1053         vpandn  $ACC2, $Y, $ACC2
1054         vpandn  $ACC3, $Y, $ACC3
1055         vpandn  $ACC4, $Y, $ACC4
1056         vpandn  $ACC5, $Y, $ACC5
1057         vpandn  $ACC6, $Y, $ACC6
1058         vmovdqa `8+32*9*8+32`(%rsp), $B
1059         vpandn  $ACC7, $Y, $ACC7
1060         vpandn  `8+32*9*8`(%rsp), $B, $B
1061         vpandn  $ACC8, $Y, $ACC8
1062
1063         vpand   32*0(%rsi), $B, $T0
1064         lea     160(%rsi), %rax
1065         vpand   32*1(%rsi), $B, $Y
1066         vpxor   $T0, $ACC0, $ACC0
1067         vpand   32*2(%rsi), $B, $T0
1068         vpxor   $Y, $ACC1, $ACC1
1069         vpand   32*3(%rsi), $B, $Y
1070         vpxor   $T0, $ACC2, $ACC2
1071         vpand   32*4-160(%rax), $B, $T0
1072         vpxor   $Y, $ACC3, $ACC3
1073         vpand   32*5-160(%rax), $B, $Y
1074         vpxor   $T0, $ACC4, $ACC4
1075         vpand   32*6-160(%rax), $B, $T0
1076         vpxor   $Y, $ACC5, $ACC5
1077         vpand   32*7-160(%rax), $B, $Y
1078         vpxor   $T0, $ACC6, $ACC6
1079         vpand   32*8-160(%rax), $B, $T0
1080         vmovdqa `8+32*9*8+32`(%rsp), $B
1081         vpxor   $Y, $ACC7, $ACC7
1082
1083         vpand   32*0(%rdx), $B, $Y
1084         lea     160(%rdx), %rax
1085         vpxor   $T0, $ACC8, $ACC8
1086         vpand   32*1(%rdx), $B, $T0
1087         vpxor   $Y, $ACC0, $ACC0
1088         vpand   32*2(%rdx), $B, $Y
1089         vpxor   $T0, $ACC1, $ACC1
1090         vpand   32*3(%rdx), $B, $T0
1091         vpxor   $Y, $ACC2, $ACC2
1092         vpand   32*4-160(%rax), $B, $Y
1093         vpxor   $T0, $ACC3, $ACC3
1094         vpand   32*5-160(%rax), $B, $T0
1095         vpxor   $Y, $ACC4, $ACC4
1096         vpand   32*6-160(%rax), $B, $Y
1097         vpxor   $T0, $ACC5, $ACC5
1098         vpand   32*7-160(%rax), $B, $T0
1099         vpxor   $Y, $ACC6, $ACC6
1100         vpand   32*8-160(%rax), $B, $Y
1101         vpxor   $T0, $ACC7, $ACC7
1102         vpxor   $Y, $ACC8, $ACC8
1103         `&STORE`
1104
1105         ret
1106 .size   avx2_select_n_store,.-avx2_select_n_store
1107 ___
1108 $code.=<<___    if (0);                         # inlined
1109 ################################################################################
1110 # void avx2_mul_by2_x4(void* RESULTx4, void *Ax4);
1111 .type   avx2_mul_by2_x4,\@abi-omnipotent
1112 .align  32
1113 avx2_mul_by2_x4:
1114         vmovdqa 32*0($a_ptr), $ACC0
1115         lea     160($a_ptr), %rax
1116         vmovdqa 32*1($a_ptr), $ACC1
1117         vmovdqa 32*2($a_ptr), $ACC2
1118         vmovdqa 32*3($a_ptr), $ACC3
1119         vmovdqa 32*4-160(%rax), $ACC4
1120         vmovdqa 32*5-160(%rax), $ACC5
1121         vmovdqa 32*6-160(%rax), $ACC6
1122         vmovdqa 32*7-160(%rax), $ACC7
1123         vmovdqa 32*8-160(%rax), $ACC8
1124
1125         vpaddq  $ACC0, $ACC0, $ACC0
1126         vpaddq  $ACC1, $ACC1, $ACC1
1127         vpaddq  $ACC2, $ACC2, $ACC2
1128         vpaddq  $ACC3, $ACC3, $ACC3
1129         vpaddq  $ACC4, $ACC4, $ACC4
1130         vpaddq  $ACC5, $ACC5, $ACC5
1131         vpaddq  $ACC6, $ACC6, $ACC6
1132         vpaddq  $ACC7, $ACC7, $ACC7
1133         vpaddq  $ACC8, $ACC8, $ACC8
1134
1135         ret
1136 .size   avx2_mul_by2_x4,.-avx2_mul_by2_x4
1137 ___
1138 my ($r_ptr_in,$a_ptr_in,$b_ptr_in)=("%rdi","%rsi","%rdx");
1139 my ($r_ptr,$a_ptr,$b_ptr)=("%r8","%r9","%r10");
1140
1141 $code.=<<___;
1142 ################################################################################
1143 # void ecp_nistz256_avx2_point_add_affine_x4(void* RESULTx4, void *Ax4, void *Bx4);
1144 .globl  ecp_nistz256_avx2_point_add_affine_x4
1145 .type   ecp_nistz256_avx2_point_add_affine_x4,\@function,3
1146 .align  32
1147 ecp_nistz256_avx2_point_add_affine_x4:
1148         mov     %rsp, %rax
1149         push    %rbp
1150         vzeroupper
1151 ___
1152 $code.=<<___    if ($win64);
1153         lea     -16*10(%rsp), %rsp
1154         vmovaps %xmm6, -8-16*10(%rax)
1155         vmovaps %xmm7, -8-16*9(%rax)
1156         vmovaps %xmm8, -8-16*8(%rax)
1157         vmovaps %xmm9, -8-16*7(%rax)
1158         vmovaps %xmm10, -8-16*6(%rax)
1159         vmovaps %xmm11, -8-16*5(%rax)
1160         vmovaps %xmm12, -8-16*4(%rax)
1161         vmovaps %xmm13, -8-16*3(%rax)
1162         vmovaps %xmm14, -8-16*2(%rax)
1163         vmovaps %xmm15, -8-16*1(%rax)
1164 ___
1165 $code.=<<___;
1166         lea     -8(%rax), %rbp
1167
1168 # Result + 32*0 = Result.X
1169 # Result + 32*9 = Result.Y
1170 # Result + 32*18 = Result.Z
1171
1172 # A + 32*0 = A.X
1173 # A + 32*9 = A.Y
1174 # A + 32*18 = A.Z
1175
1176 # B + 32*0 = B.X
1177 # B + 32*9 = B.Y
1178
1179         sub     \$`32*9*8+32*2+32*8`, %rsp
1180         and     \$-64, %rsp
1181
1182         mov     $r_ptr_in, $r_ptr
1183         mov     $a_ptr_in, $a_ptr
1184         mov     $b_ptr_in, $b_ptr
1185
1186         vmovdqa 32*0($a_ptr_in), %ymm0
1187         vmovdqa .LAVX2_AND_MASK(%rip), $AND_MASK
1188         vpxor   %ymm1, %ymm1, %ymm1
1189         lea     256($a_ptr_in), %rax            # size optimization
1190         vpor    32*1($a_ptr_in), %ymm0, %ymm0
1191         vpor    32*2($a_ptr_in), %ymm0, %ymm0
1192         vpor    32*3($a_ptr_in), %ymm0, %ymm0
1193         vpor    32*4-256(%rax), %ymm0, %ymm0
1194         lea     256(%rax), %rcx                 # size optimization
1195         vpor    32*5-256(%rax), %ymm0, %ymm0
1196         vpor    32*6-256(%rax), %ymm0, %ymm0
1197         vpor    32*7-256(%rax), %ymm0, %ymm0
1198         vpor    32*8-256(%rax), %ymm0, %ymm0
1199         vpor    32*9-256(%rax), %ymm0, %ymm0
1200         vpor    32*10-256(%rax), %ymm0, %ymm0
1201         vpor    32*11-256(%rax), %ymm0, %ymm0
1202         vpor    32*12-512(%rcx), %ymm0, %ymm0
1203         vpor    32*13-512(%rcx), %ymm0, %ymm0
1204         vpor    32*14-512(%rcx), %ymm0, %ymm0
1205         vpor    32*15-512(%rcx), %ymm0, %ymm0
1206         vpor    32*16-512(%rcx), %ymm0, %ymm0
1207         vpor    32*17-512(%rcx), %ymm0, %ymm0
1208         vpcmpeqq %ymm1, %ymm0, %ymm0
1209         vmovdqa %ymm0, `32*9*8`(%rsp)
1210
1211         vpxor   %ymm1, %ymm1, %ymm1
1212         vmovdqa 32*0($b_ptr), %ymm0
1213         lea     256($b_ptr), %rax               # size optimization
1214         vpor    32*1($b_ptr), %ymm0, %ymm0
1215         vpor    32*2($b_ptr), %ymm0, %ymm0
1216         vpor    32*3($b_ptr), %ymm0, %ymm0
1217         vpor    32*4-256(%rax), %ymm0, %ymm0
1218         lea     256(%rax), %rcx                 # size optimization
1219         vpor    32*5-256(%rax), %ymm0, %ymm0
1220         vpor    32*6-256(%rax), %ymm0, %ymm0
1221         vpor    32*7-256(%rax), %ymm0, %ymm0
1222         vpor    32*8-256(%rax), %ymm0, %ymm0
1223         vpor    32*9-256(%rax), %ymm0, %ymm0
1224         vpor    32*10-256(%rax), %ymm0, %ymm0
1225         vpor    32*11-256(%rax), %ymm0, %ymm0
1226         vpor    32*12-512(%rcx), %ymm0, %ymm0
1227         vpor    32*13-512(%rcx), %ymm0, %ymm0
1228         vpor    32*14-512(%rcx), %ymm0, %ymm0
1229         vpor    32*15-512(%rcx), %ymm0, %ymm0
1230         vpor    32*16-512(%rcx), %ymm0, %ymm0
1231         vpor    32*17-512(%rcx), %ymm0, %ymm0
1232         vpcmpeqq %ymm1, %ymm0, %ymm0
1233         vmovdqa %ymm0, `32*9*8+32`(%rsp)
1234
1235         #       Z1^2 = Z1*Z1
1236         lea     `32*9*2`($a_ptr), %rsi
1237         lea     `32*9*2`(%rsp), %rdi
1238         lea     `32*9*8+32*2`(%rsp), %rcx       # temporary vector
1239         call    avx2_sqr_x4
1240         call    avx2_normalize_n_store
1241
1242         #       U2 = X2*Z1^2
1243         lea     `32*9*0`($b_ptr), %rsi
1244         lea     `32*9*2`(%rsp), %rdx
1245         lea     `32*9*0`(%rsp), %rdi
1246         call    avx2_mul_x4
1247         #call   avx2_normalize
1248         `&STORE`
1249
1250         #       S2 = Z1*Z1^2 = Z1^3
1251         lea     `32*9*2`($a_ptr), %rsi
1252         lea     `32*9*2`(%rsp), %rdx
1253         lea     `32*9*1`(%rsp), %rdi
1254         call    avx2_mul_x4
1255         call    avx2_normalize_n_store
1256
1257         #       S2 = S2*Y2 = Y2*Z1^3
1258         lea     `32*9*1`($b_ptr), %rsi
1259         lea     `32*9*1`(%rsp), %rdx
1260         lea     `32*9*1`(%rsp), %rdi
1261         call    avx2_mul_x4
1262         call    avx2_normalize_n_store
1263
1264         #       H = U2 - U1 = U2 - X1
1265         lea     `32*9*0`(%rsp), %rsi
1266         lea     `32*9*0`($a_ptr), %rdx
1267         lea     `32*9*3`(%rsp), %rdi
1268         call    avx2_sub_x4
1269         call    avx2_normalize_n_store
1270
1271         #       R = S2 - S1 = S2 - Y1
1272         lea     `32*9*1`(%rsp), %rsi
1273         lea     `32*9*1`($a_ptr), %rdx
1274         lea     `32*9*4`(%rsp), %rdi
1275         call    avx2_sub_x4
1276         call    avx2_normalize_n_store
1277
1278         #       Z3 = H*Z1*Z2
1279         lea     `32*9*3`(%rsp), %rsi
1280         lea     `32*9*2`($a_ptr), %rdx
1281         lea     `32*9*2`($r_ptr), %rdi
1282         call    avx2_mul_x4
1283         call    avx2_normalize
1284
1285         lea     .LONE(%rip), %rsi
1286         lea     `32*9*2`($a_ptr), %rdx
1287         call    avx2_select_n_store
1288
1289         #       R^2 = R^2
1290         lea     `32*9*4`(%rsp), %rsi
1291         lea     `32*9*6`(%rsp), %rdi
1292         lea     `32*9*8+32*2`(%rsp), %rcx       # temporary vector
1293         call    avx2_sqr_x4
1294         call    avx2_normalize_n_store
1295
1296         #       H^2 = H^2
1297         lea     `32*9*3`(%rsp), %rsi
1298         lea     `32*9*5`(%rsp), %rdi
1299         call    avx2_sqr_x4
1300         call    avx2_normalize_n_store
1301
1302         #       H^3 = H^2*H
1303         lea     `32*9*3`(%rsp), %rsi
1304         lea     `32*9*5`(%rsp), %rdx
1305         lea     `32*9*7`(%rsp), %rdi
1306         call    avx2_mul_x4
1307         call    avx2_normalize_n_store
1308
1309         #       U2 = U1*H^2
1310         lea     `32*9*0`($a_ptr), %rsi
1311         lea     `32*9*5`(%rsp), %rdx
1312         lea     `32*9*0`(%rsp), %rdi
1313         call    avx2_mul_x4
1314         #call   avx2_normalize
1315         `&STORE`
1316
1317         #       Hsqr = U2*2
1318         #lea    32*9*0(%rsp), %rsi
1319         #lea    32*9*5(%rsp), %rdi
1320         #call   avx2_mul_by2_x4
1321
1322         vpaddq  $ACC0, $ACC0, $ACC0     # inlined avx2_mul_by2_x4
1323         lea     `32*9*5`(%rsp), %rdi
1324         vpaddq  $ACC1, $ACC1, $ACC1
1325         vpaddq  $ACC2, $ACC2, $ACC2
1326         vpaddq  $ACC3, $ACC3, $ACC3
1327         vpaddq  $ACC4, $ACC4, $ACC4
1328         vpaddq  $ACC5, $ACC5, $ACC5
1329         vpaddq  $ACC6, $ACC6, $ACC6
1330         vpaddq  $ACC7, $ACC7, $ACC7
1331         vpaddq  $ACC8, $ACC8, $ACC8
1332         call    avx2_normalize_n_store
1333
1334         #       X3 = R^2 - H^3
1335         #lea    32*9*6(%rsp), %rsi
1336         #lea    32*9*7(%rsp), %rdx
1337         #lea    32*9*5(%rsp), %rcx
1338         #lea    32*9*0($r_ptr), %rdi
1339         #call   avx2_sub_x4
1340         #NORMALIZE
1341         #STORE
1342
1343         #       X3 = X3 - U2*2
1344         #lea    32*9*0($r_ptr), %rsi
1345         #lea    32*9*0($r_ptr), %rdi
1346         #call   avx2_sub_x4
1347         #NORMALIZE
1348         #STORE
1349
1350         lea     `32*9*6+128`(%rsp), %rsi
1351         lea     .LAVX2_POLY_x2+128(%rip), %rax
1352         lea     `32*9*7+128`(%rsp), %rdx
1353         lea     `32*9*5+128`(%rsp), %rcx
1354         lea     `32*9*0`($r_ptr), %rdi
1355
1356         vmovdqa 32*0-128(%rsi), $ACC0
1357         vmovdqa 32*1-128(%rsi), $ACC1
1358         vmovdqa 32*2-128(%rsi), $ACC2
1359         vmovdqa 32*3-128(%rsi), $ACC3
1360         vmovdqa 32*4-128(%rsi), $ACC4
1361         vmovdqa 32*5-128(%rsi), $ACC5
1362         vmovdqa 32*6-128(%rsi), $ACC6
1363         vmovdqa 32*7-128(%rsi), $ACC7
1364         vmovdqa 32*8-128(%rsi), $ACC8
1365
1366         vpaddq  32*0-128(%rax), $ACC0, $ACC0
1367         vpaddq  32*1-128(%rax), $ACC1, $ACC1
1368         vpaddq  32*2-128(%rax), $ACC2, $ACC2
1369         vpaddq  32*3-128(%rax), $ACC3, $ACC3
1370         vpaddq  32*4-128(%rax), $ACC4, $ACC4
1371         vpaddq  32*5-128(%rax), $ACC5, $ACC5
1372         vpaddq  32*6-128(%rax), $ACC6, $ACC6
1373         vpaddq  32*7-128(%rax), $ACC7, $ACC7
1374         vpaddq  32*8-128(%rax), $ACC8, $ACC8
1375
1376         vpsubq  32*0-128(%rdx), $ACC0, $ACC0
1377         vpsubq  32*1-128(%rdx), $ACC1, $ACC1
1378         vpsubq  32*2-128(%rdx), $ACC2, $ACC2
1379         vpsubq  32*3-128(%rdx), $ACC3, $ACC3
1380         vpsubq  32*4-128(%rdx), $ACC4, $ACC4
1381         vpsubq  32*5-128(%rdx), $ACC5, $ACC5
1382         vpsubq  32*6-128(%rdx), $ACC6, $ACC6
1383         vpsubq  32*7-128(%rdx), $ACC7, $ACC7
1384         vpsubq  32*8-128(%rdx), $ACC8, $ACC8
1385
1386         vpsubq  32*0-128(%rcx), $ACC0, $ACC0
1387         vpsubq  32*1-128(%rcx), $ACC1, $ACC1
1388         vpsubq  32*2-128(%rcx), $ACC2, $ACC2
1389         vpsubq  32*3-128(%rcx), $ACC3, $ACC3
1390         vpsubq  32*4-128(%rcx), $ACC4, $ACC4
1391         vpsubq  32*5-128(%rcx), $ACC5, $ACC5
1392         vpsubq  32*6-128(%rcx), $ACC6, $ACC6
1393         vpsubq  32*7-128(%rcx), $ACC7, $ACC7
1394         vpsubq  32*8-128(%rcx), $ACC8, $ACC8
1395         call    avx2_normalize
1396
1397         lea     32*0($b_ptr), %rsi
1398         lea     32*0($a_ptr), %rdx
1399         call    avx2_select_n_store
1400
1401         #       H = U2 - X3
1402         lea     `32*9*0`(%rsp), %rsi
1403         lea     `32*9*0`($r_ptr), %rdx
1404         lea     `32*9*3`(%rsp), %rdi
1405         call    avx2_sub_x4
1406         call    avx2_normalize_n_store
1407
1408         #
1409         lea     `32*9*3`(%rsp), %rsi
1410         lea     `32*9*4`(%rsp), %rdx
1411         lea     `32*9*3`(%rsp), %rdi
1412         call    avx2_mul_x4
1413         call    avx2_normalize_n_store
1414
1415         #
1416         lea     `32*9*7`(%rsp), %rsi
1417         lea     `32*9*1`($a_ptr), %rdx
1418         lea     `32*9*1`(%rsp), %rdi
1419         call    avx2_mul_x4
1420         call    avx2_normalize_n_store
1421
1422         #
1423         lea     `32*9*3`(%rsp), %rsi
1424         lea     `32*9*1`(%rsp), %rdx
1425         lea     `32*9*1`($r_ptr), %rdi
1426         call    avx2_sub_x4
1427         call    avx2_normalize
1428
1429         lea     32*9($b_ptr), %rsi
1430         lea     32*9($a_ptr), %rdx
1431         call    avx2_select_n_store
1432
1433         #lea    32*9*0($r_ptr), %rsi
1434         #lea    32*9*0($r_ptr), %rdi
1435         #call   avx2_mul_by1_x4
1436         #NORMALIZE
1437         #STORE
1438
1439         lea     `32*9*1`($r_ptr), %rsi
1440         lea     `32*9*1`($r_ptr), %rdi
1441         call    avx2_mul_by1_x4
1442         call    avx2_normalize_n_store
1443
1444         vzeroupper
1445 ___
1446 $code.=<<___    if ($win64);
1447         movaps  %xmm6, -16*10(%rbp)
1448         movaps  %xmm7, -16*9(%rbp)
1449         movaps  %xmm8, -16*8(%rbp)
1450         movaps  %xmm9, -16*7(%rbp)
1451         movaps  %xmm10, -16*6(%rbp)
1452         movaps  %xmm11, -16*5(%rbp)
1453         movaps  %xmm12, -16*4(%rbp)
1454         movaps  %xmm13, -16*3(%rbp)
1455         movaps  %xmm14, -16*2(%rbp)
1456         movaps  %xmm15, -16*1(%rbp)
1457 ___
1458 $code.=<<___;
1459         mov     %rbp, %rsp
1460         pop     %rbp
1461         ret
1462 .size   ecp_nistz256_avx2_point_add_affine_x4,.-ecp_nistz256_avx2_point_add_affine_x4
1463
1464 ################################################################################
1465 # void ecp_nistz256_avx2_point_add_affines_x4(void* RESULTx4, void *Ax4, void *Bx4);
1466 .globl  ecp_nistz256_avx2_point_add_affines_x4
1467 .type   ecp_nistz256_avx2_point_add_affines_x4,\@function,3
1468 .align  32
1469 ecp_nistz256_avx2_point_add_affines_x4:
1470         mov     %rsp, %rax
1471         push    %rbp
1472         vzeroupper
1473 ___
1474 $code.=<<___    if ($win64);
1475         lea     -16*10(%rsp), %rsp
1476         vmovaps %xmm6, -8-16*10(%rax)
1477         vmovaps %xmm7, -8-16*9(%rax)
1478         vmovaps %xmm8, -8-16*8(%rax)
1479         vmovaps %xmm9, -8-16*7(%rax)
1480         vmovaps %xmm10, -8-16*6(%rax)
1481         vmovaps %xmm11, -8-16*5(%rax)
1482         vmovaps %xmm12, -8-16*4(%rax)
1483         vmovaps %xmm13, -8-16*3(%rax)
1484         vmovaps %xmm14, -8-16*2(%rax)
1485         vmovaps %xmm15, -8-16*1(%rax)
1486 ___
1487 $code.=<<___;
1488         lea     -8(%rax), %rbp
1489
1490 # Result + 32*0 = Result.X
1491 # Result + 32*9 = Result.Y
1492 # Result + 32*18 = Result.Z
1493
1494 # A + 32*0 = A.X
1495 # A + 32*9 = A.Y
1496
1497 # B + 32*0 = B.X
1498 # B + 32*9 = B.Y
1499
1500         sub     \$`32*9*8+32*2+32*8`, %rsp
1501         and     \$-64, %rsp
1502
1503         mov     $r_ptr_in, $r_ptr
1504         mov     $a_ptr_in, $a_ptr
1505         mov     $b_ptr_in, $b_ptr
1506
1507         vmovdqa 32*0($a_ptr_in), %ymm0
1508         vmovdqa .LAVX2_AND_MASK(%rip), $AND_MASK
1509         vpxor   %ymm1, %ymm1, %ymm1
1510         lea     256($a_ptr_in), %rax            # size optimization
1511         vpor    32*1($a_ptr_in), %ymm0, %ymm0
1512         vpor    32*2($a_ptr_in), %ymm0, %ymm0
1513         vpor    32*3($a_ptr_in), %ymm0, %ymm0
1514         vpor    32*4-256(%rax), %ymm0, %ymm0
1515         lea     256(%rax), %rcx                 # size optimization
1516         vpor    32*5-256(%rax), %ymm0, %ymm0
1517         vpor    32*6-256(%rax), %ymm0, %ymm0
1518         vpor    32*7-256(%rax), %ymm0, %ymm0
1519         vpor    32*8-256(%rax), %ymm0, %ymm0
1520         vpor    32*9-256(%rax), %ymm0, %ymm0
1521         vpor    32*10-256(%rax), %ymm0, %ymm0
1522         vpor    32*11-256(%rax), %ymm0, %ymm0
1523         vpor    32*12-512(%rcx), %ymm0, %ymm0
1524         vpor    32*13-512(%rcx), %ymm0, %ymm0
1525         vpor    32*14-512(%rcx), %ymm0, %ymm0
1526         vpor    32*15-512(%rcx), %ymm0, %ymm0
1527         vpor    32*16-512(%rcx), %ymm0, %ymm0
1528         vpor    32*17-512(%rcx), %ymm0, %ymm0
1529         vpcmpeqq %ymm1, %ymm0, %ymm0
1530         vmovdqa %ymm0, `32*9*8`(%rsp)
1531
1532         vpxor   %ymm1, %ymm1, %ymm1
1533         vmovdqa 32*0($b_ptr), %ymm0
1534         lea     256($b_ptr), %rax               # size optimization
1535         vpor    32*1($b_ptr), %ymm0, %ymm0
1536         vpor    32*2($b_ptr), %ymm0, %ymm0
1537         vpor    32*3($b_ptr), %ymm0, %ymm0
1538         vpor    32*4-256(%rax), %ymm0, %ymm0
1539         lea     256(%rax), %rcx                 # size optimization
1540         vpor    32*5-256(%rax), %ymm0, %ymm0
1541         vpor    32*6-256(%rax), %ymm0, %ymm0
1542         vpor    32*7-256(%rax), %ymm0, %ymm0
1543         vpor    32*8-256(%rax), %ymm0, %ymm0
1544         vpor    32*9-256(%rax), %ymm0, %ymm0
1545         vpor    32*10-256(%rax), %ymm0, %ymm0
1546         vpor    32*11-256(%rax), %ymm0, %ymm0
1547         vpor    32*12-512(%rcx), %ymm0, %ymm0
1548         vpor    32*13-512(%rcx), %ymm0, %ymm0
1549         vpor    32*14-512(%rcx), %ymm0, %ymm0
1550         vpor    32*15-512(%rcx), %ymm0, %ymm0
1551         vpor    32*16-512(%rcx), %ymm0, %ymm0
1552         vpor    32*17-512(%rcx), %ymm0, %ymm0
1553         vpcmpeqq %ymm1, %ymm0, %ymm0
1554         vmovdqa %ymm0, `32*9*8+32`(%rsp)
1555
1556         #       H = U2 - U1 = X2 - X1
1557         lea     `32*9*0`($b_ptr), %rsi
1558         lea     `32*9*0`($a_ptr), %rdx
1559         lea     `32*9*3`(%rsp), %rdi
1560         call    avx2_sub_x4
1561         call    avx2_normalize_n_store
1562
1563         #       R = S2 - S1 = Y2 - Y1
1564         lea     `32*9*1`($b_ptr), %rsi
1565         lea     `32*9*1`($a_ptr), %rdx
1566         lea     `32*9*4`(%rsp), %rdi
1567         call    avx2_sub_x4
1568         call    avx2_normalize_n_store
1569
1570         #       Z3 = H*Z1*Z2 = H
1571         lea     `32*9*3`(%rsp), %rsi
1572         lea     `32*9*2`($r_ptr), %rdi
1573         call    avx2_mul_by1_x4
1574         call    avx2_normalize
1575
1576         vmovdqa `32*9*8`(%rsp), $B
1577         vpor    `32*9*8+32`(%rsp), $B, $B
1578
1579         vpandn  $ACC0, $B, $ACC0
1580         lea     .LONE+128(%rip), %rax
1581         vpandn  $ACC1, $B, $ACC1
1582         vpandn  $ACC2, $B, $ACC2
1583         vpandn  $ACC3, $B, $ACC3
1584         vpandn  $ACC4, $B, $ACC4
1585         vpandn  $ACC5, $B, $ACC5
1586         vpandn  $ACC6, $B, $ACC6
1587         vpandn  $ACC7, $B, $ACC7
1588
1589         vpand   32*0-128(%rax), $B, $T0
1590          vpandn $ACC8, $B, $ACC8
1591         vpand   32*1-128(%rax), $B, $Y
1592         vpxor   $T0, $ACC0, $ACC0
1593         vpand   32*2-128(%rax), $B, $T0
1594         vpxor   $Y, $ACC1, $ACC1
1595         vpand   32*3-128(%rax), $B, $Y
1596         vpxor   $T0, $ACC2, $ACC2
1597         vpand   32*4-128(%rax), $B, $T0
1598         vpxor   $Y, $ACC3, $ACC3
1599         vpand   32*5-128(%rax), $B, $Y
1600         vpxor   $T0, $ACC4, $ACC4
1601         vpand   32*6-128(%rax), $B, $T0
1602         vpxor   $Y, $ACC5, $ACC5
1603         vpand   32*7-128(%rax), $B, $Y
1604         vpxor   $T0, $ACC6, $ACC6
1605         vpand   32*8-128(%rax), $B, $T0
1606         vpxor   $Y, $ACC7, $ACC7
1607         vpxor   $T0, $ACC8, $ACC8
1608         `&STORE`
1609
1610         #       R^2 = R^2
1611         lea     `32*9*4`(%rsp), %rsi
1612         lea     `32*9*6`(%rsp), %rdi
1613         lea     `32*9*8+32*2`(%rsp), %rcx       # temporary vector
1614         call    avx2_sqr_x4
1615         call    avx2_normalize_n_store
1616
1617         #       H^2 = H^2
1618         lea     `32*9*3`(%rsp), %rsi
1619         lea     `32*9*5`(%rsp), %rdi
1620         call    avx2_sqr_x4
1621         call    avx2_normalize_n_store
1622
1623         #       H^3 = H^2*H
1624         lea     `32*9*3`(%rsp), %rsi
1625         lea     `32*9*5`(%rsp), %rdx
1626         lea     `32*9*7`(%rsp), %rdi
1627         call    avx2_mul_x4
1628         call    avx2_normalize_n_store
1629
1630         #       U2 = U1*H^2
1631         lea     `32*9*0`($a_ptr), %rsi
1632         lea     `32*9*5`(%rsp), %rdx
1633         lea     `32*9*0`(%rsp), %rdi
1634         call    avx2_mul_x4
1635         #call   avx2_normalize
1636         `&STORE`
1637
1638         #       Hsqr = U2*2
1639         #lea    32*9*0(%rsp), %rsi
1640         #lea    32*9*5(%rsp), %rdi
1641         #call   avx2_mul_by2_x4
1642
1643         vpaddq  $ACC0, $ACC0, $ACC0     # inlined avx2_mul_by2_x4
1644         lea     `32*9*5`(%rsp), %rdi
1645         vpaddq  $ACC1, $ACC1, $ACC1
1646         vpaddq  $ACC2, $ACC2, $ACC2
1647         vpaddq  $ACC3, $ACC3, $ACC3
1648         vpaddq  $ACC4, $ACC4, $ACC4
1649         vpaddq  $ACC5, $ACC5, $ACC5
1650         vpaddq  $ACC6, $ACC6, $ACC6
1651         vpaddq  $ACC7, $ACC7, $ACC7
1652         vpaddq  $ACC8, $ACC8, $ACC8
1653         call    avx2_normalize_n_store
1654
1655         #       X3 = R^2 - H^3
1656         #lea    32*9*6(%rsp), %rsi
1657         #lea    32*9*7(%rsp), %rdx
1658         #lea    32*9*5(%rsp), %rcx
1659         #lea    32*9*0($r_ptr), %rdi
1660         #call   avx2_sub_x4
1661         #NORMALIZE
1662         #STORE
1663
1664         #       X3 = X3 - U2*2
1665         #lea    32*9*0($r_ptr), %rsi
1666         #lea    32*9*0($r_ptr), %rdi
1667         #call   avx2_sub_x4
1668         #NORMALIZE
1669         #STORE
1670
1671         lea     `32*9*6+128`(%rsp), %rsi
1672         lea     .LAVX2_POLY_x2+128(%rip), %rax
1673         lea     `32*9*7+128`(%rsp), %rdx
1674         lea     `32*9*5+128`(%rsp), %rcx
1675         lea     `32*9*0`($r_ptr), %rdi
1676
1677         vmovdqa 32*0-128(%rsi), $ACC0
1678         vmovdqa 32*1-128(%rsi), $ACC1
1679         vmovdqa 32*2-128(%rsi), $ACC2
1680         vmovdqa 32*3-128(%rsi), $ACC3
1681         vmovdqa 32*4-128(%rsi), $ACC4
1682         vmovdqa 32*5-128(%rsi), $ACC5
1683         vmovdqa 32*6-128(%rsi), $ACC6
1684         vmovdqa 32*7-128(%rsi), $ACC7
1685         vmovdqa 32*8-128(%rsi), $ACC8
1686
1687         vpaddq  32*0-128(%rax), $ACC0, $ACC0
1688         vpaddq  32*1-128(%rax), $ACC1, $ACC1
1689         vpaddq  32*2-128(%rax), $ACC2, $ACC2
1690         vpaddq  32*3-128(%rax), $ACC3, $ACC3
1691         vpaddq  32*4-128(%rax), $ACC4, $ACC4
1692         vpaddq  32*5-128(%rax), $ACC5, $ACC5
1693         vpaddq  32*6-128(%rax), $ACC6, $ACC6
1694         vpaddq  32*7-128(%rax), $ACC7, $ACC7
1695         vpaddq  32*8-128(%rax), $ACC8, $ACC8
1696
1697         vpsubq  32*0-128(%rdx), $ACC0, $ACC0
1698         vpsubq  32*1-128(%rdx), $ACC1, $ACC1
1699         vpsubq  32*2-128(%rdx), $ACC2, $ACC2
1700         vpsubq  32*3-128(%rdx), $ACC3, $ACC3
1701         vpsubq  32*4-128(%rdx), $ACC4, $ACC4
1702         vpsubq  32*5-128(%rdx), $ACC5, $ACC5
1703         vpsubq  32*6-128(%rdx), $ACC6, $ACC6
1704         vpsubq  32*7-128(%rdx), $ACC7, $ACC7
1705         vpsubq  32*8-128(%rdx), $ACC8, $ACC8
1706
1707         vpsubq  32*0-128(%rcx), $ACC0, $ACC0
1708         vpsubq  32*1-128(%rcx), $ACC1, $ACC1
1709         vpsubq  32*2-128(%rcx), $ACC2, $ACC2
1710         vpsubq  32*3-128(%rcx), $ACC3, $ACC3
1711         vpsubq  32*4-128(%rcx), $ACC4, $ACC4
1712         vpsubq  32*5-128(%rcx), $ACC5, $ACC5
1713         vpsubq  32*6-128(%rcx), $ACC6, $ACC6
1714         vpsubq  32*7-128(%rcx), $ACC7, $ACC7
1715         vpsubq  32*8-128(%rcx), $ACC8, $ACC8
1716         call    avx2_normalize
1717
1718         lea     32*0($b_ptr), %rsi
1719         lea     32*0($a_ptr), %rdx
1720         call    avx2_select_n_store
1721
1722         #       H = U2 - X3
1723         lea     `32*9*0`(%rsp), %rsi
1724         lea     `32*9*0`($r_ptr), %rdx
1725         lea     `32*9*3`(%rsp), %rdi
1726         call    avx2_sub_x4
1727         call    avx2_normalize_n_store
1728
1729         #       H = H*R
1730         lea     `32*9*3`(%rsp), %rsi
1731         lea     `32*9*4`(%rsp), %rdx
1732         lea     `32*9*3`(%rsp), %rdi
1733         call    avx2_mul_x4
1734         call    avx2_normalize_n_store
1735
1736         #       S2 = S1 * H^3
1737         lea     `32*9*7`(%rsp), %rsi
1738         lea     `32*9*1`($a_ptr), %rdx
1739         lea     `32*9*1`(%rsp), %rdi
1740         call    avx2_mul_x4
1741         call    avx2_normalize_n_store
1742
1743         #
1744         lea     `32*9*3`(%rsp), %rsi
1745         lea     `32*9*1`(%rsp), %rdx
1746         lea     `32*9*1`($r_ptr), %rdi
1747         call    avx2_sub_x4
1748         call    avx2_normalize
1749
1750         lea     32*9($b_ptr), %rsi
1751         lea     32*9($a_ptr), %rdx
1752         call    avx2_select_n_store
1753
1754         #lea    32*9*0($r_ptr), %rsi
1755         #lea    32*9*0($r_ptr), %rdi
1756         #call   avx2_mul_by1_x4
1757         #NORMALIZE
1758         #STORE
1759
1760         lea     `32*9*1`($r_ptr), %rsi
1761         lea     `32*9*1`($r_ptr), %rdi
1762         call    avx2_mul_by1_x4
1763         call    avx2_normalize_n_store
1764
1765         vzeroupper
1766 ___
1767 $code.=<<___    if ($win64);
1768         movaps  %xmm6, -16*10(%rbp)
1769         movaps  %xmm7, -16*9(%rbp)
1770         movaps  %xmm8, -16*8(%rbp)
1771         movaps  %xmm9, -16*7(%rbp)
1772         movaps  %xmm10, -16*6(%rbp)
1773         movaps  %xmm11, -16*5(%rbp)
1774         movaps  %xmm12, -16*4(%rbp)
1775         movaps  %xmm13, -16*3(%rbp)
1776         movaps  %xmm14, -16*2(%rbp)
1777         movaps  %xmm15, -16*1(%rbp)
1778 ___
1779 $code.=<<___;
1780         mov     %rbp, %rsp
1781         pop     %rbp
1782         ret
1783 .size   ecp_nistz256_avx2_point_add_affines_x4,.-ecp_nistz256_avx2_point_add_affines_x4
1784
1785 ################################################################################
1786 # void ecp_nistz256_avx2_to_mont(void* RESULTx4, void *Ax4);
1787 .globl  ecp_nistz256_avx2_to_mont
1788 .type   ecp_nistz256_avx2_to_mont,\@function,2
1789 .align  32
1790 ecp_nistz256_avx2_to_mont:
1791         vzeroupper
1792 ___
1793 $code.=<<___    if ($win64);
1794         lea     -8-16*10(%rsp), %rsp
1795         vmovaps %xmm6, -8-16*10(%rax)
1796         vmovaps %xmm7, -8-16*9(%rax)
1797         vmovaps %xmm8, -8-16*8(%rax)
1798         vmovaps %xmm9, -8-16*7(%rax)
1799         vmovaps %xmm10, -8-16*6(%rax)
1800         vmovaps %xmm11, -8-16*5(%rax)
1801         vmovaps %xmm12, -8-16*4(%rax)
1802         vmovaps %xmm13, -8-16*3(%rax)
1803         vmovaps %xmm14, -8-16*2(%rax)
1804         vmovaps %xmm15, -8-16*1(%rax)
1805 ___
1806 $code.=<<___;
1807         vmovdqa .LAVX2_AND_MASK(%rip), $AND_MASK
1808         lea     .LTO_MONT_AVX2(%rip), %rdx
1809         call    avx2_mul_x4
1810         call    avx2_normalize_n_store
1811
1812         vzeroupper
1813 ___
1814 $code.=<<___    if ($win64);
1815         movaps  16*0(%rsp), %xmm6
1816         movaps  16*1(%rsp), %xmm7
1817         movaps  16*2(%rsp), %xmm8
1818         movaps  16*3(%rsp), %xmm9
1819         movaps  16*4(%rsp), %xmm10
1820         movaps  16*5(%rsp), %xmm11
1821         movaps  16*6(%rsp), %xmm12
1822         movaps  16*7(%rsp), %xmm13
1823         movaps  16*8(%rsp), %xmm14
1824         movaps  16*9(%rsp), %xmm15
1825         lea     8+16*10(%rsp), %rsp
1826 ___
1827 $code.=<<___;
1828         ret
1829 .size   ecp_nistz256_avx2_to_mont,.-ecp_nistz256_avx2_to_mont
1830
1831 ################################################################################
1832 # void ecp_nistz256_avx2_from_mont(void* RESULTx4, void *Ax4);
1833 .globl  ecp_nistz256_avx2_from_mont
1834 .type   ecp_nistz256_avx2_from_mont,\@function,2
1835 .align  32
1836 ecp_nistz256_avx2_from_mont:
1837         vzeroupper
1838 ___
1839 $code.=<<___    if ($win64);
1840         lea     -8-16*10(%rsp), %rsp
1841         vmovaps %xmm6, -8-16*10(%rax)
1842         vmovaps %xmm7, -8-16*9(%rax)
1843         vmovaps %xmm8, -8-16*8(%rax)
1844         vmovaps %xmm9, -8-16*7(%rax)
1845         vmovaps %xmm10, -8-16*6(%rax)
1846         vmovaps %xmm11, -8-16*5(%rax)
1847         vmovaps %xmm12, -8-16*4(%rax)
1848         vmovaps %xmm13, -8-16*3(%rax)
1849         vmovaps %xmm14, -8-16*2(%rax)
1850         vmovaps %xmm15, -8-16*1(%rax)
1851 ___
1852 $code.=<<___;
1853         vmovdqa .LAVX2_AND_MASK(%rip), $AND_MASK
1854         lea     .LFROM_MONT_AVX2(%rip), %rdx
1855         call    avx2_mul_x4
1856         call    avx2_normalize_n_store
1857
1858         vzeroupper
1859 ___
1860 $code.=<<___    if ($win64);
1861         movaps  16*0(%rsp), %xmm6
1862         movaps  16*1(%rsp), %xmm7
1863         movaps  16*2(%rsp), %xmm8
1864         movaps  16*3(%rsp), %xmm9
1865         movaps  16*4(%rsp), %xmm10
1866         movaps  16*5(%rsp), %xmm11
1867         movaps  16*6(%rsp), %xmm12
1868         movaps  16*7(%rsp), %xmm13
1869         movaps  16*8(%rsp), %xmm14
1870         movaps  16*9(%rsp), %xmm15
1871         lea     8+16*10(%rsp), %rsp
1872 ___
1873 $code.=<<___;
1874         ret
1875 .size   ecp_nistz256_avx2_from_mont,.-ecp_nistz256_avx2_from_mont
1876
1877 ################################################################################
1878 # void ecp_nistz256_avx2_set1(void* RESULTx4);
1879 .globl  ecp_nistz256_avx2_set1
1880 .type   ecp_nistz256_avx2_set1,\@function,1
1881 .align  32
1882 ecp_nistz256_avx2_set1:
1883         lea     .LONE+128(%rip), %rax
1884         lea     128(%rdi), %rdi
1885         vzeroupper
1886         vmovdqa 32*0-128(%rax), %ymm0
1887         vmovdqa 32*1-128(%rax), %ymm1
1888         vmovdqa 32*2-128(%rax), %ymm2
1889         vmovdqa 32*3-128(%rax), %ymm3
1890         vmovdqa 32*4-128(%rax), %ymm4
1891         vmovdqa 32*5-128(%rax), %ymm5
1892         vmovdqa %ymm0, 32*0-128(%rdi)
1893         vmovdqa 32*6-128(%rax), %ymm0
1894         vmovdqa %ymm1, 32*1-128(%rdi)
1895         vmovdqa 32*7-128(%rax), %ymm1
1896         vmovdqa %ymm2, 32*2-128(%rdi)
1897         vmovdqa 32*8-128(%rax), %ymm2
1898         vmovdqa %ymm3, 32*3-128(%rdi)
1899         vmovdqa %ymm4, 32*4-128(%rdi)
1900         vmovdqa %ymm5, 32*5-128(%rdi)
1901         vmovdqa %ymm0, 32*6-128(%rdi)
1902         vmovdqa %ymm1, 32*7-128(%rdi)
1903         vmovdqa %ymm2, 32*8-128(%rdi)
1904
1905         vzeroupper
1906         ret
1907 .size   ecp_nistz256_avx2_set1,.-ecp_nistz256_avx2_set1
1908 ___
1909 }
1910 {
1911 ################################################################################
1912 # void ecp_nistz256_avx2_multi_gather_w7(void* RESULT, void *in,
1913 #                           int index0, int index1, int index2, int index3);
1914 ################################################################################
1915
1916 my ($val,$in_t,$index0,$index1,$index2,$index3)=("%rdi","%rsi","%edx","%ecx","%r8d","%r9d");
1917 my ($INDEX0,$INDEX1,$INDEX2,$INDEX3)=map("%ymm$_",(0..3));
1918 my ($R0a,$R0b,$R1a,$R1b,$R2a,$R2b,$R3a,$R3b)=map("%ymm$_",(4..11));
1919 my ($M0,$T0,$T1,$TMP0)=map("%ymm$_",(12..15));
1920
1921 $code.=<<___;
1922 .globl  ecp_nistz256_avx2_multi_gather_w7
1923 .type   ecp_nistz256_avx2_multi_gather_w7,\@function,6
1924 .align  32
1925 ecp_nistz256_avx2_multi_gather_w7:
1926         vzeroupper
1927 ___
1928 $code.=<<___    if ($win64);
1929         lea     -8-16*10(%rsp), %rsp
1930         vmovaps %xmm6, -8-16*10(%rax)
1931         vmovaps %xmm7, -8-16*9(%rax)
1932         vmovaps %xmm8, -8-16*8(%rax)
1933         vmovaps %xmm9, -8-16*7(%rax)
1934         vmovaps %xmm10, -8-16*6(%rax)
1935         vmovaps %xmm11, -8-16*5(%rax)
1936         vmovaps %xmm12, -8-16*4(%rax)
1937         vmovaps %xmm13, -8-16*3(%rax)
1938         vmovaps %xmm14, -8-16*2(%rax)
1939         vmovaps %xmm15, -8-16*1(%rax)
1940 ___
1941 $code.=<<___;
1942         lea     .LIntOne(%rip), %rax
1943
1944         vmovd   $index0, %xmm0
1945         vmovd   $index1, %xmm1
1946         vmovd   $index2, %xmm2
1947         vmovd   $index3, %xmm3
1948
1949         vpxor   $R0a, $R0a, $R0a
1950         vpxor   $R0b, $R0b, $R0b
1951         vpxor   $R1a, $R1a, $R1a
1952         vpxor   $R1b, $R1b, $R1b
1953         vpxor   $R2a, $R2a, $R2a
1954         vpxor   $R2b, $R2b, $R2b
1955         vpxor   $R3a, $R3a, $R3a
1956         vpxor   $R3b, $R3b, $R3b
1957         vmovdqa (%rax), $M0
1958
1959         vpermd  $INDEX0, $R0a, $INDEX0
1960         vpermd  $INDEX1, $R0a, $INDEX1
1961         vpermd  $INDEX2, $R0a, $INDEX2
1962         vpermd  $INDEX3, $R0a, $INDEX3
1963
1964         mov     \$64, %ecx
1965         lea     112($val), $val         # size optimization
1966         jmp     .Lmulti_select_loop_avx2
1967
1968 # INDEX=0, corresponds to the point at infty (0,0)
1969 .align  32
1970 .Lmulti_select_loop_avx2:
1971         vpcmpeqd        $INDEX0, $M0, $TMP0
1972
1973         vmovdqa         `32*0+32*64*2*0`($in_t), $T0
1974         vmovdqa         `32*1+32*64*2*0`($in_t), $T1
1975         vpand           $TMP0, $T0, $T0
1976         vpand           $TMP0, $T1, $T1
1977         vpxor           $T0, $R0a, $R0a
1978         vpxor           $T1, $R0b, $R0b
1979
1980         vpcmpeqd        $INDEX1, $M0, $TMP0
1981
1982         vmovdqa         `32*0+32*64*2*1`($in_t), $T0
1983         vmovdqa         `32*1+32*64*2*1`($in_t), $T1
1984         vpand           $TMP0, $T0, $T0
1985         vpand           $TMP0, $T1, $T1
1986         vpxor           $T0, $R1a, $R1a
1987         vpxor           $T1, $R1b, $R1b
1988
1989         vpcmpeqd        $INDEX2, $M0, $TMP0
1990
1991         vmovdqa         `32*0+32*64*2*2`($in_t), $T0
1992         vmovdqa         `32*1+32*64*2*2`($in_t), $T1
1993         vpand           $TMP0, $T0, $T0
1994         vpand           $TMP0, $T1, $T1
1995         vpxor           $T0, $R2a, $R2a
1996         vpxor           $T1, $R2b, $R2b
1997
1998         vpcmpeqd        $INDEX3, $M0, $TMP0
1999
2000         vmovdqa         `32*0+32*64*2*3`($in_t), $T0
2001         vmovdqa         `32*1+32*64*2*3`($in_t), $T1
2002         vpand           $TMP0, $T0, $T0
2003         vpand           $TMP0, $T1, $T1
2004         vpxor           $T0, $R3a, $R3a
2005         vpxor           $T1, $R3b, $R3b
2006
2007         vpaddd          (%rax), $M0, $M0        # increment
2008         lea             32*2($in_t), $in_t
2009
2010         dec     %ecx
2011         jnz     .Lmulti_select_loop_avx2
2012
2013         vmovdqu $R0a, 32*0-112($val)
2014         vmovdqu $R0b, 32*1-112($val)
2015         vmovdqu $R1a, 32*2-112($val)
2016         vmovdqu $R1b, 32*3-112($val)
2017         vmovdqu $R2a, 32*4-112($val)
2018         vmovdqu $R2b, 32*5-112($val)
2019         vmovdqu $R3a, 32*6-112($val)
2020         vmovdqu $R3b, 32*7-112($val)
2021
2022         vzeroupper
2023 ___
2024 $code.=<<___    if ($win64);
2025         movaps  16*0(%rsp), %xmm6
2026         movaps  16*1(%rsp), %xmm7
2027         movaps  16*2(%rsp), %xmm8
2028         movaps  16*3(%rsp), %xmm9
2029         movaps  16*4(%rsp), %xmm10
2030         movaps  16*5(%rsp), %xmm11
2031         movaps  16*6(%rsp), %xmm12
2032         movaps  16*7(%rsp), %xmm13
2033         movaps  16*8(%rsp), %xmm14
2034         movaps  16*9(%rsp), %xmm15
2035         lea     8+16*10(%rsp), %rsp
2036 ___
2037 $code.=<<___;
2038         ret
2039 .size   ecp_nistz256_avx2_multi_gather_w7,.-ecp_nistz256_avx2_multi_gather_w7
2040
2041 .extern OPENSSL_ia32cap_P
2042 .globl  ecp_nistz_avx2_eligible
2043 .type   ecp_nistz_avx2_eligible,\@abi-omnipotent
2044 .align  32
2045 ecp_nistz_avx2_eligible:
2046         mov     OPENSSL_ia32cap_P+8(%rip),%eax
2047         shr     \$5,%eax
2048         and     \$1,%eax
2049         ret
2050 .size   ecp_nistz_avx2_eligible,.-ecp_nistz_avx2_eligible
2051 ___
2052 }
2053 }} else {{      # assembler is too old
2054 $code.=<<___;
2055 .text
2056
2057 .globl  ecp_nistz256_avx2_transpose_convert
2058 .globl  ecp_nistz256_avx2_convert_transpose_back
2059 .globl  ecp_nistz256_avx2_point_add_affine_x4
2060 .globl  ecp_nistz256_avx2_point_add_affines_x4
2061 .globl  ecp_nistz256_avx2_to_mont
2062 .globl  ecp_nistz256_avx2_from_mont
2063 .globl  ecp_nistz256_avx2_set1
2064 .globl  ecp_nistz256_avx2_multi_gather_w7
2065 .type   ecp_nistz256_avx2_multi_gather_w7,\@abi-omnipotent
2066 ecp_nistz256_avx2_transpose_convert:
2067 ecp_nistz256_avx2_convert_transpose_back:
2068 ecp_nistz256_avx2_point_add_affine_x4:
2069 ecp_nistz256_avx2_point_add_affines_x4:
2070 ecp_nistz256_avx2_to_mont:
2071 ecp_nistz256_avx2_from_mont:
2072 ecp_nistz256_avx2_set1:
2073 ecp_nistz256_avx2_multi_gather_w7:
2074         .byte   0x0f,0x0b       # ud2
2075         ret
2076 .size   ecp_nistz256_avx2_multi_gather_w7,.-ecp_nistz256_avx2_multi_gather_w7
2077
2078 .globl  ecp_nistz_avx2_eligible
2079 .type   ecp_nistz_avx2_eligible,\@abi-omnipotent
2080 ecp_nistz_avx2_eligible:
2081         xor     %eax,%eax
2082         ret
2083 .size   ecp_nistz_avx2_eligible,.-ecp_nistz_avx2_eligible
2084 ___
2085 }}
2086
2087 foreach (split("\n",$code)) {
2088         s/\`([^\`]*)\`/eval($1)/geo;
2089
2090         print $_,"\n";
2091 }
2092
2093 close STDOUT;