c4b6d0f741693f07934393ff2a3a6943173418e1
[openssl.git] / crypto / ec / asm / ecp_nistz256-x86_64.pl
1 #!/usr/bin/env perl
2
3 ##############################################################################
4 #                                                                            #
5 # Copyright 2014 Intel Corporation                                           #
6 #                                                                            #
7 # Licensed under the Apache License, Version 2.0 (the "License");            #
8 # you may not use this file except in compliance with the License.           #
9 # You may obtain a copy of the License at                                    #
10 #                                                                            #
11 #    http://www.apache.org/licenses/LICENSE-2.0                              #
12 #                                                                            #
13 # Unless required by applicable law or agreed to in writing, software        #
14 # distributed under the License is distributed on an "AS IS" BASIS,          #
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.   #
16 # See the License for the specific language governing permissions and        #
17 # limitations under the License.                                             #
18 #                                                                            #
19 ##############################################################################
20 #                                                                            #
21 #  Developers and authors:                                                   #
22 #  Shay Gueron (1, 2), and Vlad Krasnov (1)                                  #
23 #  (1) Intel Corporation, Israel Development Center                          #
24 #  (2) University of Haifa                                                   #
25 #  Reference:                                                                #
26 #  S.Gueron and V.Krasnov, "Fast Prime Field Elliptic Curve Cryptography with#
27 #                           256 Bit Primes"                                  #
28 #                                                                            #
29 ##############################################################################
30
31 # Further optimization by <appro@openssl.org>:
32 #
33 #               this/original
34 # Opteron       +8-33%
35 # Bulldozer     +10-30%
36 # P4            +14-38%
37 # Westmere      +8-23%
38 # Sandy Bridge  +8-24%
39 # Ivy Bridge    +7-25%
40 # Haswell       +5-25%
41 # Atom          +10-32%
42 # VIA Nano      +37-130%
43 #
44 # Ranges denote minimum and maximum improvement coefficients depending
45 # on benchmark.
46
47 $flavour = shift;
48 $output  = shift;
49 if ($flavour =~ /\./) { $output = $flavour; undef $flavour; }
50
51 $win64=0; $win64=1 if ($flavour =~ /[nm]asm|mingw64/ || $output =~ /\.asm$/);
52
53 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
54 ( $xlate="${dir}x86_64-xlate.pl" and -f $xlate ) or
55 ( $xlate="${dir}../../perlasm/x86_64-xlate.pl" and -f $xlate) or
56 die "can't locate x86_64-xlate.pl";
57
58 open OUT,"| \"$^X\" $xlate $flavour $output";
59 *STDOUT=*OUT;
60
61 if (`$ENV{CC} -Wa,-v -c -o /dev/null -x assembler /dev/null 2>&1`
62                 =~ /GNU assembler version ([2-9]\.[0-9]+)/) {
63         $avx = ($1>=2.19) + ($1>=2.22);
64         $addx = ($1>=2.23);
65 }
66
67 if (!$addx && $win64 && ($flavour =~ /nasm/ || $ENV{ASM} =~ /nasm/) &&
68             `nasm -v 2>&1` =~ /NASM version ([2-9]\.[0-9]+)/) {
69         $avx = ($1>=2.09) + ($1>=2.10);
70         $addx = ($1>=2.10);
71 }
72
73 if (!$addx && $win64 && ($flavour =~ /masm/ || $ENV{ASM} =~ /ml64/) &&
74             `ml64 2>&1` =~ /Version ([0-9]+)\./) {
75         $avx = ($1>=10) + ($1>=11);
76         $addx = ($1>=12);
77 }
78
79 if (!$addx && `$ENV{CC} -v 2>&1` =~ /(^clang version|based on LLVM) ([3-9])\.([0-9]+)/) {
80         my $ver = $2 + $3/100.0;        # 3.1->3.01, 3.10->3.10
81         $avx = ($ver>=3.0) + ($ver>=3.01);
82         $addx = ($ver>=3.03);
83 }
84
85 $code.=<<___;
86 .text
87 .extern OPENSSL_ia32cap_P
88
89 # The polynomial
90 .align 64
91 .Lpoly:
92 .quad 0xffffffffffffffff, 0x00000000ffffffff, 0x0000000000000000, 0xffffffff00000001
93
94 # 2^512 mod P precomputed for NIST P256 polynomial
95 .LRR:
96 .quad 0x0000000000000003, 0xfffffffbffffffff, 0xfffffffffffffffe, 0x00000004fffffffd
97
98 .LOne:
99 .long 1,1,1,1,1,1,1,1
100 .LTwo:
101 .long 2,2,2,2,2,2,2,2
102 .LThree:
103 .long 3,3,3,3,3,3,3,3
104 .LONE_mont:
105 .quad 0x0000000000000001, 0xffffffff00000000, 0xffffffffffffffff, 0x00000000fffffffe
106 ___
107
108 {
109 ################################################################################
110 # void ecp_nistz256_mul_by_2(uint64_t res[4], uint64_t a[4]);
111
112 my ($a0,$a1,$a2,$a3)=map("%r$_",(8..11));
113 my ($t0,$t1,$t2,$t3,$t4)=("%rax","%rdx","%rcx","%r12","%r13");
114 my ($r_ptr,$a_ptr,$b_ptr)=("%rdi","%rsi","%rdx");
115
116 $code.=<<___;
117
118 .globl  ecp_nistz256_mul_by_2
119 .type   ecp_nistz256_mul_by_2,\@function,2
120 .align  64
121 ecp_nistz256_mul_by_2:
122         push    %r12
123         push    %r13
124
125         mov     8*0($a_ptr), $a0
126         mov     8*1($a_ptr), $a1
127         add     $a0, $a0                # a0:a3+a0:a3
128         mov     8*2($a_ptr), $a2
129         adc     $a1, $a1
130         mov     8*3($a_ptr), $a3
131         lea     .Lpoly(%rip), $a_ptr
132          mov    $a0, $t0
133         adc     $a2, $a2
134         adc     $a3, $a3
135          mov    $a1, $t1
136         sbb     $t4, $t4
137
138         sub     8*0($a_ptr), $a0
139          mov    $a2, $t2
140         sbb     8*1($a_ptr), $a1
141         sbb     8*2($a_ptr), $a2
142          mov    $a3, $t3
143         sbb     8*3($a_ptr), $a3
144         test    $t4, $t4
145
146         cmovz   $t0, $a0
147         cmovz   $t1, $a1
148         mov     $a0, 8*0($r_ptr)
149         cmovz   $t2, $a2
150         mov     $a1, 8*1($r_ptr)
151         cmovz   $t3, $a3
152         mov     $a2, 8*2($r_ptr)
153         mov     $a3, 8*3($r_ptr)
154
155         pop     %r13
156         pop     %r12
157         ret
158 .size   ecp_nistz256_mul_by_2,.-ecp_nistz256_mul_by_2
159
160 ################################################################################
161 # void ecp_nistz256_div_by_2(uint64_t res[4], uint64_t a[4]);
162 .globl  ecp_nistz256_div_by_2
163 .type   ecp_nistz256_div_by_2,\@function,2
164 .align  32
165 ecp_nistz256_div_by_2:
166         push    %r12
167         push    %r13
168
169         mov     8*0($a_ptr), $a0
170         mov     8*1($a_ptr), $a1
171         mov     8*2($a_ptr), $a2
172          mov    $a0, $t0
173         mov     8*3($a_ptr), $a3
174         lea     .Lpoly(%rip), $a_ptr
175
176          mov    $a1, $t1
177         xor     $t4, $t4
178         add     8*0($a_ptr), $a0
179          mov    $a2, $t2
180         adc     8*1($a_ptr), $a1
181         adc     8*2($a_ptr), $a2
182          mov    $a3, $t3
183         adc     8*3($a_ptr), $a3
184         adc     \$0, $t4
185         xor     $a_ptr, $a_ptr          # borrow $a_ptr
186         test    \$1, $t0
187
188         cmovz   $t0, $a0
189         cmovz   $t1, $a1
190         cmovz   $t2, $a2
191         cmovz   $t3, $a3
192         cmovz   $a_ptr, $t4
193
194         mov     $a1, $t0                # a0:a3>>1
195         shr     \$1, $a0
196         shl     \$63, $t0
197         mov     $a2, $t1
198         shr     \$1, $a1
199         or      $t0, $a0
200         shl     \$63, $t1
201         mov     $a3, $t2
202         shr     \$1, $a2
203         or      $t1, $a1
204         shl     \$63, $t2
205         shr     \$1, $a3
206         shl     \$63, $t4
207         or      $t2, $a2
208         or      $t4, $a3
209
210         mov     $a0, 8*0($r_ptr)
211         mov     $a1, 8*1($r_ptr)
212         mov     $a2, 8*2($r_ptr)
213         mov     $a3, 8*3($r_ptr)
214
215         pop     %r13
216         pop     %r12
217         ret
218 .size   ecp_nistz256_div_by_2,.-ecp_nistz256_div_by_2
219
220 ################################################################################
221 # void ecp_nistz256_mul_by_3(uint64_t res[4], uint64_t a[4]);
222 .globl  ecp_nistz256_mul_by_3
223 .type   ecp_nistz256_mul_by_3,\@function,2
224 .align  32
225 ecp_nistz256_mul_by_3:
226         push    %r12
227         push    %r13
228
229         mov     8*0($a_ptr), $a0
230         xor     $t4, $t4
231         mov     8*1($a_ptr), $a1
232         add     $a0, $a0                # a0:a3+a0:a3
233         mov     8*2($a_ptr), $a2
234         adc     $a1, $a1
235         mov     8*3($a_ptr), $a3
236          mov    $a0, $t0
237         adc     $a2, $a2
238         adc     $a3, $a3
239          mov    $a1, $t1
240         adc     \$0, $t4
241
242         sub     \$-1, $a0
243          mov    $a2, $t2
244         sbb     .Lpoly+8*1(%rip), $a1
245         sbb     \$0, $a2
246          mov    $a3, $t3
247         sbb     .Lpoly+8*3(%rip), $a3
248         test    $t4, $t4
249
250         cmovz   $t0, $a0
251         cmovz   $t1, $a1
252         cmovz   $t2, $a2
253         cmovz   $t3, $a3
254
255         xor     $t4, $t4
256         add     8*0($a_ptr), $a0        # a0:a3+=a_ptr[0:3]
257         adc     8*1($a_ptr), $a1
258          mov    $a0, $t0
259         adc     8*2($a_ptr), $a2
260         adc     8*3($a_ptr), $a3
261          mov    $a1, $t1
262         adc     \$0, $t4
263
264         sub     \$-1, $a0
265          mov    $a2, $t2
266         sbb     .Lpoly+8*1(%rip), $a1
267         sbb     \$0, $a2
268          mov    $a3, $t3
269         sbb     .Lpoly+8*3(%rip), $a3
270         test    $t4, $t4
271
272         cmovz   $t0, $a0
273         cmovz   $t1, $a1
274         mov     $a0, 8*0($r_ptr)
275         cmovz   $t2, $a2
276         mov     $a1, 8*1($r_ptr)
277         cmovz   $t3, $a3
278         mov     $a2, 8*2($r_ptr)
279         mov     $a3, 8*3($r_ptr)
280
281         pop %r13
282         pop %r12
283         ret
284 .size   ecp_nistz256_mul_by_3,.-ecp_nistz256_mul_by_3
285
286 ################################################################################
287 # void ecp_nistz256_add(uint64_t res[4], uint64_t a[4], uint64_t b[4]);
288 .globl  ecp_nistz256_add
289 .type   ecp_nistz256_add,\@function,3
290 .align  32
291 ecp_nistz256_add:
292         push    %r12
293         push    %r13
294
295         mov     8*0($a_ptr), $a0
296         xor     $t4, $t4
297         mov     8*1($a_ptr), $a1
298         mov     8*2($a_ptr), $a2
299         mov     8*3($a_ptr), $a3
300         lea     .Lpoly(%rip), $a_ptr
301
302         add     8*0($b_ptr), $a0
303         adc     8*1($b_ptr), $a1
304          mov    $a0, $t0
305         adc     8*2($b_ptr), $a2
306         adc     8*3($b_ptr), $a3
307          mov    $a1, $t1
308         adc     \$0, $t4
309
310         sub     8*0($a_ptr), $a0
311          mov    $a2, $t2
312         sbb     8*1($a_ptr), $a1
313         sbb     8*2($a_ptr), $a2
314          mov    $a3, $t3
315         sbb     8*3($a_ptr), $a3
316         test    $t4, $t4
317
318         cmovz   $t0, $a0
319         cmovz   $t1, $a1
320         mov     $a0, 8*0($r_ptr)
321         cmovz   $t2, $a2
322         mov     $a1, 8*1($r_ptr)
323         cmovz   $t3, $a3
324         mov     $a2, 8*2($r_ptr)
325         mov     $a3, 8*3($r_ptr)
326
327         pop %r13
328         pop %r12
329         ret
330 .size   ecp_nistz256_add,.-ecp_nistz256_add
331
332 ################################################################################
333 # void ecp_nistz256_sub(uint64_t res[4], uint64_t a[4], uint64_t b[4]);
334 .globl  ecp_nistz256_sub
335 .type   ecp_nistz256_sub,\@function,3
336 .align  32
337 ecp_nistz256_sub:
338         push    %r12
339         push    %r13
340
341         mov     8*0($a_ptr), $a0
342         xor     $t4, $t4
343         mov     8*1($a_ptr), $a1
344         mov     8*2($a_ptr), $a2
345         mov     8*3($a_ptr), $a3
346         lea     .Lpoly(%rip), $a_ptr
347
348         sub     8*0($b_ptr), $a0
349         sbb     8*1($b_ptr), $a1
350          mov    $a0, $t0
351         sbb     8*2($b_ptr), $a2
352         sbb     8*3($b_ptr), $a3
353          mov    $a1, $t1
354         sbb     \$0, $t4
355
356         add     8*0($a_ptr), $a0
357          mov    $a2, $t2
358         adc     8*1($a_ptr), $a1
359         adc     8*2($a_ptr), $a2
360          mov    $a3, $t3
361         adc     8*3($a_ptr), $a3
362         test    $t4, $t4
363
364         cmovz   $t0, $a0
365         cmovz   $t1, $a1
366         mov     $a0, 8*0($r_ptr)
367         cmovz   $t2, $a2
368         mov     $a1, 8*1($r_ptr)
369         cmovz   $t3, $a3
370         mov     $a2, 8*2($r_ptr)
371         mov     $a3, 8*3($r_ptr)
372
373         pop %r13
374         pop %r12
375         ret
376 .size   ecp_nistz256_sub,.-ecp_nistz256_sub
377
378 ################################################################################
379 # void ecp_nistz256_neg(uint64_t res[4], uint64_t a[4]);
380 .globl  ecp_nistz256_neg
381 .type   ecp_nistz256_neg,\@function,2
382 .align  32
383 ecp_nistz256_neg:
384         push    %r12
385         push    %r13
386
387         xor     $a0, $a0
388         xor     $a1, $a1
389         xor     $a2, $a2
390         xor     $a3, $a3
391         xor     $t4, $t4
392
393         sub     8*0($a_ptr), $a0
394         sbb     8*1($a_ptr), $a1
395         sbb     8*2($a_ptr), $a2
396          mov    $a0, $t0
397         sbb     8*3($a_ptr), $a3
398         lea     .Lpoly(%rip), $a_ptr
399          mov    $a1, $t1
400         sbb     \$0, $t4
401
402         add     8*0($a_ptr), $a0
403          mov    $a2, $t2
404         adc     8*1($a_ptr), $a1
405         adc     8*2($a_ptr), $a2
406          mov    $a3, $t3
407         adc     8*3($a_ptr), $a3
408         test    $t4, $t4
409
410         cmovz   $t0, $a0
411         cmovz   $t1, $a1
412         mov     $a0, 8*0($r_ptr)
413         cmovz   $t2, $a2
414         mov     $a1, 8*1($r_ptr)
415         cmovz   $t3, $a3
416         mov     $a2, 8*2($r_ptr)
417         mov     $a3, 8*3($r_ptr)
418
419         pop %r13
420         pop %r12
421         ret
422 .size   ecp_nistz256_neg,.-ecp_nistz256_neg
423 ___
424 }
425 {
426 my ($r_ptr,$a_ptr,$b_org,$b_ptr)=("%rdi","%rsi","%rdx","%rbx");
427 my ($acc0,$acc1,$acc2,$acc3,$acc4,$acc5,$acc6,$acc7)=map("%r$_",(8..15));
428 my ($t0,$t1,$t2,$t3,$t4)=("%rcx","%rbp","%rbx","%rdx","%rax");
429 my ($poly1,$poly3)=($acc6,$acc7);
430
431 $code.=<<___;
432 ################################################################################
433 # void ecp_nistz256_to_mont(
434 #   uint64_t res[4],
435 #   uint64_t in[4]);
436 .globl  ecp_nistz256_to_mont
437 .type   ecp_nistz256_to_mont,\@function,2
438 .align  32
439 ecp_nistz256_to_mont:
440 ___
441 $code.=<<___    if ($addx);
442         mov     \$0x80100, %ecx
443         and     OPENSSL_ia32cap_P+8(%rip), %ecx
444 ___
445 $code.=<<___;
446         lea     .LRR(%rip), $b_org
447         jmp     .Lmul_mont
448 .size   ecp_nistz256_to_mont,.-ecp_nistz256_to_mont
449
450 ################################################################################
451 # void ecp_nistz256_mul_mont(
452 #   uint64_t res[4],
453 #   uint64_t a[4],
454 #   uint64_t b[4]);
455
456 .globl  ecp_nistz256_mul_mont
457 .type   ecp_nistz256_mul_mont,\@function,3
458 .align  32
459 ecp_nistz256_mul_mont:
460 ___
461 $code.=<<___    if ($addx);
462         mov     \$0x80100, %ecx
463         and     OPENSSL_ia32cap_P+8(%rip), %ecx
464 ___
465 $code.=<<___;
466 .Lmul_mont:
467         push    %rbp
468         push    %rbx
469         push    %r12
470         push    %r13
471         push    %r14
472         push    %r15
473 ___
474 $code.=<<___    if ($addx);
475         cmp     \$0x80100, %ecx
476         je      .Lmul_montx
477 ___
478 $code.=<<___;
479         mov     $b_org, $b_ptr
480         mov     8*0($b_org), %rax
481         mov     8*0($a_ptr), $acc1
482         mov     8*1($a_ptr), $acc2
483         mov     8*2($a_ptr), $acc3
484         mov     8*3($a_ptr), $acc4
485
486         call    __ecp_nistz256_mul_montq
487 ___
488 $code.=<<___    if ($addx);
489         jmp     .Lmul_mont_done
490
491 .align  32
492 .Lmul_montx:
493         mov     $b_org, $b_ptr
494         mov     8*0($b_org), %rdx
495         mov     8*0($a_ptr), $acc1
496         mov     8*1($a_ptr), $acc2
497         mov     8*2($a_ptr), $acc3
498         mov     8*3($a_ptr), $acc4
499         lea     -128($a_ptr), $a_ptr    # control u-op density
500
501         call    __ecp_nistz256_mul_montx
502 ___
503 $code.=<<___;
504 .Lmul_mont_done:
505         pop     %r15
506         pop     %r14
507         pop     %r13
508         pop     %r12
509         pop     %rbx
510         pop     %rbp
511         ret
512 .size   ecp_nistz256_mul_mont,.-ecp_nistz256_mul_mont
513
514 .type   __ecp_nistz256_mul_montq,\@abi-omnipotent
515 .align  32
516 __ecp_nistz256_mul_montq:
517         ########################################################################
518         # Multiply a by b[0]
519         mov     %rax, $t1
520         mulq    $acc1
521         mov     .Lpoly+8*1(%rip),$poly1
522         mov     %rax, $acc0
523         mov     $t1, %rax
524         mov     %rdx, $acc1
525
526         mulq    $acc2
527         mov     .Lpoly+8*3(%rip),$poly3
528         add     %rax, $acc1
529         mov     $t1, %rax
530         adc     \$0, %rdx
531         mov     %rdx, $acc2
532
533         mulq    $acc3
534         add     %rax, $acc2
535         mov     $t1, %rax
536         adc     \$0, %rdx
537         mov     %rdx, $acc3
538
539         mulq    $acc4
540         add     %rax, $acc3
541          mov    $acc0, %rax
542         adc     \$0, %rdx
543         xor     $acc5, $acc5
544         mov     %rdx, $acc4
545
546         ########################################################################
547         # First reduction step
548         # Basically now we want to multiply acc[0] by p256,
549         # and add the result to the acc.
550         # Due to the special form of p256 we do some optimizations
551         #
552         # acc[0] x p256[0] = acc[0] x 2^64 - acc[0]
553         # then we add acc[0] and get acc[0] x 2^64
554
555         mulq    $poly1
556         xor     $t0, $t0
557         add     $acc0, $acc1            # +=acc[0]*2^64
558         adc     \$0, %rdx
559         add     %rax, $acc1
560         mov     $acc0, %rax
561
562         # acc[0] x p256[2] = 0
563         adc     %rdx, $acc2
564         adc     \$0, $t0
565
566         mulq    $poly3
567         xor     $acc0, $acc0
568         add     $t0, $acc3
569         adc     \$0, %rdx
570         add     %rax, $acc3
571          mov    8*1($b_ptr), %rax
572         adc     %rdx, $acc4
573         adc     \$0, $acc5
574
575         ########################################################################
576         # Multiply by b[1]
577         mov     %rax, $t1
578         mulq    8*0($a_ptr)
579         add     %rax, $acc1
580         mov     $t1, %rax
581         adc     \$0, %rdx
582         mov     %rdx, $t0
583
584         mulq    8*1($a_ptr)
585         add     $t0, $acc2
586         adc     \$0, %rdx
587         add     %rax, $acc2
588         mov     $t1, %rax
589         adc     \$0, %rdx
590         mov     %rdx, $t0
591
592         mulq    8*2($a_ptr)
593         add     $t0, $acc3
594         adc     \$0, %rdx
595         add     %rax, $acc3
596         mov     $t1, %rax
597         adc     \$0, %rdx
598         mov     %rdx, $t0
599
600         mulq    8*3($a_ptr)
601         add     $t0, $acc4
602         adc     \$0, %rdx
603         add     %rax, $acc4
604          mov    $acc1, %rax
605         adc     %rdx, $acc5
606         adc     \$0, $acc0
607
608         ########################################################################
609         # Second reduction step 
610         mulq    $poly1
611         xor     $t0, $t0
612         add     $acc1, $acc2
613         adc     \$0, %rdx
614         add     %rax, $acc2
615         mov     $acc1, %rax
616         adc     %rdx, $acc3
617         adc     \$0, $t0
618
619         mulq    $poly3
620         xor     $acc1, $acc1
621         add     $t0, $acc4
622         adc     \$0, %rdx
623         add     %rax, $acc4
624          mov    8*2($b_ptr), %rax
625         adc     %rdx, $acc5
626         adc     \$0, $acc0
627
628         ########################################################################
629         # Multiply by b[2]
630         mov     %rax, $t1
631         mulq    8*0($a_ptr)
632         add     %rax, $acc2
633         mov     $t1, %rax
634         adc     \$0, %rdx
635         mov     %rdx, $t0
636
637         mulq    8*1($a_ptr)
638         add     $t0, $acc3
639         adc     \$0, %rdx
640         add     %rax, $acc3
641         mov     $t1, %rax
642         adc     \$0, %rdx
643         mov     %rdx, $t0
644
645         mulq    8*2($a_ptr)
646         add     $t0, $acc4
647         adc     \$0, %rdx
648         add     %rax, $acc4
649         mov     $t1, %rax
650         adc     \$0, %rdx
651         mov     %rdx, $t0
652
653         mulq    8*3($a_ptr)
654         add     $t0, $acc5
655         adc     \$0, %rdx
656         add     %rax, $acc5
657          mov    $acc2, %rax
658         adc     %rdx, $acc0
659         adc     \$0, $acc1
660
661         ########################################################################
662         # Third reduction step  
663         mulq    $poly1
664         xor     $t0, $t0
665         add     $acc2, $acc3
666         adc     \$0, %rdx
667         add     %rax, $acc3
668         mov     $acc2, %rax
669         adc     %rdx, $acc4
670         adc     \$0, $t0
671
672         mulq    $poly3
673         xor     $acc2, $acc2
674         add     $t0, $acc5
675         adc     \$0, %rdx
676         add     %rax, $acc5
677          mov    8*3($b_ptr), %rax
678         adc     %rdx, $acc0
679         adc     \$0, $acc1
680
681         ########################################################################
682         # Multiply by b[3]
683         mov     %rax, $t1
684         mulq    8*0($a_ptr)
685         add     %rax, $acc3
686         mov     $t1, %rax
687         adc     \$0, %rdx
688         mov     %rdx, $t0
689
690         mulq    8*1($a_ptr)
691         add     $t0, $acc4
692         adc     \$0, %rdx
693         add     %rax, $acc4
694         mov     $t1, %rax
695         adc     \$0, %rdx
696         mov     %rdx, $t0
697
698         mulq    8*2($a_ptr)
699         add     $t0, $acc5
700         adc     \$0, %rdx
701         add     %rax, $acc5
702         mov     $t1, %rax
703         adc     \$0, %rdx
704         mov     %rdx, $t0
705
706         mulq    8*3($a_ptr)
707         add     $t0, $acc0
708         adc     \$0, %rdx
709         add     %rax, $acc0
710          mov    $acc3, %rax
711         adc     %rdx, $acc1
712         adc     \$0, $acc2
713
714         ########################################################################
715         # Final reduction step  
716         mulq    $poly1
717         #xor    $t0, $t0
718         add     $acc3, $acc4
719         adc     \$0, %rdx
720         add     %rax, $acc4
721         mov     $acc3, %rax
722         adc     %rdx, $acc5
723         #adc    \$0, $t0                # doesn't overflow
724
725         mulq    $poly3
726         #add    $t0, $acc0
727         #adc    \$0, %rdx
728          mov    $acc4, $t0
729         add     %rax, $acc0
730         adc     %rdx, $acc1
731          mov    $acc5, $t1
732         adc     \$0, $acc2
733
734         ########################################################################        
735         # Branch-less conditional subtraction of P
736         sub     \$-1, $acc4             # .Lpoly[0]
737          mov    $acc0, $t2
738         sbb     $poly1, $acc5           # .Lpoly[1]
739         sbb     \$0, $acc0              # .Lpoly[2]
740          mov    $acc1, $t3
741         sbb     $poly3, $acc1           # .Lpoly[3]
742         neg     $acc2
743
744         cmovnc  $t0, $acc4
745         cmovnc  $t1, $acc5
746         mov     $acc4, 8*0($r_ptr)
747         cmovnc  $t2, $acc0
748         mov     $acc5, 8*1($r_ptr)
749         cmovnc  $t3, $acc1
750         mov     $acc0, 8*2($r_ptr)
751         mov     $acc1, 8*3($r_ptr)
752
753         ret
754 .size   __ecp_nistz256_mul_montq,.-__ecp_nistz256_mul_montq
755
756 ################################################################################
757 # void ecp_nistz256_sqr_mont(
758 #   uint64_t res[4],
759 #   uint64_t a[4]);
760
761 # we optimize the square according to S.Gueron and V.Krasnov,
762 # "Speeding up Big-Number Squaring"
763 .globl  ecp_nistz256_sqr_mont
764 .type   ecp_nistz256_sqr_mont,\@function,2
765 .align  32
766 ecp_nistz256_sqr_mont:
767 ___
768 $code.=<<___    if ($addx);
769         mov     \$0x80100, %ecx
770         and     OPENSSL_ia32cap_P+8(%rip), %ecx
771 ___
772 $code.=<<___;
773         push    %rbp
774         push    %rbx
775         push    %r12
776         push    %r13
777         push    %r14
778         push    %r15
779 ___
780 $code.=<<___    if ($addx);
781         cmp     \$0x80100, %ecx
782         je      .Lsqr_montx
783 ___
784 $code.=<<___;
785         mov     8*0($a_ptr), %rax
786         mov     8*1($a_ptr), $acc6
787         mov     8*2($a_ptr), $acc7
788         mov     8*3($a_ptr), $acc0
789
790         call    __ecp_nistz256_sqr_montq
791 ___
792 $code.=<<___    if ($addx);
793         jmp     .Lsqr_mont_done
794
795 .align  32
796 .Lsqr_montx:
797         mov     8*0($a_ptr), %rdx
798         mov     8*1($a_ptr), $acc6
799         mov     8*2($a_ptr), $acc7
800         mov     8*3($a_ptr), $acc0
801         lea     -128($a_ptr), $a_ptr    # control u-op density
802
803         call    __ecp_nistz256_sqr_montx
804 ___
805 $code.=<<___;
806 .Lsqr_mont_done:
807         pop     %r15
808         pop     %r14
809         pop     %r13
810         pop     %r12
811         pop     %rbx
812         pop     %rbp
813         ret
814 .size   ecp_nistz256_sqr_mont,.-ecp_nistz256_sqr_mont
815
816 .type   __ecp_nistz256_sqr_montq,\@abi-omnipotent
817 .align  32
818 __ecp_nistz256_sqr_montq:
819         mov     %rax, $acc5
820         mulq    $acc6                   # a[1]*a[0]
821         mov     %rax, $acc1
822         mov     $acc7, %rax
823         mov     %rdx, $acc2
824
825         mulq    $acc5                   # a[0]*a[2]
826         add     %rax, $acc2
827         mov     $acc0, %rax
828         adc     \$0, %rdx
829         mov     %rdx, $acc3
830
831         mulq    $acc5                   # a[0]*a[3]
832         add     %rax, $acc3
833          mov    $acc7, %rax
834         adc     \$0, %rdx
835         mov     %rdx, $acc4
836
837         #################################
838         mulq    $acc6                   # a[1]*a[2]
839         add     %rax, $acc3
840         mov     $acc0, %rax
841         adc     \$0, %rdx
842         mov     %rdx, $t1
843
844         mulq    $acc6                   # a[1]*a[3]
845         add     %rax, $acc4
846          mov    $acc0, %rax
847         adc     \$0, %rdx
848         add     $t1, $acc4
849         mov     %rdx, $acc5
850         adc     \$0, $acc5
851
852         #################################
853         mulq    $acc7                   # a[2]*a[3]
854         xor     $acc7, $acc7
855         add     %rax, $acc5
856          mov    8*0($a_ptr), %rax
857         mov     %rdx, $acc6
858         adc     \$0, $acc6
859
860         add     $acc1, $acc1            # acc1:6<<1
861         adc     $acc2, $acc2
862         adc     $acc3, $acc3
863         adc     $acc4, $acc4
864         adc     $acc5, $acc5
865         adc     $acc6, $acc6
866         adc     \$0, $acc7
867
868         mulq    %rax
869         mov     %rax, $acc0
870         mov     8*1($a_ptr), %rax
871         mov     %rdx, $t0
872
873         mulq    %rax
874         add     $t0, $acc1
875         adc     %rax, $acc2
876         mov     8*2($a_ptr), %rax
877         adc     \$0, %rdx
878         mov     %rdx, $t0
879
880         mulq    %rax
881         add     $t0, $acc3
882         adc     %rax, $acc4
883         mov     8*3($a_ptr), %rax
884         adc     \$0, %rdx
885         mov     %rdx, $t0
886
887         mulq    %rax
888         add     $t0, $acc5
889         adc     %rax, $acc6
890          mov    $acc0, %rax
891         adc     %rdx, $acc7
892
893         mov     .Lpoly+8*1(%rip), $a_ptr
894         mov     .Lpoly+8*3(%rip), $t1
895
896         ##########################################
897         # Now the reduction
898         # First iteration
899         mulq    $a_ptr
900         #xor    $t0, $t0
901         add     $acc0, $acc1
902         adc     \$0, %rdx
903         add     %rax, $acc1
904         mov     $acc0, %rax
905         adc     %rdx, $acc2     # doesn't overflow
906         #adc    \$0, $t0
907
908         mulq    $t1
909         xor     $acc0, $acc0
910         #add    $t0, $acc3
911         #adc    \$0, %rdx
912         add     %rax, $acc3
913          mov    $acc1, %rax
914         adc     %rdx, $acc4
915         adc     \$0, $acc0
916
917         ##########################################
918         # Second iteration
919         mulq    $a_ptr
920         #xor    $t0, $t0
921         add     $acc1, $acc2
922         adc     \$0, %rdx
923         add     %rax, $acc2
924         mov     $acc1, %rax
925         adc     %rdx, $acc3     # doesn't overflow
926         #adc    \$0, $t0
927
928         mulq    $t1
929         xor     $acc1, $acc1
930         #add    $t0, $acc4
931         #adc    \$0, %rdx
932         add     %rax, $acc4
933          mov    $acc2, %rax
934         adc     %rdx, $acc0
935         adc     \$0, $acc1
936
937         ##########################################
938         # Third iteration
939         mulq    $a_ptr
940         #xor    $t0, $t0
941         add     $acc2, $acc3
942         adc     \$0, %rdx
943         add     %rax, $acc3
944         mov     $acc2, %rax
945         adc     %rdx, $acc4     # doesn't overflow
946         #adc    \$0, $t0
947
948         mulq    $t1
949         xor     $acc2, $acc2
950         #add    $t0, $acc0
951         #adc    \$0, %rdx
952         add     %rax, $acc0
953          mov    $acc3, %rax
954         adc     %rdx, $acc1
955         adc     \$0, $acc2
956
957         ###########################################
958         # Last iteration
959         mulq    $a_ptr
960         #xor    $t0, $t0
961         add     $acc3, $acc4
962         adc     \$0, %rdx
963         add     %rax, $acc4
964         mov     $acc3, %rax
965         adc     %rdx, $acc0     # doesn't overflow
966         #adc    \$0, $t0
967
968         mulq    $t1
969         xor     $acc3, $acc3
970         #add    $t0, $acc1
971         #adc    \$0, %rdx
972         add     %rax, $acc1
973         adc     %rdx, $acc2
974         adc     \$0, $acc3
975
976         ############################################
977         # Add the rest of the acc
978         add     $acc0, $acc5
979          mov    $acc4, $acc0
980         adc     $acc1, $acc6
981         adc     $acc2, $acc7
982          mov    $acc5, $acc1
983         adc     \$0, $acc3
984
985         sub     \$-1, $acc4             # .Lpoly[0]
986          mov    $acc6, $acc2
987         sbb     $a_ptr, $acc5           # .Lpoly[1]
988         sbb     \$0, $acc6              # .Lpoly[2]
989          mov    $acc7, $t0
990         sbb     $t1, $acc7              # .Lpoly[3]
991         neg     $acc3
992
993         cmovnc  $acc0, $acc4
994         cmovnc  $acc1, $acc5
995         mov     $acc4, 8*0($r_ptr)
996         cmovnc  $acc2, $acc6
997         mov     $acc5, 8*1($r_ptr)
998         cmovnc  $t0, $acc7
999         mov     $acc6, 8*2($r_ptr)
1000         mov     $acc7, 8*3($r_ptr)
1001
1002         ret
1003 .size   __ecp_nistz256_sqr_montq,.-__ecp_nistz256_sqr_montq
1004 ___
1005
1006 if ($addx) {
1007 $code.=<<___;
1008 .type   __ecp_nistz256_mul_montx,\@abi-omnipotent
1009 .align  32
1010 __ecp_nistz256_mul_montx:
1011         ########################################################################
1012         # Multiply by b[0]
1013         mulx    $acc1, $acc0, $acc1
1014         mulx    $acc2, $t0, $acc2
1015         mov     \$32, $poly1
1016         xor     $acc5, $acc5            # cf=0
1017         mulx    $acc3, $t1, $acc3
1018         mov     .Lpoly+8*3(%rip), $poly3
1019         adc     $t0, $acc1
1020         mulx    $acc4, $t0, $acc4
1021          mov    $acc0, %rdx
1022         adc     $t1, $acc2
1023          shlx   $poly1,$acc0,$t1
1024         adc     $t0, $acc3
1025          shrx   $poly1,$acc0,$t0
1026         adc     \$0, $acc4
1027
1028         ########################################################################
1029         # First reduction step
1030         xor     $acc0, $acc0            # $acc0=0,cf=0,of=0
1031         adox    $t1, $acc1
1032         adox    $t0, $acc2
1033
1034         mulx    $poly3, $t0, $t1
1035          mov    8*1($b_ptr), %rdx
1036         adox    $t0, $acc3
1037         adcx    $t1, $acc4
1038
1039         adox    $acc0, $acc4
1040         adcx    $acc0, $acc5            # cf=0
1041         adox    $acc0, $acc5            # of=0
1042
1043         ########################################################################
1044         # Multiply by b[1]
1045         mulx    8*0+128($a_ptr), $t0, $t1
1046         adcx    $t0, $acc1
1047         adox    $t1, $acc2
1048
1049         mulx    8*1+128($a_ptr), $t0, $t1
1050         adcx    $t0, $acc2
1051         adox    $t1, $acc3
1052
1053         mulx    8*2+128($a_ptr), $t0, $t1
1054         adcx    $t0, $acc3
1055         adox    $t1, $acc4
1056
1057         mulx    8*3+128($a_ptr), $t0, $t1
1058          mov    $acc1, %rdx
1059         adcx    $t0, $acc4
1060          shlx   $poly1, $acc1, $t0
1061         adox    $t1, $acc5
1062          shrx   $poly1, $acc1, $t1
1063
1064         adcx    $acc0, $acc5
1065         adox    $acc0, $acc0
1066         adc     \$0, $acc0
1067
1068         ########################################################################
1069         # Second reduction step
1070         xor     $acc1 ,$acc1            # $acc1=0,cf=0,of=0
1071         adox    $t0, $acc2
1072         adox    $t1, $acc3
1073
1074         mulx    $poly3, $t0, $t1
1075          mov    8*2($b_ptr), %rdx
1076         adox    $t0, $acc4
1077         adcx    $t1, $acc5
1078
1079         adox    $acc1, $acc5
1080         adcx    $acc1, $acc0            # cf=0
1081         adox    $acc1, $acc0            # of=0
1082
1083         ########################################################################
1084         # Multiply by b[2]
1085         mulx    8*0+128($a_ptr), $t0, $t1
1086         adcx    $t0, $acc2
1087         adox    $t1, $acc3
1088
1089         mulx    8*1+128($a_ptr), $t0, $t1
1090         adcx    $t0, $acc3
1091         adox    $t1, $acc4
1092
1093         mulx    8*2+128($a_ptr), $t0, $t1
1094         adcx    $t0, $acc4
1095         adox    $t1, $acc5
1096
1097         mulx    8*3+128($a_ptr), $t0, $t1
1098          mov    $acc2, %rdx
1099         adcx    $t0, $acc5
1100          shlx   $poly1, $acc2, $t0
1101         adox    $t1, $acc0
1102          shrx   $poly1, $acc2, $t1
1103
1104         adcx    $acc1, $acc0
1105         adox    $acc1, $acc1
1106         adc     \$0, $acc1
1107
1108         ########################################################################
1109         # Third reduction step
1110         xor     $acc2, $acc2            # $acc2=0,cf=0,of=0
1111         adox    $t0, $acc3
1112         adox    $t1, $acc4
1113
1114         mulx    $poly3, $t0, $t1
1115          mov    8*3($b_ptr), %rdx
1116         adox    $t0, $acc5
1117         adcx    $t1, $acc0
1118
1119         adox    $acc2, $acc0
1120         adcx    $acc2, $acc1            # cf=0
1121         adox    $acc2, $acc1            # of=0
1122
1123         ########################################################################
1124         # Multiply by b[3]
1125         mulx    8*0+128($a_ptr), $t0, $t1
1126         adcx    $t0, $acc3
1127         adox    $t1, $acc4
1128
1129         mulx    8*1+128($a_ptr), $t0, $t1
1130         adcx    $t0, $acc4
1131         adox    $t1, $acc5
1132
1133         mulx    8*2+128($a_ptr), $t0, $t1
1134         adcx    $t0, $acc5
1135         adox    $t1, $acc0
1136
1137         mulx    8*3+128($a_ptr), $t0, $t1
1138          mov    $acc3, %rdx
1139         adcx    $t0, $acc0
1140          shlx   $poly1, $acc3, $t0
1141         adox    $t1, $acc1
1142          shrx   $poly1, $acc3, $t1
1143
1144         adcx    $acc2, $acc1
1145         adox    $acc2, $acc2
1146         adc     \$0, $acc2
1147
1148         ########################################################################
1149         # Fourth reduction step
1150         xor     $acc3, $acc3            # $acc3=0,cf=0,of=0
1151         adox    $t0, $acc4
1152         adox    $t1, $acc5
1153
1154         mulx    $poly3, $t0, $t1
1155          mov    $acc4, $t2
1156         mov     .Lpoly+8*1(%rip), $poly1
1157         adcx    $t0, $acc0
1158         adox    $t1, $acc1
1159          mov    $acc5, $t3
1160
1161         adcx    $acc3, $acc1
1162         adox    $acc3, $acc2
1163         adc     \$0, $acc2
1164          mov    $acc0, $t0
1165
1166         ########################################################################
1167         # Branch-less conditional subtraction of P
1168         xor     %eax, %eax
1169         sbb     \$-1, $acc4             # .Lpoly[0]
1170         sbb     $poly1, $acc5           # .Lpoly[1]
1171         sbb     \$0, $acc0              # .Lpoly[2]
1172          mov    $acc1, $t1
1173         sbb     $poly3, $acc1           # .Lpoly[3]
1174
1175         bt      \$0,$acc2
1176         cmovnc  $t2, $acc4
1177         cmovnc  $t3, $acc5
1178         mov     $acc4, 8*0($r_ptr)
1179         cmovnc  $t0, $acc0
1180         mov     $acc5, 8*1($r_ptr)
1181         cmovnc  $t1, $acc1
1182         mov     $acc0, 8*2($r_ptr)
1183         mov     $acc1, 8*3($r_ptr)
1184
1185         ret
1186 .size   __ecp_nistz256_mul_montx,.-__ecp_nistz256_mul_montx
1187
1188 .type   __ecp_nistz256_sqr_montx,\@abi-omnipotent
1189 .align  32
1190 __ecp_nistz256_sqr_montx:
1191         mulx    $acc6, $acc1, $acc2     # a[0]*a[1]
1192         mulx    $acc7, $t0, $acc3       # a[0]*a[2]
1193         xor     %eax, %eax
1194         adc     $t0, $acc2
1195         mulx    $acc0, $t1, $acc4       # a[0]*a[3]
1196          mov    $acc6, %rdx
1197         adc     $t1, $acc3
1198         adc     \$0, $acc4
1199         xor     $acc5, $acc5            # $acc5=0,cf=0,of=0
1200
1201         #################################
1202         mulx    $acc7, $t0, $t1         # a[1]*a[2]
1203         adcx    $t0, $acc3
1204         adox    $t1, $acc4
1205
1206         mulx    $acc0, $t0, $t1         # a[1]*a[3]
1207          mov    $acc7, %rdx
1208         adcx    $t0, $acc4
1209         adox    $t1, $acc5
1210         adc     \$0, $acc5
1211
1212         #################################
1213         mulx    $acc0, $t0, $acc6       # a[2]*a[3]
1214          mov    8*0+128($a_ptr), %rdx
1215         xor     $acc7, $acc7            # $acc7=0,cf=0,of=0
1216          adcx   $acc1, $acc1            # acc1:6<<1
1217         adox    $t0, $acc5
1218          adcx   $acc2, $acc2
1219         adox    $acc7, $acc6            # of=0
1220
1221         mulx    %rdx, $acc0, $t1
1222         mov     8*1+128($a_ptr), %rdx
1223          adcx   $acc3, $acc3
1224         adox    $t1, $acc1
1225          adcx   $acc4, $acc4
1226         mulx    %rdx, $t0, $t4
1227         mov     8*2+128($a_ptr), %rdx
1228          adcx   $acc5, $acc5
1229         adox    $t0, $acc2
1230          adcx   $acc6, $acc6
1231         .byte   0x67
1232         mulx    %rdx, $t0, $t1
1233         mov     8*3+128($a_ptr), %rdx
1234         adox    $t4, $acc3
1235          adcx   $acc7, $acc7
1236         adox    $t0, $acc4
1237          mov    \$32, $a_ptr
1238         adox    $t1, $acc5
1239         .byte   0x67,0x67
1240         mulx    %rdx, $t0, $t4
1241          mov    $acc0, %rdx
1242         adox    $t0, $acc6
1243          shlx   $a_ptr, $acc0, $t0
1244         adox    $t4, $acc7
1245          shrx   $a_ptr, $acc0, $t4
1246          mov    .Lpoly+8*3(%rip), $t1
1247
1248         # reduction step 1
1249         xor     $acc0, $acc0
1250         adcx    $t0, $acc1
1251         adcx    $t4, $acc2
1252
1253         mulx    $t1, $t0, $t4
1254          mov    $acc1, %rdx
1255         adcx    $t0, $acc3
1256          shlx   $a_ptr, $acc1, $t0
1257         adox    $t4, $acc0
1258          shrx   $a_ptr, $acc1, $t4
1259         adc     \$0, $acc0
1260
1261         # reduction step 2
1262         xor     $acc1, $acc1
1263         adcx    $t0, $acc2
1264         adcx    $t4, $acc3
1265
1266         mulx    $t1, $t0, $t4
1267          mov    $acc2, %rdx
1268         adcx    $t0, $acc0
1269          shlx   $a_ptr, $acc2, $t0
1270         adox    $t4, $acc1
1271          shrx   $a_ptr, $acc2, $t4
1272         adc     \$0, $acc1
1273
1274         # reduction step 3
1275         xor     $acc2, $acc2
1276         adcx    $t0, $acc3
1277         adcx    $t4, $acc0
1278
1279         mulx    $t1, $t0, $t4
1280          mov    $acc3, %rdx
1281         adcx    $t0, $acc1
1282          shlx   $a_ptr, $acc3, $t0
1283         adox    $t4, $acc2
1284          shrx   $a_ptr, $acc3, $t4
1285         adc     \$0, $acc2
1286
1287         # reduction step 4
1288         xor     $acc3, $acc3
1289         adcx    $t0, $acc0
1290         adcx    $t4, $acc1
1291
1292         mulx    $t1, $t0, $t4
1293         adcx    $t0, $acc2
1294         adox    $t4, $acc3
1295         adc     \$0, $acc3
1296
1297         xor     $t3, $t3                # cf=0
1298         adc     $acc0, $acc4            # accumulate upper half
1299          mov    .Lpoly+8*1(%rip), $a_ptr
1300         adc     $acc1, $acc5
1301          mov    $acc4, $acc0
1302         adc     $acc2, $acc6
1303         adc     $acc3, $acc7
1304          mov    $acc5, $acc1
1305         adc     \$0, $t3
1306
1307         xor     %eax, %eax              # cf=0
1308         sbb     \$-1, $acc4             # .Lpoly[0]
1309          mov    $acc6, $acc2
1310         sbb     $a_ptr, $acc5           # .Lpoly[1]
1311         sbb     \$0, $acc6              # .Lpoly[2]
1312          mov    $acc7, $acc3
1313         sbb     $t1, $acc7              # .Lpoly[3]
1314
1315         bt      \$0,$t3
1316         cmovnc  $acc0, $acc4
1317         cmovnc  $acc1, $acc5
1318         mov     $acc4, 8*0($r_ptr)
1319         cmovnc  $acc2, $acc6
1320         mov     $acc5, 8*1($r_ptr)
1321         cmovnc  $acc3, $acc7
1322         mov     $acc6, 8*2($r_ptr)
1323         mov     $acc7, 8*3($r_ptr)
1324
1325         ret
1326 .size   __ecp_nistz256_sqr_montx,.-__ecp_nistz256_sqr_montx
1327 ___
1328 }
1329 }
1330 {
1331 my ($r_ptr,$in_ptr)=("%rdi","%rsi");
1332 my ($acc0,$acc1,$acc2,$acc3,$acc4)=map("%r$_",(8..12));
1333 my ($t0,$t1)=("%rcx","%rsi");
1334
1335 $code.=<<___;
1336 ################################################################################
1337 # void ecp_nistz256_from_mont(
1338 #   uint64_t res[4],
1339 #   uint64_t in[4]);
1340 # This one performs Montgomery multiplication by 1, so we only need the reduction
1341
1342 .globl  ecp_nistz256_from_mont
1343 .type   ecp_nistz256_from_mont,\@function,2
1344 .align  32
1345 ecp_nistz256_from_mont:
1346         push    %r12
1347         push    %r13
1348
1349         mov     8*0($in_ptr), %rax
1350         mov     8*1($in_ptr), $acc1
1351         mov     8*2($in_ptr), $acc2
1352         mov     8*3($in_ptr), $acc3
1353         lea     .Lpoly(%rip), $in_ptr
1354         xor     $acc4, $acc4
1355         mov     %rax, $acc0
1356
1357         #########################################
1358         # First iteration
1359         mulq    1*8($in_ptr)
1360         xor     $t0, $t0
1361         add     $acc0, $acc1
1362         adc     \$0, %rdx
1363         add     %rax, $acc1
1364         mov     $acc0, %rax
1365         adc     %rdx, $acc2
1366         adc     \$0, $t0
1367
1368         mulq    3*8($in_ptr)
1369         xor     $acc0, $acc0
1370         add     $t0, $acc3
1371         adc     \$0, %rdx
1372         add     %rax, $acc3
1373          mov    $acc1, %rax
1374         adc     %rdx, $acc4
1375         adc     \$0, $acc0
1376
1377         #########################################
1378         # Second iteration
1379         mulq    1*8($in_ptr)
1380         xor     $t0, $t0
1381         add     $acc1, $acc2
1382         adc     \$0, %rdx
1383         add     %rax, $acc2
1384         mov     $acc1, %rax
1385         adc     %rdx, $acc3
1386         adc     \$0, $t0
1387
1388         mulq    3*8($in_ptr)
1389         xor     $acc1, $acc1
1390         add     $t0, $acc4
1391         adc     \$0, %rdx
1392         add     %rax, $acc4
1393          mov    $acc2, %rax
1394         adc     %rdx, $acc0
1395         adc     \$0, $acc1
1396
1397         ##########################################
1398         # Third iteration
1399         mulq    1*8($in_ptr)
1400         xor     $t0, $t0
1401         add     $acc2, $acc3
1402         adc     \$0, %rdx
1403         add     %rax, $acc3
1404         mov     $acc2, %rax
1405         adc     %rdx, $acc4
1406         adc     \$0, $t0
1407
1408         mulq    3*8($in_ptr)
1409         xor     $acc2, $acc2
1410         add     $t0, $acc0
1411         adc     \$0, %rdx
1412         add     %rax, $acc0
1413          mov    $acc3, %rax
1414         adc     %rdx, $acc1
1415         adc     \$0, $acc2
1416
1417         ###########################################
1418         # Last iteration
1419         mulq    1*8($in_ptr)
1420         xor     $t0, $t0
1421         add     $acc3, $acc4
1422         adc     \$0, %rdx
1423         add     %rax, $acc4
1424         mov     $acc3, %rax
1425         adc     %rdx, $acc0
1426         adc     \$0, $t0
1427
1428         mulq    3*8($in_ptr)
1429         add     $t0, $acc1
1430         adc     \$0, %rdx
1431         add     %rax, $acc1
1432         adc     %rdx, $acc2
1433         sbb     $acc3, $acc3
1434
1435         mov     0*8($in_ptr), %rax
1436         mov     1*8($in_ptr), %rdx
1437         mov     2*8($in_ptr), $t0
1438         mov     3*8($in_ptr), $t1
1439
1440         and     $acc3, %rax
1441         and     $acc3, %rdx
1442         and     $acc3, $t0
1443         and     $acc3, $t1
1444
1445         sub     %rax, $acc4
1446         sbb     %rdx, $acc0
1447         mov     $acc4, 8*0($r_ptr)
1448         sbb     $t0, $acc1
1449         mov     $acc0, 8*1($r_ptr)
1450         sbb     $t1, $acc2
1451         mov     $acc1, 8*2($r_ptr)
1452         mov     $acc2, 8*3($r_ptr)
1453
1454         pop     %r13
1455         pop     %r12
1456         ret
1457 .size   ecp_nistz256_from_mont,.-ecp_nistz256_from_mont
1458 ___
1459 }
1460 {
1461 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
1462 my ($ONE,$INDEX,$Ra,$Rb,$Rc,$Rd,$Re,$Rf)=map("%xmm$_",(0..7));
1463 my ($M0,$T0a,$T0b,$T0c,$T0d,$T0e,$T0f,$TMP0)=map("%xmm$_",(8..15));
1464 my ($M1,$T2a,$T2b,$TMP2,$M2,$T2a,$T2b,$TMP2)=map("%xmm$_",(8..15));
1465
1466 $code.=<<___;
1467 ################################################################################
1468 # void ecp_nistz256_select_w5(uint64_t *val, uint64_t *in_t, int index);
1469 .globl  ecp_nistz256_select_w5
1470 .type   ecp_nistz256_select_w5,\@abi-omnipotent
1471 .align  32
1472 ecp_nistz256_select_w5:
1473 ___
1474 $code.=<<___    if ($avx>1);
1475         mov     OPENSSL_ia32cap_P+8(%rip), %eax
1476         test    \$`1<<5`, %eax
1477         jnz     .Lavx2_select_w5
1478 ___
1479 $code.=<<___    if ($win64);
1480         lea     -0x88(%rsp), %rax
1481 .LSEH_begin_ecp_nistz256_select_w5:
1482         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
1483         .byte   0x0f,0x29,0x70,0xe0             #movaps %xmm6, -0x20(%rax)
1484         .byte   0x0f,0x29,0x78,0xf0             #movaps %xmm7, -0x10(%rax)
1485         .byte   0x44,0x0f,0x29,0x00             #movaps %xmm8, 0(%rax)
1486         .byte   0x44,0x0f,0x29,0x48,0x10        #movaps %xmm9, 0x10(%rax)
1487         .byte   0x44,0x0f,0x29,0x50,0x20        #movaps %xmm10, 0x20(%rax)
1488         .byte   0x44,0x0f,0x29,0x58,0x30        #movaps %xmm11, 0x30(%rax)
1489         .byte   0x44,0x0f,0x29,0x60,0x40        #movaps %xmm12, 0x40(%rax)
1490         .byte   0x44,0x0f,0x29,0x68,0x50        #movaps %xmm13, 0x50(%rax)
1491         .byte   0x44,0x0f,0x29,0x70,0x60        #movaps %xmm14, 0x60(%rax)
1492         .byte   0x44,0x0f,0x29,0x78,0x70        #movaps %xmm15, 0x70(%rax)
1493 ___
1494 $code.=<<___;
1495         movdqa  .LOne(%rip), $ONE
1496         movd    $index, $INDEX
1497
1498         pxor    $Ra, $Ra
1499         pxor    $Rb, $Rb
1500         pxor    $Rc, $Rc
1501         pxor    $Rd, $Rd
1502         pxor    $Re, $Re
1503         pxor    $Rf, $Rf
1504
1505         movdqa  $ONE, $M0
1506         pshufd  \$0, $INDEX, $INDEX
1507
1508         mov     \$16, %rax
1509 .Lselect_loop_sse_w5:
1510
1511         movdqa  $M0, $TMP0
1512         paddd   $ONE, $M0
1513         pcmpeqd $INDEX, $TMP0
1514
1515         movdqa  16*0($in_t), $T0a
1516         movdqa  16*1($in_t), $T0b
1517         movdqa  16*2($in_t), $T0c
1518         movdqa  16*3($in_t), $T0d
1519         movdqa  16*4($in_t), $T0e
1520         movdqa  16*5($in_t), $T0f
1521         lea 16*6($in_t), $in_t
1522
1523         pand    $TMP0, $T0a
1524         pand    $TMP0, $T0b
1525         por     $T0a, $Ra
1526         pand    $TMP0, $T0c
1527         por     $T0b, $Rb
1528         pand    $TMP0, $T0d
1529         por     $T0c, $Rc
1530         pand    $TMP0, $T0e
1531         por     $T0d, $Rd
1532         pand    $TMP0, $T0f
1533         por     $T0e, $Re
1534         por     $T0f, $Rf
1535
1536         dec     %rax
1537         jnz     .Lselect_loop_sse_w5
1538
1539         movdqu  $Ra, 16*0($val)
1540         movdqu  $Rb, 16*1($val)
1541         movdqu  $Rc, 16*2($val)
1542         movdqu  $Rd, 16*3($val)
1543         movdqu  $Re, 16*4($val)
1544         movdqu  $Rf, 16*5($val)
1545 ___
1546 $code.=<<___    if ($win64);
1547         movaps  (%rsp), %xmm6
1548         movaps  0x10(%rsp), %xmm7
1549         movaps  0x20(%rsp), %xmm8
1550         movaps  0x30(%rsp), %xmm9
1551         movaps  0x40(%rsp), %xmm10
1552         movaps  0x50(%rsp), %xmm11
1553         movaps  0x60(%rsp), %xmm12
1554         movaps  0x70(%rsp), %xmm13
1555         movaps  0x80(%rsp), %xmm14
1556         movaps  0x90(%rsp), %xmm15
1557         lea     0xa8(%rsp), %rsp
1558 .LSEH_end_ecp_nistz256_select_w5:
1559 ___
1560 $code.=<<___;
1561         ret
1562 .size   ecp_nistz256_select_w5,.-ecp_nistz256_select_w5
1563
1564 ################################################################################
1565 # void ecp_nistz256_select_w7(uint64_t *val, uint64_t *in_t, int index);
1566 .globl  ecp_nistz256_select_w7
1567 .type   ecp_nistz256_select_w7,\@abi-omnipotent
1568 .align  32
1569 ecp_nistz256_select_w7:
1570 ___
1571 $code.=<<___    if ($avx>1);
1572         mov     OPENSSL_ia32cap_P+8(%rip), %eax
1573         test    \$`1<<5`, %eax
1574         jnz     .Lavx2_select_w7
1575 ___
1576 $code.=<<___    if ($win64);
1577         lea     -0x88(%rsp), %rax
1578 .LSEH_begin_ecp_nistz256_select_w7:
1579         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
1580         .byte   0x0f,0x29,0x70,0xe0             #movaps %xmm6, -0x20(%rax)
1581         .byte   0x0f,0x29,0x78,0xf0             #movaps %xmm7, -0x10(%rax)
1582         .byte   0x44,0x0f,0x29,0x00             #movaps %xmm8, 0(%rax)
1583         .byte   0x44,0x0f,0x29,0x48,0x10        #movaps %xmm9, 0x10(%rax)
1584         .byte   0x44,0x0f,0x29,0x50,0x20        #movaps %xmm10, 0x20(%rax)
1585         .byte   0x44,0x0f,0x29,0x58,0x30        #movaps %xmm11, 0x30(%rax)
1586         .byte   0x44,0x0f,0x29,0x60,0x40        #movaps %xmm12, 0x40(%rax)
1587         .byte   0x44,0x0f,0x29,0x68,0x50        #movaps %xmm13, 0x50(%rax)
1588         .byte   0x44,0x0f,0x29,0x70,0x60        #movaps %xmm14, 0x60(%rax)
1589         .byte   0x44,0x0f,0x29,0x78,0x70        #movaps %xmm15, 0x70(%rax)
1590 ___
1591 $code.=<<___;
1592         movdqa  .LOne(%rip), $M0
1593         movd    $index, $INDEX
1594
1595         pxor    $Ra, $Ra
1596         pxor    $Rb, $Rb
1597         pxor    $Rc, $Rc
1598         pxor    $Rd, $Rd
1599
1600         movdqa  $M0, $ONE
1601         pshufd  \$0, $INDEX, $INDEX
1602         mov     \$64, %rax
1603
1604 .Lselect_loop_sse_w7:
1605         movdqa  $M0, $TMP0
1606         paddd   $ONE, $M0
1607         movdqa  16*0($in_t), $T0a
1608         movdqa  16*1($in_t), $T0b
1609         pcmpeqd $INDEX, $TMP0
1610         movdqa  16*2($in_t), $T0c
1611         movdqa  16*3($in_t), $T0d
1612         lea     16*4($in_t), $in_t
1613
1614         pand    $TMP0, $T0a
1615         pand    $TMP0, $T0b
1616         por     $T0a, $Ra
1617         pand    $TMP0, $T0c
1618         por     $T0b, $Rb
1619         pand    $TMP0, $T0d
1620         por     $T0c, $Rc
1621         prefetcht0      255($in_t)
1622         por     $T0d, $Rd
1623
1624         dec     %rax
1625         jnz     .Lselect_loop_sse_w7
1626
1627         movdqu  $Ra, 16*0($val)
1628         movdqu  $Rb, 16*1($val)
1629         movdqu  $Rc, 16*2($val)
1630         movdqu  $Rd, 16*3($val)
1631 ___
1632 $code.=<<___    if ($win64);
1633         movaps  (%rsp), %xmm6
1634         movaps  0x10(%rsp), %xmm7
1635         movaps  0x20(%rsp), %xmm8
1636         movaps  0x30(%rsp), %xmm9
1637         movaps  0x40(%rsp), %xmm10
1638         movaps  0x50(%rsp), %xmm11
1639         movaps  0x60(%rsp), %xmm12
1640         movaps  0x70(%rsp), %xmm13
1641         movaps  0x80(%rsp), %xmm14
1642         movaps  0x90(%rsp), %xmm15
1643         lea     0xa8(%rsp), %rsp
1644 .LSEH_end_ecp_nistz256_select_w7:
1645 ___
1646 $code.=<<___;
1647         ret
1648 .size   ecp_nistz256_select_w7,.-ecp_nistz256_select_w7
1649 ___
1650 }
1651 if ($avx>1) {
1652 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
1653 my ($TWO,$INDEX,$Ra,$Rb,$Rc)=map("%ymm$_",(0..4));
1654 my ($M0,$T0a,$T0b,$T0c,$TMP0)=map("%ymm$_",(5..9));
1655 my ($M1,$T1a,$T1b,$T1c,$TMP1)=map("%ymm$_",(10..14));
1656
1657 $code.=<<___;
1658 ################################################################################
1659 # void ecp_nistz256_avx2_select_w5(uint64_t *val, uint64_t *in_t, int index);
1660 .type   ecp_nistz256_avx2_select_w5,\@abi-omnipotent
1661 .align  32
1662 ecp_nistz256_avx2_select_w5:
1663 .Lavx2_select_w5:
1664         vzeroupper
1665 ___
1666 $code.=<<___    if ($win64);
1667         lea     -0x88(%rsp), %rax
1668 .LSEH_begin_ecp_nistz256_avx2_select_w5:
1669         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
1670         .byte   0xc5,0xf8,0x29,0x70,0xe0        #vmovaps %xmm6, -0x20(%rax)
1671         .byte   0xc5,0xf8,0x29,0x78,0xf0        #vmovaps %xmm7, -0x10(%rax)
1672         .byte   0xc5,0x78,0x29,0x40,0x00        #vmovaps %xmm8, 8(%rax)
1673         .byte   0xc5,0x78,0x29,0x48,0x10        #vmovaps %xmm9, 0x10(%rax)
1674         .byte   0xc5,0x78,0x29,0x50,0x20        #vmovaps %xmm10, 0x20(%rax)
1675         .byte   0xc5,0x78,0x29,0x58,0x30        #vmovaps %xmm11, 0x30(%rax)
1676         .byte   0xc5,0x78,0x29,0x60,0x40        #vmovaps %xmm12, 0x40(%rax)
1677         .byte   0xc5,0x78,0x29,0x68,0x50        #vmovaps %xmm13, 0x50(%rax)
1678         .byte   0xc5,0x78,0x29,0x70,0x60        #vmovaps %xmm14, 0x60(%rax)
1679         .byte   0xc5,0x78,0x29,0x78,0x70        #vmovaps %xmm15, 0x70(%rax)
1680 ___
1681 $code.=<<___;
1682         vmovdqa .LTwo(%rip), $TWO
1683
1684         vpxor   $Ra, $Ra, $Ra
1685         vpxor   $Rb, $Rb, $Rb
1686         vpxor   $Rc, $Rc, $Rc
1687
1688         vmovdqa .LOne(%rip), $M0
1689         vmovdqa .LTwo(%rip), $M1
1690
1691         vmovd   $index, %xmm1
1692         vpermd  $INDEX, $Ra, $INDEX
1693
1694         mov     \$8, %rax
1695 .Lselect_loop_avx2_w5:
1696
1697         vmovdqa 32*0($in_t), $T0a
1698         vmovdqa 32*1($in_t), $T0b
1699         vmovdqa 32*2($in_t), $T0c
1700
1701         vmovdqa 32*3($in_t), $T1a
1702         vmovdqa 32*4($in_t), $T1b
1703         vmovdqa 32*5($in_t), $T1c
1704
1705         vpcmpeqd        $INDEX, $M0, $TMP0
1706         vpcmpeqd        $INDEX, $M1, $TMP1
1707
1708         vpaddd  $TWO, $M0, $M0
1709         vpaddd  $TWO, $M1, $M1
1710         lea     32*6($in_t), $in_t
1711
1712         vpand   $TMP0, $T0a, $T0a
1713         vpand   $TMP0, $T0b, $T0b
1714         vpand   $TMP0, $T0c, $T0c
1715         vpand   $TMP1, $T1a, $T1a
1716         vpand   $TMP1, $T1b, $T1b
1717         vpand   $TMP1, $T1c, $T1c
1718
1719         vpxor   $T0a, $Ra, $Ra
1720         vpxor   $T0b, $Rb, $Rb
1721         vpxor   $T0c, $Rc, $Rc
1722         vpxor   $T1a, $Ra, $Ra
1723         vpxor   $T1b, $Rb, $Rb
1724         vpxor   $T1c, $Rc, $Rc
1725
1726         dec %rax
1727         jnz .Lselect_loop_avx2_w5
1728
1729         vmovdqu $Ra, 32*0($val)
1730         vmovdqu $Rb, 32*1($val)
1731         vmovdqu $Rc, 32*2($val)
1732         vzeroupper
1733 ___
1734 $code.=<<___    if ($win64);
1735         movaps  (%rsp), %xmm6
1736         movaps  0x10(%rsp), %xmm7
1737         movaps  0x20(%rsp), %xmm8
1738         movaps  0x30(%rsp), %xmm9
1739         movaps  0x40(%rsp), %xmm10
1740         movaps  0x50(%rsp), %xmm11
1741         movaps  0x60(%rsp), %xmm12
1742         movaps  0x70(%rsp), %xmm13
1743         movaps  0x80(%rsp), %xmm14
1744         movaps  0x90(%rsp), %xmm15
1745         lea     0xa8(%rsp), %rsp
1746 .LSEH_end_ecp_nistz256_avx2_select_w5:
1747 ___
1748 $code.=<<___;
1749         ret
1750 .size   ecp_nistz256_avx2_select_w5,.-ecp_nistz256_avx2_select_w5
1751 ___
1752 }
1753 if ($avx>1) {
1754 my ($val,$in_t,$index)=$win64?("%rcx","%rdx","%r8d"):("%rdi","%rsi","%edx");
1755 my ($THREE,$INDEX,$Ra,$Rb)=map("%ymm$_",(0..3));
1756 my ($M0,$T0a,$T0b,$TMP0)=map("%ymm$_",(4..7));
1757 my ($M1,$T1a,$T1b,$TMP1)=map("%ymm$_",(8..11));
1758 my ($M2,$T2a,$T2b,$TMP2)=map("%ymm$_",(12..15));
1759
1760 $code.=<<___;
1761
1762 ################################################################################
1763 # void ecp_nistz256_avx2_select_w7(uint64_t *val, uint64_t *in_t, int index);
1764 .globl  ecp_nistz256_avx2_select_w7
1765 .type   ecp_nistz256_avx2_select_w7,\@abi-omnipotent
1766 .align  32
1767 ecp_nistz256_avx2_select_w7:
1768 .Lavx2_select_w7:
1769         vzeroupper
1770 ___
1771 $code.=<<___    if ($win64);
1772         lea     -0x88(%rsp), %rax
1773 .LSEH_begin_ecp_nistz256_avx2_select_w7:
1774         .byte   0x48,0x8d,0x60,0xe0             #lea    -0x20(%rax), %rsp
1775         .byte   0xc5,0xf8,0x29,0x70,0xe0        #vmovaps %xmm6, -0x20(%rax)
1776         .byte   0xc5,0xf8,0x29,0x78,0xf0        #vmovaps %xmm7, -0x10(%rax)
1777         .byte   0xc5,0x78,0x29,0x40,0x00        #vmovaps %xmm8, 8(%rax)
1778         .byte   0xc5,0x78,0x29,0x48,0x10        #vmovaps %xmm9, 0x10(%rax)
1779         .byte   0xc5,0x78,0x29,0x50,0x20        #vmovaps %xmm10, 0x20(%rax)
1780         .byte   0xc5,0x78,0x29,0x58,0x30        #vmovaps %xmm11, 0x30(%rax)
1781         .byte   0xc5,0x78,0x29,0x60,0x40        #vmovaps %xmm12, 0x40(%rax)
1782         .byte   0xc5,0x78,0x29,0x68,0x50        #vmovaps %xmm13, 0x50(%rax)
1783         .byte   0xc5,0x78,0x29,0x70,0x60        #vmovaps %xmm14, 0x60(%rax)
1784         .byte   0xc5,0x78,0x29,0x78,0x70        #vmovaps %xmm15, 0x70(%rax)
1785 ___
1786 $code.=<<___;
1787         vmovdqa .LThree(%rip), $THREE
1788
1789         vpxor   $Ra, $Ra, $Ra
1790         vpxor   $Rb, $Rb, $Rb
1791
1792         vmovdqa .LOne(%rip), $M0
1793         vmovdqa .LTwo(%rip), $M1
1794         vmovdqa .LThree(%rip), $M2
1795
1796         vmovd   $index, %xmm1
1797         vpermd  $INDEX, $Ra, $INDEX
1798         # Skip index = 0, because it is implicitly the point at infinity
1799
1800         mov     \$21, %rax
1801 .Lselect_loop_avx2_w7:
1802
1803         vmovdqa 32*0($in_t), $T0a
1804         vmovdqa 32*1($in_t), $T0b
1805
1806         vmovdqa 32*2($in_t), $T1a
1807         vmovdqa 32*3($in_t), $T1b
1808
1809         vmovdqa 32*4($in_t), $T2a
1810         vmovdqa 32*5($in_t), $T2b
1811
1812         vpcmpeqd        $INDEX, $M0, $TMP0
1813         vpcmpeqd        $INDEX, $M1, $TMP1
1814         vpcmpeqd        $INDEX, $M2, $TMP2
1815
1816         vpaddd  $THREE, $M0, $M0
1817         vpaddd  $THREE, $M1, $M1
1818         vpaddd  $THREE, $M2, $M2
1819         lea     32*6($in_t), $in_t
1820
1821         vpand   $TMP0, $T0a, $T0a
1822         vpand   $TMP0, $T0b, $T0b
1823         vpand   $TMP1, $T1a, $T1a
1824         vpand   $TMP1, $T1b, $T1b
1825         vpand   $TMP2, $T2a, $T2a
1826         vpand   $TMP2, $T2b, $T2b
1827
1828         vpxor   $T0a, $Ra, $Ra
1829         vpxor   $T0b, $Rb, $Rb
1830         vpxor   $T1a, $Ra, $Ra
1831         vpxor   $T1b, $Rb, $Rb
1832         vpxor   $T2a, $Ra, $Ra
1833         vpxor   $T2b, $Rb, $Rb
1834
1835         dec %rax
1836         jnz .Lselect_loop_avx2_w7
1837
1838
1839         vmovdqa 32*0($in_t), $T0a
1840         vmovdqa 32*1($in_t), $T0b
1841
1842         vpcmpeqd        $INDEX, $M0, $TMP0
1843
1844         vpand   $TMP0, $T0a, $T0a
1845         vpand   $TMP0, $T0b, $T0b
1846
1847         vpxor   $T0a, $Ra, $Ra
1848         vpxor   $T0b, $Rb, $Rb
1849
1850         vmovdqu $Ra, 32*0($val)
1851         vmovdqu $Rb, 32*1($val)
1852         vzeroupper
1853 ___
1854 $code.=<<___    if ($win64);
1855         movaps  (%rsp), %xmm6
1856         movaps  0x10(%rsp), %xmm7
1857         movaps  0x20(%rsp), %xmm8
1858         movaps  0x30(%rsp), %xmm9
1859         movaps  0x40(%rsp), %xmm10
1860         movaps  0x50(%rsp), %xmm11
1861         movaps  0x60(%rsp), %xmm12
1862         movaps  0x70(%rsp), %xmm13
1863         movaps  0x80(%rsp), %xmm14
1864         movaps  0x90(%rsp), %xmm15
1865         lea     0xa8(%rsp), %rsp
1866 .LSEH_end_ecp_nistz256_avx2_select_w7:
1867 ___
1868 $code.=<<___;
1869         ret
1870 .size   ecp_nistz256_avx2_select_w7,.-ecp_nistz256_avx2_select_w7
1871 ___
1872 } else {
1873 $code.=<<___;
1874 .globl  ecp_nistz256_avx2_select_w7
1875 .type   ecp_nistz256_avx2_select_w7,\@function,3
1876 .align  32
1877 ecp_nistz256_avx2_select_w7:
1878         .byte   0x0f,0x0b       # ud2
1879         ret
1880 .size   ecp_nistz256_avx2_select_w7,.-ecp_nistz256_avx2_select_w7
1881 ___
1882 }
1883 {{{
1884 ########################################################################
1885 # This block implements higher level point_double, point_add and
1886 # point_add_affine. The key to performance in this case is to allow
1887 # out-of-order execution logic to overlap computations from next step
1888 # with tail processing from current step. By using tailored calling
1889 # sequence we minimize inter-step overhead to give processor better
1890 # shot at overlapping operations...
1891 #
1892 # You will notice that input data is copied to stack. Trouble is that
1893 # there are no registers to spare for holding original pointers and
1894 # reloading them, pointers, would create undesired dependencies on
1895 # effective addresses calculation paths. In other words it's too done
1896 # to favour out-of-order execution logic.
1897 #                                               <appro@openssl.org>
1898
1899 my ($r_ptr,$a_ptr,$b_org,$b_ptr)=("%rdi","%rsi","%rdx","%rbx");
1900 my ($acc0,$acc1,$acc2,$acc3,$acc4,$acc5,$acc6,$acc7)=map("%r$_",(8..15));
1901 my ($t0,$t1,$t2,$t3,$t4)=("%rax","%rbp","%rcx",$acc4,$acc4);
1902 my ($poly1,$poly3)=($acc6,$acc7);
1903
1904 sub load_for_mul () {
1905 my ($a,$b,$src0) = @_;
1906 my $bias = $src0 eq "%rax" ? 0 : -128;
1907
1908 "       mov     $b, $src0
1909         lea     $b, $b_ptr
1910         mov     8*0+$a, $acc1
1911         mov     8*1+$a, $acc2
1912         lea     $bias+$a, $a_ptr
1913         mov     8*2+$a, $acc3
1914         mov     8*3+$a, $acc4"
1915 }
1916
1917 sub load_for_sqr () {
1918 my ($a,$src0) = @_;
1919 my $bias = $src0 eq "%rax" ? 0 : -128;
1920
1921 "       mov     8*0+$a, $src0
1922         mov     8*1+$a, $acc6
1923         lea     $bias+$a, $a_ptr
1924         mov     8*2+$a, $acc7
1925         mov     8*3+$a, $acc0"
1926 }
1927
1928                                                                         {
1929 ########################################################################
1930 # operate in 4-5-0-1 "name space" that matches multiplication output
1931 #
1932 my ($a0,$a1,$a2,$a3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
1933
1934 $code.=<<___;
1935 .type   __ecp_nistz256_add_toq,\@abi-omnipotent
1936 .align  32
1937 __ecp_nistz256_add_toq:
1938         add     8*0($b_ptr), $a0
1939         adc     8*1($b_ptr), $a1
1940          mov    $a0, $t0
1941         adc     8*2($b_ptr), $a2
1942         adc     8*3($b_ptr), $a3
1943          mov    $a1, $t1
1944         sbb     $t4, $t4
1945
1946         sub     \$-1, $a0
1947          mov    $a2, $t2
1948         sbb     $poly1, $a1
1949         sbb     \$0, $a2
1950          mov    $a3, $t3
1951         sbb     $poly3, $a3
1952         test    $t4, $t4
1953
1954         cmovz   $t0, $a0
1955         cmovz   $t1, $a1
1956         mov     $a0, 8*0($r_ptr)
1957         cmovz   $t2, $a2
1958         mov     $a1, 8*1($r_ptr)
1959         cmovz   $t3, $a3
1960         mov     $a2, 8*2($r_ptr)
1961         mov     $a3, 8*3($r_ptr)
1962
1963         ret
1964 .size   __ecp_nistz256_add_toq,.-__ecp_nistz256_add_toq
1965
1966 .type   __ecp_nistz256_sub_fromq,\@abi-omnipotent
1967 .align  32
1968 __ecp_nistz256_sub_fromq:
1969         sub     8*0($b_ptr), $a0
1970         sbb     8*1($b_ptr), $a1
1971          mov    $a0, $t0
1972         sbb     8*2($b_ptr), $a2
1973         sbb     8*3($b_ptr), $a3
1974          mov    $a1, $t1
1975         sbb     $t4, $t4
1976
1977         add     \$-1, $a0
1978          mov    $a2, $t2
1979         adc     $poly1, $a1
1980         adc     \$0, $a2
1981          mov    $a3, $t3
1982         adc     $poly3, $a3
1983         test    $t4, $t4
1984
1985         cmovz   $t0, $a0
1986         cmovz   $t1, $a1
1987         mov     $a0, 8*0($r_ptr)
1988         cmovz   $t2, $a2
1989         mov     $a1, 8*1($r_ptr)
1990         cmovz   $t3, $a3
1991         mov     $a2, 8*2($r_ptr)
1992         mov     $a3, 8*3($r_ptr)
1993
1994         ret
1995 .size   __ecp_nistz256_sub_fromq,.-__ecp_nistz256_sub_fromq
1996
1997 .type   __ecp_nistz256_subq,\@abi-omnipotent
1998 .align  32
1999 __ecp_nistz256_subq:
2000         sub     $a0, $t0
2001         sbb     $a1, $t1
2002          mov    $t0, $a0
2003         sbb     $a2, $t2
2004         sbb     $a3, $t3
2005          mov    $t1, $a1
2006         sbb     $t4, $t4
2007
2008         add     \$-1, $t0
2009          mov    $t2, $a2
2010         adc     $poly1, $t1
2011         adc     \$0, $t2
2012          mov    $t3, $a3
2013         adc     $poly3, $t3
2014         test    $t4, $t4
2015
2016         cmovnz  $t0, $a0
2017         cmovnz  $t1, $a1
2018         cmovnz  $t2, $a2
2019         cmovnz  $t3, $a3
2020
2021         ret
2022 .size   __ecp_nistz256_subq,.-__ecp_nistz256_subq
2023
2024 .type   __ecp_nistz256_mul_by_2q,\@abi-omnipotent
2025 .align  32
2026 __ecp_nistz256_mul_by_2q:
2027         add     $a0, $a0                # a0:a3+a0:a3
2028         adc     $a1, $a1
2029          mov    $a0, $t0
2030         adc     $a2, $a2
2031         adc     $a3, $a3
2032          mov    $a1, $t1
2033         sbb     $t4, $t4
2034
2035         sub     \$-1, $a0
2036          mov    $a2, $t2
2037         sbb     $poly1, $a1
2038         sbb     \$0, $a2
2039          mov    $a3, $t3
2040         sbb     $poly3, $a3
2041         test    $t4, $t4
2042
2043         cmovz   $t0, $a0
2044         cmovz   $t1, $a1
2045         mov     $a0, 8*0($r_ptr)
2046         cmovz   $t2, $a2
2047         mov     $a1, 8*1($r_ptr)
2048         cmovz   $t3, $a3
2049         mov     $a2, 8*2($r_ptr)
2050         mov     $a3, 8*3($r_ptr)
2051
2052         ret
2053 .size   __ecp_nistz256_mul_by_2q,.-__ecp_nistz256_mul_by_2q
2054 ___
2055                                                                         }
2056 sub gen_double () {
2057     my $x = shift;
2058     my ($src0,$sfx,$bias);
2059     my ($S,$M,$Zsqr,$in_x,$tmp0)=map(32*$_,(0..4));
2060
2061     if ($x ne "x") {
2062         $src0 = "%rax";
2063         $sfx  = "";
2064         $bias = 0;
2065
2066 $code.=<<___;
2067 .globl  ecp_nistz256_point_double
2068 .type   ecp_nistz256_point_double,\@function,2
2069 .align  32
2070 ecp_nistz256_point_double:
2071 ___
2072 $code.=<<___    if ($addx);
2073         mov     \$0x80100, %ecx
2074         and     OPENSSL_ia32cap_P+8(%rip), %ecx
2075         cmp     \$0x80100, %ecx
2076         je      .Lpoint_doublex
2077 ___
2078     } else {
2079         $src0 = "%rdx";
2080         $sfx  = "x";
2081         $bias = 128;
2082
2083 $code.=<<___;
2084 .type   ecp_nistz256_point_doublex,\@function,2
2085 .align  32
2086 ecp_nistz256_point_doublex:
2087 .Lpoint_doublex:
2088 ___
2089     }
2090 $code.=<<___;
2091         push    %rbp
2092         push    %rbx
2093         push    %r12
2094         push    %r13
2095         push    %r14
2096         push    %r15
2097         sub     \$32*5+8, %rsp
2098
2099         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$a_ptr.x
2100         mov     $a_ptr, $b_ptr                  # backup copy
2101         movdqu  0x10($a_ptr), %xmm1
2102          mov    0x20+8*0($a_ptr), $acc4         # load in_y in "5-4-0-1" order
2103          mov    0x20+8*1($a_ptr), $acc5
2104          mov    0x20+8*2($a_ptr), $acc0
2105          mov    0x20+8*3($a_ptr), $acc1
2106          mov    .Lpoly+8*1(%rip), $poly1
2107          mov    .Lpoly+8*3(%rip), $poly3
2108         movdqa  %xmm0, $in_x(%rsp)
2109         movdqa  %xmm1, $in_x+0x10(%rsp)
2110         lea     0x20($r_ptr), $acc2
2111         lea     0x40($r_ptr), $acc3
2112         movq    $r_ptr, %xmm0
2113         movq    $acc2, %xmm1
2114         movq    $acc3, %xmm2
2115
2116         lea     $S(%rsp), $r_ptr
2117         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(S, in_y);
2118
2119         mov     0x40+8*0($a_ptr), $src0
2120         mov     0x40+8*1($a_ptr), $acc6
2121         mov     0x40+8*2($a_ptr), $acc7
2122         mov     0x40+8*3($a_ptr), $acc0
2123         lea     0x40-$bias($a_ptr), $a_ptr
2124         lea     $Zsqr(%rsp), $r_ptr
2125         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Zsqr, in_z);
2126
2127         `&load_for_sqr("$S(%rsp)", "$src0")`
2128         lea     $S(%rsp), $r_ptr
2129         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(S, S);
2130
2131         mov     0x20($b_ptr), $src0             # $b_ptr is still valid
2132         mov     0x40+8*0($b_ptr), $acc1
2133         mov     0x40+8*1($b_ptr), $acc2
2134         mov     0x40+8*2($b_ptr), $acc3
2135         mov     0x40+8*3($b_ptr), $acc4
2136         lea     0x40-$bias($b_ptr), $a_ptr
2137         lea     0x20($b_ptr), $b_ptr
2138         movq    %xmm2, $r_ptr
2139         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, in_z, in_y);
2140         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(res_z, res_z);
2141
2142         mov     $in_x+8*0(%rsp), $acc4          # "5-4-0-1" order
2143         mov     $in_x+8*1(%rsp), $acc5
2144         lea     $Zsqr(%rsp), $b_ptr
2145         mov     $in_x+8*2(%rsp), $acc0
2146         mov     $in_x+8*3(%rsp), $acc1
2147         lea     $M(%rsp), $r_ptr
2148         call    __ecp_nistz256_add_to$x         # p256_add(M, in_x, Zsqr);
2149
2150         mov     $in_x+8*0(%rsp), $acc4          # "5-4-0-1" order
2151         mov     $in_x+8*1(%rsp), $acc5
2152         lea     $Zsqr(%rsp), $b_ptr
2153         mov     $in_x+8*2(%rsp), $acc0
2154         mov     $in_x+8*3(%rsp), $acc1
2155         lea     $Zsqr(%rsp), $r_ptr
2156         call    __ecp_nistz256_sub_from$x       # p256_sub(Zsqr, in_x, Zsqr);
2157
2158         `&load_for_sqr("$S(%rsp)", "$src0")`
2159         movq    %xmm1, $r_ptr
2160         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(res_y, S);
2161 ___
2162 {       
2163 ######## ecp_nistz256_div_by_2(res_y, res_y); ##########################
2164 # operate in 4-5-6-7 "name space" that matches squaring output
2165 #
2166 my ($poly1,$poly3)=($a_ptr,$t1);
2167 my ($a0,$a1,$a2,$a3,$t3,$t4,$t1)=($acc4,$acc5,$acc6,$acc7,$acc0,$acc1,$acc2);
2168
2169 $code.=<<___;
2170         xor     $t4, $t4
2171         mov     $a0, $t0
2172         add     \$-1, $a0
2173         mov     $a1, $t1
2174         adc     $poly1, $a1
2175         mov     $a2, $t2
2176         adc     \$0, $a2
2177         mov     $a3, $t3
2178         adc     $poly3, $a3
2179         adc     \$0, $t4
2180         xor     $a_ptr, $a_ptr          # borrow $a_ptr
2181         test    \$1, $t0
2182
2183         cmovz   $t0, $a0
2184         cmovz   $t1, $a1
2185         cmovz   $t2, $a2
2186         cmovz   $t3, $a3
2187         cmovz   $a_ptr, $t4
2188
2189         mov     $a1, $t0                # a0:a3>>1
2190         shr     \$1, $a0
2191         shl     \$63, $t0
2192         mov     $a2, $t1
2193         shr     \$1, $a1
2194         or      $t0, $a0
2195         shl     \$63, $t1
2196         mov     $a3, $t2
2197         shr     \$1, $a2
2198         or      $t1, $a1
2199         shl     \$63, $t2
2200         mov     $a0, 8*0($r_ptr)
2201         shr     \$1, $a3
2202         mov     $a1, 8*1($r_ptr)
2203         shl     \$63, $t4
2204         or      $t2, $a2
2205         or      $t4, $a3
2206         mov     $a2, 8*2($r_ptr)
2207         mov     $a3, 8*3($r_ptr)
2208 ___
2209 }
2210 $code.=<<___;
2211         `&load_for_mul("$M(%rsp)", "$Zsqr(%rsp)", "$src0")`
2212         lea     $M(%rsp), $r_ptr
2213         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(M, M, Zsqr);
2214
2215         lea     $tmp0(%rsp), $r_ptr
2216         call    __ecp_nistz256_mul_by_2$x
2217
2218         lea     $M(%rsp), $b_ptr
2219         lea     $M(%rsp), $r_ptr
2220         call    __ecp_nistz256_add_to$x         # p256_mul_by_3(M, M);
2221
2222         `&load_for_mul("$S(%rsp)", "$in_x(%rsp)", "$src0")`
2223         lea     $S(%rsp), $r_ptr
2224         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S, S, in_x);
2225
2226         lea     $tmp0(%rsp), $r_ptr
2227         call    __ecp_nistz256_mul_by_2$x       # p256_mul_by_2(tmp0, S);
2228
2229         `&load_for_sqr("$M(%rsp)", "$src0")`
2230         movq    %xmm0, $r_ptr
2231         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(res_x, M);
2232
2233         lea     $tmp0(%rsp), $b_ptr
2234         mov     $acc6, $acc0                    # harmonize sqr output and sub input
2235         mov     $acc7, $acc1
2236         mov     $a_ptr, $poly1
2237         mov     $t1, $poly3
2238         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, tmp0);
2239
2240         mov     $S+8*0(%rsp), $t0
2241         mov     $S+8*1(%rsp), $t1
2242         mov     $S+8*2(%rsp), $t2
2243         mov     $S+8*3(%rsp), $acc2             # "4-5-0-1" order
2244         lea     $S(%rsp), $r_ptr
2245         call    __ecp_nistz256_sub$x            # p256_sub(S, S, res_x);
2246
2247         mov     $M(%rsp), $src0
2248         lea     $M(%rsp), $b_ptr
2249         mov     $acc4, $acc6                    # harmonize sub output and mul input
2250         xor     %ecx, %ecx
2251         mov     $acc4, $S+8*0(%rsp)             # have to save:-(       
2252         mov     $acc5, $acc2
2253         mov     $acc5, $S+8*1(%rsp)
2254         cmovz   $acc0, $acc3
2255         mov     $acc0, $S+8*2(%rsp)
2256         lea     $S-$bias(%rsp), $a_ptr
2257         cmovz   $acc1, $acc4
2258         mov     $acc1, $S+8*3(%rsp)
2259         mov     $acc6, $acc1
2260         lea     $S(%rsp), $r_ptr
2261         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S, S, M);
2262
2263         movq    %xmm1, $b_ptr
2264         movq    %xmm1, $r_ptr
2265         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, S, res_y);
2266
2267         add     \$32*5+8, %rsp
2268         pop     %r15
2269         pop     %r14
2270         pop     %r13
2271         pop     %r12
2272         pop     %rbx
2273         pop     %rbp
2274         ret
2275 .size   ecp_nistz256_point_double$sfx,.-ecp_nistz256_point_double$sfx
2276 ___
2277 }
2278 &gen_double("q");
2279
2280 sub gen_add () {
2281     my $x = shift;
2282     my ($src0,$sfx,$bias);
2283     my ($H,$Hsqr,$R,$Rsqr,$Hcub,
2284         $U1,$U2,$S1,$S2,
2285         $res_x,$res_y,$res_z,
2286         $in1_x,$in1_y,$in1_z,
2287         $in2_x,$in2_y,$in2_z)=map(32*$_,(0..17));
2288     my ($Z1sqr, $Z2sqr) = ($Hsqr, $Rsqr);
2289
2290     if ($x ne "x") {
2291         $src0 = "%rax";
2292         $sfx  = "";
2293         $bias = 0;
2294
2295 $code.=<<___;
2296 .globl  ecp_nistz256_point_add
2297 .type   ecp_nistz256_point_add,\@function,3
2298 .align  32
2299 ecp_nistz256_point_add:
2300 ___
2301 $code.=<<___    if ($addx);
2302         mov     \$0x80100, %ecx
2303         and     OPENSSL_ia32cap_P+8(%rip), %ecx
2304         cmp     \$0x80100, %ecx
2305         je      .Lpoint_addx
2306 ___
2307     } else {
2308         $src0 = "%rdx";
2309         $sfx  = "x";
2310         $bias = 128;
2311
2312 $code.=<<___;
2313 .type   ecp_nistz256_point_addx,\@function,3
2314 .align  32
2315 ecp_nistz256_point_addx:
2316 .Lpoint_addx:
2317 ___
2318     }
2319 $code.=<<___;
2320         push    %rbp
2321         push    %rbx
2322         push    %r12
2323         push    %r13
2324         push    %r14
2325         push    %r15
2326         sub     \$32*18+8, %rsp
2327
2328         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$a_ptr
2329         movdqu  0x10($a_ptr), %xmm1
2330         movdqu  0x20($a_ptr), %xmm2
2331         movdqu  0x30($a_ptr), %xmm3
2332         movdqu  0x40($a_ptr), %xmm4
2333         movdqu  0x50($a_ptr), %xmm5
2334         mov     $a_ptr, $b_ptr                  # reassign
2335         mov     $b_org, $a_ptr                  # reassign
2336         movdqa  %xmm0, $in1_x(%rsp)
2337         movdqa  %xmm1, $in1_x+0x10(%rsp)
2338         por     %xmm0, %xmm1
2339         movdqa  %xmm2, $in1_y(%rsp)
2340         movdqa  %xmm3, $in1_y+0x10(%rsp)
2341         por     %xmm2, %xmm3
2342         movdqa  %xmm4, $in1_z(%rsp)
2343         movdqa  %xmm5, $in1_z+0x10(%rsp)
2344         por     %xmm1, %xmm3
2345
2346         movdqu  0x00($a_ptr), %xmm0             # copy  *(P256_POINT *)$b_ptr
2347          pshufd \$0xb1, %xmm3, %xmm5
2348         movdqu  0x10($a_ptr), %xmm1
2349         movdqu  0x20($a_ptr), %xmm2
2350          por    %xmm3, %xmm5
2351         movdqu  0x30($a_ptr), %xmm3
2352          mov    0x40+8*0($a_ptr), $src0         # load original in2_z
2353          mov    0x40+8*1($a_ptr), $acc6
2354          mov    0x40+8*2($a_ptr), $acc7
2355          mov    0x40+8*3($a_ptr), $acc0
2356         movdqa  %xmm0, $in2_x(%rsp)
2357          pshufd \$0x1e, %xmm5, %xmm4
2358         movdqa  %xmm1, $in2_x+0x10(%rsp)
2359         por     %xmm0, %xmm1
2360          movq   $r_ptr, %xmm0                   # save $r_ptr
2361         movdqa  %xmm2, $in2_y(%rsp)
2362         movdqa  %xmm3, $in2_y+0x10(%rsp)
2363         por     %xmm2, %xmm3
2364          por    %xmm4, %xmm5
2365          pxor   %xmm4, %xmm4
2366         por     %xmm1, %xmm3
2367
2368         lea     0x40-$bias($a_ptr), $a_ptr      # $a_ptr is still valid
2369          mov    $src0, $in2_z+8*0(%rsp)         # make in2_z copy
2370          mov    $acc6, $in2_z+8*1(%rsp)
2371          mov    $acc7, $in2_z+8*2(%rsp)
2372          mov    $acc0, $in2_z+8*3(%rsp)
2373         lea     $Z2sqr(%rsp), $r_ptr            # Z2^2
2374         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z2sqr, in2_z);
2375
2376         pcmpeqd %xmm4, %xmm5
2377         pshufd  \$0xb1, %xmm3, %xmm4
2378         por     %xmm3, %xmm4
2379         pshufd  \$0, %xmm5, %xmm5               # in1infty
2380         pshufd  \$0x1e, %xmm4, %xmm3
2381         por     %xmm3, %xmm4
2382         pxor    %xmm3, %xmm3
2383         pcmpeqd %xmm3, %xmm4
2384         pshufd  \$0, %xmm4, %xmm4               # in2infty
2385          mov    0x40+8*0($b_ptr), $src0         # load original in1_z
2386          mov    0x40+8*1($b_ptr), $acc6
2387          mov    0x40+8*2($b_ptr), $acc7
2388          mov    0x40+8*3($b_ptr), $acc0
2389
2390         lea     0x40-$bias($b_ptr), $a_ptr
2391         lea     $Z1sqr(%rsp), $r_ptr            # Z1^2
2392         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z1sqr, in1_z);
2393
2394         `&load_for_mul("$Z2sqr(%rsp)", "$in2_z(%rsp)", "$src0")`
2395         lea     $S1(%rsp), $r_ptr               # S1 = Z2^3
2396         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S1, Z2sqr, in2_z);
2397
2398         `&load_for_mul("$Z1sqr(%rsp)", "$in1_z(%rsp)", "$src0")`
2399         lea     $S2(%rsp), $r_ptr               # S2 = Z1^3
2400         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Z1sqr, in1_z);
2401
2402         `&load_for_mul("$S1(%rsp)", "$in1_y(%rsp)", "$src0")`
2403         lea     $S1(%rsp), $r_ptr               # S1 = Y1*Z2^3
2404         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S1, S1, in1_y);
2405
2406         `&load_for_mul("$S2(%rsp)", "$in2_y(%rsp)", "$src0")`
2407         lea     $S2(%rsp), $r_ptr               # S2 = Y2*Z1^3
2408         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S2, in2_y);
2409
2410         lea     $S1(%rsp), $b_ptr
2411         lea     $R(%rsp), $r_ptr                # R = S2 - S1
2412         call    __ecp_nistz256_sub_from$x       # p256_sub(R, S2, S1);
2413
2414         or      $acc5, $acc4                    # see if result is zero
2415         movdqa  %xmm4, %xmm2
2416         or      $acc0, $acc4
2417         or      $acc1, $acc4
2418         por     %xmm5, %xmm2                    # in1infty || in2infty
2419         movq    $acc4, %xmm3
2420
2421         `&load_for_mul("$Z2sqr(%rsp)", "$in1_x(%rsp)", "$src0")`
2422         lea     $U1(%rsp), $r_ptr               # U1 = X1*Z2^2
2423         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U1, in1_x, Z2sqr);
2424
2425         `&load_for_mul("$Z1sqr(%rsp)", "$in2_x(%rsp)", "$src0")`
2426         lea     $U2(%rsp), $r_ptr               # U2 = X2*Z1^2
2427         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, in2_x, Z1sqr);
2428
2429         lea     $U1(%rsp), $b_ptr
2430         lea     $H(%rsp), $r_ptr                # H = U2 - U1
2431         call    __ecp_nistz256_sub_from$x       # p256_sub(H, U2, U1);
2432
2433         or      $acc5, $acc4                    # see if result is zero
2434         or      $acc0, $acc4
2435         or      $acc1, $acc4
2436
2437         .byte   0x3e                            # predict taken
2438         jnz     .Ladd_proceed$x                 # is_equal(U1,U2)?
2439         movq    %xmm2, $acc0
2440         movq    %xmm3, $acc1
2441         test    $acc0, $acc0
2442         jnz     .Ladd_proceed$x                 # (in1infty || in2infty)?
2443         test    $acc1, $acc1
2444         jz      .Ladd_proceed$x                 # is_equal(S1,S2)?
2445
2446         movq    %xmm0, $r_ptr                   # restore $r_ptr
2447         pxor    %xmm0, %xmm0
2448         movdqu  %xmm0, 0x00($r_ptr)
2449         movdqu  %xmm0, 0x10($r_ptr)
2450         movdqu  %xmm0, 0x20($r_ptr)
2451         movdqu  %xmm0, 0x30($r_ptr)
2452         movdqu  %xmm0, 0x40($r_ptr)
2453         movdqu  %xmm0, 0x50($r_ptr)
2454         jmp     .Ladd_done$x
2455
2456 .align  32
2457 .Ladd_proceed$x:
2458         `&load_for_sqr("$R(%rsp)", "$src0")`
2459         lea     $Rsqr(%rsp), $r_ptr             # R^2
2460         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Rsqr, R);
2461
2462         `&load_for_mul("$H(%rsp)", "$in1_z(%rsp)", "$src0")`
2463         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
2464         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, H, in1_z);
2465
2466         `&load_for_sqr("$H(%rsp)", "$src0")`
2467         lea     $Hsqr(%rsp), $r_ptr             # H^2
2468         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Hsqr, H);
2469
2470         `&load_for_mul("$res_z(%rsp)", "$in2_z(%rsp)", "$src0")`
2471         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
2472         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, res_z, in2_z);
2473
2474         `&load_for_mul("$Hsqr(%rsp)", "$H(%rsp)", "$src0")`
2475         lea     $Hcub(%rsp), $r_ptr             # H^3
2476         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(Hcub, Hsqr, H);
2477
2478         `&load_for_mul("$Hsqr(%rsp)", "$U1(%rsp)", "$src0")`
2479         lea     $U2(%rsp), $r_ptr               # U1*H^2
2480         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, U1, Hsqr);
2481 ___
2482 {
2483 #######################################################################
2484 # operate in 4-5-0-1 "name space" that matches multiplication output
2485 #
2486 my ($acc0,$acc1,$acc2,$acc3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
2487 my ($poly1, $poly3)=($acc6,$acc7);
2488
2489 $code.=<<___;
2490         #lea    $U2(%rsp), $a_ptr
2491         #lea    $Hsqr(%rsp), $r_ptr     # 2*U1*H^2
2492         #call   __ecp_nistz256_mul_by_2 # ecp_nistz256_mul_by_2(Hsqr, U2);
2493
2494         add     $acc0, $acc0            # a0:a3+a0:a3
2495         lea     $Rsqr(%rsp), $a_ptr
2496         adc     $acc1, $acc1
2497          mov    $acc0, $t0
2498         adc     $acc2, $acc2
2499         adc     $acc3, $acc3
2500          mov    $acc1, $t1
2501         sbb     $t4, $t4
2502
2503         sub     \$-1, $acc0
2504          mov    $acc2, $t2
2505         sbb     $poly1, $acc1
2506         sbb     \$0, $acc2
2507          mov    $acc3, $t3
2508         sbb     $poly3, $acc3
2509         test    $t4, $t4
2510
2511         cmovz   $t0, $acc0
2512         mov     8*0($a_ptr), $t0
2513         cmovz   $t1, $acc1
2514         mov     8*1($a_ptr), $t1
2515         cmovz   $t2, $acc2
2516         mov     8*2($a_ptr), $t2
2517         cmovz   $t3, $acc3
2518         mov     8*3($a_ptr), $t3
2519
2520         call    __ecp_nistz256_sub$x            # p256_sub(res_x, Rsqr, Hsqr);
2521
2522         lea     $Hcub(%rsp), $b_ptr
2523         lea     $res_x(%rsp), $r_ptr
2524         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, Hcub);
2525
2526         mov     $U2+8*0(%rsp), $t0
2527         mov     $U2+8*1(%rsp), $t1
2528         mov     $U2+8*2(%rsp), $t2
2529         mov     $U2+8*3(%rsp), $t3
2530         lea     $res_y(%rsp), $r_ptr
2531
2532         call    __ecp_nistz256_sub$x            # p256_sub(res_y, U2, res_x);
2533
2534         mov     $acc0, 8*0($r_ptr)              # save the result, as
2535         mov     $acc1, 8*1($r_ptr)              # __ecp_nistz256_sub doesn't
2536         mov     $acc2, 8*2($r_ptr)
2537         mov     $acc3, 8*3($r_ptr)
2538 ___
2539 }
2540 $code.=<<___;
2541         `&load_for_mul("$S1(%rsp)", "$Hcub(%rsp)", "$src0")`
2542         lea     $S2(%rsp), $r_ptr
2543         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S1, Hcub);
2544
2545         `&load_for_mul("$R(%rsp)", "$res_y(%rsp)", "$src0")`
2546         lea     $res_y(%rsp), $r_ptr
2547         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_y, R, res_y);
2548
2549         lea     $S2(%rsp), $b_ptr
2550         lea     $res_y(%rsp), $r_ptr
2551         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, res_y, S2);
2552
2553         movq    %xmm0, $r_ptr           # restore $r_ptr
2554
2555         movdqa  %xmm5, %xmm0            # copy_conditional(res_z, in2_z, in1infty);
2556         movdqa  %xmm5, %xmm1
2557         pandn   $res_z(%rsp), %xmm0
2558         movdqa  %xmm5, %xmm2
2559         pandn   $res_z+0x10(%rsp), %xmm1
2560         movdqa  %xmm5, %xmm3
2561         pand    $in2_z(%rsp), %xmm2
2562         pand    $in2_z+0x10(%rsp), %xmm3
2563         por     %xmm0, %xmm2
2564         por     %xmm1, %xmm3
2565
2566         movdqa  %xmm4, %xmm0            # copy_conditional(res_z, in1_z, in2infty);
2567         movdqa  %xmm4, %xmm1
2568         pandn   %xmm2, %xmm0
2569         movdqa  %xmm4, %xmm2
2570         pandn   %xmm3, %xmm1
2571         movdqa  %xmm4, %xmm3
2572         pand    $in1_z(%rsp), %xmm2
2573         pand    $in1_z+0x10(%rsp), %xmm3
2574         por     %xmm0, %xmm2
2575         por     %xmm1, %xmm3
2576         movdqu  %xmm2, 0x40($r_ptr)
2577         movdqu  %xmm3, 0x50($r_ptr)
2578
2579         movdqa  %xmm5, %xmm0            # copy_conditional(res_x, in2_x, in1infty);
2580         movdqa  %xmm5, %xmm1
2581         pandn   $res_x(%rsp), %xmm0
2582         movdqa  %xmm5, %xmm2
2583         pandn   $res_x+0x10(%rsp), %xmm1
2584         movdqa  %xmm5, %xmm3
2585         pand    $in2_x(%rsp), %xmm2
2586         pand    $in2_x+0x10(%rsp), %xmm3
2587         por     %xmm0, %xmm2
2588         por     %xmm1, %xmm3
2589
2590         movdqa  %xmm4, %xmm0            # copy_conditional(res_x, in1_x, in2infty);
2591         movdqa  %xmm4, %xmm1
2592         pandn   %xmm2, %xmm0
2593         movdqa  %xmm4, %xmm2
2594         pandn   %xmm3, %xmm1
2595         movdqa  %xmm4, %xmm3
2596         pand    $in1_x(%rsp), %xmm2
2597         pand    $in1_x+0x10(%rsp), %xmm3
2598         por     %xmm0, %xmm2
2599         por     %xmm1, %xmm3
2600         movdqu  %xmm2, 0x00($r_ptr)
2601         movdqu  %xmm3, 0x10($r_ptr)
2602
2603         movdqa  %xmm5, %xmm0            # copy_conditional(res_y, in2_y, in1infty);
2604         movdqa  %xmm5, %xmm1
2605         pandn   $res_y(%rsp), %xmm0
2606         movdqa  %xmm5, %xmm2
2607         pandn   $res_y+0x10(%rsp), %xmm1
2608         movdqa  %xmm5, %xmm3
2609         pand    $in2_y(%rsp), %xmm2
2610         pand    $in2_y+0x10(%rsp), %xmm3
2611         por     %xmm0, %xmm2
2612         por     %xmm1, %xmm3
2613
2614         movdqa  %xmm4, %xmm0            # copy_conditional(res_y, in1_y, in2infty);
2615         movdqa  %xmm4, %xmm1
2616         pandn   %xmm2, %xmm0
2617         movdqa  %xmm4, %xmm2
2618         pandn   %xmm3, %xmm1
2619         movdqa  %xmm4, %xmm3
2620         pand    $in1_y(%rsp), %xmm2
2621         pand    $in1_y+0x10(%rsp), %xmm3
2622         por     %xmm0, %xmm2
2623         por     %xmm1, %xmm3
2624         movdqu  %xmm2, 0x20($r_ptr)
2625         movdqu  %xmm3, 0x30($r_ptr)
2626
2627 .Ladd_done$x:
2628         add     \$32*18+8, %rsp
2629         pop     %r15
2630         pop     %r14
2631         pop     %r13
2632         pop     %r12
2633         pop     %rbx
2634         pop     %rbp
2635         ret
2636 .size   ecp_nistz256_point_add$sfx,.-ecp_nistz256_point_add$sfx
2637 ___
2638 }
2639 &gen_add("q");
2640
2641 sub gen_add_affine () {
2642     my $x = shift;
2643     my ($src0,$sfx,$bias);
2644     my ($U2,$S2,$H,$R,$Hsqr,$Hcub,$Rsqr,
2645         $res_x,$res_y,$res_z,
2646         $in1_x,$in1_y,$in1_z,
2647         $in2_x,$in2_y)=map(32*$_,(0..14));
2648     my $Z1sqr = $S2;
2649
2650     if ($x ne "x") {
2651         $src0 = "%rax";
2652         $sfx  = "";
2653         $bias = 0;
2654
2655 $code.=<<___;
2656 .globl  ecp_nistz256_point_add_affine
2657 .type   ecp_nistz256_point_add_affine,\@function,3
2658 .align  32
2659 ecp_nistz256_point_add_affine:
2660 ___
2661 $code.=<<___    if ($addx);
2662         mov     \$0x80100, %ecx
2663         and     OPENSSL_ia32cap_P+8(%rip), %ecx
2664         cmp     \$0x80100, %ecx
2665         je      .Lpoint_add_affinex
2666 ___
2667     } else {
2668         $src0 = "%rdx";
2669         $sfx  = "x";
2670         $bias = 128;
2671
2672 $code.=<<___;
2673 .type   ecp_nistz256_point_add_affinex,\@function,3
2674 .align  32
2675 ecp_nistz256_point_add_affinex:
2676 .Lpoint_add_affinex:
2677 ___
2678     }
2679 $code.=<<___;
2680         push    %rbp
2681         push    %rbx
2682         push    %r12
2683         push    %r13
2684         push    %r14
2685         push    %r15
2686         sub     \$32*15+8, %rsp
2687
2688         movdqu  0x00($a_ptr), %xmm0     # copy  *(P256_POINT *)$a_ptr
2689         mov     $b_org, $b_ptr          # reassign
2690         movdqu  0x10($a_ptr), %xmm1
2691         movdqu  0x20($a_ptr), %xmm2
2692         movdqu  0x30($a_ptr), %xmm3
2693         movdqu  0x40($a_ptr), %xmm4
2694         movdqu  0x50($a_ptr), %xmm5
2695          mov    0x40+8*0($a_ptr), $src0 # load original in1_z
2696          mov    0x40+8*1($a_ptr), $acc6
2697          mov    0x40+8*2($a_ptr), $acc7
2698          mov    0x40+8*3($a_ptr), $acc0
2699         movdqa  %xmm0, $in1_x(%rsp)
2700         movdqa  %xmm1, $in1_x+0x10(%rsp)
2701         por     %xmm0, %xmm1
2702         movdqa  %xmm2, $in1_y(%rsp)
2703         movdqa  %xmm3, $in1_y+0x10(%rsp)
2704         por     %xmm2, %xmm3
2705         movdqa  %xmm4, $in1_z(%rsp)
2706         movdqa  %xmm5, $in1_z+0x10(%rsp)
2707         por     %xmm1, %xmm3
2708
2709         movdqu  0x00($b_ptr), %xmm0     # copy  *(P256_POINT_AFFINE *)$b_ptr
2710          pshufd \$0xb1, %xmm3, %xmm5
2711         movdqu  0x10($b_ptr), %xmm1
2712         movdqu  0x20($b_ptr), %xmm2
2713          por    %xmm3, %xmm5
2714         movdqu  0x30($b_ptr), %xmm3
2715         movdqa  %xmm0, $in2_x(%rsp)
2716          pshufd \$0x1e, %xmm5, %xmm4
2717         movdqa  %xmm1, $in2_x+0x10(%rsp)
2718         por     %xmm0, %xmm1
2719          movq   $r_ptr, %xmm0           # save $r_ptr
2720         movdqa  %xmm2, $in2_y(%rsp)
2721         movdqa  %xmm3, $in2_y+0x10(%rsp)
2722         por     %xmm2, %xmm3
2723          por    %xmm4, %xmm5
2724          pxor   %xmm4, %xmm4
2725         por     %xmm1, %xmm3
2726
2727         lea     0x40-$bias($a_ptr), $a_ptr      # $a_ptr is still valid
2728         lea     $Z1sqr(%rsp), $r_ptr            # Z1^2
2729         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Z1sqr, in1_z);
2730
2731         pcmpeqd %xmm4, %xmm5
2732         pshufd  \$0xb1, %xmm3, %xmm4
2733          mov    0x00($b_ptr), $src0             # $b_ptr is still valid
2734          #lea   0x00($b_ptr), $b_ptr
2735          mov    $acc4, $acc1                    # harmonize sqr output and mul input
2736         por     %xmm3, %xmm4
2737         pshufd  \$0, %xmm5, %xmm5               # in1infty
2738         pshufd  \$0x1e, %xmm4, %xmm3
2739          mov    $acc5, $acc2
2740         por     %xmm3, %xmm4
2741         pxor    %xmm3, %xmm3
2742          mov    $acc6, $acc3
2743         pcmpeqd %xmm3, %xmm4
2744         pshufd  \$0, %xmm4, %xmm4               # in2infty
2745
2746         lea     $Z1sqr-$bias(%rsp), $a_ptr
2747         mov     $acc7, $acc4
2748         lea     $U2(%rsp), $r_ptr               # U2 = X2*Z1^2
2749         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, Z1sqr, in2_x);
2750
2751         lea     $in1_x(%rsp), $b_ptr
2752         lea     $H(%rsp), $r_ptr                # H = U2 - U1
2753         call    __ecp_nistz256_sub_from$x       # p256_sub(H, U2, in1_x);
2754
2755         `&load_for_mul("$Z1sqr(%rsp)", "$in1_z(%rsp)", "$src0")`
2756         lea     $S2(%rsp), $r_ptr               # S2 = Z1^3
2757         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Z1sqr, in1_z);
2758
2759         `&load_for_mul("$H(%rsp)", "$in1_z(%rsp)", "$src0")`
2760         lea     $res_z(%rsp), $r_ptr            # Z3 = H*Z1*Z2
2761         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(res_z, H, in1_z);
2762
2763         `&load_for_mul("$S2(%rsp)", "$in2_y(%rsp)", "$src0")`
2764         lea     $S2(%rsp), $r_ptr               # S2 = Y2*Z1^3
2765         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, S2, in2_y);
2766
2767         lea     $in1_y(%rsp), $b_ptr
2768         lea     $R(%rsp), $r_ptr                # R = S2 - S1
2769         call    __ecp_nistz256_sub_from$x       # p256_sub(R, S2, in1_y);
2770
2771         `&load_for_sqr("$H(%rsp)", "$src0")`
2772         lea     $Hsqr(%rsp), $r_ptr             # H^2
2773         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Hsqr, H);
2774
2775         `&load_for_sqr("$R(%rsp)", "$src0")`
2776         lea     $Rsqr(%rsp), $r_ptr             # R^2
2777         call    __ecp_nistz256_sqr_mont$x       # p256_sqr_mont(Rsqr, R);
2778
2779         `&load_for_mul("$H(%rsp)", "$Hsqr(%rsp)", "$src0")`
2780         lea     $Hcub(%rsp), $r_ptr             # H^3
2781         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(Hcub, Hsqr, H);
2782
2783         `&load_for_mul("$Hsqr(%rsp)", "$in1_x(%rsp)", "$src0")`
2784         lea     $U2(%rsp), $r_ptr               # U1*H^2
2785         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(U2, in1_x, Hsqr);
2786 ___
2787 {
2788 #######################################################################
2789 # operate in 4-5-0-1 "name space" that matches multiplication output
2790 #
2791 my ($acc0,$acc1,$acc2,$acc3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
2792 my ($poly1, $poly3)=($acc6,$acc7);
2793
2794 $code.=<<___;
2795         #lea    $U2(%rsp), $a_ptr
2796         #lea    $Hsqr(%rsp), $r_ptr     # 2*U1*H^2
2797         #call   __ecp_nistz256_mul_by_2 # ecp_nistz256_mul_by_2(Hsqr, U2);
2798
2799         add     $acc0, $acc0            # a0:a3+a0:a3
2800         lea     $Rsqr(%rsp), $a_ptr
2801         adc     $acc1, $acc1
2802          mov    $acc0, $t0
2803         adc     $acc2, $acc2
2804         adc     $acc3, $acc3
2805          mov    $acc1, $t1
2806         sbb     $t4, $t4
2807
2808         sub     \$-1, $acc0
2809          mov    $acc2, $t2
2810         sbb     $poly1, $acc1
2811         sbb     \$0, $acc2
2812          mov    $acc3, $t3
2813         sbb     $poly3, $acc3
2814         test    $t4, $t4
2815
2816         cmovz   $t0, $acc0
2817         mov     8*0($a_ptr), $t0
2818         cmovz   $t1, $acc1
2819         mov     8*1($a_ptr), $t1
2820         cmovz   $t2, $acc2
2821         mov     8*2($a_ptr), $t2
2822         cmovz   $t3, $acc3
2823         mov     8*3($a_ptr), $t3
2824
2825         call    __ecp_nistz256_sub$x            # p256_sub(res_x, Rsqr, Hsqr);
2826
2827         lea     $Hcub(%rsp), $b_ptr
2828         lea     $res_x(%rsp), $r_ptr
2829         call    __ecp_nistz256_sub_from$x       # p256_sub(res_x, res_x, Hcub);
2830
2831         mov     $U2+8*0(%rsp), $t0
2832         mov     $U2+8*1(%rsp), $t1
2833         mov     $U2+8*2(%rsp), $t2
2834         mov     $U2+8*3(%rsp), $t3
2835         lea     $H(%rsp), $r_ptr
2836
2837         call    __ecp_nistz256_sub$x            # p256_sub(H, U2, res_x);
2838
2839         mov     $acc0, 8*0($r_ptr)              # save the result, as
2840         mov     $acc1, 8*1($r_ptr)              # __ecp_nistz256_sub doesn't
2841         mov     $acc2, 8*2($r_ptr)
2842         mov     $acc3, 8*3($r_ptr)
2843 ___
2844 }
2845 $code.=<<___;
2846         `&load_for_mul("$Hcub(%rsp)", "$in1_y(%rsp)", "$src0")`
2847         lea     $S2(%rsp), $r_ptr
2848         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(S2, Hcub, in1_y);
2849
2850         `&load_for_mul("$H(%rsp)", "$R(%rsp)", "$src0")`
2851         lea     $H(%rsp), $r_ptr
2852         call    __ecp_nistz256_mul_mont$x       # p256_mul_mont(H, H, R);
2853
2854         lea     $S2(%rsp), $b_ptr
2855         lea     $res_y(%rsp), $r_ptr
2856         call    __ecp_nistz256_sub_from$x       # p256_sub(res_y, H, S2);
2857
2858         movq    %xmm0, $r_ptr           # restore $r_ptr
2859
2860         movdqa  %xmm5, %xmm0            # copy_conditional(res_z, ONE, in1infty);
2861         movdqa  %xmm5, %xmm1
2862         pandn   $res_z(%rsp), %xmm0
2863         movdqa  %xmm5, %xmm2
2864         pandn   $res_z+0x10(%rsp), %xmm1
2865         movdqa  %xmm5, %xmm3
2866         pand    .LONE_mont(%rip), %xmm2
2867         pand    .LONE_mont+0x10(%rip), %xmm3
2868         por     %xmm0, %xmm2
2869         por     %xmm1, %xmm3
2870
2871         movdqa  %xmm4, %xmm0            # copy_conditional(res_z, in1_z, in2infty);
2872         movdqa  %xmm4, %xmm1
2873         pandn   %xmm2, %xmm0
2874         movdqa  %xmm4, %xmm2
2875         pandn   %xmm3, %xmm1
2876         movdqa  %xmm4, %xmm3
2877         pand    $in1_z(%rsp), %xmm2
2878         pand    $in1_z+0x10(%rsp), %xmm3
2879         por     %xmm0, %xmm2
2880         por     %xmm1, %xmm3
2881         movdqu  %xmm2, 0x40($r_ptr)
2882         movdqu  %xmm3, 0x50($r_ptr)
2883
2884         movdqa  %xmm5, %xmm0            # copy_conditional(res_x, in2_x, in1infty);
2885         movdqa  %xmm5, %xmm1
2886         pandn   $res_x(%rsp), %xmm0
2887         movdqa  %xmm5, %xmm2
2888         pandn   $res_x+0x10(%rsp), %xmm1
2889         movdqa  %xmm5, %xmm3
2890         pand    $in2_x(%rsp), %xmm2
2891         pand    $in2_x+0x10(%rsp), %xmm3
2892         por     %xmm0, %xmm2
2893         por     %xmm1, %xmm3
2894
2895         movdqa  %xmm4, %xmm0            # copy_conditional(res_x, in1_x, in2infty);
2896         movdqa  %xmm4, %xmm1
2897         pandn   %xmm2, %xmm0
2898         movdqa  %xmm4, %xmm2
2899         pandn   %xmm3, %xmm1
2900         movdqa  %xmm4, %xmm3
2901         pand    $in1_x(%rsp), %xmm2
2902         pand    $in1_x+0x10(%rsp), %xmm3
2903         por     %xmm0, %xmm2
2904         por     %xmm1, %xmm3
2905         movdqu  %xmm2, 0x00($r_ptr)
2906         movdqu  %xmm3, 0x10($r_ptr)
2907
2908         movdqa  %xmm5, %xmm0            # copy_conditional(res_y, in2_y, in1infty);
2909         movdqa  %xmm5, %xmm1
2910         pandn   $res_y(%rsp), %xmm0
2911         movdqa  %xmm5, %xmm2
2912         pandn   $res_y+0x10(%rsp), %xmm1
2913         movdqa  %xmm5, %xmm3
2914         pand    $in2_y(%rsp), %xmm2
2915         pand    $in2_y+0x10(%rsp), %xmm3
2916         por     %xmm0, %xmm2
2917         por     %xmm1, %xmm3
2918
2919         movdqa  %xmm4, %xmm0            # copy_conditional(res_y, in1_y, in2infty);
2920         movdqa  %xmm4, %xmm1
2921         pandn   %xmm2, %xmm0
2922         movdqa  %xmm4, %xmm2
2923         pandn   %xmm3, %xmm1
2924         movdqa  %xmm4, %xmm3
2925         pand    $in1_y(%rsp), %xmm2
2926         pand    $in1_y+0x10(%rsp), %xmm3
2927         por     %xmm0, %xmm2
2928         por     %xmm1, %xmm3
2929         movdqu  %xmm2, 0x20($r_ptr)
2930         movdqu  %xmm3, 0x30($r_ptr)
2931
2932         add     \$32*15+8, %rsp
2933         pop     %r15
2934         pop     %r14
2935         pop     %r13
2936         pop     %r12
2937         pop     %rbx
2938         pop     %rbp
2939         ret
2940 .size   ecp_nistz256_point_add_affine$sfx,.-ecp_nistz256_point_add_affine$sfx
2941 ___
2942 }
2943 &gen_add_affine("q");
2944
2945 ########################################################################
2946 # AD*X magic
2947 #
2948 if ($addx) {                                                            {
2949 ########################################################################
2950 # operate in 4-5-0-1 "name space" that matches multiplication output
2951 #
2952 my ($a0,$a1,$a2,$a3,$t3,$t4)=($acc4,$acc5,$acc0,$acc1,$acc2,$acc3);
2953
2954 $code.=<<___;
2955 .type   __ecp_nistz256_add_tox,\@abi-omnipotent
2956 .align  32
2957 __ecp_nistz256_add_tox:
2958         xor     $t4, $t4
2959         adc     8*0($b_ptr), $a0
2960         adc     8*1($b_ptr), $a1
2961          mov    $a0, $t0
2962         adc     8*2($b_ptr), $a2
2963         adc     8*3($b_ptr), $a3
2964          mov    $a1, $t1
2965         adc     \$0, $t4
2966
2967         xor     $t3, $t3
2968         sbb     \$-1, $a0
2969          mov    $a2, $t2
2970         sbb     $poly1, $a1
2971         sbb     \$0, $a2
2972          mov    $a3, $t3
2973         sbb     $poly3, $a3
2974
2975         bt      \$0, $t4
2976         cmovnc  $t0, $a0
2977         cmovnc  $t1, $a1
2978         mov     $a0, 8*0($r_ptr)
2979         cmovnc  $t2, $a2
2980         mov     $a1, 8*1($r_ptr)
2981         cmovnc  $t3, $a3
2982         mov     $a2, 8*2($r_ptr)
2983         mov     $a3, 8*3($r_ptr)
2984
2985         ret
2986 .size   __ecp_nistz256_add_tox,.-__ecp_nistz256_add_tox
2987
2988 .type   __ecp_nistz256_sub_fromx,\@abi-omnipotent
2989 .align  32
2990 __ecp_nistz256_sub_fromx:
2991         xor     $t4, $t4
2992         sbb     8*0($b_ptr), $a0
2993         sbb     8*1($b_ptr), $a1
2994          mov    $a0, $t0
2995         sbb     8*2($b_ptr), $a2
2996         sbb     8*3($b_ptr), $a3
2997          mov    $a1, $t1
2998         sbb     \$0, $t4
2999
3000         xor     $t3, $t3
3001         adc     \$-1, $a0
3002          mov    $a2, $t2
3003         adc     $poly1, $a1
3004         adc     \$0, $a2
3005          mov    $a3, $t3
3006         adc     $poly3, $a3
3007
3008         bt      \$0, $t4
3009         cmovnc  $t0, $a0
3010         cmovnc  $t1, $a1
3011         mov     $a0, 8*0($r_ptr)
3012         cmovnc  $t2, $a2
3013         mov     $a1, 8*1($r_ptr)
3014         cmovnc  $t3, $a3
3015         mov     $a2, 8*2($r_ptr)
3016         mov     $a3, 8*3($r_ptr)
3017
3018         ret
3019 .size   __ecp_nistz256_sub_fromx,.-__ecp_nistz256_sub_fromx
3020
3021 .type   __ecp_nistz256_subx,\@abi-omnipotent
3022 .align  32
3023 __ecp_nistz256_subx:
3024         xor     $t4, $t4
3025         sbb     $a0, $t0
3026         sbb     $a1, $t1
3027          mov    $t0, $a0
3028         sbb     $a2, $t2
3029         sbb     $a3, $t3
3030          mov    $t1, $a1
3031         sbb     \$0, $t4
3032
3033         xor     $a3 ,$a3
3034         adc     \$-1, $t0
3035          mov    $t2, $a2
3036         adc     $poly1, $t1
3037         adc     \$0, $t2
3038          mov    $t3, $a3
3039         adc     $poly3, $t3
3040
3041         bt      \$0, $t4
3042         cmovc   $t0, $a0
3043         cmovc   $t1, $a1
3044         cmovc   $t2, $a2
3045         cmovc   $t3, $a3
3046
3047         ret
3048 .size   __ecp_nistz256_subx,.-__ecp_nistz256_subx
3049
3050 .type   __ecp_nistz256_mul_by_2x,\@abi-omnipotent
3051 .align  32
3052 __ecp_nistz256_mul_by_2x:
3053         xor     $t4, $t4
3054         adc     $a0, $a0                # a0:a3+a0:a3
3055         adc     $a1, $a1
3056          mov    $a0, $t0
3057         adc     $a2, $a2
3058         adc     $a3, $a3
3059          mov    $a1, $t1
3060         adc     \$0, $t4
3061
3062         xor     $t3, $t3
3063         sbb     \$-1, $a0
3064          mov    $a2, $t2
3065         sbb     $poly1, $a1
3066         sbb     \$0, $a2
3067          mov    $a3, $t3
3068         sbb     $poly3, $a3
3069
3070         bt      \$0, $t4
3071         cmovnc  $t0, $a0
3072         cmovnc  $t1, $a1
3073         mov     $a0, 8*0($r_ptr)
3074         cmovnc  $t2, $a2
3075         mov     $a1, 8*1($r_ptr)
3076         cmovnc  $t3, $a3
3077         mov     $a2, 8*2($r_ptr)
3078         mov     $a3, 8*3($r_ptr)
3079
3080         ret
3081 .size   __ecp_nistz256_mul_by_2x,.-__ecp_nistz256_mul_by_2x
3082 ___
3083                                                                         }
3084 &gen_double("x");
3085 &gen_add("x");
3086 &gen_add_affine("x");
3087 }
3088 }}}
3089
3090 $code =~ s/\`([^\`]*)\`/eval $1/gem;
3091 print $code;
3092 close STDOUT;