Run util/openssl-format-source on the Curve448 code
[openssl.git] / crypto / ec / curve448 / arch_x86_64 / f_impl.h
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  * Copyright 2014-2016 Cryptography Research, Inc.
4  *
5  * Licensed under the OpenSSL license (the "License").  You may not use
6  * this file except in compliance with the License.  You can obtain a copy
7  * in the file LICENSE in the source distribution or at
8  * https://www.openssl.org/source/license.html
9  *
10  * Originally written by Mike Hamburg
11  */
12
13 #define GF_HEADROOM 60
14 #define FIELD_LITERAL(a,b,c,d,e,f,g,h) {{a,b,c,d,e,f,g,h}}
15 #define LIMB_PLACE_VALUE(i) 56
16
17 void gf_add_RAW(gf out, const gf a, const gf b)
18 {
19     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint64xn_t); i++) {
20         ((uint64xn_t *) out)[i] =
21             ((const uint64xn_t *)a)[i] + ((const uint64xn_t *)b)[i];
22     }
23     /*
24      * unsigned int i; for (i=0; i<sizeof(*out)/sizeof(out->limb[0]); i++) {
25      * out->limb[i] = a->limb[i] + b->limb[i]; }
26      */
27 }
28
29 void gf_sub_RAW(gf out, const gf a, const gf b)
30 {
31     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint64xn_t); i++) {
32         ((uint64xn_t *) out)[i] =
33             ((const uint64xn_t *)a)[i] - ((const uint64xn_t *)b)[i];
34     }
35     /*
36      * unsigned int i; for (i=0; i<sizeof(*out)/sizeof(out->limb[0]); i++) {
37      * out->limb[i] = a->limb[i] - b->limb[i]; }
38      */
39 }
40
41 void gf_bias(gf a, int amt)
42 {
43     uint64_t co1 = ((1ull << 56) - 1) * amt, co2 = co1 - amt;
44
45 #if __AVX2__
46     uint64x4_t lo = { co1, co1, co1, co1 }, hi = {
47     co2, co1, co1, co1};
48     uint64x4_t *aa = (uint64x4_t *) a;
49     aa[0] += lo;
50     aa[1] += hi;
51 #elif __SSE2__
52     uint64x2_t lo = { co1, co1 }, hi = {
53     co2, co1};
54     uint64x2_t *aa = (uint64x2_t *) a;
55     aa[0] += lo;
56     aa[1] += lo;
57     aa[2] += hi;
58     aa[3] += lo;
59 #else
60     for (unsigned int i = 0; i < sizeof(*a) / sizeof(uint64_t); i++) {
61         a->limb[i] += (i == 4) ? co2 : co1;
62     }
63 #endif
64 }
65
66 void gf_weak_reduce(gf a)
67 {
68     /* PERF: use pshufb/palignr if anyone cares about speed of this */
69     uint64_t mask = (1ull << 56) - 1;
70     uint64_t tmp = a->limb[7] >> 56;
71     a->limb[4] += tmp;
72     for (unsigned int i = 7; i > 0; i--) {
73         a->limb[i] = (a->limb[i] & mask) + (a->limb[i - 1] >> 56);
74     }
75     a->limb[0] = (a->limb[0] & mask) + tmp;
76 }