Manual formatting tweaks to Curve448 code
[openssl.git] / crypto / ec / curve448 / arch_x86_64 / f_impl.h
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  * Copyright 2014-2016 Cryptography Research, Inc.
4  *
5  * Licensed under the OpenSSL license (the "License").  You may not use
6  * this file except in compliance with the License.  You can obtain a copy
7  * in the file LICENSE in the source distribution or at
8  * https://www.openssl.org/source/license.html
9  *
10  * Originally written by Mike Hamburg
11  */
12
13 #define GF_HEADROOM 60
14 #define FIELD_LITERAL(a,b,c,d,e,f,g,h) {{a,b,c,d,e,f,g,h}}
15 #define LIMB_PLACE_VALUE(i) 56
16
17 void gf_add_RAW(gf out, const gf a, const gf b)
18 {
19     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint64xn_t); i++) {
20         ((uint64xn_t *) out)[i] =
21             ((const uint64xn_t *)a)[i] + ((const uint64xn_t *)b)[i];
22     }
23 }
24
25 void gf_sub_RAW(gf out, const gf a, const gf b)
26 {
27     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint64xn_t); i++) {
28         ((uint64xn_t *) out)[i] =
29             ((const uint64xn_t *)a)[i] - ((const uint64xn_t *)b)[i];
30     }
31 }
32
33 void gf_bias(gf a, int amt)
34 {
35     uint64_t co1 = ((1ull << 56) - 1) * amt, co2 = co1 - amt;
36
37 #if __AVX2__
38     uint64x4_t lo = { co1, co1, co1, co1 }, hi = {
39     co2, co1, co1, co1};
40     uint64x4_t *aa = (uint64x4_t *) a;
41     aa[0] += lo;
42     aa[1] += hi;
43 #elif __SSE2__
44     uint64x2_t lo = { co1, co1 }, hi = {
45     co2, co1};
46     uint64x2_t *aa = (uint64x2_t *) a;
47     aa[0] += lo;
48     aa[1] += lo;
49     aa[2] += hi;
50     aa[3] += lo;
51 #else
52     for (unsigned int i = 0; i < sizeof(*a) / sizeof(uint64_t); i++) {
53         a->limb[i] += (i == 4) ? co2 : co1;
54     }
55 #endif
56 }
57
58 void gf_weak_reduce(gf a)
59 {
60     /* PERF: use pshufb/palignr if anyone cares about speed of this */
61     uint64_t mask = (1ull << 56) - 1;
62     uint64_t tmp = a->limb[7] >> 56;
63
64     a->limb[4] += tmp;
65     for (unsigned int i = 7; i > 0; i--) {
66         a->limb[i] = (a->limb[i] & mask) + (a->limb[i - 1] >> 56);
67     }
68     a->limb[0] = (a->limb[0] & mask) + tmp;
69 }