Manual formatting tweaks to Curve448 code
[openssl.git] / crypto / ec / curve448 / arch_neon / f_impl.h
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  * Copyright 2014-2016 Cryptography Research, Inc.
4  *
5  * Licensed under the OpenSSL license (the "License").  You may not use
6  * this file except in compliance with the License.  You can obtain a copy
7  * in the file LICENSE in the source distribution or at
8  * https://www.openssl.org/source/license.html
9  *
10  * Originally written by Mike Hamburg
11  */
12
13 #define GF_HEADROOM 2
14 #define LIMBPERM(x) (((x)<<1 | (x)>>3) & 15)
15 #define USE_NEON_PERM 1
16 #define LIMBHI(x) ((x##ull)>>28)
17 #define LIMBLO(x) ((x##ull)&((1ull<<28)-1))
18 #define FIELD_LITERAL(a,b,c,d,e,f,g,h) { \
19     { \
20         LIMBLO(a), LIMBLO(e), LIMBHI(a), LIMBHI(e), LIMBLO(b), LIMBLO(f), \
21         LIMBHI(b), LIMBHI(f), LIMBLO(c), LIMBLO(g), LIMBHI(c), LIMBHI(g), \
22         LIMBLO(d), LIMBLO(h), LIMBHI(d), LIMBHI(h) \
23     } \
24 }
25
26 #define LIMB_PLACE_VALUE(i) 28
27
28 void gf_add_RAW(gf out, const gf a, const gf b)
29 {
30     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint32xn_t); i++) {
31         ((uint32xn_t *) out)[i] =
32             ((const uint32xn_t *)a)[i] + ((const uint32xn_t *)b)[i];
33     }
34 }
35
36 void gf_sub_RAW(gf out, const gf a, const gf b)
37 {
38     for (unsigned int i = 0; i < sizeof(*out) / sizeof(uint32xn_t); i++) {
39         ((uint32xn_t *) out)[i] =
40             ((const uint32xn_t *)a)[i] - ((const uint32xn_t *)b)[i];
41     }
42 }
43
44 void gf_bias(gf a, int amt)
45 {
46     uint32_t co1 = ((1ull << 28) - 1) * amt, co2 = co1 - amt;
47     uint32x4_t lo = { co1, co2, co1, co1 };
48     uint32x4_t hi = { co1, co1, co1, co1 };
49     uint32x4_t *aa = (uint32x4_t *) a;
50     aa[0] += lo;
51     aa[1] += hi;
52     aa[2] += hi;
53     aa[3] += hi;
54 }
55
56 void gf_weak_reduce(gf a)
57 {
58     uint32x2_t *aa = (uint32x2_t *) a;
59     uint32x2_t vmask = { (1ull << 28) - 1, (1ull << 28) - 1};
60     uint32x2_t vm2 = { 0, -1}, tmp = vshr_n_u32(aa[7], 28);
61
62     for (unsigned int i = 7; i >= 1; i--)
63         aa[i] = vsra_n_u32(aa[i] & vmask, aa[i - 1], 28);
64     aa[0] = (aa[0] & vmask) + vrev64_u32(tmp) + (tmp & vm2);
65 }