Flatten the Curve 448 source structure
[openssl.git] / crypto / ec / curve448 / arch_neon / f_impl.h
1 /* Copyright (c) 2014-2016 Cryptography Research, Inc.
2  * Released under the MIT License.  See LICENSE.txt for license information.
3  */
4
5 #define GF_HEADROOM 2
6 #define LIMBPERM(x) (((x)<<1 | (x)>>3) & 15)
7 #define USE_NEON_PERM 1
8 #define LIMBHI(x) ((x##ull)>>28)
9 #define LIMBLO(x) ((x##ull)&((1ull<<28)-1))
10 #  define FIELD_LITERAL(a,b,c,d,e,f,g,h) \
11     {{LIMBLO(a),LIMBLO(e), LIMBHI(a),LIMBHI(e), \
12       LIMBLO(b),LIMBLO(f), LIMBHI(b),LIMBHI(f), \
13       LIMBLO(c),LIMBLO(g), LIMBHI(c),LIMBHI(g), \
14       LIMBLO(d),LIMBLO(h), LIMBHI(d),LIMBHI(h)}}
15     
16 #define LIMB_PLACE_VALUE(i) 28
17
18 void gf_add_RAW (gf out, const gf a, const gf b) {
19     for (unsigned int i=0; i<sizeof(*out)/sizeof(uint32xn_t); i++) {
20         ((uint32xn_t*)out)[i] = ((const uint32xn_t*)a)[i] + ((const uint32xn_t*)b)[i];
21     }
22 }
23
24 void gf_sub_RAW (gf out, const gf a, const gf b) {
25     for (unsigned int i=0; i<sizeof(*out)/sizeof(uint32xn_t); i++) {
26         ((uint32xn_t*)out)[i] = ((const uint32xn_t*)a)[i] - ((const uint32xn_t*)b)[i];
27     }
28     /*
29     unsigned int i;
30     for (i=0; i<sizeof(*out)/sizeof(out->limb[0]); i++) {
31         out->limb[i] = a->limb[i] - b->limb[i];
32     }
33     */
34 }
35
36 void gf_bias (gf a, int amt) {
37     uint32_t co1 = ((1ull<<28)-1)*amt, co2 = co1-amt;
38     uint32x4_t lo = {co1,co2,co1,co1}, hi = {co1,co1,co1,co1};
39     uint32x4_t *aa = (uint32x4_t*) a;
40     aa[0] += lo;
41     aa[1] += hi;
42     aa[2] += hi;
43     aa[3] += hi;
44 }
45
46 void gf_weak_reduce (gf a) {
47
48     uint32x2_t *aa = (uint32x2_t*) a, vmask = {(1ull<<28)-1, (1ull<<28)-1}, vm2 = {0,-1},
49        tmp = vshr_n_u32(aa[7],28);
50        
51     for (unsigned int i=7; i>=1; i--) {
52         aa[i] = vsra_n_u32(aa[i] & vmask, aa[i-1], 28);
53     }
54     aa[0] = (aa[0] & vmask) + vrev64_u32(tmp) + (tmp&vm2);
55 }
56