crypto/ec/curve448/p448/arch_neon/f_impl.h

   1 /* Copyright (c) 2014-2016 Cryptography Research, Inc.
   2  * Released under the MIT License.  See LICENSE.txt for license information.
   3  */
   4
   5 #define GF_HEADROOM 2
   6 #define LIMBPERM(x) (((x)<<1 | (x)>>3) & 15)
   7 #define USE_NEON_PERM 1
   8 #define LIMBHI(x) ((x##ull)>>28)
   9 #define LIMBLO(x) ((x##ull)&((1ull<<28)-1))
  10 #  define FIELD_LITERAL(a,b,c,d,e,f,g,h) \
  11     {{LIMBLO(a),LIMBLO(e), LIMBHI(a),LIMBHI(e), \
  12       LIMBLO(b),LIMBLO(f), LIMBHI(b),LIMBHI(f), \
  13       LIMBLO(c),LIMBLO(g), LIMBHI(c),LIMBHI(g), \
  14       LIMBLO(d),LIMBLO(h), LIMBHI(d),LIMBHI(h)}}
  15
  16 #define LIMB_PLACE_VALUE(i) 28
  17
  18 void gf_add_RAW (gf out, const gf a, const gf b) {
  19     for (unsigned int i=0; i<sizeof(*out)/sizeof(uint32xn_t); i++) {
  20         ((uint32xn_t*)out)[i] = ((const uint32xn_t*)a)[i] + ((const uint32xn_t*)b)[i];
  21     }
  22 }
  23
  24 void gf_sub_RAW (gf out, const gf a, const gf b) {
  25     for (unsigned int i=0; i<sizeof(*out)/sizeof(uint32xn_t); i++) {
  26         ((uint32xn_t*)out)[i] = ((const uint32xn_t*)a)[i] - ((const uint32xn_t*)b)[i];
  27     }
  28     /*
  29     unsigned int i;
  30     for (i=0; i<sizeof(*out)/sizeof(out->limb[0]); i++) {
  31         out->limb[i] = a->limb[i] - b->limb[i];
  32     }
  33     */
  34 }
  35
  36 void gf_bias (gf a, int amt) {
  37     uint32_t co1 = ((1ull<<28)-1)*amt, co2 = co1-amt;
  38     uint32x4_t lo = {co1,co2,co1,co1}, hi = {co1,co1,co1,co1};
  39     uint32x4_t *aa = (uint32x4_t*) a;
  40     aa[0] += lo;
  41     aa[1] += hi;
  42     aa[2] += hi;
  43     aa[3] += hi;
  44 }
  45
  46 void gf_weak_reduce (gf a) {
  47
  48     uint32x2_t *aa = (uint32x2_t*) a, vmask = {(1ull<<28)-1, (1ull<<28)-1}, vm2 = {0,-1},
  49        tmp = vshr_n_u32(aa[7],28);
  50
  51     for (unsigned int i=7; i>=1; i--) {
  52         aa[i] = vsra_n_u32(aa[i] & vmask, aa[i-1], 28);
  53     }
  54     aa[0] = (aa[0] & vmask) + vrev64_u32(tmp) + (tmp&vm2);
  55 }
  56