crypto/ec/curve448/curve448.c

   1 /**
   2  * @file ed448goldilocks/decaf.c
   3  * @author Mike Hamburg
   4  *
   5  * @copyright
   6  *   Copyright (c) 2015-2016 Cryptography Research, Inc.  \n
   7  *   Released under the MIT License.  See LICENSE.txt for license information.
   8  *
   9  * @brief Decaf high-level functions.
  10  *
  11  * @warning This file was automatically generated in Python.
  12  * Please do not edit it.
  13  */
  14 #include <openssl/crypto.h>
  15 #include "word.h"
  16 #include "field.h"
  17
  18 #include "point_448.h"
  19 #include "ed448.h"
  20 #include "curve448_lcl.h"
  21
  22 #define COFACTOR 4
  23
  24 /* Comb config: number of combs, n, t, s. */
  25 #define COMBS_N 5
  26 #define COMBS_T 5
  27 #define COMBS_S 18
  28 #define DECAF_WINDOW_BITS 5
  29 #define DECAF_WNAF_FIXED_TABLE_BITS 5
  30 #define DECAF_WNAF_VAR_TABLE_BITS 3
  31
  32 static const int EDWARDS_D = -39081;
  33 static const curve448_scalar_t precomputed_scalarmul_adjustment = {{{
  34     SC_LIMB(0xc873d6d54a7bb0cf), SC_LIMB(0xe933d8d723a70aad), SC_LIMB(0xbb124b65129c96fd), SC_LIMB(0x00000008335dc163)
  35 }}};
  36
  37 const uint8_t decaf_x448_base_point[DECAF_X448_PUBLIC_BYTES] = { 0x05 };
  38
  39
  40 #define TWISTED_D ((EDWARDS_D)-1)
  41
  42 #define EFF_D (-(TWISTED_D))
  43 #define NEG_D 1
  44
  45 /* End of template stuff */
  46
  47 #define WBITS DECAF_WORD_BITS /* NB this may be different from ARCH_WORD_BITS */
  48
  49 /* Projective Niels coordinates */
  50 typedef struct { gf a, b, c; } niels_s, niels_t[1];
  51 typedef struct { niels_t n; gf z; } VECTOR_ALIGNED pniels_s, pniels_t[1];
  52
  53 /* Precomputed base */
  54 struct curve448_precomputed_s { niels_t table [COMBS_N<<(COMBS_T-1)]; };
  55
  56 extern const gf curve448_precomputed_base_as_fe[];
  57 const curve448_precomputed_s *curve448_precomputed_base =
  58     (const curve448_precomputed_s *) &curve448_precomputed_base_as_fe;
  59
  60 /** Inverse. */
  61 static void
  62 gf_invert(gf y, const gf x, int assert_nonzero) {
  63     mask_t ret;
  64
  65     gf t1, t2;
  66     gf_sqr(t1, x); /* o^2 */
  67     ret = gf_isr(t2, t1); /* +-1/sqrt(o^2) = +-1/o */
  68     (void)ret;
  69     if (assert_nonzero) assert(ret);
  70     gf_sqr(t1, t2);
  71     gf_mul(t2, t1, x); /* not direct to y in case of alias. */
  72     gf_copy(y, t2);
  73 }
  74
  75 /** identity = (0,1) */
  76 const curve448_point_t curve448_point_identity = {{{{{0}}},{{{1}}},{{{1}}},{{{0}}}}};
  77
  78 static void
  79 point_double_internal (
  80     curve448_point_t p,
  81     const curve448_point_t q,
  82     int before_double
  83 ) {
  84     gf a, b, c, d;
  85     gf_sqr ( c, q->x );
  86     gf_sqr ( a, q->y );
  87     gf_add_nr ( d, c, a );             /* 2+e */
  88     gf_add_nr ( p->t, q->y, q->x );    /* 2+e */
  89     gf_sqr ( b, p->t );
  90     gf_subx_nr ( b, b, d, 3 );         /* 4+e */
  91     gf_sub_nr ( p->t, a, c );          /* 3+e */
  92     gf_sqr ( p->x, q->z );
  93     gf_add_nr ( p->z, p->x, p->x );    /* 2+e */
  94     gf_subx_nr ( a, p->z, p->t, 4 );   /* 6+e */
  95     if (GF_HEADROOM == 5) gf_weak_reduce(a); /* or 1+e */
  96     gf_mul ( p->x, a, b );
  97     gf_mul ( p->z, p->t, a );
  98     gf_mul ( p->y, p->t, d );
  99     if (!before_double) gf_mul ( p->t, b, d );
 100 }
 101
 102 void curve448_point_double(curve448_point_t p, const curve448_point_t q) {
 103     point_double_internal(p,q,0);
 104 }
 105
 106 /* Operations on [p]niels */
 107 static ossl_inline void
 108 cond_neg_niels (
 109     niels_t n,
 110     mask_t neg
 111 ) {
 112     gf_cond_swap(n->a, n->b, neg);
 113     gf_cond_neg(n->c, neg);
 114 }
 115
 116 static void pt_to_pniels (
 117     pniels_t b,
 118     const curve448_point_t a
 119 ) {
 120     gf_sub ( b->n->a, a->y, a->x );
 121     gf_add ( b->n->b, a->x, a->y );
 122     gf_mulw ( b->n->c, a->t, 2*TWISTED_D );
 123     gf_add ( b->z, a->z, a->z );
 124 }
 125
 126 static void pniels_to_pt (
 127     curve448_point_t e,
 128     const pniels_t d
 129 ) {
 130     gf eu;
 131     gf_add ( eu, d->n->b, d->n->a );
 132     gf_sub ( e->y, d->n->b, d->n->a );
 133     gf_mul ( e->t, e->y, eu);
 134     gf_mul ( e->x, d->z, e->y );
 135     gf_mul ( e->y, d->z, eu );
 136     gf_sqr ( e->z, d->z );
 137 }
 138
 139 static void
 140 niels_to_pt (
 141     curve448_point_t e,
 142     const niels_t n
 143 ) {
 144     gf_add ( e->y, n->b, n->a );
 145     gf_sub ( e->x, n->b, n->a );
 146     gf_mul ( e->t, e->y, e->x );
 147     gf_copy ( e->z, ONE );
 148 }
 149
 150 static void
 151 add_niels_to_pt (
 152     curve448_point_t d,
 153     const niels_t e,
 154     int before_double
 155 ) {
 156     gf a, b, c;
 157     gf_sub_nr ( b, d->y, d->x ); /* 3+e */
 158     gf_mul ( a, e->a, b );
 159     gf_add_nr ( b, d->x, d->y ); /* 2+e */
 160     gf_mul ( d->y, e->b, b );
 161     gf_mul ( d->x, e->c, d->t );
 162     gf_add_nr ( c, a, d->y );    /* 2+e */
 163     gf_sub_nr ( b, d->y, a );    /* 3+e */
 164     gf_sub_nr ( d->y, d->z, d->x ); /* 3+e */
 165     gf_add_nr ( a, d->x, d->z ); /* 2+e */
 166     gf_mul ( d->z, a, d->y );
 167     gf_mul ( d->x, d->y, b );
 168     gf_mul ( d->y, a, c );
 169     if (!before_double) gf_mul ( d->t, b, c );
 170 }
 171
 172 static void
 173 sub_niels_from_pt (
 174     curve448_point_t d,
 175     const niels_t e,
 176     int before_double
 177 ) {
 178     gf a, b, c;
 179     gf_sub_nr ( b, d->y, d->x ); /* 3+e */
 180     gf_mul ( a, e->b, b );
 181     gf_add_nr ( b, d->x, d->y ); /* 2+e */
 182     gf_mul ( d->y, e->a, b );
 183     gf_mul ( d->x, e->c, d->t );
 184     gf_add_nr ( c, a, d->y );    /* 2+e */
 185     gf_sub_nr ( b, d->y, a );    /* 3+e */
 186     gf_add_nr ( d->y, d->z, d->x ); /* 2+e */
 187     gf_sub_nr ( a, d->z, d->x ); /* 3+e */
 188     gf_mul ( d->z, a, d->y );
 189     gf_mul ( d->x, d->y, b );
 190     gf_mul ( d->y, a, c );
 191     if (!before_double) gf_mul ( d->t, b, c );
 192 }
 193
 194 static void
 195 add_pniels_to_pt (
 196     curve448_point_t p,
 197     const pniels_t pn,
 198     int before_double
 199 ) {
 200     gf L0;
 201     gf_mul ( L0, p->z, pn->z );
 202     gf_copy ( p->z, L0 );
 203     add_niels_to_pt( p, pn->n, before_double );
 204 }
 205
 206 static void
 207 sub_pniels_from_pt (
 208     curve448_point_t p,
 209     const pniels_t pn,
 210     int before_double
 211 ) {
 212     gf L0;
 213     gf_mul ( L0, p->z, pn->z );
 214     gf_copy ( p->z, L0 );
 215     sub_niels_from_pt( p, pn->n, before_double );
 216 }
 217
 218 decaf_bool_t curve448_point_eq ( const curve448_point_t p, const curve448_point_t q ) {
 219     mask_t succ;
 220
 221     /* equality mod 2-torsion compares x/y */
 222     gf a, b;
 223     gf_mul ( a, p->y, q->x );
 224     gf_mul ( b, q->y, p->x );
 225     succ = gf_eq(a,b);
 226
 227     return mask_to_bool(succ);
 228 }
 229
 230 decaf_bool_t curve448_point_valid (
 231     const curve448_point_t p
 232 ) {
 233     mask_t out;
 234
 235     gf a,b,c;
 236     gf_mul(a,p->x,p->y);
 237     gf_mul(b,p->z,p->t);
 238     out = gf_eq(a,b);
 239     gf_sqr(a,p->x);
 240     gf_sqr(b,p->y);
 241     gf_sub(a,b,a);
 242     gf_sqr(b,p->t);
 243     gf_mulw(c,b,TWISTED_D);
 244     gf_sqr(b,p->z);
 245     gf_add(b,b,c);
 246     out &= gf_eq(a,b);
 247     out &= ~gf_eq(p->z,ZERO);
 248     return mask_to_bool(out);
 249 }
 250
 251 static ossl_inline void
 252 constant_time_lookup_niels (
 253     niels_s *__restrict__ ni,
 254     const niels_t *table,
 255     int nelts,
 256     int idx
 257 ) {
 258     constant_time_lookup(ni, table, sizeof(niels_s), nelts, idx);
 259 }
 260
 261 void curve448_precomputed_scalarmul (
 262     curve448_point_t out,
 263     const curve448_precomputed_s *table,
 264     const curve448_scalar_t scalar
 265 ) {
 266     int i;
 267     unsigned j,k;
 268     const unsigned int n = COMBS_N, t = COMBS_T, s = COMBS_S;
 269     niels_t ni;
 270
 271     curve448_scalar_t scalar1x;
 272     curve448_scalar_add(scalar1x, scalar, precomputed_scalarmul_adjustment);
 273     curve448_scalar_halve(scalar1x,scalar1x);
 274
 275     for (i=s-1; i>=0; i--) {
 276         if (i != (int)s-1) point_double_internal(out,out,0);
 277
 278         for (j=0; j<n; j++) {
 279             int tab = 0;
 280             mask_t invert;
 281
 282             for (k=0; k<t; k++) {
 283                 unsigned int bit = i + s*(k + j*t);
 284                 if (bit < DECAF_448_SCALAR_BITS) {
 285                     tab |= (scalar1x->limb[bit/WBITS] >> (bit%WBITS) & 1) << k;
 286                 }
 287             }
 288
 289             invert = (tab>>(t-1))-1;
 290             tab ^= invert;
 291             tab &= (1<<(t-1)) - 1;
 292
 293             constant_time_lookup_niels(ni, &table->table[j<<(t-1)], 1<<(t-1), tab);
 294
 295             cond_neg_niels(ni, invert);
 296             if ((i!=(int)s-1)||j) {
 297                 add_niels_to_pt(out, ni, j==n-1 && i);
 298             } else {
 299                 niels_to_pt(out, ni);
 300             }
 301         }
 302     }
 303
 304     OPENSSL_cleanse(ni,sizeof(ni));
 305     OPENSSL_cleanse(scalar1x,sizeof(scalar1x));
 306 }
 307
 308 void curve448_point_mul_by_ratio_and_encode_like_eddsa (
 309     uint8_t enc[DECAF_EDDSA_448_PUBLIC_BYTES],
 310     const curve448_point_t p
 311 ) {
 312
 313     /* The point is now on the twisted curve.  Move it to untwisted. */
 314     gf x, y, z, t;
 315     curve448_point_t q;
 316     curve448_point_copy(q,p);
 317
 318     {
 319         /* 4-isogeny: 2xy/(y^+x^2), (y^2-x^2)/(2z^2-y^2+x^2) */
 320         gf u;
 321         gf_sqr ( x, q->x );
 322         gf_sqr ( t, q->y );
 323         gf_add( u, x, t );
 324         gf_add( z, q->y, q->x );
 325         gf_sqr ( y, z);
 326         gf_sub ( y, y, u );
 327         gf_sub ( z, t, x );
 328         gf_sqr ( x, q->z );
 329         gf_add ( t, x, x);
 330         gf_sub ( t, t, z);
 331         gf_mul ( x, t, y );
 332         gf_mul ( y, z, u );
 333         gf_mul ( z, u, t );
 334         OPENSSL_cleanse(u,sizeof(u));
 335     }
 336
 337     /* Affinize */
 338     gf_invert(z,z,1);
 339     gf_mul(t,x,z);
 340     gf_mul(x,y,z);
 341
 342     /* Encode */
 343     enc[DECAF_EDDSA_448_PRIVATE_BYTES-1] = 0;
 344     gf_serialize(enc, x, 1);
 345     enc[DECAF_EDDSA_448_PRIVATE_BYTES-1] |= 0x80 & gf_lobit(t);
 346
 347     OPENSSL_cleanse(x,sizeof(x));
 348     OPENSSL_cleanse(y,sizeof(y));
 349     OPENSSL_cleanse(z,sizeof(z));
 350     OPENSSL_cleanse(t,sizeof(t));
 351     curve448_point_destroy(q);
 352 }
 353
 354
 355 decaf_error_t curve448_point_decode_like_eddsa_and_mul_by_ratio (
 356     curve448_point_t p,
 357     const uint8_t enc[DECAF_EDDSA_448_PUBLIC_BYTES]
 358 ) {
 359     uint8_t enc2[DECAF_EDDSA_448_PUBLIC_BYTES];
 360     mask_t low;
 361     mask_t succ;
 362
 363     memcpy(enc2,enc,sizeof(enc2));
 364
 365     low = ~word_is_zero(enc2[DECAF_EDDSA_448_PRIVATE_BYTES-1] & 0x80);
 366     enc2[DECAF_EDDSA_448_PRIVATE_BYTES-1] &= ~0x80;
 367
 368     succ = gf_deserialize(p->y, enc2, 1, 0);
 369 #if 0 == 0
 370     succ &= word_is_zero(enc2[DECAF_EDDSA_448_PRIVATE_BYTES-1]);
 371 #endif
 372
 373     gf_sqr(p->x,p->y);
 374     gf_sub(p->z,ONE,p->x); /* num = 1-y^2 */
 375     gf_mulw(p->t,p->x,EDWARDS_D); /* dy^2 */
 376     gf_sub(p->t,ONE,p->t); /* denom = 1-dy^2 or 1-d + dy^2 */
 377
 378     gf_mul(p->x,p->z,p->t);
 379     succ &= gf_isr(p->t,p->x); /* 1/sqrt(num * denom) */
 380
 381     gf_mul(p->x,p->t,p->z); /* sqrt(num / denom) */
 382     gf_cond_neg(p->x,gf_lobit(p->x)^low);
 383     gf_copy(p->z,ONE);
 384
 385     {
 386         /* 4-isogeny 2xy/(y^2-ax^2), (y^2+ax^2)/(2-y^2-ax^2) */
 387         gf a, b, c, d;
 388         gf_sqr ( c, p->x );
 389         gf_sqr ( a, p->y );
 390         gf_add ( d, c, a );
 391         gf_add ( p->t, p->y, p->x );
 392         gf_sqr ( b, p->t );
 393         gf_sub ( b, b, d );
 394         gf_sub ( p->t, a, c );
 395         gf_sqr ( p->x, p->z );
 396         gf_add ( p->z, p->x, p->x );
 397         gf_sub ( a, p->z, d );
 398         gf_mul ( p->x, a, b );
 399         gf_mul ( p->z, p->t, a );
 400         gf_mul ( p->y, p->t, d );
 401         gf_mul ( p->t, b, d );
 402         OPENSSL_cleanse(a,sizeof(a));
 403         OPENSSL_cleanse(b,sizeof(b));
 404         OPENSSL_cleanse(c,sizeof(c));
 405         OPENSSL_cleanse(d,sizeof(d));
 406     }
 407
 408     OPENSSL_cleanse(enc2,sizeof(enc2));
 409     assert(curve448_point_valid(p) || ~succ);
 410
 411     return decaf_succeed_if(mask_to_bool(succ));
 412 }
 413
 414 decaf_error_t decaf_x448 (
 415     uint8_t out[X_PUBLIC_BYTES],
 416     const uint8_t base[X_PUBLIC_BYTES],
 417     const uint8_t scalar[X_PRIVATE_BYTES]
 418 ) {
 419     gf x1, x2, z2, x3, z3, t1, t2;
 420     int t;
 421     mask_t swap = 0;
 422     mask_t nz;
 423
 424     ignore_result(gf_deserialize(x1,base,1,0));
 425     gf_copy(x2,ONE);
 426     gf_copy(z2,ZERO);
 427     gf_copy(x3,x1);
 428     gf_copy(z3,ONE);
 429
 430     for (t = X_PRIVATE_BITS-1; t>=0; t--) {
 431         uint8_t sb = scalar[t/8];
 432         mask_t k_t;
 433
 434         /* Scalar conditioning */
 435         if (t/8==0) sb &= -(uint8_t)COFACTOR;
 436         else if (t == X_PRIVATE_BITS-1) sb = -1;
 437
 438         k_t = (sb>>(t%8)) & 1;
 439         k_t = -k_t; /* set to all 0s or all 1s */
 440
 441         swap ^= k_t;
 442         gf_cond_swap(x2,x3,swap);
 443         gf_cond_swap(z2,z3,swap);
 444         swap = k_t;
 445
 446         gf_add_nr(t1,x2,z2); /* A = x2 + z2 */        /* 2+e */
 447         gf_sub_nr(t2,x2,z2); /* B = x2 - z2 */        /* 3+e */
 448         gf_sub_nr(z2,x3,z3); /* D = x3 - z3 */        /* 3+e */
 449         gf_mul(x2,t1,z2);    /* DA */
 450         gf_add_nr(z2,z3,x3); /* C = x3 + z3 */        /* 2+e */
 451         gf_mul(x3,t2,z2);    /* CB */
 452         gf_sub_nr(z3,x2,x3); /* DA-CB */              /* 3+e */
 453         gf_sqr(z2,z3);       /* (DA-CB)^2 */
 454         gf_mul(z3,x1,z2);    /* z3 = x1(DA-CB)^2 */
 455         gf_add_nr(z2,x2,x3); /* (DA+CB) */            /* 2+e */
 456         gf_sqr(x3,z2);       /* x3 = (DA+CB)^2 */
 457
 458         gf_sqr(z2,t1);       /* AA = A^2 */
 459         gf_sqr(t1,t2);       /* BB = B^2 */
 460         gf_mul(x2,z2,t1);    /* x2 = AA*BB */
 461         gf_sub_nr(t2,z2,t1); /* E = AA-BB */          /* 3+e */
 462
 463         gf_mulw(t1,t2,-EDWARDS_D); /* E*-d = a24*E */
 464         gf_add_nr(t1,t1,z2); /* AA + a24*E */         /* 2+e */
 465         gf_mul(z2,t2,t1); /* z2 = E(AA+a24*E) */
 466     }
 467
 468     /* Finish */
 469     gf_cond_swap(x2,x3,swap);
 470     gf_cond_swap(z2,z3,swap);
 471     gf_invert(z2,z2,0);
 472     gf_mul(x1,x2,z2);
 473     gf_serialize(out,x1,1);
 474     nz = ~gf_eq(x1,ZERO);
 475
 476     OPENSSL_cleanse(x1,sizeof(x1));
 477     OPENSSL_cleanse(x2,sizeof(x2));
 478     OPENSSL_cleanse(z2,sizeof(z2));
 479     OPENSSL_cleanse(x3,sizeof(x3));
 480     OPENSSL_cleanse(z3,sizeof(z3));
 481     OPENSSL_cleanse(t1,sizeof(t1));
 482     OPENSSL_cleanse(t2,sizeof(t2));
 483
 484     return decaf_succeed_if(mask_to_bool(nz));
 485 }
 486
 487 /* Thanks Johan Pascal */
 488 void decaf_ed448_convert_public_key_to_x448 (
 489     uint8_t x[DECAF_X448_PUBLIC_BYTES],
 490     const uint8_t ed[DECAF_EDDSA_448_PUBLIC_BYTES]
 491 ) {
 492     gf y;
 493     const uint8_t mask = (uint8_t)(0xFE<<(7));
 494     ignore_result(gf_deserialize(y, ed, 1, mask));
 495
 496     {
 497         gf n,d;
 498
 499         /* u = y^2 * (1-dy^2) / (1-y^2) */
 500         gf_sqr(n,y); /* y^2*/
 501         gf_sub(d,ONE,n); /* 1-y^2*/
 502         gf_invert(d,d,0); /* 1/(1-y^2)*/
 503         gf_mul(y,n,d); /* y^2 / (1-y^2) */
 504         gf_mulw(d,n,EDWARDS_D); /* dy^2*/
 505         gf_sub(d, ONE, d); /* 1-dy^2*/
 506         gf_mul(n, y, d); /* y^2 * (1-dy^2) / (1-y^2) */
 507         gf_serialize(x,n,1);
 508
 509         OPENSSL_cleanse(y,sizeof(y));
 510         OPENSSL_cleanse(n,sizeof(n));
 511         OPENSSL_cleanse(d,sizeof(d));
 512     }
 513 }
 514
 515 void curve448_point_mul_by_ratio_and_encode_like_x448 (
 516     uint8_t out[X_PUBLIC_BYTES],
 517     const curve448_point_t p
 518 ) {
 519     curve448_point_t q;
 520     curve448_point_copy(q,p);
 521     gf_invert(q->t,q->x,0); /* 1/x */
 522     gf_mul(q->z,q->t,q->y); /* y/x */
 523     gf_sqr(q->y,q->z); /* (y/x)^2 */
 524     gf_serialize(out,q->y,1);
 525     curve448_point_destroy(q);
 526 }
 527
 528 void decaf_x448_derive_public_key (
 529     uint8_t out[X_PUBLIC_BYTES],
 530     const uint8_t scalar[X_PRIVATE_BYTES]
 531 ) {
 532     /* Scalar conditioning */
 533     uint8_t scalar2[X_PRIVATE_BYTES];
 534     curve448_scalar_t the_scalar;
 535     curve448_point_t p;
 536     unsigned int i;
 537
 538     memcpy(scalar2,scalar,sizeof(scalar2));
 539     scalar2[0] &= -(uint8_t)COFACTOR;
 540
 541     scalar2[X_PRIVATE_BYTES-1] &= ~(-1u<<((X_PRIVATE_BITS+7)%8));
 542     scalar2[X_PRIVATE_BYTES-1] |= 1<<((X_PRIVATE_BITS+7)%8);
 543
 544     curve448_scalar_decode_long(the_scalar,scalar2,sizeof(scalar2));
 545
 546     /* Compensate for the encoding ratio */
 547     for (i=1; i<DECAF_X448_ENCODE_RATIO; i<<=1) {
 548         curve448_scalar_halve(the_scalar,the_scalar);
 549     }
 550     curve448_precomputed_scalarmul(p,curve448_precomputed_base,the_scalar);
 551     curve448_point_mul_by_ratio_and_encode_like_x448(out,p);
 552     curve448_point_destroy(p);
 553 }
 554
 555 /**
 556  * @cond internal
 557  * Control for variable-time scalar multiply algorithms.
 558  */
 559 struct smvt_control {
 560   int power, addend;
 561 };
 562
 563 static int recode_wnaf (
 564     struct smvt_control *control, /* [nbits/(table_bits+1) + 3] */
 565     const curve448_scalar_t scalar,
 566     unsigned int table_bits
 567 ) {
 568     unsigned int table_size = DECAF_448_SCALAR_BITS/(table_bits+1) + 3;
 569     int position = table_size - 1; /* at the end */
 570     uint64_t current = scalar->limb[0] & 0xFFFF;
 571     uint32_t mask = (1<<(table_bits+1))-1;
 572     unsigned int w;
 573     const unsigned int B_OVER_16 = sizeof(scalar->limb[0]) / 2;
 574     unsigned int n, i;
 575
 576     /* place the end marker */
 577     control[position].power = -1;
 578     control[position].addend = 0;
 579     position--;
 580
 581     /* PERF: Could negate scalar if it's large.  But then would need more cases
 582      * in the actual code that uses it, all for an expected reduction of like 1/5 op.
 583      * Probably not worth it.
 584      */
 585
 586     for (w = 1; w<(DECAF_448_SCALAR_BITS-1)/16+3; w++) {
 587         if (w < (DECAF_448_SCALAR_BITS-1)/16+1) {
 588             /* Refill the 16 high bits of current */
 589             current += (uint32_t)((scalar->limb[w/B_OVER_16]>>(16*(w%B_OVER_16)))<<16);
 590         }
 591
 592         while (current & 0xFFFF) {
 593             uint32_t pos = __builtin_ctz((uint32_t)current), odd = (uint32_t)current >> pos;
 594             int32_t delta = odd & mask;
 595
 596             assert(position >= 0);
 597             if (odd & 1<<(table_bits+1)) delta -= (1<<(table_bits+1));
 598             current -= delta << pos;
 599             control[position].power = pos + 16*(w-1);
 600             control[position].addend = delta;
 601             position--;
 602         }
 603         current >>= 16;
 604     }
 605     assert(current==0);
 606
 607     position++;
 608     n = table_size - position;
 609     for (i=0; i<n; i++) {
 610         control[i] = control[i+position];
 611     }
 612     return n-1;
 613 }
 614
 615 static void
 616 prepare_wnaf_table(
 617     pniels_t *output,
 618     const curve448_point_t working,
 619     unsigned int tbits
 620 ) {
 621     curve448_point_t tmp;
 622     int i;
 623     pniels_t twop;
 624
 625     pt_to_pniels(output[0], working);
 626
 627     if (tbits == 0) return;
 628
 629     curve448_point_double(tmp,working);
 630     pt_to_pniels(twop, tmp);
 631
 632     add_pniels_to_pt(tmp, output[0],0);
 633     pt_to_pniels(output[1], tmp);
 634
 635     for (i=2; i < 1<<tbits; i++) {
 636         add_pniels_to_pt(tmp, twop,0);
 637         pt_to_pniels(output[i], tmp);
 638     }
 639
 640     curve448_point_destroy(tmp);
 641     OPENSSL_cleanse(twop,sizeof(twop));
 642 }
 643
 644 extern const gf curve448_precomputed_wnaf_as_fe[];
 645 static const niels_t *curve448_wnaf_base = (const niels_t *)curve448_precomputed_wnaf_as_fe;
 646
 647 void curve448_base_double_scalarmul_non_secret (
 648     curve448_point_t combo,
 649     const curve448_scalar_t scalar1,
 650     const curve448_point_t base2,
 651     const curve448_scalar_t scalar2
 652 ) {
 653     const int table_bits_var = DECAF_WNAF_VAR_TABLE_BITS,
 654         table_bits_pre = DECAF_WNAF_FIXED_TABLE_BITS;
 655     struct smvt_control control_var[DECAF_448_SCALAR_BITS/(DECAF_WNAF_VAR_TABLE_BITS+1)+3];
 656     struct smvt_control control_pre[DECAF_448_SCALAR_BITS/(DECAF_WNAF_FIXED_TABLE_BITS+1)+3];
 657     int ncb_pre = recode_wnaf(control_pre, scalar1, table_bits_pre);
 658     int ncb_var = recode_wnaf(control_var, scalar2, table_bits_var);
 659     pniels_t precmp_var[1<<DECAF_WNAF_VAR_TABLE_BITS];
 660     int contp=0, contv=0, i;
 661
 662     prepare_wnaf_table(precmp_var, base2, table_bits_var);
 663     i = control_var[0].power;
 664
 665     if (i < 0) {
 666         curve448_point_copy(combo, curve448_point_identity);
 667         return;
 668     } else if (i > control_pre[0].power) {
 669         pniels_to_pt(combo, precmp_var[control_var[0].addend >> 1]);
 670         contv++;
 671     } else if (i == control_pre[0].power && i >=0 ) {
 672         pniels_to_pt(combo, precmp_var[control_var[0].addend >> 1]);
 673         add_niels_to_pt(combo, curve448_wnaf_base[control_pre[0].addend >> 1], i);
 674         contv++; contp++;
 675     } else {
 676         i = control_pre[0].power;
 677         niels_to_pt(combo, curve448_wnaf_base[control_pre[0].addend >> 1]);
 678         contp++;
 679     }
 680
 681     for (i--; i >= 0; i--) {
 682         int cv = (i==control_var[contv].power), cp = (i==control_pre[contp].power);
 683         point_double_internal(combo,combo,i && !(cv||cp));
 684
 685         if (cv) {
 686             assert(control_var[contv].addend);
 687
 688             if (control_var[contv].addend > 0) {
 689                 add_pniels_to_pt(combo, precmp_var[control_var[contv].addend >> 1], i&&!cp);
 690             } else {
 691                 sub_pniels_from_pt(combo, precmp_var[(-control_var[contv].addend) >> 1], i&&!cp);
 692             }
 693             contv++;
 694         }
 695
 696         if (cp) {
 697             assert(control_pre[contp].addend);
 698
 699             if (control_pre[contp].addend > 0) {
 700                 add_niels_to_pt(combo, curve448_wnaf_base[control_pre[contp].addend >> 1], i);
 701             } else {
 702                 sub_niels_from_pt(combo, curve448_wnaf_base[(-control_pre[contp].addend) >> 1], i);
 703             }
 704             contp++;
 705         }
 706     }
 707
 708     /* This function is non-secret, but whatever this is cheap. */
 709     OPENSSL_cleanse(control_var,sizeof(control_var));
 710     OPENSSL_cleanse(control_pre,sizeof(control_pre));
 711     OPENSSL_cleanse(precmp_var,sizeof(precmp_var));
 712
 713     assert(contv == ncb_var); (void)ncb_var;
 714     assert(contp == ncb_pre); (void)ncb_pre;
 715 }
 716
 717 void curve448_point_destroy (
 718     curve448_point_t point
 719 ) {
 720     OPENSSL_cleanse(point, sizeof(curve448_point_t));
 721 }
 722
 723 int X448(uint8_t out_shared_key[56], const uint8_t private_key[56],
 724          const uint8_t peer_public_value[56])
 725 {
 726   return decaf_x448(out_shared_key, peer_public_value, private_key)
 727          == DECAF_SUCCESS;
 728 }
 729
 730 void X448_public_from_private(uint8_t out_public_value[56],
 731                               const uint8_t private_key[56])
 732 {
 733     decaf_x448_derive_public_key(out_public_value, private_key);
 734 }