crypto/bn/bn_gf2m.c

   1 /* crypto/bn/bn_gf2m.c */
   2 /* ====================================================================
   3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
   4  *
   5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
   6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
   7  * to the OpenSSL project.
   8  *
   9  * The ECC Code is licensed pursuant to the OpenSSL open source
  10  * license provided below.
  11  *
  12  * In addition, Sun covenants to all licensees who provide a reciprocal
  13  * covenant with respect to their own patents if any, not to sue under
  14  * current and future patent claims necessarily infringed by the making,
  15  * using, practicing, selling, offering for sale and/or otherwise
  16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
  17  * provided that such covenant shall not apply:
  18  *  1) for code that a licensee deletes from the ECC Code;
  19  *  2) separates from the ECC Code; or
  20  *  3) for infringements caused by:
  21  *       i) the modification of the ECC Code or
  22  *      ii) the combination of the ECC Code with other software or
  23  *          devices where such combination causes the infringement.
  24  *
  25  * The software is originally written by Sheueling Chang Shantz and
  26  * Douglas Stebila of Sun Microsystems Laboratories.
  27  *
  28  */
  29
  30 /* NOTE: This file is licensed pursuant to the OpenSSL license below
  31  * and may be modified; but after modifications, the above covenant
  32  * may no longer apply!  In such cases, the corresponding paragraph
  33  * ["In addition, Sun covenants ... causes the infringement."] and
  34  * this note can be edited out; but please keep the Sun copyright
  35  * notice and attribution. */
  36
  37 /* ====================================================================
  38  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
  39  *
  40  * Redistribution and use in source and binary forms, with or without
  41  * modification, are permitted provided that the following conditions
  42  * are met:
  43  *
  44  * 1. Redistributions of source code must retain the above copyright
  45  *    notice, this list of conditions and the following disclaimer.
  46  *
  47  * 2. Redistributions in binary form must reproduce the above copyright
  48  *    notice, this list of conditions and the following disclaimer in
  49  *    the documentation and/or other materials provided with the
  50  *    distribution.
  51  *
  52  * 3. All advertising materials mentioning features or use of this
  53  *    software must display the following acknowledgment:
  54  *    "This product includes software developed by the OpenSSL Project
  55  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
  56  *
  57  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
  58  *    endorse or promote products derived from this software without
  59  *    prior written permission. For written permission, please contact
  60  *    openssl-core@openssl.org.
  61  *
  62  * 5. Products derived from this software may not be called "OpenSSL"
  63  *    nor may "OpenSSL" appear in their names without prior written
  64  *    permission of the OpenSSL Project.
  65  *
  66  * 6. Redistributions of any form whatsoever must retain the following
  67  *    acknowledgment:
  68  *    "This product includes software developed by the OpenSSL Project
  69  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
  70  *
  71  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
  72  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  73  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  74  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
  75  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  76  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  77  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  78  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  79  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  80  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  81  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  82  * OF THE POSSIBILITY OF SUCH DAMAGE.
  83  * ====================================================================
  84  *
  85  * This product includes cryptographic software written by Eric Young
  86  * (eay@cryptsoft.com).  This product includes software written by Tim
  87  * Hudson (tjh@cryptsoft.com).
  88  *
  89  */
  90
  91 #include <assert.h>
  92 #include <limits.h>
  93 #include <stdio.h>
  94 #include "cryptlib.h"
  95 #include "bn_lcl.h"
  96
  97 /* Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should fail. */
  98 #define MAX_ITERATIONS 50
  99
 100 static const BN_ULONG SQR_tb[16] =
 101   {     0,     1,     4,     5,    16,    17,    20,    21,
 102        64,    65,    68,    69,    80,    81,    84,    85 };
 103 /* Platform-specific macros to accelerate squaring. */
 104 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
 105 #define SQR1(w) \
 106     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
 107     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
 108     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
 109     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
 110 #define SQR0(w) \
 111     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
 112     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
 113     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
 114     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
 115 #endif
 116 #ifdef THIRTY_TWO_BIT
 117 #define SQR1(w) \
 118     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
 119     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
 120 #define SQR0(w) \
 121     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
 122     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
 123 #endif
 124
 125 /* Product of two polynomials a, b each with degree < BN_BITS2 - 1,
 126  * result is a polynomial r with degree < 2 * BN_BITS - 1
 127  * The caller MUST ensure that the variables have the right amount
 128  * of space allocated.
 129  */
 130 #ifdef THIRTY_TWO_BIT
 131 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
 132         {
 133         register BN_ULONG h, l, s;
 134         BN_ULONG tab[8], top2b = a >> 30;
 135         register BN_ULONG a1, a2, a4;
 136
 137         a1 = a & (0x3FFFFFFF); a2 = a1 << 1; a4 = a2 << 1;
 138
 139         tab[0] =  0; tab[1] = a1;    tab[2] = a2;    tab[3] = a1^a2;
 140         tab[4] = a4; tab[5] = a1^a4; tab[6] = a2^a4; tab[7] = a1^a2^a4;
 141
 142         s = tab[b       & 0x7]; l  = s;
 143         s = tab[b >>  3 & 0x7]; l ^= s <<  3; h  = s >> 29;
 144         s = tab[b >>  6 & 0x7]; l ^= s <<  6; h ^= s >> 26;
 145         s = tab[b >>  9 & 0x7]; l ^= s <<  9; h ^= s >> 23;
 146         s = tab[b >> 12 & 0x7]; l ^= s << 12; h ^= s >> 20;
 147         s = tab[b >> 15 & 0x7]; l ^= s << 15; h ^= s >> 17;
 148         s = tab[b >> 18 & 0x7]; l ^= s << 18; h ^= s >> 14;
 149         s = tab[b >> 21 & 0x7]; l ^= s << 21; h ^= s >> 11;
 150         s = tab[b >> 24 & 0x7]; l ^= s << 24; h ^= s >>  8;
 151         s = tab[b >> 27 & 0x7]; l ^= s << 27; h ^= s >>  5;
 152         s = tab[b >> 30      ]; l ^= s << 30; h ^= s >>  2;
 153
 154         /* compensate for the top two bits of a */
 155
 156         if (top2b & 01) { l ^= b << 30; h ^= b >> 2; }
 157         if (top2b & 02) { l ^= b << 31; h ^= b >> 1; }
 158
 159         *r1 = h; *r0 = l;
 160         }
 161 #endif
 162 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
 163 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
 164         {
 165         register BN_ULONG h, l, s;
 166         BN_ULONG tab[16], top3b = a >> 61;
 167         register BN_ULONG a1, a2, a4, a8;
 168
 169         a1 = a & (0x1FFFFFFFFFFFFFFFULL); a2 = a1 << 1; a4 = a2 << 1; a8 = a4 << 1;
 170
 171         tab[ 0] = 0;     tab[ 1] = a1;       tab[ 2] = a2;       tab[ 3] = a1^a2;
 172         tab[ 4] = a4;    tab[ 5] = a1^a4;    tab[ 6] = a2^a4;    tab[ 7] = a1^a2^a4;
 173         tab[ 8] = a8;    tab[ 9] = a1^a8;    tab[10] = a2^a8;    tab[11] = a1^a2^a8;
 174         tab[12] = a4^a8; tab[13] = a1^a4^a8; tab[14] = a2^a4^a8; tab[15] = a1^a2^a4^a8;
 175
 176         s = tab[b       & 0xF]; l  = s;
 177         s = tab[b >>  4 & 0xF]; l ^= s <<  4; h  = s >> 60;
 178         s = tab[b >>  8 & 0xF]; l ^= s <<  8; h ^= s >> 56;
 179         s = tab[b >> 12 & 0xF]; l ^= s << 12; h ^= s >> 52;
 180         s = tab[b >> 16 & 0xF]; l ^= s << 16; h ^= s >> 48;
 181         s = tab[b >> 20 & 0xF]; l ^= s << 20; h ^= s >> 44;
 182         s = tab[b >> 24 & 0xF]; l ^= s << 24; h ^= s >> 40;
 183         s = tab[b >> 28 & 0xF]; l ^= s << 28; h ^= s >> 36;
 184         s = tab[b >> 32 & 0xF]; l ^= s << 32; h ^= s >> 32;
 185         s = tab[b >> 36 & 0xF]; l ^= s << 36; h ^= s >> 28;
 186         s = tab[b >> 40 & 0xF]; l ^= s << 40; h ^= s >> 24;
 187         s = tab[b >> 44 & 0xF]; l ^= s << 44; h ^= s >> 20;
 188         s = tab[b >> 48 & 0xF]; l ^= s << 48; h ^= s >> 16;
 189         s = tab[b >> 52 & 0xF]; l ^= s << 52; h ^= s >> 12;
 190         s = tab[b >> 56 & 0xF]; l ^= s << 56; h ^= s >>  8;
 191         s = tab[b >> 60      ]; l ^= s << 60; h ^= s >>  4;
 192
 193         /* compensate for the top three bits of a */
 194
 195         if (top3b & 01) { l ^= b << 61; h ^= b >> 3; }
 196         if (top3b & 02) { l ^= b << 62; h ^= b >> 2; }
 197         if (top3b & 04) { l ^= b << 63; h ^= b >> 1; }
 198
 199         *r1 = h; *r0 = l;
 200         }
 201 #endif
 202
 203 /* Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
 204  * result is a polynomial r with degree < 4 * BN_BITS2 - 1
 205  * The caller MUST ensure that the variables have the right amount
 206  * of space allocated.
 207  */
 208 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0, const BN_ULONG b1, const BN_ULONG b0)
 209         {
 210         BN_ULONG m1, m0;
 211         /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
 212         bn_GF2m_mul_1x1(r+3, r+2, a1, b1);
 213         bn_GF2m_mul_1x1(r+1, r, a0, b0);
 214         bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
 215         /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
 216         r[2] ^= m1 ^ r[1] ^ r[3];  /* h0 ^= m1 ^ l1 ^ h1; */
 217         r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0;  /* l1 ^= l0 ^ h0 ^ m0; */
 218         }
 219
 220
 221 /* Add polynomials a and b and store result in r; r could be a or b, a and b
 222  * could be equal; r is the bitwise XOR of a and b.
 223  */
 224 int     BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
 225         {
 226         int i;
 227         const BIGNUM *at, *bt;
 228
 229         bn_check_top(a);
 230         bn_check_top(b);
 231
 232         if (a->top < b->top) { at = b; bt = a; }
 233         else { at = a; bt = b; }
 234
 235         bn_wexpand(r, at->top);
 236
 237         for (i = 0; i < bt->top; i++)
 238                 {
 239                 r->d[i] = at->d[i] ^ bt->d[i];
 240                 }
 241         for (; i < at->top; i++)
 242                 {
 243                 r->d[i] = at->d[i];
 244                 }
 245
 246         r->top = at->top;
 247         bn_correct_top(r);
 248
 249         return 1;
 250         }
 251
 252
 253 /* Some functions allow for representation of the irreducible polynomials
 254  * as an int[], say p.  The irreducible f(t) is then of the form:
 255  *     t^p[0] + t^p[1] + ... + t^p[k]
 256  * where m = p[0] > p[1] > ... > p[k] = 0.
 257  */
 258
 259
 260 /* Performs modular reduction of a and store result in r.  r could be a. */
 261 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
 262         {
 263         int j, k;
 264         int n, dN, d0, d1;
 265         BN_ULONG zz, *z;
 266
 267         bn_check_top(a);
 268
 269         if (!p[0])
 270                 {
 271                 /* reduction mod 1 => return 0 */
 272                 BN_zero(r);
 273                 return 1;
 274                 }
 275
 276         /* Since the algorithm does reduction in the r value, if a != r, copy
 277          * the contents of a into r so we can do reduction in r.
 278          */
 279         if (a != r)
 280                 {
 281                 if (!bn_wexpand(r, a->top)) return 0;
 282                 for (j = 0; j < a->top; j++)
 283                         {
 284                         r->d[j] = a->d[j];
 285                         }
 286                 r->top = a->top;
 287                 }
 288         z = r->d;
 289
 290         /* start reduction */
 291         dN = p[0] / BN_BITS2;
 292         for (j = r->top - 1; j > dN;)
 293                 {
 294                 zz = z[j];
 295                 if (z[j] == 0) { j--; continue; }
 296                 z[j] = 0;
 297
 298                 for (k = 1; p[k] != 0; k++)
 299                         {
 300                         /* reducing component t^p[k] */
 301                         n = p[0] - p[k];
 302                         d0 = n % BN_BITS2;  d1 = BN_BITS2 - d0;
 303                         n /= BN_BITS2;
 304                         z[j-n] ^= (zz>>d0);
 305                         if (d0) z[j-n-1] ^= (zz<<d1);
 306                         }
 307
 308                 /* reducing component t^0 */
 309                 n = dN;
 310                 d0 = p[0] % BN_BITS2;
 311                 d1 = BN_BITS2 - d0;
 312                 z[j-n] ^= (zz >> d0);
 313                 if (d0) z[j-n-1] ^= (zz << d1);
 314                 }
 315
 316         /* final round of reduction */
 317         while (j == dN)
 318                 {
 319
 320                 d0 = p[0] % BN_BITS2;
 321                 zz = z[dN] >> d0;
 322                 if (zz == 0) break;
 323                 d1 = BN_BITS2 - d0;
 324
 325                 /* clear up the top d1 bits */
 326                 if (d0)
 327                         z[dN] = (z[dN] << d1) >> d1;
 328                 else
 329                         z[dN] = 0;
 330                 z[0] ^= zz; /* reduction t^0 component */
 331
 332                 for (k = 1; p[k] != 0; k++)
 333                         {
 334                         BN_ULONG tmp_ulong;
 335
 336                         /* reducing component t^p[k]*/
 337                         n = p[k] / BN_BITS2;
 338                         d0 = p[k] % BN_BITS2;
 339                         d1 = BN_BITS2 - d0;
 340                         z[n] ^= (zz << d0);
 341                         tmp_ulong = zz >> d1;
 342                         if (d0 && tmp_ulong)
 343                                 z[n+1] ^= tmp_ulong;
 344                         }
 345
 346
 347                 }
 348
 349         bn_correct_top(r);
 350         return 1;
 351         }
 352
 353 /* Performs modular reduction of a by p and store result in r.  r could be a.
 354  *
 355  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
 356  * function is only provided for convenience; for best performance, use the
 357  * BN_GF2m_mod_arr function.
 358  */
 359 int     BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
 360         {
 361         int ret = 0;
 362         const int max = BN_num_bits(p) + 1;
 363         int *arr=NULL;
 364         bn_check_top(a);
 365         bn_check_top(p);
 366         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
 367         ret = BN_GF2m_poly2arr(p, arr, max);
 368         if (!ret || ret > max)
 369                 {
 370                 BNerr(BN_F_BN_GF2M_MOD,BN_R_INVALID_LENGTH);
 371                 goto err;
 372                 }
 373         ret = BN_GF2m_mod_arr(r, a, arr);
 374         bn_check_top(r);
 375 err:
 376         if (arr) OPENSSL_free(arr);
 377         return ret;
 378         }
 379
 380
 381 /* Compute the product of two polynomials a and b, reduce modulo p, and store
 382  * the result in r.  r could be a or b; a could be b.
 383  */
 384 int     BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
 385         {
 386         int zlen, i, j, k, ret = 0;
 387         BIGNUM *s;
 388         BN_ULONG x1, x0, y1, y0, zz[4];
 389
 390         bn_check_top(a);
 391         bn_check_top(b);
 392
 393         if (a == b)
 394                 {
 395                 return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
 396                 }
 397
 398         BN_CTX_start(ctx);
 399         if ((s = BN_CTX_get(ctx)) == NULL) goto err;
 400
 401         zlen = a->top + b->top + 4;
 402         if (!bn_wexpand(s, zlen)) goto err;
 403         s->top = zlen;
 404
 405         for (i = 0; i < zlen; i++) s->d[i] = 0;
 406
 407         for (j = 0; j < b->top; j += 2)
 408                 {
 409                 y0 = b->d[j];
 410                 y1 = ((j+1) == b->top) ? 0 : b->d[j+1];
 411                 for (i = 0; i < a->top; i += 2)
 412                         {
 413                         x0 = a->d[i];
 414                         x1 = ((i+1) == a->top) ? 0 : a->d[i+1];
 415                         bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
 416                         for (k = 0; k < 4; k++) s->d[i+j+k] ^= zz[k];
 417                         }
 418                 }
 419
 420         bn_correct_top(s);
 421         if (BN_GF2m_mod_arr(r, s, p))
 422                 ret = 1;
 423         bn_check_top(r);
 424
 425 err:
 426         BN_CTX_end(ctx);
 427         return ret;
 428         }
 429
 430 /* Compute the product of two polynomials a and b, reduce modulo p, and store
 431  * the result in r.  r could be a or b; a could equal b.
 432  *
 433  * This function calls down to the BN_GF2m_mod_mul_arr implementation; this wrapper
 434  * function is only provided for convenience; for best performance, use the
 435  * BN_GF2m_mod_mul_arr function.
 436  */
 437 int     BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
 438         {
 439         int ret = 0;
 440         const int max = BN_num_bits(p) + 1;
 441         int *arr=NULL;
 442         bn_check_top(a);
 443         bn_check_top(b);
 444         bn_check_top(p);
 445         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
 446         ret = BN_GF2m_poly2arr(p, arr, max);
 447         if (!ret || ret > max)
 448                 {
 449                 BNerr(BN_F_BN_GF2M_MOD_MUL,BN_R_INVALID_LENGTH);
 450                 goto err;
 451                 }
 452         ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
 453         bn_check_top(r);
 454 err:
 455         if (arr) OPENSSL_free(arr);
 456         return ret;
 457         }
 458
 459
 460 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
 461 int     BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
 462         {
 463         int i, ret = 0;
 464         BIGNUM *s;
 465
 466         bn_check_top(a);
 467         BN_CTX_start(ctx);
 468         if ((s = BN_CTX_get(ctx)) == NULL) return 0;
 469         if (!bn_wexpand(s, 2 * a->top)) goto err;
 470
 471         for (i = a->top - 1; i >= 0; i--)
 472                 {
 473                 s->d[2*i+1] = SQR1(a->d[i]);
 474                 s->d[2*i  ] = SQR0(a->d[i]);
 475                 }
 476
 477         s->top = 2 * a->top;
 478         bn_correct_top(s);
 479         if (!BN_GF2m_mod_arr(r, s, p)) goto err;
 480         bn_check_top(r);
 481         ret = 1;
 482 err:
 483         BN_CTX_end(ctx);
 484         return ret;
 485         }
 486
 487 /* Square a, reduce the result mod p, and store it in a.  r could be a.
 488  *
 489  * This function calls down to the BN_GF2m_mod_sqr_arr implementation; this wrapper
 490  * function is only provided for convenience; for best performance, use the
 491  * BN_GF2m_mod_sqr_arr function.
 492  */
 493 int     BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
 494         {
 495         int ret = 0;
 496         const int max = BN_num_bits(p) + 1;
 497         int *arr=NULL;
 498
 499         bn_check_top(a);
 500         bn_check_top(p);
 501         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
 502         ret = BN_GF2m_poly2arr(p, arr, max);
 503         if (!ret || ret > max)
 504                 {
 505                 BNerr(BN_F_BN_GF2M_MOD_SQR,BN_R_INVALID_LENGTH);
 506                 goto err;
 507                 }
 508         ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
 509         bn_check_top(r);
 510 err:
 511         if (arr) OPENSSL_free(arr);
 512         return ret;
 513         }
 514
 515
 516 /* Invert a, reduce modulo p, and store the result in r. r could be a.
 517  * Uses Modified Almost Inverse Algorithm (Algorithm 10) from
 518  *     Hankerson, D., Hernandez, J.L., and Menezes, A.  "Software Implementation
 519  *     of Elliptic Curve Cryptography Over Binary Fields".
 520  */
 521 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
 522         {
 523         BIGNUM *b, *c, *u, *v, *tmp;
 524         int ret = 0;
 525
 526         bn_check_top(a);
 527         bn_check_top(p);
 528
 529         BN_CTX_start(ctx);
 530
 531         b = BN_CTX_get(ctx);
 532         c = BN_CTX_get(ctx);
 533         u = BN_CTX_get(ctx);
 534         v = BN_CTX_get(ctx);
 535         if (v == NULL) goto err;
 536
 537         if (!BN_one(b)) goto err;
 538         if (!BN_GF2m_mod(u, a, p)) goto err;
 539         if (!BN_copy(v, p)) goto err;
 540
 541         if (BN_is_zero(u)) goto err;
 542
 543         while (1)
 544                 {
 545                 while (!BN_is_odd(u))
 546                         {
 547                         if (!BN_rshift1(u, u)) goto err;
 548                         if (BN_is_odd(b))
 549                                 {
 550                                 if (!BN_GF2m_add(b, b, p)) goto err;
 551                                 }
 552                         if (!BN_rshift1(b, b)) goto err;
 553                         }
 554
 555                 if (BN_abs_is_word(u, 1)) break;
 556
 557                 if (BN_num_bits(u) < BN_num_bits(v))
 558                         {
 559                         tmp = u; u = v; v = tmp;
 560                         tmp = b; b = c; c = tmp;
 561                         }
 562
 563                 if (!BN_GF2m_add(u, u, v)) goto err;
 564                 if (!BN_GF2m_add(b, b, c)) goto err;
 565                 }
 566
 567
 568         if (!BN_copy(r, b)) goto err;
 569         bn_check_top(r);
 570         ret = 1;
 571
 572 err:
 573         BN_CTX_end(ctx);
 574         return ret;
 575         }
 576
 577 /* Invert xx, reduce modulo p, and store the result in r. r could be xx.
 578  *
 579  * This function calls down to the BN_GF2m_mod_inv implementation; this wrapper
 580  * function is only provided for convenience; for best performance, use the
 581  * BN_GF2m_mod_inv function.
 582  */
 583 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[], BN_CTX *ctx)
 584         {
 585         BIGNUM *field;
 586         int ret = 0;
 587
 588         bn_check_top(xx);
 589         BN_CTX_start(ctx);
 590         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
 591         if (!BN_GF2m_arr2poly(p, field)) goto err;
 592
 593         ret = BN_GF2m_mod_inv(r, xx, field, ctx);
 594         bn_check_top(r);
 595
 596 err:
 597         BN_CTX_end(ctx);
 598         return ret;
 599         }
 600
 601
 602 #ifndef OPENSSL_SUN_GF2M_DIV
 603 /* Divide y by x, reduce modulo p, and store the result in r. r could be x
 604  * or y, x could equal y.
 605  */
 606 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
 607         {
 608         BIGNUM *xinv = NULL;
 609         int ret = 0;
 610
 611         bn_check_top(y);
 612         bn_check_top(x);
 613         bn_check_top(p);
 614
 615         BN_CTX_start(ctx);
 616         xinv = BN_CTX_get(ctx);
 617         if (xinv == NULL) goto err;
 618
 619         if (!BN_GF2m_mod_inv(xinv, x, p, ctx)) goto err;
 620         if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx)) goto err;
 621         bn_check_top(r);
 622         ret = 1;
 623
 624 err:
 625         BN_CTX_end(ctx);
 626         return ret;
 627         }
 628 #else
 629 /* Divide y by x, reduce modulo p, and store the result in r. r could be x
 630  * or y, x could equal y.
 631  * Uses algorithm Modular_Division_GF(2^m) from
 632  *     Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to
 633  *     the Great Divide".
 634  */
 635 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
 636         {
 637         BIGNUM *a, *b, *u, *v;
 638         int ret = 0;
 639
 640         bn_check_top(y);
 641         bn_check_top(x);
 642         bn_check_top(p);
 643
 644         BN_CTX_start(ctx);
 645
 646         a = BN_CTX_get(ctx);
 647         b = BN_CTX_get(ctx);
 648         u = BN_CTX_get(ctx);
 649         v = BN_CTX_get(ctx);
 650         if (v == NULL) goto err;
 651
 652         /* reduce x and y mod p */
 653         if (!BN_GF2m_mod(u, y, p)) goto err;
 654         if (!BN_GF2m_mod(a, x, p)) goto err;
 655         if (!BN_copy(b, p)) goto err;
 656
 657         while (!BN_is_odd(a))
 658                 {
 659                 if (!BN_rshift1(a, a)) goto err;
 660                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
 661                 if (!BN_rshift1(u, u)) goto err;
 662                 }
 663
 664         do
 665                 {
 666                 if (BN_GF2m_cmp(b, a) > 0)
 667                         {
 668                         if (!BN_GF2m_add(b, b, a)) goto err;
 669                         if (!BN_GF2m_add(v, v, u)) goto err;
 670                         do
 671                                 {
 672                                 if (!BN_rshift1(b, b)) goto err;
 673                                 if (BN_is_odd(v)) if (!BN_GF2m_add(v, v, p)) goto err;
 674                                 if (!BN_rshift1(v, v)) goto err;
 675                                 } while (!BN_is_odd(b));
 676                         }
 677                 else if (BN_abs_is_word(a, 1))
 678                         break;
 679                 else
 680                         {
 681                         if (!BN_GF2m_add(a, a, b)) goto err;
 682                         if (!BN_GF2m_add(u, u, v)) goto err;
 683                         do
 684                                 {
 685                                 if (!BN_rshift1(a, a)) goto err;
 686                                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
 687                                 if (!BN_rshift1(u, u)) goto err;
 688                                 } while (!BN_is_odd(a));
 689                         }
 690                 } while (1);
 691
 692         if (!BN_copy(r, u)) goto err;
 693         bn_check_top(r);
 694         ret = 1;
 695
 696 err:
 697         BN_CTX_end(ctx);
 698         return ret;
 699         }
 700 #endif
 701
 702 /* Divide yy by xx, reduce modulo p, and store the result in r. r could be xx
 703  * or yy, xx could equal yy.
 704  *
 705  * This function calls down to the BN_GF2m_mod_div implementation; this wrapper
 706  * function is only provided for convenience; for best performance, use the
 707  * BN_GF2m_mod_div function.
 708  */
 709 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx, const int p[], BN_CTX *ctx)
 710         {
 711         BIGNUM *field;
 712         int ret = 0;
 713
 714         bn_check_top(yy);
 715         bn_check_top(xx);
 716
 717         BN_CTX_start(ctx);
 718         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
 719         if (!BN_GF2m_arr2poly(p, field)) goto err;
 720
 721         ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
 722         bn_check_top(r);
 723
 724 err:
 725         BN_CTX_end(ctx);
 726         return ret;
 727         }
 728
 729
 730 /* Compute the bth power of a, reduce modulo p, and store
 731  * the result in r.  r could be a.
 732  * Uses simple square-and-multiply algorithm A.5.1 from IEEE P1363.
 733  */
 734 int     BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
 735         {
 736         int ret = 0, i, n;
 737         BIGNUM *u;
 738
 739         bn_check_top(a);
 740         bn_check_top(b);
 741
 742         if (BN_is_zero(b))
 743                 return(BN_one(r));
 744
 745         if (BN_abs_is_word(b, 1))
 746                 return (BN_copy(r, a) != NULL);
 747
 748         BN_CTX_start(ctx);
 749         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
 750
 751         if (!BN_GF2m_mod_arr(u, a, p)) goto err;
 752
 753         n = BN_num_bits(b) - 1;
 754         for (i = n - 1; i >= 0; i--)
 755                 {
 756                 if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx)) goto err;
 757                 if (BN_is_bit_set(b, i))
 758                         {
 759                         if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx)) goto err;
 760                         }
 761                 }
 762         if (!BN_copy(r, u)) goto err;
 763         bn_check_top(r);
 764         ret = 1;
 765 err:
 766         BN_CTX_end(ctx);
 767         return ret;
 768         }
 769
 770 /* Compute the bth power of a, reduce modulo p, and store
 771  * the result in r.  r could be a.
 772  *
 773  * This function calls down to the BN_GF2m_mod_exp_arr implementation; this wrapper
 774  * function is only provided for convenience; for best performance, use the
 775  * BN_GF2m_mod_exp_arr function.
 776  */
 777 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
 778         {
 779         int ret = 0;
 780         const int max = BN_num_bits(p) + 1;
 781         int *arr=NULL;
 782         bn_check_top(a);
 783         bn_check_top(b);
 784         bn_check_top(p);
 785         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
 786         ret = BN_GF2m_poly2arr(p, arr, max);
 787         if (!ret || ret > max)
 788                 {
 789                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
 790                 goto err;
 791                 }
 792         ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
 793         bn_check_top(r);
 794 err:
 795         if (arr) OPENSSL_free(arr);
 796         return ret;
 797         }
 798
 799 /* Compute the square root of a, reduce modulo p, and store
 800  * the result in r.  r could be a.
 801  * Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
 802  */
 803 int     BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
 804         {
 805         int ret = 0;
 806         BIGNUM *u;
 807
 808         bn_check_top(a);
 809
 810         if (!p[0])
 811                 {
 812                 /* reduction mod 1 => return 0 */
 813                 BN_zero(r);
 814                 return 1;
 815                 }
 816
 817         BN_CTX_start(ctx);
 818         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
 819
 820         if (!BN_set_bit(u, p[0] - 1)) goto err;
 821         ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
 822         bn_check_top(r);
 823
 824 err:
 825         BN_CTX_end(ctx);
 826         return ret;
 827         }
 828
 829 /* Compute the square root of a, reduce modulo p, and store
 830  * the result in r.  r could be a.
 831  *
 832  * This function calls down to the BN_GF2m_mod_sqrt_arr implementation; this wrapper
 833  * function is only provided for convenience; for best performance, use the
 834  * BN_GF2m_mod_sqrt_arr function.
 835  */
 836 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
 837         {
 838         int ret = 0;
 839         const int max = BN_num_bits(p) + 1;
 840         int *arr=NULL;
 841         bn_check_top(a);
 842         bn_check_top(p);
 843         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
 844         ret = BN_GF2m_poly2arr(p, arr, max);
 845         if (!ret || ret > max)
 846                 {
 847                 BNerr(BN_F_BN_GF2M_MOD_SQRT,BN_R_INVALID_LENGTH);
 848                 goto err;
 849                 }
 850         ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
 851         bn_check_top(r);
 852 err:
 853         if (arr) OPENSSL_free(arr);
 854         return ret;
 855         }
 856
 857 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
 858  * Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
 859  */
 860 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[], BN_CTX *ctx)
 861         {
 862         int ret = 0, count = 0, j;
 863         BIGNUM *a, *z, *rho, *w, *w2, *tmp;
 864
 865         bn_check_top(a_);
 866
 867         if (!p[0])
 868                 {
 869                 /* reduction mod 1 => return 0 */
 870                 BN_zero(r);
 871                 return 1;
 872                 }
 873
 874         BN_CTX_start(ctx);
 875         a = BN_CTX_get(ctx);
 876         z = BN_CTX_get(ctx);
 877         w = BN_CTX_get(ctx);
 878         if (w == NULL) goto err;
 879
 880         if (!BN_GF2m_mod_arr(a, a_, p)) goto err;
 881
 882         if (BN_is_zero(a))
 883                 {
 884                 BN_zero(r);
 885                 ret = 1;
 886                 goto err;
 887                 }
 888
 889         if (p[0] & 0x1) /* m is odd */
 890                 {
 891                 /* compute half-trace of a */
 892                 if (!BN_copy(z, a)) goto err;
 893                 for (j = 1; j <= (p[0] - 1) / 2; j++)
 894                         {
 895                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
 896                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
 897                         if (!BN_GF2m_add(z, z, a)) goto err;
 898                         }
 899
 900                 }
 901         else /* m is even */
 902                 {
 903                 rho = BN_CTX_get(ctx);
 904                 w2 = BN_CTX_get(ctx);
 905                 tmp = BN_CTX_get(ctx);
 906                 if (tmp == NULL) goto err;
 907                 do
 908                         {
 909                         if (!BN_rand(rho, p[0], 0, 0)) goto err;
 910                         if (!BN_GF2m_mod_arr(rho, rho, p)) goto err;
 911                         BN_zero(z);
 912                         if (!BN_copy(w, rho)) goto err;
 913                         for (j = 1; j <= p[0] - 1; j++)
 914                                 {
 915                                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
 916                                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx)) goto err;
 917                                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx)) goto err;
 918                                 if (!BN_GF2m_add(z, z, tmp)) goto err;
 919                                 if (!BN_GF2m_add(w, w2, rho)) goto err;
 920                                 }
 921                         count++;
 922                         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
 923                 if (BN_is_zero(w))
 924                         {
 925                         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR,BN_R_TOO_MANY_ITERATIONS);
 926                         goto err;
 927                         }
 928                 }
 929
 930         if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx)) goto err;
 931         if (!BN_GF2m_add(w, z, w)) goto err;
 932         if (BN_GF2m_cmp(w, a))
 933                 {
 934                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
 935                 goto err;
 936                 }
 937
 938         if (!BN_copy(r, z)) goto err;
 939         bn_check_top(r);
 940
 941         ret = 1;
 942
 943 err:
 944         BN_CTX_end(ctx);
 945         return ret;
 946         }
 947
 948 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
 949  *
 950  * This function calls down to the BN_GF2m_mod_solve_quad_arr implementation; this wrapper
 951  * function is only provided for convenience; for best performance, use the
 952  * BN_GF2m_mod_solve_quad_arr function.
 953  */
 954 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
 955         {
 956         int ret = 0;
 957         const int max = BN_num_bits(p) + 1;
 958         int *arr=NULL;
 959         bn_check_top(a);
 960         bn_check_top(p);
 961         if ((arr = (int *)OPENSSL_malloc(sizeof(int) *
 962                                                 max)) == NULL) goto err;
 963         ret = BN_GF2m_poly2arr(p, arr, max);
 964         if (!ret || ret > max)
 965                 {
 966                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD,BN_R_INVALID_LENGTH);
 967                 goto err;
 968                 }
 969         ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
 970         bn_check_top(r);
 971 err:
 972         if (arr) OPENSSL_free(arr);
 973         return ret;
 974         }
 975
 976 /* Convert the bit-string representation of a polynomial
 977  * ( \sum_{i=0}^n a_i * x^i) into an array of integers corresponding
 978  * to the bits with non-zero coefficient.  Array is terminated with -1.
 979  * Up to max elements of the array will be filled.  Return value is total
 980  * number of array elements that would be filled if array was large enough.
 981  */
 982 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
 983         {
 984         int i, j, k = 0;
 985         BN_ULONG mask;
 986
 987         if (BN_is_zero(a))
 988                 return 0;
 989
 990         for (i = a->top - 1; i >= 0; i--)
 991                 {
 992                 if (!a->d[i])
 993                         /* skip word if a->d[i] == 0 */
 994                         continue;
 995                 mask = BN_TBIT;
 996                 for (j = BN_BITS2 - 1; j >= 0; j--)
 997                         {
 998                         if (a->d[i] & mask)
 999                                 {
1000                                 if (k < max) p[k] = BN_BITS2 * i + j;
1001                                 k++;
1002                                 }
1003                         mask >>= 1;
1004                         }
1005                 }
1006
1007         if (k < max) {
1008                 p[k] = -1;
1009                 k++;
1010         }
1011
1012         return k;
1013         }
1014
1015 /* Convert the coefficient array representation of a polynomial to a
1016  * bit-string.  The array must be terminated by -1.
1017  */
1018 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1019         {
1020         int i;
1021
1022         bn_check_top(a);
1023         BN_zero(a);
1024         for (i = 0; p[i] != -1; i++)
1025                 {
1026                 if (BN_set_bit(a, p[i]) == 0)
1027                         return 0;
1028                 }
1029         bn_check_top(a);
1030
1031         return 1;
1032         }
1033