Remove fips_constseg references.
[openssl.git] / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /* NOTE: This file is licensed pursuant to the OpenSSL license below
31  * and may be modified; but after modifications, the above covenant
32  * may no longer apply!  In such cases, the corresponding paragraph
33  * ["In addition, Sun covenants ... causes the infringement."] and
34  * this note can be edited out; but please keep the Sun copyright
35  * notice and attribution. */
36
37 /* ====================================================================
38  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
39  *
40  * Redistribution and use in source and binary forms, with or without
41  * modification, are permitted provided that the following conditions
42  * are met:
43  *
44  * 1. Redistributions of source code must retain the above copyright
45  *    notice, this list of conditions and the following disclaimer. 
46  *
47  * 2. Redistributions in binary form must reproduce the above copyright
48  *    notice, this list of conditions and the following disclaimer in
49  *    the documentation and/or other materials provided with the
50  *    distribution.
51  *
52  * 3. All advertising materials mentioning features or use of this
53  *    software must display the following acknowledgment:
54  *    "This product includes software developed by the OpenSSL Project
55  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
56  *
57  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
58  *    endorse or promote products derived from this software without
59  *    prior written permission. For written permission, please contact
60  *    openssl-core@openssl.org.
61  *
62  * 5. Products derived from this software may not be called "OpenSSL"
63  *    nor may "OpenSSL" appear in their names without prior written
64  *    permission of the OpenSSL Project.
65  *
66  * 6. Redistributions of any form whatsoever must retain the following
67  *    acknowledgment:
68  *    "This product includes software developed by the OpenSSL Project
69  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
70  *
71  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
72  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
73  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
74  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
75  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
76  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
77  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
78  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
79  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
80  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
81  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
82  * OF THE POSSIBILITY OF SUCH DAMAGE.
83  * ====================================================================
84  *
85  * This product includes cryptographic software written by Eric Young
86  * (eay@cryptsoft.com).  This product includes software written by Tim
87  * Hudson (tjh@cryptsoft.com).
88  *
89  */
90
91 #define OPENSSL_FIPSAPI
92
93 #include <assert.h>
94 #include <limits.h>
95 #include <stdio.h>
96 #include "cryptlib.h"
97 #include "bn_lcl.h"
98
99 #ifndef OPENSSL_NO_EC2M
100
101 /* Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should fail. */
102 #define MAX_ITERATIONS 50
103
104 static const BN_ULONG SQR_tb[16] =
105   {     0,     1,     4,     5,    16,    17,    20,    21,
106        64,    65,    68,    69,    80,    81,    84,    85 };
107 /* Platform-specific macros to accelerate squaring. */
108 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
109 #define SQR1(w) \
110     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
111     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
112     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
113     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
114 #define SQR0(w) \
115     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
116     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
117     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
118     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
119 #endif
120 #ifdef THIRTY_TWO_BIT
121 #define SQR1(w) \
122     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
123     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
124 #define SQR0(w) \
125     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
126     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
127 #endif
128
129 #if !defined(OPENSSL_BN_ASM_GF2m)
130 /* Product of two polynomials a, b each with degree < BN_BITS2 - 1,
131  * result is a polynomial r with degree < 2 * BN_BITS - 1
132  * The caller MUST ensure that the variables have the right amount
133  * of space allocated.
134  */
135 #ifdef THIRTY_TWO_BIT
136 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
137         {
138         register BN_ULONG h, l, s;
139         BN_ULONG tab[8], top2b = a >> 30; 
140         register BN_ULONG a1, a2, a4;
141
142         a1 = a & (0x3FFFFFFF); a2 = a1 << 1; a4 = a2 << 1;
143
144         tab[0] =  0; tab[1] = a1;    tab[2] = a2;    tab[3] = a1^a2;
145         tab[4] = a4; tab[5] = a1^a4; tab[6] = a2^a4; tab[7] = a1^a2^a4;
146
147         s = tab[b       & 0x7]; l  = s;
148         s = tab[b >>  3 & 0x7]; l ^= s <<  3; h  = s >> 29;
149         s = tab[b >>  6 & 0x7]; l ^= s <<  6; h ^= s >> 26;
150         s = tab[b >>  9 & 0x7]; l ^= s <<  9; h ^= s >> 23;
151         s = tab[b >> 12 & 0x7]; l ^= s << 12; h ^= s >> 20;
152         s = tab[b >> 15 & 0x7]; l ^= s << 15; h ^= s >> 17;
153         s = tab[b >> 18 & 0x7]; l ^= s << 18; h ^= s >> 14;
154         s = tab[b >> 21 & 0x7]; l ^= s << 21; h ^= s >> 11;
155         s = tab[b >> 24 & 0x7]; l ^= s << 24; h ^= s >>  8;
156         s = tab[b >> 27 & 0x7]; l ^= s << 27; h ^= s >>  5;
157         s = tab[b >> 30      ]; l ^= s << 30; h ^= s >>  2;
158
159         /* compensate for the top two bits of a */
160
161         if (top2b & 01) { l ^= b << 30; h ^= b >> 2; } 
162         if (top2b & 02) { l ^= b << 31; h ^= b >> 1; } 
163
164         *r1 = h; *r0 = l;
165         } 
166 #endif
167 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
168 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
169         {
170         register BN_ULONG h, l, s;
171         BN_ULONG tab[16], top3b = a >> 61;
172         register BN_ULONG a1, a2, a4, a8;
173
174         a1 = a & (0x1FFFFFFFFFFFFFFFULL); a2 = a1 << 1; a4 = a2 << 1; a8 = a4 << 1;
175
176         tab[ 0] = 0;     tab[ 1] = a1;       tab[ 2] = a2;       tab[ 3] = a1^a2;
177         tab[ 4] = a4;    tab[ 5] = a1^a4;    tab[ 6] = a2^a4;    tab[ 7] = a1^a2^a4;
178         tab[ 8] = a8;    tab[ 9] = a1^a8;    tab[10] = a2^a8;    tab[11] = a1^a2^a8;
179         tab[12] = a4^a8; tab[13] = a1^a4^a8; tab[14] = a2^a4^a8; tab[15] = a1^a2^a4^a8;
180
181         s = tab[b       & 0xF]; l  = s;
182         s = tab[b >>  4 & 0xF]; l ^= s <<  4; h  = s >> 60;
183         s = tab[b >>  8 & 0xF]; l ^= s <<  8; h ^= s >> 56;
184         s = tab[b >> 12 & 0xF]; l ^= s << 12; h ^= s >> 52;
185         s = tab[b >> 16 & 0xF]; l ^= s << 16; h ^= s >> 48;
186         s = tab[b >> 20 & 0xF]; l ^= s << 20; h ^= s >> 44;
187         s = tab[b >> 24 & 0xF]; l ^= s << 24; h ^= s >> 40;
188         s = tab[b >> 28 & 0xF]; l ^= s << 28; h ^= s >> 36;
189         s = tab[b >> 32 & 0xF]; l ^= s << 32; h ^= s >> 32;
190         s = tab[b >> 36 & 0xF]; l ^= s << 36; h ^= s >> 28;
191         s = tab[b >> 40 & 0xF]; l ^= s << 40; h ^= s >> 24;
192         s = tab[b >> 44 & 0xF]; l ^= s << 44; h ^= s >> 20;
193         s = tab[b >> 48 & 0xF]; l ^= s << 48; h ^= s >> 16;
194         s = tab[b >> 52 & 0xF]; l ^= s << 52; h ^= s >> 12;
195         s = tab[b >> 56 & 0xF]; l ^= s << 56; h ^= s >>  8;
196         s = tab[b >> 60      ]; l ^= s << 60; h ^= s >>  4;
197
198         /* compensate for the top three bits of a */
199
200         if (top3b & 01) { l ^= b << 61; h ^= b >> 3; } 
201         if (top3b & 02) { l ^= b << 62; h ^= b >> 2; } 
202         if (top3b & 04) { l ^= b << 63; h ^= b >> 1; } 
203
204         *r1 = h; *r0 = l;
205         } 
206 #endif
207
208 /* Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
209  * result is a polynomial r with degree < 4 * BN_BITS2 - 1
210  * The caller MUST ensure that the variables have the right amount
211  * of space allocated.
212  */
213 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0, const BN_ULONG b1, const BN_ULONG b0)
214         {
215         BN_ULONG m1, m0;
216         /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
217         bn_GF2m_mul_1x1(r+3, r+2, a1, b1);
218         bn_GF2m_mul_1x1(r+1, r, a0, b0);
219         bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
220         /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
221         r[2] ^= m1 ^ r[1] ^ r[3];  /* h0 ^= m1 ^ l1 ^ h1; */
222         r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0;  /* l1 ^= l0 ^ h0 ^ m0; */
223         }
224 #else
225 void bn_GF2m_mul_2x2(BN_ULONG *r, BN_ULONG a1, BN_ULONG a0, BN_ULONG b1, BN_ULONG b0);
226 #endif 
227
228 /* Add polynomials a and b and store result in r; r could be a or b, a and b 
229  * could be equal; r is the bitwise XOR of a and b.
230  */
231 int     BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
232         {
233         int i;
234         const BIGNUM *at, *bt;
235
236         bn_check_top(a);
237         bn_check_top(b);
238
239         if (a->top < b->top) { at = b; bt = a; }
240         else { at = a; bt = b; }
241
242         if(bn_wexpand(r, at->top) == NULL)
243                 return 0;
244
245         for (i = 0; i < bt->top; i++)
246                 {
247                 r->d[i] = at->d[i] ^ bt->d[i];
248                 }
249         for (; i < at->top; i++)
250                 {
251                 r->d[i] = at->d[i];
252                 }
253         
254         r->top = at->top;
255         bn_correct_top(r);
256         
257         return 1;
258         }
259
260
261 /* Some functions allow for representation of the irreducible polynomials
262  * as an int[], say p.  The irreducible f(t) is then of the form:
263  *     t^p[0] + t^p[1] + ... + t^p[k]
264  * where m = p[0] > p[1] > ... > p[k] = 0.
265  */
266
267
268 /* Performs modular reduction of a and store result in r.  r could be a. */
269 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
270         {
271         int j, k;
272         int n, dN, d0, d1;
273         BN_ULONG zz, *z;
274
275         bn_check_top(a);
276
277         if (!p[0])
278                 {
279                 /* reduction mod 1 => return 0 */
280                 BN_zero(r);
281                 return 1;
282                 }
283
284         /* Since the algorithm does reduction in the r value, if a != r, copy
285          * the contents of a into r so we can do reduction in r. 
286          */
287         if (a != r)
288                 {
289                 if (!bn_wexpand(r, a->top)) return 0;
290                 for (j = 0; j < a->top; j++)
291                         {
292                         r->d[j] = a->d[j];
293                         }
294                 r->top = a->top;
295                 }
296         z = r->d;
297
298         /* start reduction */
299         dN = p[0] / BN_BITS2;  
300         for (j = r->top - 1; j > dN;)
301                 {
302                 zz = z[j];
303                 if (z[j] == 0) { j--; continue; }
304                 z[j] = 0;
305
306                 for (k = 1; p[k] != 0; k++)
307                         {
308                         /* reducing component t^p[k] */
309                         n = p[0] - p[k];
310                         d0 = n % BN_BITS2;  d1 = BN_BITS2 - d0;
311                         n /= BN_BITS2; 
312                         z[j-n] ^= (zz>>d0);
313                         if (d0) z[j-n-1] ^= (zz<<d1);
314                         }
315
316                 /* reducing component t^0 */
317                 n = dN;  
318                 d0 = p[0] % BN_BITS2;
319                 d1 = BN_BITS2 - d0;
320                 z[j-n] ^= (zz >> d0);
321                 if (d0) z[j-n-1] ^= (zz << d1);
322                 }
323
324         /* final round of reduction */
325         while (j == dN)
326                 {
327
328                 d0 = p[0] % BN_BITS2;
329                 zz = z[dN] >> d0;
330                 if (zz == 0) break;
331                 d1 = BN_BITS2 - d0;
332                 
333                 /* clear up the top d1 bits */
334                 if (d0)
335                         z[dN] = (z[dN] << d1) >> d1;
336                 else
337                         z[dN] = 0;
338                 z[0] ^= zz; /* reduction t^0 component */
339
340                 for (k = 1; p[k] != 0; k++)
341                         {
342                         BN_ULONG tmp_ulong;
343
344                         /* reducing component t^p[k]*/
345                         n = p[k] / BN_BITS2;   
346                         d0 = p[k] % BN_BITS2;
347                         d1 = BN_BITS2 - d0;
348                         z[n] ^= (zz << d0);
349                         tmp_ulong = zz >> d1;
350                         if (d0 && tmp_ulong)
351                                 z[n+1] ^= tmp_ulong;
352                         }
353
354                 
355                 }
356
357         bn_correct_top(r);
358         return 1;
359         }
360
361 /* Performs modular reduction of a by p and store result in r.  r could be a.
362  *
363  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
364  * function is only provided for convenience; for best performance, use the 
365  * BN_GF2m_mod_arr function.
366  */
367 int     BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
368         {
369         int ret = 0;
370         int arr[6];
371         bn_check_top(a);
372         bn_check_top(p);
373         ret = BN_GF2m_poly2arr(p, arr, sizeof(arr)/sizeof(arr[0]));
374         if (!ret || ret > (int)(sizeof(arr)/sizeof(arr[0])))
375                 {
376                 BNerr(BN_F_BN_GF2M_MOD,BN_R_INVALID_LENGTH);
377                 return 0;
378                 }
379         ret = BN_GF2m_mod_arr(r, a, arr);
380         bn_check_top(r);
381         return ret;
382         }
383
384
385 /* Compute the product of two polynomials a and b, reduce modulo p, and store
386  * the result in r.  r could be a or b; a could be b.
387  */
388 int     BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
389         {
390         int zlen, i, j, k, ret = 0;
391         BIGNUM *s;
392         BN_ULONG x1, x0, y1, y0, zz[4];
393
394         bn_check_top(a);
395         bn_check_top(b);
396
397         if (a == b)
398                 {
399                 return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
400                 }
401
402         BN_CTX_start(ctx);
403         if ((s = BN_CTX_get(ctx)) == NULL) goto err;
404         
405         zlen = a->top + b->top + 4;
406         if (!bn_wexpand(s, zlen)) goto err;
407         s->top = zlen;
408
409         for (i = 0; i < zlen; i++) s->d[i] = 0;
410
411         for (j = 0; j < b->top; j += 2)
412                 {
413                 y0 = b->d[j];
414                 y1 = ((j+1) == b->top) ? 0 : b->d[j+1];
415                 for (i = 0; i < a->top; i += 2)
416                         {
417                         x0 = a->d[i];
418                         x1 = ((i+1) == a->top) ? 0 : a->d[i+1];
419                         bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
420                         for (k = 0; k < 4; k++) s->d[i+j+k] ^= zz[k];
421                         }
422                 }
423
424         bn_correct_top(s);
425         if (BN_GF2m_mod_arr(r, s, p))
426                 ret = 1;
427         bn_check_top(r);
428
429 err:
430         BN_CTX_end(ctx);
431         return ret;
432         }
433
434 /* Compute the product of two polynomials a and b, reduce modulo p, and store
435  * the result in r.  r could be a or b; a could equal b.
436  *
437  * This function calls down to the BN_GF2m_mod_mul_arr implementation; this wrapper
438  * function is only provided for convenience; for best performance, use the 
439  * BN_GF2m_mod_mul_arr function.
440  */
441 int     BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
442         {
443         int ret = 0;
444         const int max = BN_num_bits(p) + 1;
445         int *arr=NULL;
446         bn_check_top(a);
447         bn_check_top(b);
448         bn_check_top(p);
449         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
450         ret = BN_GF2m_poly2arr(p, arr, max);
451         if (!ret || ret > max)
452                 {
453                 BNerr(BN_F_BN_GF2M_MOD_MUL,BN_R_INVALID_LENGTH);
454                 goto err;
455                 }
456         ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
457         bn_check_top(r);
458 err:
459         if (arr) OPENSSL_free(arr);
460         return ret;
461         }
462
463
464 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
465 int     BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
466         {
467         int i, ret = 0;
468         BIGNUM *s;
469
470         bn_check_top(a);
471         BN_CTX_start(ctx);
472         if ((s = BN_CTX_get(ctx)) == NULL) return 0;
473         if (!bn_wexpand(s, 2 * a->top)) goto err;
474
475         for (i = a->top - 1; i >= 0; i--)
476                 {
477                 s->d[2*i+1] = SQR1(a->d[i]);
478                 s->d[2*i  ] = SQR0(a->d[i]);
479                 }
480
481         s->top = 2 * a->top;
482         bn_correct_top(s);
483         if (!BN_GF2m_mod_arr(r, s, p)) goto err;
484         bn_check_top(r);
485         ret = 1;
486 err:
487         BN_CTX_end(ctx);
488         return ret;
489         }
490
491 /* Square a, reduce the result mod p, and store it in a.  r could be a.
492  *
493  * This function calls down to the BN_GF2m_mod_sqr_arr implementation; this wrapper
494  * function is only provided for convenience; for best performance, use the 
495  * BN_GF2m_mod_sqr_arr function.
496  */
497 int     BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
498         {
499         int ret = 0;
500         const int max = BN_num_bits(p) + 1;
501         int *arr=NULL;
502
503         bn_check_top(a);
504         bn_check_top(p);
505         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
506         ret = BN_GF2m_poly2arr(p, arr, max);
507         if (!ret || ret > max)
508                 {
509                 BNerr(BN_F_BN_GF2M_MOD_SQR,BN_R_INVALID_LENGTH);
510                 goto err;
511                 }
512         ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
513         bn_check_top(r);
514 err:
515         if (arr) OPENSSL_free(arr);
516         return ret;
517         }
518
519
520 /* Invert a, reduce modulo p, and store the result in r. r could be a. 
521  * Uses Modified Almost Inverse Algorithm (Algorithm 10) from
522  *     Hankerson, D., Hernandez, J.L., and Menezes, A.  "Software Implementation
523  *     of Elliptic Curve Cryptography Over Binary Fields".
524  */
525 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
526         {
527         BIGNUM *b, *c = NULL, *u = NULL, *v = NULL, *tmp;
528         int ret = 0;
529
530         bn_check_top(a);
531         bn_check_top(p);
532
533         BN_CTX_start(ctx);
534         
535         if ((b = BN_CTX_get(ctx))==NULL) goto err;
536         if ((c = BN_CTX_get(ctx))==NULL) goto err;
537         if ((u = BN_CTX_get(ctx))==NULL) goto err;
538         if ((v = BN_CTX_get(ctx))==NULL) goto err;
539
540         if (!BN_GF2m_mod(u, a, p)) goto err;
541         if (BN_is_zero(u)) goto err;
542
543         if (!BN_copy(v, p)) goto err;
544 #if 0
545         if (!BN_one(b)) goto err;
546
547         while (1)
548                 {
549                 while (!BN_is_odd(u))
550                         {
551                         if (BN_is_zero(u)) goto err;
552                         if (!BN_rshift1(u, u)) goto err;
553                         if (BN_is_odd(b))
554                                 {
555                                 if (!BN_GF2m_add(b, b, p)) goto err;
556                                 }
557                         if (!BN_rshift1(b, b)) goto err;
558                         }
559
560                 if (BN_abs_is_word(u, 1)) break;
561
562                 if (BN_num_bits(u) < BN_num_bits(v))
563                         {
564                         tmp = u; u = v; v = tmp;
565                         tmp = b; b = c; c = tmp;
566                         }
567                 
568                 if (!BN_GF2m_add(u, u, v)) goto err;
569                 if (!BN_GF2m_add(b, b, c)) goto err;
570                 }
571 #else
572         {
573         int i,  ubits = BN_num_bits(u),
574                 vbits = BN_num_bits(v), /* v is copy of p */
575                 top = p->top;
576         BN_ULONG *udp,*bdp,*vdp,*cdp;
577
578         bn_wexpand(u,top);      udp = u->d;
579                                 for (i=u->top;i<top;i++) udp[i] = 0;
580                                 u->top = top;
581         bn_wexpand(b,top);      bdp = b->d;
582                                 bdp[0] = 1;
583                                 for (i=1;i<top;i++) bdp[i] = 0;
584                                 b->top = top;
585         bn_wexpand(c,top);      cdp = c->d;
586                                 for (i=0;i<top;i++) cdp[i] = 0;
587                                 c->top = top;
588         vdp = v->d;     /* It pays off to "cache" *->d pointers, because
589                          * it allows optimizer to be more aggressive.
590                          * But we don't have to "cache" p->d, because *p
591                          * is declared 'const'... */
592         while (1)
593                 {
594                 while (ubits && !(udp[0]&1))
595                         {
596                         BN_ULONG u0,u1,b0,b1,mask;
597
598                         u0   = udp[0];
599                         b0   = bdp[0];
600                         mask = (BN_ULONG)0-(b0&1);
601                         b0  ^= p->d[0]&mask;
602                         for (i=0;i<top-1;i++)
603                                 {
604                                 u1 = udp[i+1];
605                                 udp[i] = ((u0>>1)|(u1<<(BN_BITS2-1)))&BN_MASK2;
606                                 u0 = u1;
607                                 b1 = bdp[i+1]^(p->d[i+1]&mask);
608                                 bdp[i] = ((b0>>1)|(b1<<(BN_BITS2-1)))&BN_MASK2;
609                                 b0 = b1;
610                                 }
611                         udp[i] = u0>>1;
612                         bdp[i] = b0>>1;
613                         ubits--;
614                         }
615
616                 if (ubits<=BN_BITS2 && udp[0]==1) break;
617
618                 if (ubits<vbits)
619                         {
620                         i = ubits; ubits = vbits; vbits = i;
621                         tmp = u; u = v; v = tmp;
622                         tmp = b; b = c; c = tmp;
623                         udp = vdp; vdp = v->d;
624                         bdp = cdp; cdp = c->d;
625                         }
626                 for(i=0;i<top;i++)
627                         {
628                         udp[i] ^= vdp[i];
629                         bdp[i] ^= cdp[i];
630                         }
631                 if (ubits==vbits)
632                         {
633                         BN_ULONG ul;
634                         int utop = (ubits-1)/BN_BITS2;
635
636                         while ((ul=udp[utop])==0 && utop) utop--;
637                         ubits = utop*BN_BITS2 + BN_num_bits_word(ul);
638                         }
639                 }
640         bn_correct_top(b);
641         }
642 #endif
643
644         if (!BN_copy(r, b)) goto err;
645         bn_check_top(r);
646         ret = 1;
647
648 err:
649 #ifdef BN_DEBUG /* BN_CTX_end would complain about the expanded form */
650         bn_correct_top(c);
651         bn_correct_top(u);
652         bn_correct_top(v);
653 #endif
654         BN_CTX_end(ctx);
655         return ret;
656         }
657
658 /* Invert xx, reduce modulo p, and store the result in r. r could be xx. 
659  *
660  * This function calls down to the BN_GF2m_mod_inv implementation; this wrapper
661  * function is only provided for convenience; for best performance, use the 
662  * BN_GF2m_mod_inv function.
663  */
664 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[], BN_CTX *ctx)
665         {
666         BIGNUM *field;
667         int ret = 0;
668
669         bn_check_top(xx);
670         BN_CTX_start(ctx);
671         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
672         if (!BN_GF2m_arr2poly(p, field)) goto err;
673         
674         ret = BN_GF2m_mod_inv(r, xx, field, ctx);
675         bn_check_top(r);
676
677 err:
678         BN_CTX_end(ctx);
679         return ret;
680         }
681
682
683 #ifndef OPENSSL_SUN_GF2M_DIV
684 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
685  * or y, x could equal y.
686  */
687 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
688         {
689         BIGNUM *xinv = NULL;
690         int ret = 0;
691
692         bn_check_top(y);
693         bn_check_top(x);
694         bn_check_top(p);
695
696         BN_CTX_start(ctx);
697         xinv = BN_CTX_get(ctx);
698         if (xinv == NULL) goto err;
699         
700         if (!BN_GF2m_mod_inv(xinv, x, p, ctx)) goto err;
701         if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx)) goto err;
702         bn_check_top(r);
703         ret = 1;
704
705 err:
706         BN_CTX_end(ctx);
707         return ret;
708         }
709 #else
710 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
711  * or y, x could equal y.
712  * Uses algorithm Modular_Division_GF(2^m) from 
713  *     Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to 
714  *     the Great Divide".
715  */
716 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
717         {
718         BIGNUM *a, *b, *u, *v;
719         int ret = 0;
720
721         bn_check_top(y);
722         bn_check_top(x);
723         bn_check_top(p);
724
725         BN_CTX_start(ctx);
726         
727         a = BN_CTX_get(ctx);
728         b = BN_CTX_get(ctx);
729         u = BN_CTX_get(ctx);
730         v = BN_CTX_get(ctx);
731         if (v == NULL) goto err;
732
733         /* reduce x and y mod p */
734         if (!BN_GF2m_mod(u, y, p)) goto err;
735         if (!BN_GF2m_mod(a, x, p)) goto err;
736         if (!BN_copy(b, p)) goto err;
737         
738         while (!BN_is_odd(a))
739                 {
740                 if (!BN_rshift1(a, a)) goto err;
741                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
742                 if (!BN_rshift1(u, u)) goto err;
743                 }
744
745         do
746                 {
747                 if (BN_GF2m_cmp(b, a) > 0)
748                         {
749                         if (!BN_GF2m_add(b, b, a)) goto err;
750                         if (!BN_GF2m_add(v, v, u)) goto err;
751                         do
752                                 {
753                                 if (!BN_rshift1(b, b)) goto err;
754                                 if (BN_is_odd(v)) if (!BN_GF2m_add(v, v, p)) goto err;
755                                 if (!BN_rshift1(v, v)) goto err;
756                                 } while (!BN_is_odd(b));
757                         }
758                 else if (BN_abs_is_word(a, 1))
759                         break;
760                 else
761                         {
762                         if (!BN_GF2m_add(a, a, b)) goto err;
763                         if (!BN_GF2m_add(u, u, v)) goto err;
764                         do
765                                 {
766                                 if (!BN_rshift1(a, a)) goto err;
767                                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
768                                 if (!BN_rshift1(u, u)) goto err;
769                                 } while (!BN_is_odd(a));
770                         }
771                 } while (1);
772
773         if (!BN_copy(r, u)) goto err;
774         bn_check_top(r);
775         ret = 1;
776
777 err:
778         BN_CTX_end(ctx);
779         return ret;
780         }
781 #endif
782
783 /* Divide yy by xx, reduce modulo p, and store the result in r. r could be xx 
784  * or yy, xx could equal yy.
785  *
786  * This function calls down to the BN_GF2m_mod_div implementation; this wrapper
787  * function is only provided for convenience; for best performance, use the 
788  * BN_GF2m_mod_div function.
789  */
790 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx, const int p[], BN_CTX *ctx)
791         {
792         BIGNUM *field;
793         int ret = 0;
794
795         bn_check_top(yy);
796         bn_check_top(xx);
797
798         BN_CTX_start(ctx);
799         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
800         if (!BN_GF2m_arr2poly(p, field)) goto err;
801         
802         ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
803         bn_check_top(r);
804
805 err:
806         BN_CTX_end(ctx);
807         return ret;
808         }
809
810
811 /* Compute the bth power of a, reduce modulo p, and store
812  * the result in r.  r could be a.
813  * Uses simple square-and-multiply algorithm A.5.1 from IEEE P1363.
814  */
815 int     BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
816         {
817         int ret = 0, i, n;
818         BIGNUM *u;
819
820         bn_check_top(a);
821         bn_check_top(b);
822
823         if (BN_is_zero(b))
824                 return(BN_one(r));
825
826         if (BN_abs_is_word(b, 1))
827                 return (BN_copy(r, a) != NULL);
828
829         BN_CTX_start(ctx);
830         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
831         
832         if (!BN_GF2m_mod_arr(u, a, p)) goto err;
833         
834         n = BN_num_bits(b) - 1;
835         for (i = n - 1; i >= 0; i--)
836                 {
837                 if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx)) goto err;
838                 if (BN_is_bit_set(b, i))
839                         {
840                         if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx)) goto err;
841                         }
842                 }
843         if (!BN_copy(r, u)) goto err;
844         bn_check_top(r);
845         ret = 1;
846 err:
847         BN_CTX_end(ctx);
848         return ret;
849         }
850
851 /* Compute the bth power of a, reduce modulo p, and store
852  * the result in r.  r could be a.
853  *
854  * This function calls down to the BN_GF2m_mod_exp_arr implementation; this wrapper
855  * function is only provided for convenience; for best performance, use the 
856  * BN_GF2m_mod_exp_arr function.
857  */
858 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
859         {
860         int ret = 0;
861         const int max = BN_num_bits(p) + 1;
862         int *arr=NULL;
863         bn_check_top(a);
864         bn_check_top(b);
865         bn_check_top(p);
866         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
867         ret = BN_GF2m_poly2arr(p, arr, max);
868         if (!ret || ret > max)
869                 {
870                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
871                 goto err;
872                 }
873         ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
874         bn_check_top(r);
875 err:
876         if (arr) OPENSSL_free(arr);
877         return ret;
878         }
879
880 /* Compute the square root of a, reduce modulo p, and store
881  * the result in r.  r could be a.
882  * Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
883  */
884 int     BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
885         {
886         int ret = 0;
887         BIGNUM *u;
888
889         bn_check_top(a);
890
891         if (!p[0])
892                 {
893                 /* reduction mod 1 => return 0 */
894                 BN_zero(r);
895                 return 1;
896                 }
897
898         BN_CTX_start(ctx);
899         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
900         
901         if (!BN_set_bit(u, p[0] - 1)) goto err;
902         ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
903         bn_check_top(r);
904
905 err:
906         BN_CTX_end(ctx);
907         return ret;
908         }
909
910 /* Compute the square root of a, reduce modulo p, and store
911  * the result in r.  r could be a.
912  *
913  * This function calls down to the BN_GF2m_mod_sqrt_arr implementation; this wrapper
914  * function is only provided for convenience; for best performance, use the 
915  * BN_GF2m_mod_sqrt_arr function.
916  */
917 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
918         {
919         int ret = 0;
920         const int max = BN_num_bits(p) + 1;
921         int *arr=NULL;
922         bn_check_top(a);
923         bn_check_top(p);
924         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
925         ret = BN_GF2m_poly2arr(p, arr, max);
926         if (!ret || ret > max)
927                 {
928                 BNerr(BN_F_BN_GF2M_MOD_SQRT,BN_R_INVALID_LENGTH);
929                 goto err;
930                 }
931         ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
932         bn_check_top(r);
933 err:
934         if (arr) OPENSSL_free(arr);
935         return ret;
936         }
937
938 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
939  * Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
940  */
941 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[], BN_CTX *ctx)
942         {
943         int ret = 0, count = 0, j;
944         BIGNUM *a, *z, *rho, *w, *w2, *tmp;
945
946         bn_check_top(a_);
947
948         if (!p[0])
949                 {
950                 /* reduction mod 1 => return 0 */
951                 BN_zero(r);
952                 return 1;
953                 }
954
955         BN_CTX_start(ctx);
956         a = BN_CTX_get(ctx);
957         z = BN_CTX_get(ctx);
958         w = BN_CTX_get(ctx);
959         if (w == NULL) goto err;
960
961         if (!BN_GF2m_mod_arr(a, a_, p)) goto err;
962         
963         if (BN_is_zero(a))
964                 {
965                 BN_zero(r);
966                 ret = 1;
967                 goto err;
968                 }
969
970         if (p[0] & 0x1) /* m is odd */
971                 {
972                 /* compute half-trace of a */
973                 if (!BN_copy(z, a)) goto err;
974                 for (j = 1; j <= (p[0] - 1) / 2; j++)
975                         {
976                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
977                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
978                         if (!BN_GF2m_add(z, z, a)) goto err;
979                         }
980                 
981                 }
982         else /* m is even */
983                 {
984                 rho = BN_CTX_get(ctx);
985                 w2 = BN_CTX_get(ctx);
986                 tmp = BN_CTX_get(ctx);
987                 if (tmp == NULL) goto err;
988                 do
989                         {
990                         if (!BN_rand(rho, p[0], 0, 0)) goto err;
991                         if (!BN_GF2m_mod_arr(rho, rho, p)) goto err;
992                         BN_zero(z);
993                         if (!BN_copy(w, rho)) goto err;
994                         for (j = 1; j <= p[0] - 1; j++)
995                                 {
996                                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
997                                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx)) goto err;
998                                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx)) goto err;
999                                 if (!BN_GF2m_add(z, z, tmp)) goto err;
1000                                 if (!BN_GF2m_add(w, w2, rho)) goto err;
1001                                 }
1002                         count++;
1003                         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
1004                 if (BN_is_zero(w))
1005                         {
1006                         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR,BN_R_TOO_MANY_ITERATIONS);
1007                         goto err;
1008                         }
1009                 }
1010         
1011         if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx)) goto err;
1012         if (!BN_GF2m_add(w, z, w)) goto err;
1013         if (BN_GF2m_cmp(w, a))
1014                 {
1015                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1016                 goto err;
1017                 }
1018
1019         if (!BN_copy(r, z)) goto err;
1020         bn_check_top(r);
1021
1022         ret = 1;
1023
1024 err:
1025         BN_CTX_end(ctx);
1026         return ret;
1027         }
1028
1029 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
1030  *
1031  * This function calls down to the BN_GF2m_mod_solve_quad_arr implementation; this wrapper
1032  * function is only provided for convenience; for best performance, use the 
1033  * BN_GF2m_mod_solve_quad_arr function.
1034  */
1035 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1036         {
1037         int ret = 0;
1038         const int max = BN_num_bits(p) + 1;
1039         int *arr=NULL;
1040         bn_check_top(a);
1041         bn_check_top(p);
1042         if ((arr = (int *)OPENSSL_malloc(sizeof(int) *
1043                                                 max)) == NULL) goto err;
1044         ret = BN_GF2m_poly2arr(p, arr, max);
1045         if (!ret || ret > max)
1046                 {
1047                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD,BN_R_INVALID_LENGTH);
1048                 goto err;
1049                 }
1050         ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1051         bn_check_top(r);
1052 err:
1053         if (arr) OPENSSL_free(arr);
1054         return ret;
1055         }
1056
1057 /* Convert the bit-string representation of a polynomial
1058  * ( \sum_{i=0}^n a_i * x^i) into an array of integers corresponding 
1059  * to the bits with non-zero coefficient.  Array is terminated with -1.
1060  * Up to max elements of the array will be filled.  Return value is total
1061  * number of array elements that would be filled if array was large enough.
1062  */
1063 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
1064         {
1065         int i, j, k = 0;
1066         BN_ULONG mask;
1067
1068         if (BN_is_zero(a))
1069                 return 0;
1070
1071         for (i = a->top - 1; i >= 0; i--)
1072                 {
1073                 if (!a->d[i])
1074                         /* skip word if a->d[i] == 0 */
1075                         continue;
1076                 mask = BN_TBIT;
1077                 for (j = BN_BITS2 - 1; j >= 0; j--)
1078                         {
1079                         if (a->d[i] & mask) 
1080                                 {
1081                                 if (k < max) p[k] = BN_BITS2 * i + j;
1082                                 k++;
1083                                 }
1084                         mask >>= 1;
1085                         }
1086                 }
1087
1088         if (k < max) {
1089                 p[k] = -1;
1090                 k++;
1091         }
1092
1093         return k;
1094         }
1095
1096 /* Convert the coefficient array representation of a polynomial to a 
1097  * bit-string.  The array must be terminated by -1.
1098  */
1099 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1100         {
1101         int i;
1102
1103         bn_check_top(a);
1104         BN_zero(a);
1105         for (i = 0; p[i] != -1; i++)
1106                 {
1107                 if (BN_set_bit(a, p[i]) == 0)
1108                         return 0;
1109                 }
1110         bn_check_top(a);
1111
1112         return 1;
1113         }
1114
1115 #endif