Further comment changes for reformat
[openssl.git] / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /* NOTE: This file is licensed pursuant to the OpenSSL license below
31  * and may be modified; but after modifications, the above covenant
32  * may no longer apply!  In such cases, the corresponding paragraph
33  * ["In addition, Sun covenants ... causes the infringement."] and
34  * this note can be edited out; but please keep the Sun copyright
35  * notice and attribution. */
36
37 /* ====================================================================
38  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
39  *
40  * Redistribution and use in source and binary forms, with or without
41  * modification, are permitted provided that the following conditions
42  * are met:
43  *
44  * 1. Redistributions of source code must retain the above copyright
45  *    notice, this list of conditions and the following disclaimer. 
46  *
47  * 2. Redistributions in binary form must reproduce the above copyright
48  *    notice, this list of conditions and the following disclaimer in
49  *    the documentation and/or other materials provided with the
50  *    distribution.
51  *
52  * 3. All advertising materials mentioning features or use of this
53  *    software must display the following acknowledgment:
54  *    "This product includes software developed by the OpenSSL Project
55  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
56  *
57  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
58  *    endorse or promote products derived from this software without
59  *    prior written permission. For written permission, please contact
60  *    openssl-core@openssl.org.
61  *
62  * 5. Products derived from this software may not be called "OpenSSL"
63  *    nor may "OpenSSL" appear in their names without prior written
64  *    permission of the OpenSSL Project.
65  *
66  * 6. Redistributions of any form whatsoever must retain the following
67  *    acknowledgment:
68  *    "This product includes software developed by the OpenSSL Project
69  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
70  *
71  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
72  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
73  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
74  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
75  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
76  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
77  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
78  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
79  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
80  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
81  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
82  * OF THE POSSIBILITY OF SUCH DAMAGE.
83  * ====================================================================
84  *
85  * This product includes cryptographic software written by Eric Young
86  * (eay@cryptsoft.com).  This product includes software written by Tim
87  * Hudson (tjh@cryptsoft.com).
88  *
89  */
90
91 #include <assert.h>
92 #include <limits.h>
93 #include <stdio.h>
94 #include "cryptlib.h"
95 #include "bn_lcl.h"
96
97 #ifndef OPENSSL_NO_EC2M
98
99 /* Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should fail. */
100 #define MAX_ITERATIONS 50
101
102 static const BN_ULONG SQR_tb[16] =
103   {     0,     1,     4,     5,    16,    17,    20,    21,
104        64,    65,    68,    69,    80,    81,    84,    85 };
105 /* Platform-specific macros to accelerate squaring. */
106 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
107 #define SQR1(w) \
108     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
109     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
110     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
111     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
112 #define SQR0(w) \
113     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
114     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
115     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
116     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
117 #endif
118 #ifdef THIRTY_TWO_BIT
119 #define SQR1(w) \
120     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
121     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
122 #define SQR0(w) \
123     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
124     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
125 #endif
126
127 #if !defined(OPENSSL_BN_ASM_GF2m)
128 /* Product of two polynomials a, b each with degree < BN_BITS2 - 1,
129  * result is a polynomial r with degree < 2 * BN_BITS - 1
130  * The caller MUST ensure that the variables have the right amount
131  * of space allocated.
132  */
133 #ifdef THIRTY_TWO_BIT
134 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
135         {
136         register BN_ULONG h, l, s;
137         BN_ULONG tab[8], top2b = a >> 30; 
138         register BN_ULONG a1, a2, a4;
139
140         a1 = a & (0x3FFFFFFF); a2 = a1 << 1; a4 = a2 << 1;
141
142         tab[0] =  0; tab[1] = a1;    tab[2] = a2;    tab[3] = a1^a2;
143         tab[4] = a4; tab[5] = a1^a4; tab[6] = a2^a4; tab[7] = a1^a2^a4;
144
145         s = tab[b       & 0x7]; l  = s;
146         s = tab[b >>  3 & 0x7]; l ^= s <<  3; h  = s >> 29;
147         s = tab[b >>  6 & 0x7]; l ^= s <<  6; h ^= s >> 26;
148         s = tab[b >>  9 & 0x7]; l ^= s <<  9; h ^= s >> 23;
149         s = tab[b >> 12 & 0x7]; l ^= s << 12; h ^= s >> 20;
150         s = tab[b >> 15 & 0x7]; l ^= s << 15; h ^= s >> 17;
151         s = tab[b >> 18 & 0x7]; l ^= s << 18; h ^= s >> 14;
152         s = tab[b >> 21 & 0x7]; l ^= s << 21; h ^= s >> 11;
153         s = tab[b >> 24 & 0x7]; l ^= s << 24; h ^= s >>  8;
154         s = tab[b >> 27 & 0x7]; l ^= s << 27; h ^= s >>  5;
155         s = tab[b >> 30      ]; l ^= s << 30; h ^= s >>  2;
156
157         /* compensate for the top two bits of a */
158
159         if (top2b & 01) { l ^= b << 30; h ^= b >> 2; } 
160         if (top2b & 02) { l ^= b << 31; h ^= b >> 1; } 
161
162         *r1 = h; *r0 = l;
163         } 
164 #endif
165 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
166 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
167         {
168         register BN_ULONG h, l, s;
169         BN_ULONG tab[16], top3b = a >> 61;
170         register BN_ULONG a1, a2, a4, a8;
171
172         a1 = a & (0x1FFFFFFFFFFFFFFFULL); a2 = a1 << 1; a4 = a2 << 1; a8 = a4 << 1;
173
174         tab[ 0] = 0;     tab[ 1] = a1;       tab[ 2] = a2;       tab[ 3] = a1^a2;
175         tab[ 4] = a4;    tab[ 5] = a1^a4;    tab[ 6] = a2^a4;    tab[ 7] = a1^a2^a4;
176         tab[ 8] = a8;    tab[ 9] = a1^a8;    tab[10] = a2^a8;    tab[11] = a1^a2^a8;
177         tab[12] = a4^a8; tab[13] = a1^a4^a8; tab[14] = a2^a4^a8; tab[15] = a1^a2^a4^a8;
178
179         s = tab[b       & 0xF]; l  = s;
180         s = tab[b >>  4 & 0xF]; l ^= s <<  4; h  = s >> 60;
181         s = tab[b >>  8 & 0xF]; l ^= s <<  8; h ^= s >> 56;
182         s = tab[b >> 12 & 0xF]; l ^= s << 12; h ^= s >> 52;
183         s = tab[b >> 16 & 0xF]; l ^= s << 16; h ^= s >> 48;
184         s = tab[b >> 20 & 0xF]; l ^= s << 20; h ^= s >> 44;
185         s = tab[b >> 24 & 0xF]; l ^= s << 24; h ^= s >> 40;
186         s = tab[b >> 28 & 0xF]; l ^= s << 28; h ^= s >> 36;
187         s = tab[b >> 32 & 0xF]; l ^= s << 32; h ^= s >> 32;
188         s = tab[b >> 36 & 0xF]; l ^= s << 36; h ^= s >> 28;
189         s = tab[b >> 40 & 0xF]; l ^= s << 40; h ^= s >> 24;
190         s = tab[b >> 44 & 0xF]; l ^= s << 44; h ^= s >> 20;
191         s = tab[b >> 48 & 0xF]; l ^= s << 48; h ^= s >> 16;
192         s = tab[b >> 52 & 0xF]; l ^= s << 52; h ^= s >> 12;
193         s = tab[b >> 56 & 0xF]; l ^= s << 56; h ^= s >>  8;
194         s = tab[b >> 60      ]; l ^= s << 60; h ^= s >>  4;
195
196         /* compensate for the top three bits of a */
197
198         if (top3b & 01) { l ^= b << 61; h ^= b >> 3; } 
199         if (top3b & 02) { l ^= b << 62; h ^= b >> 2; } 
200         if (top3b & 04) { l ^= b << 63; h ^= b >> 1; } 
201
202         *r1 = h; *r0 = l;
203         } 
204 #endif
205
206 /* Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
207  * result is a polynomial r with degree < 4 * BN_BITS2 - 1
208  * The caller MUST ensure that the variables have the right amount
209  * of space allocated.
210  */
211 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0, const BN_ULONG b1, const BN_ULONG b0)
212         {
213         BN_ULONG m1, m0;
214         /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
215         bn_GF2m_mul_1x1(r+3, r+2, a1, b1);
216         bn_GF2m_mul_1x1(r+1, r, a0, b0);
217         bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
218         /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
219         r[2] ^= m1 ^ r[1] ^ r[3];  /* h0 ^= m1 ^ l1 ^ h1; */
220         r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0;  /* l1 ^= l0 ^ h0 ^ m0; */
221         }
222 #else
223 void bn_GF2m_mul_2x2(BN_ULONG *r, BN_ULONG a1, BN_ULONG a0, BN_ULONG b1, BN_ULONG b0);
224 #endif 
225
226 /* Add polynomials a and b and store result in r; r could be a or b, a and b 
227  * could be equal; r is the bitwise XOR of a and b.
228  */
229 int     BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
230         {
231         int i;
232         const BIGNUM *at, *bt;
233
234         bn_check_top(a);
235         bn_check_top(b);
236
237         if (a->top < b->top) { at = b; bt = a; }
238         else { at = a; bt = b; }
239
240         if(bn_wexpand(r, at->top) == NULL)
241                 return 0;
242
243         for (i = 0; i < bt->top; i++)
244                 {
245                 r->d[i] = at->d[i] ^ bt->d[i];
246                 }
247         for (; i < at->top; i++)
248                 {
249                 r->d[i] = at->d[i];
250                 }
251         
252         r->top = at->top;
253         bn_correct_top(r);
254         
255         return 1;
256         }
257
258
259 /*-
260  * Some functions allow for representation of the irreducible polynomials
261  * as an int[], say p.  The irreducible f(t) is then of the form:
262  *     t^p[0] + t^p[1] + ... + t^p[k]
263  * where m = p[0] > p[1] > ... > p[k] = 0.
264  */
265
266
267 /* Performs modular reduction of a and store result in r.  r could be a. */
268 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
269         {
270         int j, k;
271         int n, dN, d0, d1;
272         BN_ULONG zz, *z;
273
274         bn_check_top(a);
275
276         if (!p[0])
277                 {
278                 /* reduction mod 1 => return 0 */
279                 BN_zero(r);
280                 return 1;
281                 }
282
283         /* Since the algorithm does reduction in the r value, if a != r, copy
284          * the contents of a into r so we can do reduction in r. 
285          */
286         if (a != r)
287                 {
288                 if (!bn_wexpand(r, a->top)) return 0;
289                 for (j = 0; j < a->top; j++)
290                         {
291                         r->d[j] = a->d[j];
292                         }
293                 r->top = a->top;
294                 }
295         z = r->d;
296
297         /* start reduction */
298         dN = p[0] / BN_BITS2;  
299         for (j = r->top - 1; j > dN;)
300                 {
301                 zz = z[j];
302                 if (z[j] == 0) { j--; continue; }
303                 z[j] = 0;
304
305                 for (k = 1; p[k] != 0; k++)
306                         {
307                         /* reducing component t^p[k] */
308                         n = p[0] - p[k];
309                         d0 = n % BN_BITS2;  d1 = BN_BITS2 - d0;
310                         n /= BN_BITS2; 
311                         z[j-n] ^= (zz>>d0);
312                         if (d0) z[j-n-1] ^= (zz<<d1);
313                         }
314
315                 /* reducing component t^0 */
316                 n = dN;  
317                 d0 = p[0] % BN_BITS2;
318                 d1 = BN_BITS2 - d0;
319                 z[j-n] ^= (zz >> d0);
320                 if (d0) z[j-n-1] ^= (zz << d1);
321                 }
322
323         /* final round of reduction */
324         while (j == dN)
325                 {
326
327                 d0 = p[0] % BN_BITS2;
328                 zz = z[dN] >> d0;
329                 if (zz == 0) break;
330                 d1 = BN_BITS2 - d0;
331                 
332                 /* clear up the top d1 bits */
333                 if (d0)
334                         z[dN] = (z[dN] << d1) >> d1;
335                 else
336                         z[dN] = 0;
337                 z[0] ^= zz; /* reduction t^0 component */
338
339                 for (k = 1; p[k] != 0; k++)
340                         {
341                         BN_ULONG tmp_ulong;
342
343                         /* reducing component t^p[k]*/
344                         n = p[k] / BN_BITS2;   
345                         d0 = p[k] % BN_BITS2;
346                         d1 = BN_BITS2 - d0;
347                         z[n] ^= (zz << d0);
348                         tmp_ulong = zz >> d1;
349                         if (d0 && tmp_ulong)
350                                 z[n+1] ^= tmp_ulong;
351                         }
352
353                 
354                 }
355
356         bn_correct_top(r);
357         return 1;
358         }
359
360 /* Performs modular reduction of a by p and store result in r.  r could be a.
361  *
362  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
363  * function is only provided for convenience; for best performance, use the 
364  * BN_GF2m_mod_arr function.
365  */
366 int     BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
367         {
368         int ret = 0;
369         int arr[6];
370         bn_check_top(a);
371         bn_check_top(p);
372         ret = BN_GF2m_poly2arr(p, arr, sizeof(arr)/sizeof(arr[0]));
373         if (!ret || ret > (int)(sizeof(arr)/sizeof(arr[0])))
374                 {
375                 BNerr(BN_F_BN_GF2M_MOD,BN_R_INVALID_LENGTH);
376                 return 0;
377                 }
378         ret = BN_GF2m_mod_arr(r, a, arr);
379         bn_check_top(r);
380         return ret;
381         }
382
383
384 /* Compute the product of two polynomials a and b, reduce modulo p, and store
385  * the result in r.  r could be a or b; a could be b.
386  */
387 int     BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
388         {
389         int zlen, i, j, k, ret = 0;
390         BIGNUM *s;
391         BN_ULONG x1, x0, y1, y0, zz[4];
392
393         bn_check_top(a);
394         bn_check_top(b);
395
396         if (a == b)
397                 {
398                 return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
399                 }
400
401         BN_CTX_start(ctx);
402         if ((s = BN_CTX_get(ctx)) == NULL) goto err;
403         
404         zlen = a->top + b->top + 4;
405         if (!bn_wexpand(s, zlen)) goto err;
406         s->top = zlen;
407
408         for (i = 0; i < zlen; i++) s->d[i] = 0;
409
410         for (j = 0; j < b->top; j += 2)
411                 {
412                 y0 = b->d[j];
413                 y1 = ((j+1) == b->top) ? 0 : b->d[j+1];
414                 for (i = 0; i < a->top; i += 2)
415                         {
416                         x0 = a->d[i];
417                         x1 = ((i+1) == a->top) ? 0 : a->d[i+1];
418                         bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
419                         for (k = 0; k < 4; k++) s->d[i+j+k] ^= zz[k];
420                         }
421                 }
422
423         bn_correct_top(s);
424         if (BN_GF2m_mod_arr(r, s, p))
425                 ret = 1;
426         bn_check_top(r);
427
428 err:
429         BN_CTX_end(ctx);
430         return ret;
431         }
432
433 /* Compute the product of two polynomials a and b, reduce modulo p, and store
434  * the result in r.  r could be a or b; a could equal b.
435  *
436  * This function calls down to the BN_GF2m_mod_mul_arr implementation; this wrapper
437  * function is only provided for convenience; for best performance, use the 
438  * BN_GF2m_mod_mul_arr function.
439  */
440 int     BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
441         {
442         int ret = 0;
443         const int max = BN_num_bits(p) + 1;
444         int *arr=NULL;
445         bn_check_top(a);
446         bn_check_top(b);
447         bn_check_top(p);
448         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
449         ret = BN_GF2m_poly2arr(p, arr, max);
450         if (!ret || ret > max)
451                 {
452                 BNerr(BN_F_BN_GF2M_MOD_MUL,BN_R_INVALID_LENGTH);
453                 goto err;
454                 }
455         ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
456         bn_check_top(r);
457 err:
458         if (arr) OPENSSL_free(arr);
459         return ret;
460         }
461
462
463 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
464 int     BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
465         {
466         int i, ret = 0;
467         BIGNUM *s;
468
469         bn_check_top(a);
470         BN_CTX_start(ctx);
471         if ((s = BN_CTX_get(ctx)) == NULL) return 0;
472         if (!bn_wexpand(s, 2 * a->top)) goto err;
473
474         for (i = a->top - 1; i >= 0; i--)
475                 {
476                 s->d[2*i+1] = SQR1(a->d[i]);
477                 s->d[2*i  ] = SQR0(a->d[i]);
478                 }
479
480         s->top = 2 * a->top;
481         bn_correct_top(s);
482         if (!BN_GF2m_mod_arr(r, s, p)) goto err;
483         bn_check_top(r);
484         ret = 1;
485 err:
486         BN_CTX_end(ctx);
487         return ret;
488         }
489
490 /* Square a, reduce the result mod p, and store it in a.  r could be a.
491  *
492  * This function calls down to the BN_GF2m_mod_sqr_arr implementation; this wrapper
493  * function is only provided for convenience; for best performance, use the 
494  * BN_GF2m_mod_sqr_arr function.
495  */
496 int     BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
497         {
498         int ret = 0;
499         const int max = BN_num_bits(p) + 1;
500         int *arr=NULL;
501
502         bn_check_top(a);
503         bn_check_top(p);
504         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
505         ret = BN_GF2m_poly2arr(p, arr, max);
506         if (!ret || ret > max)
507                 {
508                 BNerr(BN_F_BN_GF2M_MOD_SQR,BN_R_INVALID_LENGTH);
509                 goto err;
510                 }
511         ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
512         bn_check_top(r);
513 err:
514         if (arr) OPENSSL_free(arr);
515         return ret;
516         }
517
518
519 /* Invert a, reduce modulo p, and store the result in r. r could be a. 
520  * Uses Modified Almost Inverse Algorithm (Algorithm 10) from
521  *     Hankerson, D., Hernandez, J.L., and Menezes, A.  "Software Implementation
522  *     of Elliptic Curve Cryptography Over Binary Fields".
523  */
524 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
525         {
526         BIGNUM *b, *c = NULL, *u = NULL, *v = NULL, *tmp;
527         int ret = 0;
528
529         bn_check_top(a);
530         bn_check_top(p);
531
532         BN_CTX_start(ctx);
533         
534         if ((b = BN_CTX_get(ctx))==NULL) goto err;
535         if ((c = BN_CTX_get(ctx))==NULL) goto err;
536         if ((u = BN_CTX_get(ctx))==NULL) goto err;
537         if ((v = BN_CTX_get(ctx))==NULL) goto err;
538
539         if (!BN_GF2m_mod(u, a, p)) goto err;
540         if (BN_is_zero(u)) goto err;
541
542         if (!BN_copy(v, p)) goto err;
543 #if 0
544         if (!BN_one(b)) goto err;
545
546         while (1)
547                 {
548                 while (!BN_is_odd(u))
549                         {
550                         if (BN_is_zero(u)) goto err;
551                         if (!BN_rshift1(u, u)) goto err;
552                         if (BN_is_odd(b))
553                                 {
554                                 if (!BN_GF2m_add(b, b, p)) goto err;
555                                 }
556                         if (!BN_rshift1(b, b)) goto err;
557                         }
558
559                 if (BN_abs_is_word(u, 1)) break;
560
561                 if (BN_num_bits(u) < BN_num_bits(v))
562                         {
563                         tmp = u; u = v; v = tmp;
564                         tmp = b; b = c; c = tmp;
565                         }
566                 
567                 if (!BN_GF2m_add(u, u, v)) goto err;
568                 if (!BN_GF2m_add(b, b, c)) goto err;
569                 }
570 #else
571         {
572         int i,  ubits = BN_num_bits(u),
573                 vbits = BN_num_bits(v), /* v is copy of p */
574                 top = p->top;
575         BN_ULONG *udp,*bdp,*vdp,*cdp;
576
577         bn_wexpand(u,top);      udp = u->d;
578                                 for (i=u->top;i<top;i++) udp[i] = 0;
579                                 u->top = top;
580         bn_wexpand(b,top);      bdp = b->d;
581                                 bdp[0] = 1;
582                                 for (i=1;i<top;i++) bdp[i] = 0;
583                                 b->top = top;
584         bn_wexpand(c,top);      cdp = c->d;
585                                 for (i=0;i<top;i++) cdp[i] = 0;
586                                 c->top = top;
587         vdp = v->d;     /* It pays off to "cache" *->d pointers, because
588                          * it allows optimizer to be more aggressive.
589                          * But we don't have to "cache" p->d, because *p
590                          * is declared 'const'... */
591         while (1)
592                 {
593                 while (ubits && !(udp[0]&1))
594                         {
595                         BN_ULONG u0,u1,b0,b1,mask;
596
597                         u0   = udp[0];
598                         b0   = bdp[0];
599                         mask = (BN_ULONG)0-(b0&1);
600                         b0  ^= p->d[0]&mask;
601                         for (i=0;i<top-1;i++)
602                                 {
603                                 u1 = udp[i+1];
604                                 udp[i] = ((u0>>1)|(u1<<(BN_BITS2-1)))&BN_MASK2;
605                                 u0 = u1;
606                                 b1 = bdp[i+1]^(p->d[i+1]&mask);
607                                 bdp[i] = ((b0>>1)|(b1<<(BN_BITS2-1)))&BN_MASK2;
608                                 b0 = b1;
609                                 }
610                         udp[i] = u0>>1;
611                         bdp[i] = b0>>1;
612                         ubits--;
613                         }
614
615                 if (ubits<=BN_BITS2 && udp[0]==1) break;
616
617                 if (ubits<vbits)
618                         {
619                         i = ubits; ubits = vbits; vbits = i;
620                         tmp = u; u = v; v = tmp;
621                         tmp = b; b = c; c = tmp;
622                         udp = vdp; vdp = v->d;
623                         bdp = cdp; cdp = c->d;
624                         }
625                 for(i=0;i<top;i++)
626                         {
627                         udp[i] ^= vdp[i];
628                         bdp[i] ^= cdp[i];
629                         }
630                 if (ubits==vbits)
631                         {
632                         BN_ULONG ul;
633                         int utop = (ubits-1)/BN_BITS2;
634
635                         while ((ul=udp[utop])==0 && utop) utop--;
636                         ubits = utop*BN_BITS2 + BN_num_bits_word(ul);
637                         }
638                 }
639         bn_correct_top(b);
640         }
641 #endif
642
643         if (!BN_copy(r, b)) goto err;
644         bn_check_top(r);
645         ret = 1;
646
647 err:
648 #ifdef BN_DEBUG /* BN_CTX_end would complain about the expanded form */
649         bn_correct_top(c);
650         bn_correct_top(u);
651         bn_correct_top(v);
652 #endif
653         BN_CTX_end(ctx);
654         return ret;
655         }
656
657 /* Invert xx, reduce modulo p, and store the result in r. r could be xx. 
658  *
659  * This function calls down to the BN_GF2m_mod_inv implementation; this wrapper
660  * function is only provided for convenience; for best performance, use the 
661  * BN_GF2m_mod_inv function.
662  */
663 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[], BN_CTX *ctx)
664         {
665         BIGNUM *field;
666         int ret = 0;
667
668         bn_check_top(xx);
669         BN_CTX_start(ctx);
670         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
671         if (!BN_GF2m_arr2poly(p, field)) goto err;
672         
673         ret = BN_GF2m_mod_inv(r, xx, field, ctx);
674         bn_check_top(r);
675
676 err:
677         BN_CTX_end(ctx);
678         return ret;
679         }
680
681
682 #ifndef OPENSSL_SUN_GF2M_DIV
683 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
684  * or y, x could equal y.
685  */
686 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
687         {
688         BIGNUM *xinv = NULL;
689         int ret = 0;
690
691         bn_check_top(y);
692         bn_check_top(x);
693         bn_check_top(p);
694
695         BN_CTX_start(ctx);
696         xinv = BN_CTX_get(ctx);
697         if (xinv == NULL) goto err;
698         
699         if (!BN_GF2m_mod_inv(xinv, x, p, ctx)) goto err;
700         if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx)) goto err;
701         bn_check_top(r);
702         ret = 1;
703
704 err:
705         BN_CTX_end(ctx);
706         return ret;
707         }
708 #else
709 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
710  * or y, x could equal y.
711  * Uses algorithm Modular_Division_GF(2^m) from 
712  *     Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to 
713  *     the Great Divide".
714  */
715 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
716         {
717         BIGNUM *a, *b, *u, *v;
718         int ret = 0;
719
720         bn_check_top(y);
721         bn_check_top(x);
722         bn_check_top(p);
723
724         BN_CTX_start(ctx);
725         
726         a = BN_CTX_get(ctx);
727         b = BN_CTX_get(ctx);
728         u = BN_CTX_get(ctx);
729         v = BN_CTX_get(ctx);
730         if (v == NULL) goto err;
731
732         /* reduce x and y mod p */
733         if (!BN_GF2m_mod(u, y, p)) goto err;
734         if (!BN_GF2m_mod(a, x, p)) goto err;
735         if (!BN_copy(b, p)) goto err;
736         
737         while (!BN_is_odd(a))
738                 {
739                 if (!BN_rshift1(a, a)) goto err;
740                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
741                 if (!BN_rshift1(u, u)) goto err;
742                 }
743
744         do
745                 {
746                 if (BN_GF2m_cmp(b, a) > 0)
747                         {
748                         if (!BN_GF2m_add(b, b, a)) goto err;
749                         if (!BN_GF2m_add(v, v, u)) goto err;
750                         do
751                                 {
752                                 if (!BN_rshift1(b, b)) goto err;
753                                 if (BN_is_odd(v)) if (!BN_GF2m_add(v, v, p)) goto err;
754                                 if (!BN_rshift1(v, v)) goto err;
755                                 } while (!BN_is_odd(b));
756                         }
757                 else if (BN_abs_is_word(a, 1))
758                         break;
759                 else
760                         {
761                         if (!BN_GF2m_add(a, a, b)) goto err;
762                         if (!BN_GF2m_add(u, u, v)) goto err;
763                         do
764                                 {
765                                 if (!BN_rshift1(a, a)) goto err;
766                                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
767                                 if (!BN_rshift1(u, u)) goto err;
768                                 } while (!BN_is_odd(a));
769                         }
770                 } while (1);
771
772         if (!BN_copy(r, u)) goto err;
773         bn_check_top(r);
774         ret = 1;
775
776 err:
777         BN_CTX_end(ctx);
778         return ret;
779         }
780 #endif
781
782 /* Divide yy by xx, reduce modulo p, and store the result in r. r could be xx 
783  * or yy, xx could equal yy.
784  *
785  * This function calls down to the BN_GF2m_mod_div implementation; this wrapper
786  * function is only provided for convenience; for best performance, use the 
787  * BN_GF2m_mod_div function.
788  */
789 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx, const int p[], BN_CTX *ctx)
790         {
791         BIGNUM *field;
792         int ret = 0;
793
794         bn_check_top(yy);
795         bn_check_top(xx);
796
797         BN_CTX_start(ctx);
798         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
799         if (!BN_GF2m_arr2poly(p, field)) goto err;
800         
801         ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
802         bn_check_top(r);
803
804 err:
805         BN_CTX_end(ctx);
806         return ret;
807         }
808
809
810 /* Compute the bth power of a, reduce modulo p, and store
811  * the result in r.  r could be a.
812  * Uses simple square-and-multiply algorithm A.5.1 from IEEE P1363.
813  */
814 int     BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const int p[], BN_CTX *ctx)
815         {
816         int ret = 0, i, n;
817         BIGNUM *u;
818
819         bn_check_top(a);
820         bn_check_top(b);
821
822         if (BN_is_zero(b))
823                 return(BN_one(r));
824
825         if (BN_abs_is_word(b, 1))
826                 return (BN_copy(r, a) != NULL);
827
828         BN_CTX_start(ctx);
829         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
830         
831         if (!BN_GF2m_mod_arr(u, a, p)) goto err;
832         
833         n = BN_num_bits(b) - 1;
834         for (i = n - 1; i >= 0; i--)
835                 {
836                 if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx)) goto err;
837                 if (BN_is_bit_set(b, i))
838                         {
839                         if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx)) goto err;
840                         }
841                 }
842         if (!BN_copy(r, u)) goto err;
843         bn_check_top(r);
844         ret = 1;
845 err:
846         BN_CTX_end(ctx);
847         return ret;
848         }
849
850 /* Compute the bth power of a, reduce modulo p, and store
851  * the result in r.  r could be a.
852  *
853  * This function calls down to the BN_GF2m_mod_exp_arr implementation; this wrapper
854  * function is only provided for convenience; for best performance, use the 
855  * BN_GF2m_mod_exp_arr function.
856  */
857 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
858         {
859         int ret = 0;
860         const int max = BN_num_bits(p) + 1;
861         int *arr=NULL;
862         bn_check_top(a);
863         bn_check_top(b);
864         bn_check_top(p);
865         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
866         ret = BN_GF2m_poly2arr(p, arr, max);
867         if (!ret || ret > max)
868                 {
869                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
870                 goto err;
871                 }
872         ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
873         bn_check_top(r);
874 err:
875         if (arr) OPENSSL_free(arr);
876         return ret;
877         }
878
879 /* Compute the square root of a, reduce modulo p, and store
880  * the result in r.  r could be a.
881  * Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
882  */
883 int     BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[], BN_CTX *ctx)
884         {
885         int ret = 0;
886         BIGNUM *u;
887
888         bn_check_top(a);
889
890         if (!p[0])
891                 {
892                 /* reduction mod 1 => return 0 */
893                 BN_zero(r);
894                 return 1;
895                 }
896
897         BN_CTX_start(ctx);
898         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
899         
900         if (!BN_set_bit(u, p[0] - 1)) goto err;
901         ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
902         bn_check_top(r);
903
904 err:
905         BN_CTX_end(ctx);
906         return ret;
907         }
908
909 /* Compute the square root of a, reduce modulo p, and store
910  * the result in r.  r could be a.
911  *
912  * This function calls down to the BN_GF2m_mod_sqrt_arr implementation; this wrapper
913  * function is only provided for convenience; for best performance, use the 
914  * BN_GF2m_mod_sqrt_arr function.
915  */
916 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
917         {
918         int ret = 0;
919         const int max = BN_num_bits(p) + 1;
920         int *arr=NULL;
921         bn_check_top(a);
922         bn_check_top(p);
923         if ((arr = (int *)OPENSSL_malloc(sizeof(int) * max)) == NULL) goto err;
924         ret = BN_GF2m_poly2arr(p, arr, max);
925         if (!ret || ret > max)
926                 {
927                 BNerr(BN_F_BN_GF2M_MOD_SQRT,BN_R_INVALID_LENGTH);
928                 goto err;
929                 }
930         ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
931         bn_check_top(r);
932 err:
933         if (arr) OPENSSL_free(arr);
934         return ret;
935         }
936
937 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
938  * Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
939  */
940 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[], BN_CTX *ctx)
941         {
942         int ret = 0, count = 0, j;
943         BIGNUM *a, *z, *rho, *w, *w2, *tmp;
944
945         bn_check_top(a_);
946
947         if (!p[0])
948                 {
949                 /* reduction mod 1 => return 0 */
950                 BN_zero(r);
951                 return 1;
952                 }
953
954         BN_CTX_start(ctx);
955         a = BN_CTX_get(ctx);
956         z = BN_CTX_get(ctx);
957         w = BN_CTX_get(ctx);
958         if (w == NULL) goto err;
959
960         if (!BN_GF2m_mod_arr(a, a_, p)) goto err;
961         
962         if (BN_is_zero(a))
963                 {
964                 BN_zero(r);
965                 ret = 1;
966                 goto err;
967                 }
968
969         if (p[0] & 0x1) /* m is odd */
970                 {
971                 /* compute half-trace of a */
972                 if (!BN_copy(z, a)) goto err;
973                 for (j = 1; j <= (p[0] - 1) / 2; j++)
974                         {
975                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
976                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
977                         if (!BN_GF2m_add(z, z, a)) goto err;
978                         }
979                 
980                 }
981         else /* m is even */
982                 {
983                 rho = BN_CTX_get(ctx);
984                 w2 = BN_CTX_get(ctx);
985                 tmp = BN_CTX_get(ctx);
986                 if (tmp == NULL) goto err;
987                 do
988                         {
989                         if (!BN_rand(rho, p[0], 0, 0)) goto err;
990                         if (!BN_GF2m_mod_arr(rho, rho, p)) goto err;
991                         BN_zero(z);
992                         if (!BN_copy(w, rho)) goto err;
993                         for (j = 1; j <= p[0] - 1; j++)
994                                 {
995                                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
996                                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx)) goto err;
997                                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx)) goto err;
998                                 if (!BN_GF2m_add(z, z, tmp)) goto err;
999                                 if (!BN_GF2m_add(w, w2, rho)) goto err;
1000                                 }
1001                         count++;
1002                         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
1003                 if (BN_is_zero(w))
1004                         {
1005                         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR,BN_R_TOO_MANY_ITERATIONS);
1006                         goto err;
1007                         }
1008                 }
1009         
1010         if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx)) goto err;
1011         if (!BN_GF2m_add(w, z, w)) goto err;
1012         if (BN_GF2m_cmp(w, a))
1013                 {
1014                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1015                 goto err;
1016                 }
1017
1018         if (!BN_copy(r, z)) goto err;
1019         bn_check_top(r);
1020
1021         ret = 1;
1022
1023 err:
1024         BN_CTX_end(ctx);
1025         return ret;
1026         }
1027
1028 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
1029  *
1030  * This function calls down to the BN_GF2m_mod_solve_quad_arr implementation; this wrapper
1031  * function is only provided for convenience; for best performance, use the 
1032  * BN_GF2m_mod_solve_quad_arr function.
1033  */
1034 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1035         {
1036         int ret = 0;
1037         const int max = BN_num_bits(p) + 1;
1038         int *arr=NULL;
1039         bn_check_top(a);
1040         bn_check_top(p);
1041         if ((arr = (int *)OPENSSL_malloc(sizeof(int) *
1042                                                 max)) == NULL) goto err;
1043         ret = BN_GF2m_poly2arr(p, arr, max);
1044         if (!ret || ret > max)
1045                 {
1046                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD,BN_R_INVALID_LENGTH);
1047                 goto err;
1048                 }
1049         ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1050         bn_check_top(r);
1051 err:
1052         if (arr) OPENSSL_free(arr);
1053         return ret;
1054         }
1055
1056 /* Convert the bit-string representation of a polynomial
1057  * ( \sum_{i=0}^n a_i * x^i) into an array of integers corresponding 
1058  * to the bits with non-zero coefficient.  Array is terminated with -1.
1059  * Up to max elements of the array will be filled.  Return value is total
1060  * number of array elements that would be filled if array was large enough.
1061  */
1062 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
1063         {
1064         int i, j, k = 0;
1065         BN_ULONG mask;
1066
1067         if (BN_is_zero(a))
1068                 return 0;
1069
1070         for (i = a->top - 1; i >= 0; i--)
1071                 {
1072                 if (!a->d[i])
1073                         /* skip word if a->d[i] == 0 */
1074                         continue;
1075                 mask = BN_TBIT;
1076                 for (j = BN_BITS2 - 1; j >= 0; j--)
1077                         {
1078                         if (a->d[i] & mask) 
1079                                 {
1080                                 if (k < max) p[k] = BN_BITS2 * i + j;
1081                                 k++;
1082                                 }
1083                         mask >>= 1;
1084                         }
1085                 }
1086
1087         if (k < max) {
1088                 p[k] = -1;
1089                 k++;
1090         }
1091
1092         return k;
1093         }
1094
1095 /* Convert the coefficient array representation of a polynomial to a 
1096  * bit-string.  The array must be terminated by -1.
1097  */
1098 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1099         {
1100         int i;
1101
1102         bn_check_top(a);
1103         BN_zero(a);
1104         for (i = 0; p[i] != -1; i++)
1105                 {
1106                 if (BN_set_bit(a, p[i]) == 0)
1107                         return 0;
1108                 }
1109         bn_check_top(a);
1110
1111         return 1;
1112         }
1113
1114 #endif