don't write beyond buffer
[openssl.git] / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /* ====================================================================
31  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
32  *
33  * Redistribution and use in source and binary forms, with or without
34  * modification, are permitted provided that the following conditions
35  * are met:
36  *
37  * 1. Redistributions of source code must retain the above copyright
38  *    notice, this list of conditions and the following disclaimer. 
39  *
40  * 2. Redistributions in binary form must reproduce the above copyright
41  *    notice, this list of conditions and the following disclaimer in
42  *    the documentation and/or other materials provided with the
43  *    distribution.
44  *
45  * 3. All advertising materials mentioning features or use of this
46  *    software must display the following acknowledgment:
47  *    "This product includes software developed by the OpenSSL Project
48  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
49  *
50  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
51  *    endorse or promote products derived from this software without
52  *    prior written permission. For written permission, please contact
53  *    openssl-core@openssl.org.
54  *
55  * 5. Products derived from this software may not be called "OpenSSL"
56  *    nor may "OpenSSL" appear in their names without prior written
57  *    permission of the OpenSSL Project.
58  *
59  * 6. Redistributions of any form whatsoever must retain the following
60  *    acknowledgment:
61  *    "This product includes software developed by the OpenSSL Project
62  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
63  *
64  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
65  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
66  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
67  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
68  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
69  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
70  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
71  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
72  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
73  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
74  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
75  * OF THE POSSIBILITY OF SUCH DAMAGE.
76  * ====================================================================
77  *
78  * This product includes cryptographic software written by Eric Young
79  * (eay@cryptsoft.com).  This product includes software written by Tim
80  * Hudson (tjh@cryptsoft.com).
81  *
82  */
83
84 #include <assert.h>
85 #include <limits.h>
86 #include <stdio.h>
87 #include "cryptlib.h"
88 #include "bn_lcl.h"
89
90 /* Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should fail. */
91 #define MAX_ITERATIONS 50
92
93 static const BN_ULONG SQR_tb[16] =
94   {     0,     1,     4,     5,    16,    17,    20,    21,
95        64,    65,    68,    69,    80,    81,    84,    85 };
96 /* Platform-specific macros to accelerate squaring. */
97 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
98 #define SQR1(w) \
99     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
100     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
101     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
102     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
103 #define SQR0(w) \
104     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
105     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
106     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
107     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
108 #endif
109 #ifdef THIRTY_TWO_BIT
110 #define SQR1(w) \
111     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
112     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
113 #define SQR0(w) \
114     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
115     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
116 #endif
117 #ifdef SIXTEEN_BIT
118 #define SQR1(w) \
119     SQR_tb[(w) >> 12 & 0xF] <<  8 | SQR_tb[(w) >>  8 & 0xF]
120 #define SQR0(w) \
121     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
122 #endif
123 #ifdef EIGHT_BIT
124 #define SQR1(w) \
125     SQR_tb[(w) >>  4 & 0xF]
126 #define SQR0(w) \
127     SQR_tb[(w)       & 15]
128 #endif
129
130 /* Product of two polynomials a, b each with degree < BN_BITS2 - 1,
131  * result is a polynomial r with degree < 2 * BN_BITS - 1
132  * The caller MUST ensure that the variables have the right amount
133  * of space allocated.
134  */
135 #ifdef EIGHT_BIT
136 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
137         {
138         register BN_ULONG h, l, s;
139         BN_ULONG tab[4], top1b = a >> 7;
140         register BN_ULONG a1, a2;
141
142         a1 = a & (0x7F); a2 = a1 << 1;
143
144         tab[0] = 0; tab[1] = a1; tab[2] = a2; tab[3] = a1^a2;
145
146         s = tab[b      & 0x3]; l  = s;
147         s = tab[b >> 2 & 0x3]; l ^= s << 2; h  = s >> 6;
148         s = tab[b >> 4 & 0x3]; l ^= s << 4; h ^= s >> 4;
149         s = tab[b >> 6      ]; l ^= s << 6; h ^= s >> 2;
150         
151         /* compensate for the top bit of a */
152
153         if (top1b & 01) { l ^= b << 7; h ^= b >> 1; } 
154
155         *r1 = h; *r0 = l;
156         } 
157 #endif
158 #ifdef SIXTEEN_BIT
159 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
160         {
161         register BN_ULONG h, l, s;
162         BN_ULONG tab[4], top1b = a >> 15; 
163         register BN_ULONG a1, a2;
164
165         a1 = a & (0x7FFF); a2 = a1 << 1;
166
167         tab[0] = 0; tab[1] = a1; tab[2] = a2; tab[3] = a1^a2;
168
169         s = tab[b      & 0x3]; l  = s;
170         s = tab[b >> 2 & 0x3]; l ^= s <<  2; h  = s >> 14;
171         s = tab[b >> 4 & 0x3]; l ^= s <<  4; h ^= s >> 12;
172         s = tab[b >> 6 & 0x3]; l ^= s <<  6; h ^= s >> 10;
173         s = tab[b >> 8 & 0x3]; l ^= s <<  8; h ^= s >>  8;
174         s = tab[b >>10 & 0x3]; l ^= s << 10; h ^= s >>  6;
175         s = tab[b >>12 & 0x3]; l ^= s << 12; h ^= s >>  4;
176         s = tab[b >>14      ]; l ^= s << 14; h ^= s >>  2;
177
178         /* compensate for the top bit of a */
179
180         if (top1b & 01) { l ^= b << 15; h ^= b >> 1; } 
181
182         *r1 = h; *r0 = l;
183         } 
184 #endif
185 #ifdef THIRTY_TWO_BIT
186 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
187         {
188         register BN_ULONG h, l, s;
189         BN_ULONG tab[8], top2b = a >> 30; 
190         register BN_ULONG a1, a2, a4;
191
192         a1 = a & (0x3FFFFFFF); a2 = a1 << 1; a4 = a2 << 1;
193
194         tab[0] =  0; tab[1] = a1;    tab[2] = a2;    tab[3] = a1^a2;
195         tab[4] = a4; tab[5] = a1^a4; tab[6] = a2^a4; tab[7] = a1^a2^a4;
196
197         s = tab[b       & 0x7]; l  = s;
198         s = tab[b >>  3 & 0x7]; l ^= s <<  3; h  = s >> 29;
199         s = tab[b >>  6 & 0x7]; l ^= s <<  6; h ^= s >> 26;
200         s = tab[b >>  9 & 0x7]; l ^= s <<  9; h ^= s >> 23;
201         s = tab[b >> 12 & 0x7]; l ^= s << 12; h ^= s >> 20;
202         s = tab[b >> 15 & 0x7]; l ^= s << 15; h ^= s >> 17;
203         s = tab[b >> 18 & 0x7]; l ^= s << 18; h ^= s >> 14;
204         s = tab[b >> 21 & 0x7]; l ^= s << 21; h ^= s >> 11;
205         s = tab[b >> 24 & 0x7]; l ^= s << 24; h ^= s >>  8;
206         s = tab[b >> 27 & 0x7]; l ^= s << 27; h ^= s >>  5;
207         s = tab[b >> 30      ]; l ^= s << 30; h ^= s >>  2;
208
209         /* compensate for the top two bits of a */
210
211         if (top2b & 01) { l ^= b << 30; h ^= b >> 2; } 
212         if (top2b & 02) { l ^= b << 31; h ^= b >> 1; } 
213
214         *r1 = h; *r0 = l;
215         } 
216 #endif
217 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
218 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
219         {
220         register BN_ULONG h, l, s;
221         BN_ULONG tab[16], top3b = a >> 61;
222         register BN_ULONG a1, a2, a4, a8;
223
224         a1 = a & (0x1FFFFFFFFFFFFFFF); a2 = a1 << 1; a4 = a2 << 1; a8 = a4 << 1;
225
226         tab[ 0] = 0;     tab[ 1] = a1;       tab[ 2] = a2;       tab[ 3] = a1^a2;
227         tab[ 4] = a4;    tab[ 5] = a1^a4;    tab[ 6] = a2^a4;    tab[ 7] = a1^a2^a4;
228         tab[ 8] = a8;    tab[ 9] = a1^a8;    tab[10] = a2^a8;    tab[11] = a1^a2^a8;
229         tab[12] = a4^a8; tab[13] = a1^a4^a8; tab[14] = a2^a4^a8; tab[15] = a1^a2^a4^a8;
230
231         s = tab[b       & 0xF]; l  = s;
232         s = tab[b >>  4 & 0xF]; l ^= s <<  4; h  = s >> 60;
233         s = tab[b >>  8 & 0xF]; l ^= s <<  8; h ^= s >> 56;
234         s = tab[b >> 12 & 0xF]; l ^= s << 12; h ^= s >> 52;
235         s = tab[b >> 16 & 0xF]; l ^= s << 16; h ^= s >> 48;
236         s = tab[b >> 20 & 0xF]; l ^= s << 20; h ^= s >> 44;
237         s = tab[b >> 24 & 0xF]; l ^= s << 24; h ^= s >> 40;
238         s = tab[b >> 28 & 0xF]; l ^= s << 28; h ^= s >> 36;
239         s = tab[b >> 32 & 0xF]; l ^= s << 32; h ^= s >> 32;
240         s = tab[b >> 36 & 0xF]; l ^= s << 36; h ^= s >> 28;
241         s = tab[b >> 40 & 0xF]; l ^= s << 40; h ^= s >> 24;
242         s = tab[b >> 44 & 0xF]; l ^= s << 44; h ^= s >> 20;
243         s = tab[b >> 48 & 0xF]; l ^= s << 48; h ^= s >> 16;
244         s = tab[b >> 52 & 0xF]; l ^= s << 52; h ^= s >> 12;
245         s = tab[b >> 56 & 0xF]; l ^= s << 56; h ^= s >>  8;
246         s = tab[b >> 60      ]; l ^= s << 60; h ^= s >>  4;
247
248         /* compensate for the top three bits of a */
249
250         if (top3b & 01) { l ^= b << 61; h ^= b >> 3; } 
251         if (top3b & 02) { l ^= b << 62; h ^= b >> 2; } 
252         if (top3b & 04) { l ^= b << 63; h ^= b >> 1; } 
253
254         *r1 = h; *r0 = l;
255         } 
256 #endif
257
258 /* Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
259  * result is a polynomial r with degree < 4 * BN_BITS2 - 1
260  * The caller MUST ensure that the variables have the right amount
261  * of space allocated.
262  */
263 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0, const BN_ULONG b1, const BN_ULONG b0)
264         {
265         BN_ULONG m1, m0;
266         /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
267         bn_GF2m_mul_1x1(r+3, r+2, a1, b1);
268         bn_GF2m_mul_1x1(r+1, r, a0, b0);
269         bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
270         /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
271         r[2] ^= m1 ^ r[1] ^ r[3];  /* h0 ^= m1 ^ l1 ^ h1; */
272         r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0;  /* l1 ^= l0 ^ h0 ^ m0; */
273         }
274
275
276 /* Add polynomials a and b and store result in r; r could be a or b, a and b 
277  * could be equal; r is the bitwise XOR of a and b.
278  */
279 int     BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
280         {
281         int i;
282         const BIGNUM *at, *bt;
283
284         if (a->top < b->top) { at = b; bt = a; }
285         else { at = a; bt = b; }
286
287         bn_wexpand(r, at->top);
288
289         for (i = 0; i < bt->top; i++)
290                 {
291                 r->d[i] = at->d[i] ^ bt->d[i];
292                 }
293         for (; i < at->top; i++)
294                 {
295                 r->d[i] = at->d[i];
296                 }
297         
298         r->top = at->top;
299         bn_fix_top(r);
300         
301         return 1;
302         }
303
304
305 /* Some functions allow for representation of the irreducible polynomials
306  * as an int[], say p.  The irreducible f(t) is then of the form:
307  *     t^p[0] + t^p[1] + ... + t^p[k]
308  * where m = p[0] > p[1] > ... > p[k] = 0.
309  */
310
311
312 /* Performs modular reduction of a and store result in r.  r could be a. */
313 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[])
314         {
315         int j, k;
316         int n, dN, d0, d1;
317         BN_ULONG zz, *z;
318         
319         /* Since the algorithm does reduction in the r value, if a != r, copy the
320          * contents of a into r so we can do reduction in r. 
321          */
322         if (a != r)
323                 {
324                 if (!bn_wexpand(r, a->top)) return 0;
325                 for (j = 0; j < a->top; j++)
326                         {
327                         r->d[j] = a->d[j];
328                         }
329                 r->top = a->top;
330                 }
331         z = r->d;
332
333         /* start reduction */
334         dN = p[0] / BN_BITS2;  
335         for (j = r->top - 1; j > dN;)
336                 {
337                 zz = z[j];
338                 if (z[j] == 0) { j--; continue; }
339                 z[j] = 0;
340
341                 for (k = 1; p[k] > 0; k++)
342                         {
343                         /* reducing component t^p[k] */
344                         n = p[0] - p[k];
345                         d0 = n % BN_BITS2;  d1 = BN_BITS2 - d0;
346                         n /= BN_BITS2; 
347                         z[j-n] ^= (zz>>d0);
348                         if (d0) z[j-n-1] ^= (zz<<d1);
349                         }
350
351                 /* reducing component t^0 */
352                 n = dN;  
353                 d0 = p[0] % BN_BITS2;
354                 d1 = BN_BITS2 - d0;
355                 z[j-n] ^= (zz >> d0);
356                 if (d0) z[j-n-1] ^= (zz << d1);
357                 }
358
359         /* final round of reduction */
360         while (j == dN)
361                 {
362
363                 d0 = p[0] % BN_BITS2;
364                 zz = z[dN] >> d0;
365                 if (zz == 0) break;
366                 d1 = BN_BITS2 - d0;
367                 
368                 if (d0) z[dN] = (z[dN] << d1) >> d1; /* clear up the top d1 bits */
369                 z[0] ^= zz; /* reduction t^0 component */
370
371                 for (k = 1; p[k] > 0; k++)
372                         {
373                         BN_ULONG tmp_ulong;
374
375                         /* reducing component t^p[k]*/
376                         n = p[k] / BN_BITS2;   
377                         d0 = p[k] % BN_BITS2;
378                         d1 = BN_BITS2 - d0;
379                         z[n] ^= (zz << d0);
380                         tmp_ulong = zz >> d1;
381                         if (d0 && tmp_ulong)
382                                 z[n+1] ^= tmp_ulong;
383                         }
384
385                 
386                 }
387
388         bn_fix_top(r);
389         
390         return 1;
391         }
392
393 /* Performs modular reduction of a by p and store result in r.  r could be a.
394  *
395  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
396  * function is only provided for convenience; for best performance, use the 
397  * BN_GF2m_mod_arr function.
398  */
399 int     BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
400         {
401         const int max = BN_num_bits(p);
402         unsigned int *arr=NULL, ret = 0;
403         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
404         if (BN_GF2m_poly2arr(p, arr, max) > max)
405                 {
406                 BNerr(BN_F_BN_GF2M_MOD,BN_R_INVALID_LENGTH);
407                 goto err;
408                 }
409         ret = BN_GF2m_mod_arr(r, a, arr);
410   err:
411         if (arr) OPENSSL_free(arr);
412         return ret;
413         }
414
415
416 /* Compute the product of two polynomials a and b, reduce modulo p, and store
417  * the result in r.  r could be a or b; a could be b.
418  */
419 int     BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const unsigned int p[], BN_CTX *ctx)
420         {
421         int zlen, i, j, k, ret = 0;
422         BIGNUM *s;
423         BN_ULONG x1, x0, y1, y0, zz[4];
424         
425         if (a == b)
426                 {
427                 return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
428                 }
429         
430
431         BN_CTX_start(ctx);
432         if ((s = BN_CTX_get(ctx)) == NULL) goto err;
433         
434         zlen = a->top + b->top + 4;
435         if (!bn_wexpand(s, zlen)) goto err;
436         s->top = zlen;
437
438         for (i = 0; i < zlen; i++) s->d[i] = 0;
439
440         for (j = 0; j < b->top; j += 2)
441                 {
442                 y0 = b->d[j];
443                 y1 = ((j+1) == b->top) ? 0 : b->d[j+1];
444                 for (i = 0; i < a->top; i += 2)
445                         {
446                         x0 = a->d[i];
447                         x1 = ((i+1) == a->top) ? 0 : a->d[i+1];
448                         bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
449                         for (k = 0; k < 4; k++) s->d[i+j+k] ^= zz[k];
450                         }
451                 }
452
453         bn_fix_top(s);
454         BN_GF2m_mod_arr(r, s, p);
455         ret = 1;
456
457   err:
458         BN_CTX_end(ctx);
459         return ret;
460         
461         }
462
463 /* Compute the product of two polynomials a and b, reduce modulo p, and store
464  * the result in r.  r could be a or b; a could equal b.
465  *
466  * This function calls down to the BN_GF2m_mod_mul_arr implementation; this wrapper
467  * function is only provided for convenience; for best performance, use the 
468  * BN_GF2m_mod_mul_arr function.
469  */
470 int     BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
471         {
472         const int max = BN_num_bits(p);
473         unsigned int *arr=NULL, ret = 0;
474         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
475         if (BN_GF2m_poly2arr(p, arr, max) > max)
476                 {
477                 BNerr(BN_F_BN_GF2M_MOD_MUL,BN_R_INVALID_LENGTH);
478                 goto err;
479                 }
480         ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
481   err:
482         if (arr) OPENSSL_free(arr);
483         return ret;
484         }
485
486
487 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
488 int     BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[], BN_CTX *ctx)
489         {
490         int i, ret = 0;
491         BIGNUM *s;
492         
493         BN_CTX_start(ctx);
494         if ((s = BN_CTX_get(ctx)) == NULL) return 0;
495         if (!bn_wexpand(s, 2 * a->top)) goto err;
496
497         for (i = a->top - 1; i >= 0; i--)
498                 {
499                 s->d[2*i+1] = SQR1(a->d[i]);
500                 s->d[2*i  ] = SQR0(a->d[i]);
501                 }
502
503         s->top = 2 * a->top;
504         bn_fix_top(s);
505         if (!BN_GF2m_mod_arr(r, s, p)) goto err;
506         ret = 1;
507   err:
508         BN_CTX_end(ctx);
509         return ret;
510         }
511
512 /* Square a, reduce the result mod p, and store it in a.  r could be a.
513  *
514  * This function calls down to the BN_GF2m_mod_sqr_arr implementation; this wrapper
515  * function is only provided for convenience; for best performance, use the 
516  * BN_GF2m_mod_sqr_arr function.
517  */
518 int     BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
519         {
520         const int max = BN_num_bits(p);
521         unsigned int *arr=NULL, ret = 0;
522         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
523         if (BN_GF2m_poly2arr(p, arr, max) > max)
524                 {
525                 BNerr(BN_F_BN_GF2M_MOD_SQR,BN_R_INVALID_LENGTH);
526                 goto err;
527                 }
528         ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
529   err:
530         if (arr) OPENSSL_free(arr);
531         return ret;
532         }
533
534
535 /* Invert a, reduce modulo p, and store the result in r. r could be a. 
536  * Uses Modified Almost Inverse Algorithm (Algorithm 10) from
537  *     Hankerson, D., Hernandez, J.L., and Menezes, A.  "Software Implementation
538  *     of Elliptic Curve Cryptography Over Binary Fields".
539  */
540 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
541         {
542         BIGNUM *b, *c, *u, *v, *tmp;
543         int ret = 0;
544
545         BN_CTX_start(ctx);
546         
547         b = BN_CTX_get(ctx);
548         c = BN_CTX_get(ctx);
549         u = BN_CTX_get(ctx);
550         v = BN_CTX_get(ctx);
551         if (v == NULL) goto err;
552
553         if (!BN_one(b)) goto err;
554         if (!BN_zero(c)) goto err;
555         if (!BN_GF2m_mod(u, a, p)) goto err;
556         if (!BN_copy(v, p)) goto err;
557
558         u->neg = 0; /* Need to set u->neg = 0 because BN_is_one(u) checks
559                      * the neg flag of the bignum.
560                      */
561
562         if (BN_is_zero(u)) goto err;
563
564         while (1)
565                 {
566                 while (!BN_is_odd(u))
567                         {
568                         if (!BN_rshift1(u, u)) goto err;
569                         if (BN_is_odd(b))
570                                 {
571                                 if (!BN_GF2m_add(b, b, p)) goto err;
572                                 }
573                         if (!BN_rshift1(b, b)) goto err;
574                         }
575
576                 if (BN_is_one(u)) break;
577
578                 if (BN_num_bits(u) < BN_num_bits(v))
579                         {
580                         tmp = u; u = v; v = tmp;
581                         tmp = b; b = c; c = tmp;
582                         }
583                 
584                 if (!BN_GF2m_add(u, u, v)) goto err;
585                 if (!BN_GF2m_add(b, b, c)) goto err;
586                 }
587
588
589         if (!BN_copy(r, b)) goto err;
590         ret = 1;
591
592   err:
593         BN_CTX_end(ctx);
594         return ret;
595         }
596
597 /* Invert xx, reduce modulo p, and store the result in r. r could be xx. 
598  *
599  * This function calls down to the BN_GF2m_mod_inv implementation; this wrapper
600  * function is only provided for convenience; for best performance, use the 
601  * BN_GF2m_mod_inv function.
602  */
603 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const unsigned int p[], BN_CTX *ctx)
604         {
605         BIGNUM *field;
606         int ret = 0;
607
608         BN_CTX_start(ctx);
609         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
610         if (!BN_GF2m_arr2poly(p, field)) goto err;
611         
612         ret = BN_GF2m_mod_inv(r, xx, field, ctx);
613
614   err:
615         BN_CTX_end(ctx);
616         return ret;
617         }
618
619
620 #ifndef OPENSSL_SUN_GF2M_DIV
621 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
622  * or y, x could equal y.
623  */
624 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
625         {
626         BIGNUM *xinv = NULL;
627         int ret = 0;
628         
629         BN_CTX_start(ctx);
630         xinv = BN_CTX_get(ctx);
631         if (xinv == NULL) goto err;
632         
633         if (!BN_GF2m_mod_inv(xinv, x, p, ctx)) goto err;
634         if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx)) goto err;
635         ret = 1;
636
637   err:
638         BN_CTX_end(ctx);
639         return ret;
640         }
641 #else
642 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
643  * or y, x could equal y.
644  * Uses algorithm Modular_Division_GF(2^m) from 
645  *     Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to 
646  *     the Great Divide".
647  */
648 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
649         {
650         BIGNUM *a, *b, *u, *v;
651         int ret = 0;
652
653         BN_CTX_start(ctx);
654         
655         a = BN_CTX_get(ctx);
656         b = BN_CTX_get(ctx);
657         u = BN_CTX_get(ctx);
658         v = BN_CTX_get(ctx);
659         if (v == NULL) goto err;
660
661         /* reduce x and y mod p */
662         if (!BN_GF2m_mod(u, y, p)) goto err;
663         if (!BN_GF2m_mod(a, x, p)) goto err;
664         if (!BN_copy(b, p)) goto err;
665         if (!BN_zero(v)) goto err;
666         
667         a->neg = 0; /* Need to set a->neg = 0 because BN_is_one(a) checks
668                      * the neg flag of the bignum.
669                      */
670
671         while (!BN_is_odd(a))
672                 {
673                 if (!BN_rshift1(a, a)) goto err;
674                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
675                 if (!BN_rshift1(u, u)) goto err;
676                 }
677
678         do
679                 {
680                 if (BN_GF2m_cmp(b, a) > 0)
681                         {
682                         if (!BN_GF2m_add(b, b, a)) goto err;
683                         if (!BN_GF2m_add(v, v, u)) goto err;
684                         do
685                                 {
686                                 if (!BN_rshift1(b, b)) goto err;
687                                 if (BN_is_odd(v)) if (!BN_GF2m_add(v, v, p)) goto err;
688                                 if (!BN_rshift1(v, v)) goto err;
689                                 } while (!BN_is_odd(b));
690                         }
691                 else if (BN_is_one(a))
692                         break;
693                 else
694                         {
695                         if (!BN_GF2m_add(a, a, b)) goto err;
696                         if (!BN_GF2m_add(u, u, v)) goto err;
697                         do
698                                 {
699                                 if (!BN_rshift1(a, a)) goto err;
700                                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
701                                 if (!BN_rshift1(u, u)) goto err;
702                                 } while (!BN_is_odd(a));
703                         }
704                 } while (1);
705
706         if (!BN_copy(r, u)) goto err;
707         ret = 1;
708
709   err:
710         BN_CTX_end(ctx);
711         return ret;
712         }
713 #endif
714
715 /* Divide yy by xx, reduce modulo p, and store the result in r. r could be xx 
716  * or yy, xx could equal yy.
717  *
718  * This function calls down to the BN_GF2m_mod_div implementation; this wrapper
719  * function is only provided for convenience; for best performance, use the 
720  * BN_GF2m_mod_div function.
721  */
722 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx, const unsigned int p[], BN_CTX *ctx)
723         {
724         BIGNUM *field;
725         int ret = 0;
726
727         BN_CTX_start(ctx);
728         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
729         if (!BN_GF2m_arr2poly(p, field)) goto err;
730         
731         ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
732
733   err:
734         BN_CTX_end(ctx);
735         return ret;
736         }
737
738
739 /* Compute the bth power of a, reduce modulo p, and store
740  * the result in r.  r could be a.
741  * Uses simple square-and-multiply algorithm A.5.1 from IEEE P1363.
742  */
743 int     BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const unsigned int p[], BN_CTX *ctx)
744         {
745         int ret = 0, i, n;
746         BIGNUM *u;
747         
748         if (BN_is_zero(b))
749                 {
750                 return(BN_one(r));
751                 }
752         
753
754         BN_CTX_start(ctx);
755         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
756         
757         if (!BN_GF2m_mod_arr(u, a, p)) goto err;
758         
759         n = BN_num_bits(b) - 1;
760         for (i = n - 1; i >= 0; i--)
761                 {
762                 if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx)) goto err;
763                 if (BN_is_bit_set(b, i))
764                         {
765                         if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx)) goto err;
766                         }
767                 }
768         if (!BN_copy(r, u)) goto err;
769
770         ret = 1;
771
772   err:
773         BN_CTX_end(ctx);
774         return ret;
775         }
776
777 /* Compute the bth power of a, reduce modulo p, and store
778  * the result in r.  r could be a.
779  *
780  * This function calls down to the BN_GF2m_mod_exp_arr implementation; this wrapper
781  * function is only provided for convenience; for best performance, use the 
782  * BN_GF2m_mod_exp_arr function.
783  */
784 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
785         {
786         const int max = BN_num_bits(p);
787         unsigned int *arr=NULL, ret = 0;
788         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
789         if (BN_GF2m_poly2arr(p, arr, max) > max)
790                 {
791                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
792                 goto err;
793                 }
794         ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
795   err:
796         if (arr) OPENSSL_free(arr);
797         return ret;
798         }
799
800 /* Compute the square root of a, reduce modulo p, and store
801  * the result in r.  r could be a.
802  * Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
803  */
804 int     BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[], BN_CTX *ctx)
805         {
806         int ret = 0;
807         BIGNUM *u;
808         
809         BN_CTX_start(ctx);
810         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
811         
812         if (!BN_zero(u)) goto err;
813         if (!BN_set_bit(u, p[0] - 1)) goto err;
814         ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
815
816   err:
817         BN_CTX_end(ctx);
818         return ret;
819         }
820
821 /* Compute the square root of a, reduce modulo p, and store
822  * the result in r.  r could be a.
823  *
824  * This function calls down to the BN_GF2m_mod_sqrt_arr implementation; this wrapper
825  * function is only provided for convenience; for best performance, use the 
826  * BN_GF2m_mod_sqrt_arr function.
827  */
828 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
829         {
830         const int max = BN_num_bits(p);
831         unsigned int *arr=NULL, ret = 0;
832         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
833         if (BN_GF2m_poly2arr(p, arr, max) > max)
834                 {
835                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
836                 goto err;
837                 }
838         ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
839   err:
840         if (arr) OPENSSL_free(arr);
841         return ret;
842         }
843
844 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
845  * Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
846  */
847 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const unsigned int p[], BN_CTX *ctx)
848         {
849         int ret = 0, i, count = 0;
850         BIGNUM *a, *z, *rho, *w, *w2, *tmp;
851         
852         BN_CTX_start(ctx);
853         a = BN_CTX_get(ctx);
854         z = BN_CTX_get(ctx);
855         w = BN_CTX_get(ctx);
856         if (w == NULL) goto err;
857
858         if (!BN_GF2m_mod_arr(a, a_, p)) goto err;
859         
860         if (BN_is_zero(a))
861                 {
862                 ret = BN_zero(r);
863                 goto err;
864                 }
865
866         if (p[0] & 0x1) /* m is odd */
867                 {
868                 /* compute half-trace of a */
869                 if (!BN_copy(z, a)) goto err;
870                 for (i = 1; i <= (p[0] - 1) / 2; i++)
871                         {
872                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
873                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
874                         if (!BN_GF2m_add(z, z, a)) goto err;
875                         }
876                 
877                 }
878         else /* m is even */
879                 {
880                 rho = BN_CTX_get(ctx);
881                 w2 = BN_CTX_get(ctx);
882                 tmp = BN_CTX_get(ctx);
883                 if (tmp == NULL) goto err;
884                 do
885                         {
886                         if (!BN_rand(rho, p[0], 0, 0)) goto err;
887                         if (!BN_GF2m_mod_arr(rho, rho, p)) goto err;
888                         if (!BN_zero(z)) goto err;
889                         if (!BN_copy(w, rho)) goto err;
890                         for (i = 1; i <= p[0] - 1; i++)
891                                 {
892                                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
893                                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx)) goto err;
894                                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx)) goto err;
895                                 if (!BN_GF2m_add(z, z, tmp)) goto err;
896                                 if (!BN_GF2m_add(w, w2, rho)) goto err;
897                                 }
898                         count++;
899                         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
900                 if (BN_is_zero(w))
901                         {
902                         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR,BN_R_TOO_MANY_ITERATIONS);
903                         goto err;
904                         }
905                 }
906         
907         if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx)) goto err;
908         if (!BN_GF2m_add(w, z, w)) goto err;
909         if (BN_GF2m_cmp(w, a)) goto err;
910
911         if (!BN_copy(r, z)) goto err;
912
913         ret = 1;
914
915   err:
916         BN_CTX_end(ctx);
917         return ret;
918         }
919
920 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
921  *
922  * This function calls down to the BN_GF2m_mod_solve_quad_arr implementation; this wrapper
923  * function is only provided for convenience; for best performance, use the 
924  * BN_GF2m_mod_solve_quad_arr function.
925  */
926 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
927         {
928         const int max = BN_num_bits(p);
929         unsigned int *arr=NULL, ret = 0;
930         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
931         if (BN_GF2m_poly2arr(p, arr, max) > max)
932                 {
933                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD,BN_R_INVALID_LENGTH);
934                 goto err;
935                 }
936         ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
937   err:
938         if (arr) OPENSSL_free(arr);
939         return ret;
940         }
941
942 /* Convert the bit-string representation of a polynomial a into an array
943  * of integers corresponding to the bits with non-zero coefficient.
944  * Up to max elements of the array will be filled.  Return value is total
945  * number of coefficients that would be extracted if array was large enough.
946  */
947 int BN_GF2m_poly2arr(const BIGNUM *a, unsigned int p[], int max)
948         {
949         int i, j, k;
950         BN_ULONG mask;
951
952         for (k = 0; k < max; k++) p[k] = 0;
953         k = 0;
954
955         for (i = a->top - 1; i >= 0; i--)
956                 {
957                 mask = BN_TBIT;
958                 for (j = BN_BITS2 - 1; j >= 0; j--)
959                         {
960                         if (a->d[i] & mask) 
961                                 {
962                                 if (k < max) p[k] = BN_BITS2 * i + j;
963                                 k++;
964                                 }
965                         mask >>= 1;
966                         }
967                 }
968
969         return k;
970         }
971
972 /* Convert the coefficient array representation of a polynomial to a 
973  * bit-string.  The array must be terminated by 0.
974  */
975 int BN_GF2m_arr2poly(const unsigned int p[], BIGNUM *a)
976         {
977         int i;
978
979         BN_zero(a);
980         for (i = 0; p[i] > 0; i++)
981                 {
982                 BN_set_bit(a, p[i]);
983                 }
984         BN_set_bit(a, 0);
985         
986         return 1;
987         }
988