remove malloc casts
[openssl.git] / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /*
31  * NOTE: This file is licensed pursuant to the OpenSSL license below and may
32  * be modified; but after modifications, the above covenant may no longer
33  * apply! In such cases, the corresponding paragraph ["In addition, Sun
34  * covenants ... causes the infringement."] and this note can be edited out;
35  * but please keep the Sun copyright notice and attribution.
36  */
37
38 /* ====================================================================
39  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
40  *
41  * Redistribution and use in source and binary forms, with or without
42  * modification, are permitted provided that the following conditions
43  * are met:
44  *
45  * 1. Redistributions of source code must retain the above copyright
46  *    notice, this list of conditions and the following disclaimer.
47  *
48  * 2. Redistributions in binary form must reproduce the above copyright
49  *    notice, this list of conditions and the following disclaimer in
50  *    the documentation and/or other materials provided with the
51  *    distribution.
52  *
53  * 3. All advertising materials mentioning features or use of this
54  *    software must display the following acknowledgment:
55  *    "This product includes software developed by the OpenSSL Project
56  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
57  *
58  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
59  *    endorse or promote products derived from this software without
60  *    prior written permission. For written permission, please contact
61  *    openssl-core@openssl.org.
62  *
63  * 5. Products derived from this software may not be called "OpenSSL"
64  *    nor may "OpenSSL" appear in their names without prior written
65  *    permission of the OpenSSL Project.
66  *
67  * 6. Redistributions of any form whatsoever must retain the following
68  *    acknowledgment:
69  *    "This product includes software developed by the OpenSSL Project
70  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
71  *
72  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
73  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
74  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
75  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
76  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
77  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
78  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
79  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
80  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
81  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
82  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
83  * OF THE POSSIBILITY OF SUCH DAMAGE.
84  * ====================================================================
85  *
86  * This product includes cryptographic software written by Eric Young
87  * (eay@cryptsoft.com).  This product includes software written by Tim
88  * Hudson (tjh@cryptsoft.com).
89  *
90  */
91
92 #include <assert.h>
93 #include <limits.h>
94 #include <stdio.h>
95 #include "cryptlib.h"
96 #include "bn_lcl.h"
97
98 #ifndef OPENSSL_NO_EC2M
99
100 /*
101  * Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should
102  * fail.
103  */
104 # define MAX_ITERATIONS 50
105
106 static const BN_ULONG SQR_tb[16] = { 0, 1, 4, 5, 16, 17, 20, 21,
107     64, 65, 68, 69, 80, 81, 84, 85
108 };
109
110 /* Platform-specific macros to accelerate squaring. */
111 # if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
112 #  define SQR1(w) \
113     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
114     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
115     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
116     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
117 #  define SQR0(w) \
118     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
119     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
120     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
121     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
122 # endif
123 # ifdef THIRTY_TWO_BIT
124 #  define SQR1(w) \
125     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
126     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
127 #  define SQR0(w) \
128     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
129     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
130 # endif
131
132 # if !defined(OPENSSL_BN_ASM_GF2m)
133 /*
134  * Product of two polynomials a, b each with degree < BN_BITS2 - 1, result is
135  * a polynomial r with degree < 2 * BN_BITS - 1 The caller MUST ensure that
136  * the variables have the right amount of space allocated.
137  */
138 #  ifdef THIRTY_TWO_BIT
139 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
140                             const BN_ULONG b)
141 {
142     register BN_ULONG h, l, s;
143     BN_ULONG tab[8], top2b = a >> 30;
144     register BN_ULONG a1, a2, a4;
145
146     a1 = a & (0x3FFFFFFF);
147     a2 = a1 << 1;
148     a4 = a2 << 1;
149
150     tab[0] = 0;
151     tab[1] = a1;
152     tab[2] = a2;
153     tab[3] = a1 ^ a2;
154     tab[4] = a4;
155     tab[5] = a1 ^ a4;
156     tab[6] = a2 ^ a4;
157     tab[7] = a1 ^ a2 ^ a4;
158
159     s = tab[b & 0x7];
160     l = s;
161     s = tab[b >> 3 & 0x7];
162     l ^= s << 3;
163     h = s >> 29;
164     s = tab[b >> 6 & 0x7];
165     l ^= s << 6;
166     h ^= s >> 26;
167     s = tab[b >> 9 & 0x7];
168     l ^= s << 9;
169     h ^= s >> 23;
170     s = tab[b >> 12 & 0x7];
171     l ^= s << 12;
172     h ^= s >> 20;
173     s = tab[b >> 15 & 0x7];
174     l ^= s << 15;
175     h ^= s >> 17;
176     s = tab[b >> 18 & 0x7];
177     l ^= s << 18;
178     h ^= s >> 14;
179     s = tab[b >> 21 & 0x7];
180     l ^= s << 21;
181     h ^= s >> 11;
182     s = tab[b >> 24 & 0x7];
183     l ^= s << 24;
184     h ^= s >> 8;
185     s = tab[b >> 27 & 0x7];
186     l ^= s << 27;
187     h ^= s >> 5;
188     s = tab[b >> 30];
189     l ^= s << 30;
190     h ^= s >> 2;
191
192     /* compensate for the top two bits of a */
193
194     if (top2b & 01) {
195         l ^= b << 30;
196         h ^= b >> 2;
197     }
198     if (top2b & 02) {
199         l ^= b << 31;
200         h ^= b >> 1;
201     }
202
203     *r1 = h;
204     *r0 = l;
205 }
206 #  endif
207 #  if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
208 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a,
209                             const BN_ULONG b)
210 {
211     register BN_ULONG h, l, s;
212     BN_ULONG tab[16], top3b = a >> 61;
213     register BN_ULONG a1, a2, a4, a8;
214
215     a1 = a & (0x1FFFFFFFFFFFFFFFULL);
216     a2 = a1 << 1;
217     a4 = a2 << 1;
218     a8 = a4 << 1;
219
220     tab[0] = 0;
221     tab[1] = a1;
222     tab[2] = a2;
223     tab[3] = a1 ^ a2;
224     tab[4] = a4;
225     tab[5] = a1 ^ a4;
226     tab[6] = a2 ^ a4;
227     tab[7] = a1 ^ a2 ^ a4;
228     tab[8] = a8;
229     tab[9] = a1 ^ a8;
230     tab[10] = a2 ^ a8;
231     tab[11] = a1 ^ a2 ^ a8;
232     tab[12] = a4 ^ a8;
233     tab[13] = a1 ^ a4 ^ a8;
234     tab[14] = a2 ^ a4 ^ a8;
235     tab[15] = a1 ^ a2 ^ a4 ^ a8;
236
237     s = tab[b & 0xF];
238     l = s;
239     s = tab[b >> 4 & 0xF];
240     l ^= s << 4;
241     h = s >> 60;
242     s = tab[b >> 8 & 0xF];
243     l ^= s << 8;
244     h ^= s >> 56;
245     s = tab[b >> 12 & 0xF];
246     l ^= s << 12;
247     h ^= s >> 52;
248     s = tab[b >> 16 & 0xF];
249     l ^= s << 16;
250     h ^= s >> 48;
251     s = tab[b >> 20 & 0xF];
252     l ^= s << 20;
253     h ^= s >> 44;
254     s = tab[b >> 24 & 0xF];
255     l ^= s << 24;
256     h ^= s >> 40;
257     s = tab[b >> 28 & 0xF];
258     l ^= s << 28;
259     h ^= s >> 36;
260     s = tab[b >> 32 & 0xF];
261     l ^= s << 32;
262     h ^= s >> 32;
263     s = tab[b >> 36 & 0xF];
264     l ^= s << 36;
265     h ^= s >> 28;
266     s = tab[b >> 40 & 0xF];
267     l ^= s << 40;
268     h ^= s >> 24;
269     s = tab[b >> 44 & 0xF];
270     l ^= s << 44;
271     h ^= s >> 20;
272     s = tab[b >> 48 & 0xF];
273     l ^= s << 48;
274     h ^= s >> 16;
275     s = tab[b >> 52 & 0xF];
276     l ^= s << 52;
277     h ^= s >> 12;
278     s = tab[b >> 56 & 0xF];
279     l ^= s << 56;
280     h ^= s >> 8;
281     s = tab[b >> 60];
282     l ^= s << 60;
283     h ^= s >> 4;
284
285     /* compensate for the top three bits of a */
286
287     if (top3b & 01) {
288         l ^= b << 61;
289         h ^= b >> 3;
290     }
291     if (top3b & 02) {
292         l ^= b << 62;
293         h ^= b >> 2;
294     }
295     if (top3b & 04) {
296         l ^= b << 63;
297         h ^= b >> 1;
298     }
299
300     *r1 = h;
301     *r0 = l;
302 }
303 #  endif
304
305 /*
306  * Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
307  * result is a polynomial r with degree < 4 * BN_BITS2 - 1 The caller MUST
308  * ensure that the variables have the right amount of space allocated.
309  */
310 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0,
311                             const BN_ULONG b1, const BN_ULONG b0)
312 {
313     BN_ULONG m1, m0;
314     /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
315     bn_GF2m_mul_1x1(r + 3, r + 2, a1, b1);
316     bn_GF2m_mul_1x1(r + 1, r, a0, b0);
317     bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
318     /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
319     r[2] ^= m1 ^ r[1] ^ r[3];   /* h0 ^= m1 ^ l1 ^ h1; */
320     r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0; /* l1 ^= l0 ^ h0 ^ m0; */
321 }
322 # else
323 void bn_GF2m_mul_2x2(BN_ULONG *r, BN_ULONG a1, BN_ULONG a0, BN_ULONG b1,
324                      BN_ULONG b0);
325 # endif
326
327 /*
328  * Add polynomials a and b and store result in r; r could be a or b, a and b
329  * could be equal; r is the bitwise XOR of a and b.
330  */
331 int BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
332 {
333     int i;
334     const BIGNUM *at, *bt;
335
336     bn_check_top(a);
337     bn_check_top(b);
338
339     if (a->top < b->top) {
340         at = b;
341         bt = a;
342     } else {
343         at = a;
344         bt = b;
345     }
346
347     if (bn_wexpand(r, at->top) == NULL)
348         return 0;
349
350     for (i = 0; i < bt->top; i++) {
351         r->d[i] = at->d[i] ^ bt->d[i];
352     }
353     for (; i < at->top; i++) {
354         r->d[i] = at->d[i];
355     }
356
357     r->top = at->top;
358     bn_correct_top(r);
359
360     return 1;
361 }
362
363 /*-
364  * Some functions allow for representation of the irreducible polynomials
365  * as an int[], say p.  The irreducible f(t) is then of the form:
366  *     t^p[0] + t^p[1] + ... + t^p[k]
367  * where m = p[0] > p[1] > ... > p[k] = 0.
368  */
369
370 /* Performs modular reduction of a and store result in r.  r could be a. */
371 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const int p[])
372 {
373     int j, k;
374     int n, dN, d0, d1;
375     BN_ULONG zz, *z;
376
377     bn_check_top(a);
378
379     if (!p[0]) {
380         /* reduction mod 1 => return 0 */
381         BN_zero(r);
382         return 1;
383     }
384
385     /*
386      * Since the algorithm does reduction in the r value, if a != r, copy the
387      * contents of a into r so we can do reduction in r.
388      */
389     if (a != r) {
390         if (!bn_wexpand(r, a->top))
391             return 0;
392         for (j = 0; j < a->top; j++) {
393             r->d[j] = a->d[j];
394         }
395         r->top = a->top;
396     }
397     z = r->d;
398
399     /* start reduction */
400     dN = p[0] / BN_BITS2;
401     for (j = r->top - 1; j > dN;) {
402         zz = z[j];
403         if (z[j] == 0) {
404             j--;
405             continue;
406         }
407         z[j] = 0;
408
409         for (k = 1; p[k] != 0; k++) {
410             /* reducing component t^p[k] */
411             n = p[0] - p[k];
412             d0 = n % BN_BITS2;
413             d1 = BN_BITS2 - d0;
414             n /= BN_BITS2;
415             z[j - n] ^= (zz >> d0);
416             if (d0)
417                 z[j - n - 1] ^= (zz << d1);
418         }
419
420         /* reducing component t^0 */
421         n = dN;
422         d0 = p[0] % BN_BITS2;
423         d1 = BN_BITS2 - d0;
424         z[j - n] ^= (zz >> d0);
425         if (d0)
426             z[j - n - 1] ^= (zz << d1);
427     }
428
429     /* final round of reduction */
430     while (j == dN) {
431
432         d0 = p[0] % BN_BITS2;
433         zz = z[dN] >> d0;
434         if (zz == 0)
435             break;
436         d1 = BN_BITS2 - d0;
437
438         /* clear up the top d1 bits */
439         if (d0)
440             z[dN] = (z[dN] << d1) >> d1;
441         else
442             z[dN] = 0;
443         z[0] ^= zz;             /* reduction t^0 component */
444
445         for (k = 1; p[k] != 0; k++) {
446             BN_ULONG tmp_ulong;
447
448             /* reducing component t^p[k] */
449             n = p[k] / BN_BITS2;
450             d0 = p[k] % BN_BITS2;
451             d1 = BN_BITS2 - d0;
452             z[n] ^= (zz << d0);
453             tmp_ulong = zz >> d1;
454             if (d0 && tmp_ulong)
455                 z[n + 1] ^= tmp_ulong;
456         }
457
458     }
459
460     bn_correct_top(r);
461     return 1;
462 }
463
464 /*
465  * Performs modular reduction of a by p and store result in r.  r could be a.
466  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
467  * function is only provided for convenience; for best performance, use the
468  * BN_GF2m_mod_arr function.
469  */
470 int BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
471 {
472     int ret = 0;
473     int arr[6];
474     bn_check_top(a);
475     bn_check_top(p);
476     ret = BN_GF2m_poly2arr(p, arr, sizeof(arr) / sizeof(arr[0]));
477     if (!ret || ret > (int)(sizeof(arr) / sizeof(arr[0]))) {
478         BNerr(BN_F_BN_GF2M_MOD, BN_R_INVALID_LENGTH);
479         return 0;
480     }
481     ret = BN_GF2m_mod_arr(r, a, arr);
482     bn_check_top(r);
483     return ret;
484 }
485
486 /*
487  * Compute the product of two polynomials a and b, reduce modulo p, and store
488  * the result in r.  r could be a or b; a could be b.
489  */
490 int BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
491                         const int p[], BN_CTX *ctx)
492 {
493     int zlen, i, j, k, ret = 0;
494     BIGNUM *s;
495     BN_ULONG x1, x0, y1, y0, zz[4];
496
497     bn_check_top(a);
498     bn_check_top(b);
499
500     if (a == b) {
501         return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
502     }
503
504     BN_CTX_start(ctx);
505     if ((s = BN_CTX_get(ctx)) == NULL)
506         goto err;
507
508     zlen = a->top + b->top + 4;
509     if (!bn_wexpand(s, zlen))
510         goto err;
511     s->top = zlen;
512
513     for (i = 0; i < zlen; i++)
514         s->d[i] = 0;
515
516     for (j = 0; j < b->top; j += 2) {
517         y0 = b->d[j];
518         y1 = ((j + 1) == b->top) ? 0 : b->d[j + 1];
519         for (i = 0; i < a->top; i += 2) {
520             x0 = a->d[i];
521             x1 = ((i + 1) == a->top) ? 0 : a->d[i + 1];
522             bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
523             for (k = 0; k < 4; k++)
524                 s->d[i + j + k] ^= zz[k];
525         }
526     }
527
528     bn_correct_top(s);
529     if (BN_GF2m_mod_arr(r, s, p))
530         ret = 1;
531     bn_check_top(r);
532
533  err:
534     BN_CTX_end(ctx);
535     return ret;
536 }
537
538 /*
539  * Compute the product of two polynomials a and b, reduce modulo p, and store
540  * the result in r.  r could be a or b; a could equal b. This function calls
541  * down to the BN_GF2m_mod_mul_arr implementation; this wrapper function is
542  * only provided for convenience; for best performance, use the
543  * BN_GF2m_mod_mul_arr function.
544  */
545 int BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
546                     const BIGNUM *p, BN_CTX *ctx)
547 {
548     int ret = 0;
549     const int max = BN_num_bits(p) + 1;
550     int *arr = NULL;
551     bn_check_top(a);
552     bn_check_top(b);
553     bn_check_top(p);
554     if ((arr = OPENSSL_malloc(sizeof(int) * max)) == NULL)
555         goto err;
556     ret = BN_GF2m_poly2arr(p, arr, max);
557     if (!ret || ret > max) {
558         BNerr(BN_F_BN_GF2M_MOD_MUL, BN_R_INVALID_LENGTH);
559         goto err;
560     }
561     ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
562     bn_check_top(r);
563  err:
564     if (arr)
565         OPENSSL_free(arr);
566     return ret;
567 }
568
569 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
570 int BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const int p[],
571                         BN_CTX *ctx)
572 {
573     int i, ret = 0;
574     BIGNUM *s;
575
576     bn_check_top(a);
577     BN_CTX_start(ctx);
578     if ((s = BN_CTX_get(ctx)) == NULL)
579         return 0;
580     if (!bn_wexpand(s, 2 * a->top))
581         goto err;
582
583     for (i = a->top - 1; i >= 0; i--) {
584         s->d[2 * i + 1] = SQR1(a->d[i]);
585         s->d[2 * i] = SQR0(a->d[i]);
586     }
587
588     s->top = 2 * a->top;
589     bn_correct_top(s);
590     if (!BN_GF2m_mod_arr(r, s, p))
591         goto err;
592     bn_check_top(r);
593     ret = 1;
594  err:
595     BN_CTX_end(ctx);
596     return ret;
597 }
598
599 /*
600  * Square a, reduce the result mod p, and store it in a.  r could be a. This
601  * function calls down to the BN_GF2m_mod_sqr_arr implementation; this
602  * wrapper function is only provided for convenience; for best performance,
603  * use the BN_GF2m_mod_sqr_arr function.
604  */
605 int BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
606 {
607     int ret = 0;
608     const int max = BN_num_bits(p) + 1;
609     int *arr = NULL;
610
611     bn_check_top(a);
612     bn_check_top(p);
613     if ((arr = OPENSSL_malloc(sizeof(int) * max)) == NULL)
614         goto err;
615     ret = BN_GF2m_poly2arr(p, arr, max);
616     if (!ret || ret > max) {
617         BNerr(BN_F_BN_GF2M_MOD_SQR, BN_R_INVALID_LENGTH);
618         goto err;
619     }
620     ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
621     bn_check_top(r);
622  err:
623     if (arr)
624         OPENSSL_free(arr);
625     return ret;
626 }
627
628 /*
629  * Invert a, reduce modulo p, and store the result in r. r could be a. Uses
630  * Modified Almost Inverse Algorithm (Algorithm 10) from Hankerson, D.,
631  * Hernandez, J.L., and Menezes, A.  "Software Implementation of Elliptic
632  * Curve Cryptography Over Binary Fields".
633  */
634 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
635 {
636     BIGNUM *b, *c = NULL, *u = NULL, *v = NULL, *tmp;
637     int ret = 0;
638
639     bn_check_top(a);
640     bn_check_top(p);
641
642     BN_CTX_start(ctx);
643
644     if ((b = BN_CTX_get(ctx)) == NULL)
645         goto err;
646     if ((c = BN_CTX_get(ctx)) == NULL)
647         goto err;
648     if ((u = BN_CTX_get(ctx)) == NULL)
649         goto err;
650     if ((v = BN_CTX_get(ctx)) == NULL)
651         goto err;
652
653     if (!BN_GF2m_mod(u, a, p))
654         goto err;
655     if (BN_is_zero(u))
656         goto err;
657
658     if (!BN_copy(v, p))
659         goto err;
660 # if 0
661     if (!BN_one(b))
662         goto err;
663
664     while (1) {
665         while (!BN_is_odd(u)) {
666             if (BN_is_zero(u))
667                 goto err;
668             if (!BN_rshift1(u, u))
669                 goto err;
670             if (BN_is_odd(b)) {
671                 if (!BN_GF2m_add(b, b, p))
672                     goto err;
673             }
674             if (!BN_rshift1(b, b))
675                 goto err;
676         }
677
678         if (BN_abs_is_word(u, 1))
679             break;
680
681         if (BN_num_bits(u) < BN_num_bits(v)) {
682             tmp = u;
683             u = v;
684             v = tmp;
685             tmp = b;
686             b = c;
687             c = tmp;
688         }
689
690         if (!BN_GF2m_add(u, u, v))
691             goto err;
692         if (!BN_GF2m_add(b, b, c))
693             goto err;
694     }
695 # else
696     {
697         int i, ubits = BN_num_bits(u), vbits = BN_num_bits(v), /* v is copy
698                                                                 * of p */
699             top = p->top;
700         BN_ULONG *udp, *bdp, *vdp, *cdp;
701
702         bn_wexpand(u, top);
703         udp = u->d;
704         for (i = u->top; i < top; i++)
705             udp[i] = 0;
706         u->top = top;
707         bn_wexpand(b, top);
708         bdp = b->d;
709         bdp[0] = 1;
710         for (i = 1; i < top; i++)
711             bdp[i] = 0;
712         b->top = top;
713         bn_wexpand(c, top);
714         cdp = c->d;
715         for (i = 0; i < top; i++)
716             cdp[i] = 0;
717         c->top = top;
718         vdp = v->d;             /* It pays off to "cache" *->d pointers,
719                                  * because it allows optimizer to be more
720                                  * aggressive. But we don't have to "cache"
721                                  * p->d, because *p is declared 'const'... */
722         while (1) {
723             while (ubits && !(udp[0] & 1)) {
724                 BN_ULONG u0, u1, b0, b1, mask;
725
726                 u0 = udp[0];
727                 b0 = bdp[0];
728                 mask = (BN_ULONG)0 - (b0 & 1);
729                 b0 ^= p->d[0] & mask;
730                 for (i = 0; i < top - 1; i++) {
731                     u1 = udp[i + 1];
732                     udp[i] = ((u0 >> 1) | (u1 << (BN_BITS2 - 1))) & BN_MASK2;
733                     u0 = u1;
734                     b1 = bdp[i + 1] ^ (p->d[i + 1] & mask);
735                     bdp[i] = ((b0 >> 1) | (b1 << (BN_BITS2 - 1))) & BN_MASK2;
736                     b0 = b1;
737                 }
738                 udp[i] = u0 >> 1;
739                 bdp[i] = b0 >> 1;
740                 ubits--;
741             }
742
743             if (ubits <= BN_BITS2 && udp[0] == 1)
744                 break;
745
746             if (ubits < vbits) {
747                 i = ubits;
748                 ubits = vbits;
749                 vbits = i;
750                 tmp = u;
751                 u = v;
752                 v = tmp;
753                 tmp = b;
754                 b = c;
755                 c = tmp;
756                 udp = vdp;
757                 vdp = v->d;
758                 bdp = cdp;
759                 cdp = c->d;
760             }
761             for (i = 0; i < top; i++) {
762                 udp[i] ^= vdp[i];
763                 bdp[i] ^= cdp[i];
764             }
765             if (ubits == vbits) {
766                 BN_ULONG ul;
767                 int utop = (ubits - 1) / BN_BITS2;
768
769                 while ((ul = udp[utop]) == 0 && utop)
770                     utop--;
771                 ubits = utop * BN_BITS2 + BN_num_bits_word(ul);
772             }
773         }
774         bn_correct_top(b);
775     }
776 # endif
777
778     if (!BN_copy(r, b))
779         goto err;
780     bn_check_top(r);
781     ret = 1;
782
783  err:
784 # ifdef BN_DEBUG                /* BN_CTX_end would complain about the
785                                  * expanded form */
786     bn_correct_top(c);
787     bn_correct_top(u);
788     bn_correct_top(v);
789 # endif
790     BN_CTX_end(ctx);
791     return ret;
792 }
793
794 /*
795  * Invert xx, reduce modulo p, and store the result in r. r could be xx.
796  * This function calls down to the BN_GF2m_mod_inv implementation; this
797  * wrapper function is only provided for convenience; for best performance,
798  * use the BN_GF2m_mod_inv function.
799  */
800 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const int p[],
801                         BN_CTX *ctx)
802 {
803     BIGNUM *field;
804     int ret = 0;
805
806     bn_check_top(xx);
807     BN_CTX_start(ctx);
808     if ((field = BN_CTX_get(ctx)) == NULL)
809         goto err;
810     if (!BN_GF2m_arr2poly(p, field))
811         goto err;
812
813     ret = BN_GF2m_mod_inv(r, xx, field, ctx);
814     bn_check_top(r);
815
816  err:
817     BN_CTX_end(ctx);
818     return ret;
819 }
820
821 # ifndef OPENSSL_SUN_GF2M_DIV
822 /*
823  * Divide y by x, reduce modulo p, and store the result in r. r could be x
824  * or y, x could equal y.
825  */
826 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
827                     const BIGNUM *p, BN_CTX *ctx)
828 {
829     BIGNUM *xinv = NULL;
830     int ret = 0;
831
832     bn_check_top(y);
833     bn_check_top(x);
834     bn_check_top(p);
835
836     BN_CTX_start(ctx);
837     xinv = BN_CTX_get(ctx);
838     if (xinv == NULL)
839         goto err;
840
841     if (!BN_GF2m_mod_inv(xinv, x, p, ctx))
842         goto err;
843     if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx))
844         goto err;
845     bn_check_top(r);
846     ret = 1;
847
848  err:
849     BN_CTX_end(ctx);
850     return ret;
851 }
852 # else
853 /*
854  * Divide y by x, reduce modulo p, and store the result in r. r could be x
855  * or y, x could equal y. Uses algorithm Modular_Division_GF(2^m) from
856  * Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to the
857  * Great Divide".
858  */
859 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x,
860                     const BIGNUM *p, BN_CTX *ctx)
861 {
862     BIGNUM *a, *b, *u, *v;
863     int ret = 0;
864
865     bn_check_top(y);
866     bn_check_top(x);
867     bn_check_top(p);
868
869     BN_CTX_start(ctx);
870
871     a = BN_CTX_get(ctx);
872     b = BN_CTX_get(ctx);
873     u = BN_CTX_get(ctx);
874     v = BN_CTX_get(ctx);
875     if (v == NULL)
876         goto err;
877
878     /* reduce x and y mod p */
879     if (!BN_GF2m_mod(u, y, p))
880         goto err;
881     if (!BN_GF2m_mod(a, x, p))
882         goto err;
883     if (!BN_copy(b, p))
884         goto err;
885
886     while (!BN_is_odd(a)) {
887         if (!BN_rshift1(a, a))
888             goto err;
889         if (BN_is_odd(u))
890             if (!BN_GF2m_add(u, u, p))
891                 goto err;
892         if (!BN_rshift1(u, u))
893             goto err;
894     }
895
896     do {
897         if (BN_GF2m_cmp(b, a) > 0) {
898             if (!BN_GF2m_add(b, b, a))
899                 goto err;
900             if (!BN_GF2m_add(v, v, u))
901                 goto err;
902             do {
903                 if (!BN_rshift1(b, b))
904                     goto err;
905                 if (BN_is_odd(v))
906                     if (!BN_GF2m_add(v, v, p))
907                         goto err;
908                 if (!BN_rshift1(v, v))
909                     goto err;
910             } while (!BN_is_odd(b));
911         } else if (BN_abs_is_word(a, 1))
912             break;
913         else {
914             if (!BN_GF2m_add(a, a, b))
915                 goto err;
916             if (!BN_GF2m_add(u, u, v))
917                 goto err;
918             do {
919                 if (!BN_rshift1(a, a))
920                     goto err;
921                 if (BN_is_odd(u))
922                     if (!BN_GF2m_add(u, u, p))
923                         goto err;
924                 if (!BN_rshift1(u, u))
925                     goto err;
926             } while (!BN_is_odd(a));
927         }
928     } while (1);
929
930     if (!BN_copy(r, u))
931         goto err;
932     bn_check_top(r);
933     ret = 1;
934
935  err:
936     BN_CTX_end(ctx);
937     return ret;
938 }
939 # endif
940
941 /*
942  * Divide yy by xx, reduce modulo p, and store the result in r. r could be xx
943  * * or yy, xx could equal yy. This function calls down to the
944  * BN_GF2m_mod_div implementation; this wrapper function is only provided for
945  * convenience; for best performance, use the BN_GF2m_mod_div function.
946  */
947 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx,
948                         const int p[], BN_CTX *ctx)
949 {
950     BIGNUM *field;
951     int ret = 0;
952
953     bn_check_top(yy);
954     bn_check_top(xx);
955
956     BN_CTX_start(ctx);
957     if ((field = BN_CTX_get(ctx)) == NULL)
958         goto err;
959     if (!BN_GF2m_arr2poly(p, field))
960         goto err;
961
962     ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
963     bn_check_top(r);
964
965  err:
966     BN_CTX_end(ctx);
967     return ret;
968 }
969
970 /*
971  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
972  * could be a. Uses simple square-and-multiply algorithm A.5.1 from IEEE
973  * P1363.
974  */
975 int BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
976                         const int p[], BN_CTX *ctx)
977 {
978     int ret = 0, i, n;
979     BIGNUM *u;
980
981     bn_check_top(a);
982     bn_check_top(b);
983
984     if (BN_is_zero(b))
985         return (BN_one(r));
986
987     if (BN_abs_is_word(b, 1))
988         return (BN_copy(r, a) != NULL);
989
990     BN_CTX_start(ctx);
991     if ((u = BN_CTX_get(ctx)) == NULL)
992         goto err;
993
994     if (!BN_GF2m_mod_arr(u, a, p))
995         goto err;
996
997     n = BN_num_bits(b) - 1;
998     for (i = n - 1; i >= 0; i--) {
999         if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx))
1000             goto err;
1001         if (BN_is_bit_set(b, i)) {
1002             if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx))
1003                 goto err;
1004         }
1005     }
1006     if (!BN_copy(r, u))
1007         goto err;
1008     bn_check_top(r);
1009     ret = 1;
1010  err:
1011     BN_CTX_end(ctx);
1012     return ret;
1013 }
1014
1015 /*
1016  * Compute the bth power of a, reduce modulo p, and store the result in r.  r
1017  * could be a. This function calls down to the BN_GF2m_mod_exp_arr
1018  * implementation; this wrapper function is only provided for convenience;
1019  * for best performance, use the BN_GF2m_mod_exp_arr function.
1020  */
1021 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b,
1022                     const BIGNUM *p, BN_CTX *ctx)
1023 {
1024     int ret = 0;
1025     const int max = BN_num_bits(p) + 1;
1026     int *arr = NULL;
1027     bn_check_top(a);
1028     bn_check_top(b);
1029     bn_check_top(p);
1030     if ((arr = OPENSSL_malloc(sizeof(int) * max)) == NULL)
1031         goto err;
1032     ret = BN_GF2m_poly2arr(p, arr, max);
1033     if (!ret || ret > max) {
1034         BNerr(BN_F_BN_GF2M_MOD_EXP, BN_R_INVALID_LENGTH);
1035         goto err;
1036     }
1037     ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
1038     bn_check_top(r);
1039  err:
1040     if (arr)
1041         OPENSSL_free(arr);
1042     return ret;
1043 }
1044
1045 /*
1046  * Compute the square root of a, reduce modulo p, and store the result in r.
1047  * r could be a. Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
1048  */
1049 int BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const int p[],
1050                          BN_CTX *ctx)
1051 {
1052     int ret = 0;
1053     BIGNUM *u;
1054
1055     bn_check_top(a);
1056
1057     if (!p[0]) {
1058         /* reduction mod 1 => return 0 */
1059         BN_zero(r);
1060         return 1;
1061     }
1062
1063     BN_CTX_start(ctx);
1064     if ((u = BN_CTX_get(ctx)) == NULL)
1065         goto err;
1066
1067     if (!BN_set_bit(u, p[0] - 1))
1068         goto err;
1069     ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
1070     bn_check_top(r);
1071
1072  err:
1073     BN_CTX_end(ctx);
1074     return ret;
1075 }
1076
1077 /*
1078  * Compute the square root of a, reduce modulo p, and store the result in r.
1079  * r could be a. This function calls down to the BN_GF2m_mod_sqrt_arr
1080  * implementation; this wrapper function is only provided for convenience;
1081  * for best performance, use the BN_GF2m_mod_sqrt_arr function.
1082  */
1083 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1084 {
1085     int ret = 0;
1086     const int max = BN_num_bits(p) + 1;
1087     int *arr = NULL;
1088     bn_check_top(a);
1089     bn_check_top(p);
1090     if ((arr = OPENSSL_malloc(sizeof(int) * max)) == NULL)
1091         goto err;
1092     ret = BN_GF2m_poly2arr(p, arr, max);
1093     if (!ret || ret > max) {
1094         BNerr(BN_F_BN_GF2M_MOD_SQRT, BN_R_INVALID_LENGTH);
1095         goto err;
1096     }
1097     ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
1098     bn_check_top(r);
1099  err:
1100     if (arr)
1101         OPENSSL_free(arr);
1102     return ret;
1103 }
1104
1105 /*
1106  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1107  * 0. Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
1108  */
1109 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const int p[],
1110                                BN_CTX *ctx)
1111 {
1112     int ret = 0, count = 0, j;
1113     BIGNUM *a, *z, *rho, *w, *w2, *tmp;
1114
1115     bn_check_top(a_);
1116
1117     if (!p[0]) {
1118         /* reduction mod 1 => return 0 */
1119         BN_zero(r);
1120         return 1;
1121     }
1122
1123     BN_CTX_start(ctx);
1124     a = BN_CTX_get(ctx);
1125     z = BN_CTX_get(ctx);
1126     w = BN_CTX_get(ctx);
1127     if (w == NULL)
1128         goto err;
1129
1130     if (!BN_GF2m_mod_arr(a, a_, p))
1131         goto err;
1132
1133     if (BN_is_zero(a)) {
1134         BN_zero(r);
1135         ret = 1;
1136         goto err;
1137     }
1138
1139     if (p[0] & 0x1) {           /* m is odd */
1140         /* compute half-trace of a */
1141         if (!BN_copy(z, a))
1142             goto err;
1143         for (j = 1; j <= (p[0] - 1) / 2; j++) {
1144             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1145                 goto err;
1146             if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1147                 goto err;
1148             if (!BN_GF2m_add(z, z, a))
1149                 goto err;
1150         }
1151
1152     } else {                    /* m is even */
1153
1154         rho = BN_CTX_get(ctx);
1155         w2 = BN_CTX_get(ctx);
1156         tmp = BN_CTX_get(ctx);
1157         if (tmp == NULL)
1158             goto err;
1159         do {
1160             if (!BN_rand(rho, p[0], 0, 0))
1161                 goto err;
1162             if (!BN_GF2m_mod_arr(rho, rho, p))
1163                 goto err;
1164             BN_zero(z);
1165             if (!BN_copy(w, rho))
1166                 goto err;
1167             for (j = 1; j <= p[0] - 1; j++) {
1168                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx))
1169                     goto err;
1170                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx))
1171                     goto err;
1172                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx))
1173                     goto err;
1174                 if (!BN_GF2m_add(z, z, tmp))
1175                     goto err;
1176                 if (!BN_GF2m_add(w, w2, rho))
1177                     goto err;
1178             }
1179             count++;
1180         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
1181         if (BN_is_zero(w)) {
1182             BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_TOO_MANY_ITERATIONS);
1183             goto err;
1184         }
1185     }
1186
1187     if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx))
1188         goto err;
1189     if (!BN_GF2m_add(w, z, w))
1190         goto err;
1191     if (BN_GF2m_cmp(w, a)) {
1192         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1193         goto err;
1194     }
1195
1196     if (!BN_copy(r, z))
1197         goto err;
1198     bn_check_top(r);
1199
1200     ret = 1;
1201
1202  err:
1203     BN_CTX_end(ctx);
1204     return ret;
1205 }
1206
1207 /*
1208  * Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns
1209  * 0. This function calls down to the BN_GF2m_mod_solve_quad_arr
1210  * implementation; this wrapper function is only provided for convenience;
1211  * for best performance, use the BN_GF2m_mod_solve_quad_arr function.
1212  */
1213 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p,
1214                            BN_CTX *ctx)
1215 {
1216     int ret = 0;
1217     const int max = BN_num_bits(p) + 1;
1218     int *arr = NULL;
1219     bn_check_top(a);
1220     bn_check_top(p);
1221     if ((arr = OPENSSL_malloc(sizeof(int) * max)) == NULL)
1222         goto err;
1223     ret = BN_GF2m_poly2arr(p, arr, max);
1224     if (!ret || ret > max) {
1225         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD, BN_R_INVALID_LENGTH);
1226         goto err;
1227     }
1228     ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1229     bn_check_top(r);
1230  err:
1231     if (arr)
1232         OPENSSL_free(arr);
1233     return ret;
1234 }
1235
1236 /*
1237  * Convert the bit-string representation of a polynomial ( \sum_{i=0}^n a_i *
1238  * x^i) into an array of integers corresponding to the bits with non-zero
1239  * coefficient.  Array is terminated with -1. Up to max elements of the array
1240  * will be filled.  Return value is total number of array elements that would
1241  * be filled if array was large enough.
1242  */
1243 int BN_GF2m_poly2arr(const BIGNUM *a, int p[], int max)
1244 {
1245     int i, j, k = 0;
1246     BN_ULONG mask;
1247
1248     if (BN_is_zero(a))
1249         return 0;
1250
1251     for (i = a->top - 1; i >= 0; i--) {
1252         if (!a->d[i])
1253             /* skip word if a->d[i] == 0 */
1254             continue;
1255         mask = BN_TBIT;
1256         for (j = BN_BITS2 - 1; j >= 0; j--) {
1257             if (a->d[i] & mask) {
1258                 if (k < max)
1259                     p[k] = BN_BITS2 * i + j;
1260                 k++;
1261             }
1262             mask >>= 1;
1263         }
1264     }
1265
1266     if (k < max) {
1267         p[k] = -1;
1268         k++;
1269     }
1270
1271     return k;
1272 }
1273
1274 /*
1275  * Convert the coefficient array representation of a polynomial to a
1276  * bit-string.  The array must be terminated by -1.
1277  */
1278 int BN_GF2m_arr2poly(const int p[], BIGNUM *a)
1279 {
1280     int i;
1281
1282     bn_check_top(a);
1283     BN_zero(a);
1284     for (i = 0; p[i] != -1; i++) {
1285         if (BN_set_bit(a, p[i]) == 0)
1286             return 0;
1287     }
1288     bn_check_top(a);
1289
1290     return 1;
1291 }
1292
1293 #endif