bn/asm/sparcv9-mont.pl: fix squaring code path.
[openssl.git] / crypto / bn / bn_prime.c
1 /* crypto/bn/bn_prime.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58 /* ====================================================================
59  * Copyright (c) 1998-2001 The OpenSSL Project.  All rights reserved.
60  *
61  * Redistribution and use in source and binary forms, with or without
62  * modification, are permitted provided that the following conditions
63  * are met:
64  *
65  * 1. Redistributions of source code must retain the above copyright
66  *    notice, this list of conditions and the following disclaimer.
67  *
68  * 2. Redistributions in binary form must reproduce the above copyright
69  *    notice, this list of conditions and the following disclaimer in
70  *    the documentation and/or other materials provided with the
71  *    distribution.
72  *
73  * 3. All advertising materials mentioning features or use of this
74  *    software must display the following acknowledgment:
75  *    "This product includes software developed by the OpenSSL Project
76  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
77  *
78  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
79  *    endorse or promote products derived from this software without
80  *    prior written permission. For written permission, please contact
81  *    openssl-core@openssl.org.
82  *
83  * 5. Products derived from this software may not be called "OpenSSL"
84  *    nor may "OpenSSL" appear in their names without prior written
85  *    permission of the OpenSSL Project.
86  *
87  * 6. Redistributions of any form whatsoever must retain the following
88  *    acknowledgment:
89  *    "This product includes software developed by the OpenSSL Project
90  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
91  *
92  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
93  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
94  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
95  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
96  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
97  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
98  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
99  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
100  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
101  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
102  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
103  * OF THE POSSIBILITY OF SUCH DAMAGE.
104  * ====================================================================
105  *
106  * This product includes cryptographic software written by Eric Young
107  * (eay@cryptsoft.com).  This product includes software written by Tim
108  * Hudson (tjh@cryptsoft.com).
109  *
110  */
111
112 #include <stdio.h>
113 #include <time.h>
114 #include "cryptlib.h"
115 #include "bn_lcl.h"
116 #include <openssl/rand.h>
117
118 /*
119  * NB: these functions have been "upgraded", the deprecated versions (which
120  * are compatibility wrappers using these functions) are in bn_depr.c. -
121  * Geoff
122  */
123
124 /*
125  * The quick sieve algorithm approach to weeding out primes is Philip
126  * Zimmermann's, as implemented in PGP.  I have had a read of his comments
127  * and implemented my own version.
128  */
129 #include "bn_prime.h"
130
131 static int witness(BIGNUM *w, const BIGNUM *a, const BIGNUM *a1,
132                    const BIGNUM *a1_odd, int k, BN_CTX *ctx,
133                    BN_MONT_CTX *mont);
134 static int probable_prime(BIGNUM *rnd, int bits);
135 static int probable_prime_dh(BIGNUM *rnd, int bits,
136                              const BIGNUM *add, const BIGNUM *rem,
137                              BN_CTX *ctx);
138 static int probable_prime_dh_safe(BIGNUM *rnd, int bits, const BIGNUM *add,
139                                   const BIGNUM *rem, BN_CTX *ctx);
140
141 int BN_GENCB_call(BN_GENCB *cb, int a, int b)
142 {
143     /* No callback means continue */
144     if (!cb)
145         return 1;
146     switch (cb->ver) {
147     case 1:
148         /* Deprecated-style callbacks */
149         if (!cb->cb.cb_1)
150             return 1;
151         cb->cb.cb_1(a, b, cb->arg);
152         return 1;
153     case 2:
154         /* New-style callbacks */
155         return cb->cb.cb_2(a, b, cb);
156     default:
157         break;
158     }
159     /* Unrecognised callback type */
160     return 0;
161 }
162
163 int BN_generate_prime_ex(BIGNUM *ret, int bits, int safe,
164                          const BIGNUM *add, const BIGNUM *rem, BN_GENCB *cb)
165 {
166     BIGNUM *t;
167     int found = 0;
168     int i, j, c1 = 0;
169     BN_CTX *ctx;
170     int checks = BN_prime_checks_for_size(bits);
171
172     ctx = BN_CTX_new();
173     if (ctx == NULL)
174         goto err;
175     BN_CTX_start(ctx);
176     t = BN_CTX_get(ctx);
177     if (!t)
178         goto err;
179  loop:
180     /* make a random number and set the top and bottom bits */
181     if (add == NULL) {
182         if (!probable_prime(ret, bits))
183             goto err;
184     } else {
185         if (safe) {
186             if (!probable_prime_dh_safe(ret, bits, add, rem, ctx))
187                 goto err;
188         } else {
189             if (!probable_prime_dh(ret, bits, add, rem, ctx))
190                 goto err;
191         }
192     }
193     /* if (BN_mod_word(ret,(BN_ULONG)3) == 1) goto loop; */
194     if (!BN_GENCB_call(cb, 0, c1++))
195         /* aborted */
196         goto err;
197
198     if (!safe) {
199         i = BN_is_prime_fasttest_ex(ret, checks, ctx, 0, cb);
200         if (i == -1)
201             goto err;
202         if (i == 0)
203             goto loop;
204     } else {
205         /*
206          * for "safe prime" generation, check that (p-1)/2 is prime. Since a
207          * prime is odd, We just need to divide by 2
208          */
209         if (!BN_rshift1(t, ret))
210             goto err;
211
212         for (i = 0; i < checks; i++) {
213             j = BN_is_prime_fasttest_ex(ret, 1, ctx, 0, cb);
214             if (j == -1)
215                 goto err;
216             if (j == 0)
217                 goto loop;
218
219             j = BN_is_prime_fasttest_ex(t, 1, ctx, 0, cb);
220             if (j == -1)
221                 goto err;
222             if (j == 0)
223                 goto loop;
224
225             if (!BN_GENCB_call(cb, 2, c1 - 1))
226                 goto err;
227             /* We have a safe prime test pass */
228         }
229     }
230     /* we have a prime :-) */
231     found = 1;
232  err:
233     if (ctx != NULL) {
234         BN_CTX_end(ctx);
235         BN_CTX_free(ctx);
236     }
237     bn_check_top(ret);
238     return found;
239 }
240
241 int BN_is_prime_ex(const BIGNUM *a, int checks, BN_CTX *ctx_passed,
242                    BN_GENCB *cb)
243 {
244     return BN_is_prime_fasttest_ex(a, checks, ctx_passed, 0, cb);
245 }
246
247 int BN_is_prime_fasttest_ex(const BIGNUM *a, int checks, BN_CTX *ctx_passed,
248                             int do_trial_division, BN_GENCB *cb)
249 {
250     int i, j, ret = -1;
251     int k;
252     BN_CTX *ctx = NULL;
253     BIGNUM *A1, *A1_odd, *check; /* taken from ctx */
254     BN_MONT_CTX *mont = NULL;
255     const BIGNUM *A = NULL;
256
257     if (BN_cmp(a, BN_value_one()) <= 0)
258         return 0;
259
260     if (checks == BN_prime_checks)
261         checks = BN_prime_checks_for_size(BN_num_bits(a));
262
263     /* first look for small factors */
264     if (!BN_is_odd(a))
265         /* a is even => a is prime if and only if a == 2 */
266         return BN_is_word(a, 2);
267     if (do_trial_division) {
268         for (i = 1; i < NUMPRIMES; i++)
269             if (BN_mod_word(a, primes[i]) == 0)
270                 return 0;
271         if (!BN_GENCB_call(cb, 1, -1))
272             goto err;
273     }
274
275     if (ctx_passed != NULL)
276         ctx = ctx_passed;
277     else if ((ctx = BN_CTX_new()) == NULL)
278         goto err;
279     BN_CTX_start(ctx);
280
281     /* A := abs(a) */
282     if (a->neg) {
283         BIGNUM *t;
284         if ((t = BN_CTX_get(ctx)) == NULL)
285             goto err;
286         if (BN_copy(t, a) == NULL)
287             goto err;
288         t->neg = 0;
289         A = t;
290     } else
291         A = a;
292     A1 = BN_CTX_get(ctx);
293     A1_odd = BN_CTX_get(ctx);
294     check = BN_CTX_get(ctx);
295     if (check == NULL)
296         goto err;
297
298     /* compute A1 := A - 1 */
299     if (!BN_copy(A1, A))
300         goto err;
301     if (!BN_sub_word(A1, 1))
302         goto err;
303     if (BN_is_zero(A1)) {
304         ret = 0;
305         goto err;
306     }
307
308     /* write  A1  as  A1_odd * 2^k */
309     k = 1;
310     while (!BN_is_bit_set(A1, k))
311         k++;
312     if (!BN_rshift(A1_odd, A1, k))
313         goto err;
314
315     /* Montgomery setup for computations mod A */
316     mont = BN_MONT_CTX_new();
317     if (mont == NULL)
318         goto err;
319     if (!BN_MONT_CTX_set(mont, A, ctx))
320         goto err;
321
322     for (i = 0; i < checks; i++) {
323         if (!BN_pseudo_rand_range(check, A1))
324             goto err;
325         if (!BN_add_word(check, 1))
326             goto err;
327         /* now 1 <= check < A */
328
329         j = witness(check, A, A1, A1_odd, k, ctx, mont);
330         if (j == -1)
331             goto err;
332         if (j) {
333             ret = 0;
334             goto err;
335         }
336         if (!BN_GENCB_call(cb, 1, i))
337             goto err;
338     }
339     ret = 1;
340  err:
341     if (ctx != NULL) {
342         BN_CTX_end(ctx);
343         if (ctx_passed == NULL)
344             BN_CTX_free(ctx);
345     }
346     if (mont != NULL)
347         BN_MONT_CTX_free(mont);
348
349     return (ret);
350 }
351
352 static int witness(BIGNUM *w, const BIGNUM *a, const BIGNUM *a1,
353                    const BIGNUM *a1_odd, int k, BN_CTX *ctx,
354                    BN_MONT_CTX *mont)
355 {
356     if (!BN_mod_exp_mont(w, w, a1_odd, a, ctx, mont)) /* w := w^a1_odd mod a */
357         return -1;
358     if (BN_is_one(w))
359         return 0;               /* probably prime */
360     if (BN_cmp(w, a1) == 0)
361         return 0;               /* w == -1 (mod a), 'a' is probably prime */
362     while (--k) {
363         if (!BN_mod_mul(w, w, w, a, ctx)) /* w := w^2 mod a */
364             return -1;
365         if (BN_is_one(w))
366             return 1;           /* 'a' is composite, otherwise a previous 'w'
367                                  * would have been == -1 (mod 'a') */
368         if (BN_cmp(w, a1) == 0)
369             return 0;           /* w == -1 (mod a), 'a' is probably prime */
370     }
371     /*
372      * If we get here, 'w' is the (a-1)/2-th power of the original 'w', and
373      * it is neither -1 nor +1 -- so 'a' cannot be prime
374      */
375     bn_check_top(w);
376     return 1;
377 }
378
379 static int probable_prime(BIGNUM *rnd, int bits)
380 {
381     int i;
382     prime_t mods[NUMPRIMES];
383     BN_ULONG delta, maxdelta;
384
385  again:
386     if (!BN_rand(rnd, bits, 1, 1))
387         return (0);
388     /* we now have a random number 'rand' to test. */
389     for (i = 1; i < NUMPRIMES; i++)
390         mods[i] = (prime_t) BN_mod_word(rnd, (BN_ULONG)primes[i]);
391     maxdelta = BN_MASK2 - primes[NUMPRIMES - 1];
392     delta = 0;
393  loop:for (i = 1; i < NUMPRIMES; i++) {
394         /*
395          * check that rnd is not a prime and also that gcd(rnd-1,primes) == 1
396          * (except for 2)
397          */
398         if (((mods[i] + delta) % primes[i]) <= 1) {
399             delta += 2;
400             if (delta > maxdelta)
401                 goto again;
402             goto loop;
403         }
404     }
405     if (!BN_add_word(rnd, delta))
406         return (0);
407     bn_check_top(rnd);
408     return (1);
409 }
410
411 static int probable_prime_dh(BIGNUM *rnd, int bits,
412                              const BIGNUM *add, const BIGNUM *rem,
413                              BN_CTX *ctx)
414 {
415     int i, ret = 0;
416     BIGNUM *t1;
417
418     BN_CTX_start(ctx);
419     if ((t1 = BN_CTX_get(ctx)) == NULL)
420         goto err;
421
422     if (!BN_rand(rnd, bits, 0, 1))
423         goto err;
424
425     /* we need ((rnd-rem) % add) == 0 */
426
427     if (!BN_mod(t1, rnd, add, ctx))
428         goto err;
429     if (!BN_sub(rnd, rnd, t1))
430         goto err;
431     if (rem == NULL) {
432         if (!BN_add_word(rnd, 1))
433             goto err;
434     } else {
435         if (!BN_add(rnd, rnd, rem))
436             goto err;
437     }
438
439     /* we now have a random number 'rand' to test. */
440
441  loop:for (i = 1; i < NUMPRIMES; i++) {
442         /* check that rnd is a prime */
443         if (BN_mod_word(rnd, (BN_ULONG)primes[i]) <= 1) {
444             if (!BN_add(rnd, rnd, add))
445                 goto err;
446             goto loop;
447         }
448     }
449     ret = 1;
450  err:
451     BN_CTX_end(ctx);
452     bn_check_top(rnd);
453     return (ret);
454 }
455
456 static int probable_prime_dh_safe(BIGNUM *p, int bits, const BIGNUM *padd,
457                                   const BIGNUM *rem, BN_CTX *ctx)
458 {
459     int i, ret = 0;
460     BIGNUM *t1, *qadd, *q;
461
462     bits--;
463     BN_CTX_start(ctx);
464     t1 = BN_CTX_get(ctx);
465     q = BN_CTX_get(ctx);
466     qadd = BN_CTX_get(ctx);
467     if (qadd == NULL)
468         goto err;
469
470     if (!BN_rshift1(qadd, padd))
471         goto err;
472
473     if (!BN_rand(q, bits, 0, 1))
474         goto err;
475
476     /* we need ((rnd-rem) % add) == 0 */
477     if (!BN_mod(t1, q, qadd, ctx))
478         goto err;
479     if (!BN_sub(q, q, t1))
480         goto err;
481     if (rem == NULL) {
482         if (!BN_add_word(q, 1))
483             goto err;
484     } else {
485         if (!BN_rshift1(t1, rem))
486             goto err;
487         if (!BN_add(q, q, t1))
488             goto err;
489     }
490
491     /* we now have a random number 'rand' to test. */
492     if (!BN_lshift1(p, q))
493         goto err;
494     if (!BN_add_word(p, 1))
495         goto err;
496
497  loop:for (i = 1; i < NUMPRIMES; i++) {
498         /* check that p and q are prime */
499         /*
500          * check that for p and q gcd(p-1,primes) == 1 (except for 2)
501          */
502         if ((BN_mod_word(p, (BN_ULONG)primes[i]) == 0) ||
503             (BN_mod_word(q, (BN_ULONG)primes[i]) == 0)) {
504             if (!BN_add(p, p, padd))
505                 goto err;
506             if (!BN_add(q, q, qadd))
507                 goto err;
508             goto loop;
509         }
510     }
511     ret = 1;
512  err:
513     BN_CTX_end(ctx);
514     bn_check_top(p);
515     return (ret);
516 }