Fix clearly untested "clever" hack.
[openssl.git] / crypto / bn / bn_prime.c
1 /* crypto/bn/bn_prime.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include <time.h>
61 #include "cryptlib.h"
62 #include "bn_lcl.h"
63 #include "rand.h"
64
65 /* The quick seive algorithm approach to weeding out primes is
66  * Philip Zimmermann's, as implemented in PGP.  I have had a read of
67  * his comments and implemented my own version.
68  */
69 #include "bn_prime.h"
70
71 #ifndef NOPROTO
72 static int witness(BIGNUM *a, BIGNUM *n, BN_CTX *ctx,BN_CTX *ctx2,
73         BN_MONT_CTX *mont);
74 static int probable_prime(BIGNUM *rnd, int bits);
75 static int probable_prime_dh(BIGNUM *rnd, int bits,
76         BIGNUM *add, BIGNUM *rem, BN_CTX *ctx);
77 static int probable_prime_dh_strong(BIGNUM *rnd, int bits,
78         BIGNUM *add, BIGNUM *rem, BN_CTX *ctx);
79 #else
80 static int witness();
81 static int probable_prime();
82 static int probable_prime_dh();
83 static int probable_prime_dh_strong();
84 #endif
85
86 BIGNUM *BN_generate_prime(ret,bits,strong,add,rem,callback,cb_arg)
87 BIGNUM *ret;
88 int bits;
89 int strong;
90 BIGNUM *add;
91 BIGNUM *rem;
92 void (*callback)(P_I_I_P); 
93 char *cb_arg;
94         {
95         BIGNUM *rnd=NULL;
96         BIGNUM t;
97         int i,j,c1=0;
98         BN_CTX *ctx;
99
100         ctx=BN_CTX_new();
101         if (ctx == NULL) goto err;
102         if (ret == NULL)
103                 {
104                 if ((rnd=BN_new()) == NULL) goto err;
105                 }
106         else
107                 rnd=ret;
108         BN_init(&t);
109 loop: 
110         /* make a random number and set the top and bottom bits */
111         if (add == NULL)
112                 {
113                 if (!probable_prime(rnd,bits)) goto err;
114                 }
115         else
116                 {
117                 if (strong)
118                         {
119                         if (!probable_prime_dh_strong(rnd,bits,add,rem,ctx))
120                                  goto err;
121                         }
122                 else
123                         {
124                         if (!probable_prime_dh(rnd,bits,add,rem,ctx))
125                                 goto err;
126                         }
127                 }
128         /* if (BN_mod_word(rnd,(BN_ULONG)3) == 1) goto loop; */
129         if (callback != NULL) callback(0,c1++,cb_arg);
130
131         if (!strong)
132                 {
133                 i=BN_is_prime(rnd,BN_prime_checks,callback,ctx,cb_arg);
134                 if (i == -1) goto err;
135                 if (i == 0) goto loop;
136                 }
137         else
138                 {
139                 /* for a strong prime generation,
140                  * check that (p-1)/2 is prime.
141                  * Since a prime is odd, We just
142                  * need to divide by 2 */
143                 if (!BN_rshift1(&t,rnd)) goto err;
144
145                 for (i=0; i<BN_prime_checks; i++)
146                         {
147                         j=BN_is_prime(rnd,1,callback,ctx,cb_arg);
148                         if (j == -1) goto err;
149                         if (j == 0) goto loop;
150
151                         j=BN_is_prime(&t,1,callback,ctx,cb_arg);
152                         if (j == -1) goto err;
153                         if (j == 0) goto loop;
154
155                         if (callback != NULL) callback(2,c1-1,cb_arg);
156                         /* We have a strong prime test pass */
157                         }
158                 }
159         /* we have a prime :-) */
160         ret=rnd;
161 err:
162         if ((ret == NULL) && (rnd != NULL)) BN_free(rnd);
163         BN_free(&t);
164         if (ctx != NULL) BN_CTX_free(ctx);
165         return(ret);
166         }
167
168 int BN_is_prime(a,checks,callback,ctx_passed,cb_arg)
169 BIGNUM *a;
170 int checks;
171 void (*callback)(P_I_I_P);
172 BN_CTX *ctx_passed;
173 char *cb_arg;
174         {
175         int i,j,c2=0,ret= -1;
176         BIGNUM *check;
177         BN_CTX *ctx=NULL,*ctx2=NULL;
178         BN_MONT_CTX *mont=NULL;
179
180         if (!BN_is_odd(a))
181                 return(0);
182         if (ctx_passed != NULL)
183                 ctx=ctx_passed;
184         else
185                 if ((ctx=BN_CTX_new()) == NULL) goto err;
186
187         if ((ctx2=BN_CTX_new()) == NULL) goto err;
188         if ((mont=BN_MONT_CTX_new()) == NULL) goto err;
189
190         check= &(ctx->bn[ctx->tos++]);
191
192         /* Setup the montgomery structure */
193         if (!BN_MONT_CTX_set(mont,a,ctx2)) goto err;
194
195         for (i=0; i<checks; i++)
196                 {
197                 if (!BN_rand(check,BN_num_bits(a)-1,0,0)) goto err;
198                 j=witness(check,a,ctx,ctx2,mont);
199                 if (j == -1) goto err;
200                 if (j)
201                         {
202                         ret=0;
203                         goto err;
204                         }
205                 if (callback != NULL) callback(1,c2++,cb_arg);
206                 }
207         ret=1;
208 err:
209         ctx->tos--;
210         if ((ctx_passed == NULL) && (ctx != NULL))
211                 BN_CTX_free(ctx);
212         if (ctx2 != NULL)
213                 BN_CTX_free(ctx2);
214         if (mont != NULL) BN_MONT_CTX_free(mont);
215                 
216         return(ret);
217         }
218
219 #define RECP_MUL_MOD
220
221 static int witness(a,n,ctx,ctx2,mont)
222 BIGNUM *a;
223 BIGNUM *n;
224 BN_CTX *ctx,*ctx2;
225 BN_MONT_CTX *mont;
226         {
227         int k,i,ret= -1,good;
228         BIGNUM *d,*dd,*tmp,*d1,*d2,*n1;
229         BIGNUM *mont_one,*mont_n1,*mont_a;
230
231         d1= &(ctx->bn[ctx->tos]);
232         d2= &(ctx->bn[ctx->tos+1]);
233         n1= &(ctx->bn[ctx->tos+2]);
234         ctx->tos+=3;
235
236         mont_one= &(ctx2->bn[ctx2->tos]);
237         mont_n1= &(ctx2->bn[ctx2->tos+1]);
238         mont_a= &(ctx2->bn[ctx2->tos+2]);
239         ctx2->tos+=3;
240
241         d=d1;
242         dd=d2;
243         if (!BN_one(d)) goto err;
244         if (!BN_sub(n1,n,d)) goto err; /* n1=n-1; */
245         k=BN_num_bits(n1);
246
247         if (!BN_to_montgomery(mont_one,BN_value_one(),mont,ctx2)) goto err;
248         if (!BN_to_montgomery(mont_n1,n1,mont,ctx2)) goto err;
249         if (!BN_to_montgomery(mont_a,a,mont,ctx2)) goto err;
250
251         BN_copy(d,mont_one);
252         for (i=k-1; i>=0; i--)
253                 {
254                 if (    (BN_cmp(d,mont_one) != 0) &&
255                         (BN_cmp(d,mont_n1) != 0))
256                         good=1;
257                 else
258                         good=0;
259
260                 BN_mod_mul_montgomery(dd,d,d,mont,ctx2);
261
262                 if (good && (BN_cmp(dd,mont_one) == 0))
263                         {
264                         ret=1;
265                         goto err;
266                         }
267                 if (BN_is_bit_set(n1,i))
268                         {
269                         BN_mod_mul_montgomery(d,dd,mont_a,mont,ctx2);
270                         }
271                 else
272                         {
273                         tmp=d;
274                         d=dd;
275                         dd=tmp;
276                         }
277                 }
278         if (BN_cmp(d,mont_one) == 0)
279                 i=0;
280         else    i=1;
281         ret=i;
282 err:
283         ctx->tos-=3;
284         ctx2->tos-=3;
285         return(ret);
286         }
287
288 static int probable_prime(rnd, bits)
289 BIGNUM *rnd;
290 int bits;
291         {
292         int i;
293         MS_STATIC BN_ULONG mods[NUMPRIMES];
294         BN_ULONG delta,d;
295
296 again:
297         if (!BN_rand(rnd,bits,1,1)) return(0);
298         /* we now have a random number 'rand' to test. */
299         for (i=1; i<NUMPRIMES; i++)
300                 mods[i]=BN_mod_word(rnd,(BN_ULONG)primes[i]);
301         delta=0;
302         loop: for (i=1; i<NUMPRIMES; i++)
303                 {
304                 /* check that rnd is not a prime and also
305                  * that gcd(rnd-1,primes) == 1 (except for 2) */
306                 if (((mods[i]+delta)%primes[i]) <= 1)
307                         {
308                         d=delta;
309                         delta+=2;
310                         /* perhaps need to check for overflow of
311                          * delta (but delta can be upto 2^32)
312                          * 21-May-98 eay - added overflow check */
313                         if (delta < d) goto again;
314                         goto loop;
315                         }
316                 }
317         if (!BN_add_word(rnd,delta)) return(0);
318         return(1);
319         }
320
321 static int probable_prime_dh(rnd, bits, add, rem,ctx)
322 BIGNUM *rnd;
323 int bits;
324 BIGNUM *add;
325 BIGNUM *rem;
326 BN_CTX *ctx;
327         {
328         int i,ret=0;
329         BIGNUM *t1;
330
331         t1= &(ctx->bn[ctx->tos++]);
332
333         if (!BN_rand(rnd,bits,0,1)) goto err;
334
335         /* we need ((rnd-rem) % add) == 0 */
336
337         if (!BN_mod(t1,rnd,add,ctx)) goto err;
338         if (!BN_sub(rnd,rnd,t1)) goto err;
339         if (rem == NULL)
340                 { if (!BN_add_word(rnd,1)) goto err; }
341         else
342                 { if (!BN_add(rnd,rnd,rem)) goto err; }
343
344         /* we now have a random number 'rand' to test. */
345
346         loop: for (i=1; i<NUMPRIMES; i++)
347                 {
348                 /* check that rnd is a prime */
349                 if (BN_mod_word(rnd,(BN_LONG)primes[i]) <= 1)
350                         {
351                         if (!BN_add(rnd,rnd,add)) goto err;
352                         goto loop;
353                         }
354                 }
355         ret=1;
356 err:
357         ctx->tos--;
358         return(ret);
359         }
360
361 static int probable_prime_dh_strong(p, bits, padd, rem,ctx)
362 BIGNUM *p;
363 int bits;
364 BIGNUM *padd;
365 BIGNUM *rem;
366 BN_CTX *ctx;
367         {
368         int i,ret=0;
369         BIGNUM *t1,*qadd=NULL,*q=NULL;
370
371         bits--;
372         t1= &(ctx->bn[ctx->tos++]);
373         q= &(ctx->bn[ctx->tos++]);
374         qadd= &(ctx->bn[ctx->tos++]);
375
376         if (!BN_rshift1(qadd,padd)) goto err;
377                 
378         if (!BN_rand(q,bits,0,1)) goto err;
379
380         /* we need ((rnd-rem) % add) == 0 */
381         if (!BN_mod(t1,q,qadd,ctx)) goto err;
382         if (!BN_sub(q,q,t1)) goto err;
383         if (rem == NULL)
384                 { if (!BN_add_word(q,1)) goto err; }
385         else
386                 {
387                 if (!BN_rshift1(t1,rem)) goto err;
388                 if (!BN_add(q,q,t1)) goto err;
389                 }
390
391         /* we now have a random number 'rand' to test. */
392         if (!BN_lshift1(p,q)) goto err;
393         if (!BN_add_word(p,1)) goto err;
394
395         loop: for (i=1; i<NUMPRIMES; i++)
396                 {
397                 /* check that p and q are prime */
398                 /* check that for p and q
399                  * gcd(p-1,primes) == 1 (except for 2) */
400                 if (    (BN_mod_word(p,(BN_LONG)primes[i]) == 0) ||
401                         (BN_mod_word(q,(BN_LONG)primes[i]) == 0))
402                         {
403                         if (!BN_add(p,p,padd)) goto err;
404                         if (!BN_add(q,q,qadd)) goto err;
405                         goto loop;
406                         }
407                 }
408         ret=1;
409 err:
410         ctx->tos-=3;
411         return(ret);
412         }
413
414 #if 0
415 static int witness(a, n,ctx)
416 BIGNUM *a;
417 BIGNUM *n;
418 BN_CTX *ctx;
419         {
420         int k,i,nb,ret= -1;
421         BIGNUM *d,*dd,*tmp;
422         BIGNUM *d1,*d2,*x,*n1,*inv;
423
424         d1= &(ctx->bn[ctx->tos]);
425         d2= &(ctx->bn[ctx->tos+1]);
426         x=  &(ctx->bn[ctx->tos+2]);
427         n1= &(ctx->bn[ctx->tos+3]);
428         inv=&(ctx->bn[ctx->tos+4]);
429         ctx->tos+=5;
430
431         d=d1;
432         dd=d2;
433         if (!BN_one(d)) goto err;
434         if (!BN_sub(n1,n,d)) goto err; /* n1=n-1; */
435         k=BN_num_bits(n1);
436
437         /* i=BN_num_bits(n); */
438 #ifdef RECP_MUL_MOD
439         nb=BN_reciprocal(inv,n,ctx); /**/
440         if (nb == -1) goto err;
441 #endif
442
443         for (i=k-1; i>=0; i--)
444                 {
445                 if (BN_copy(x,d) == NULL) goto err;
446 #ifndef RECP_MUL_MOD
447                 if (!BN_mod_mul(dd,d,d,n,ctx)) goto err;
448 #else
449                 if (!BN_mod_mul_reciprocal(dd,d,d,n,inv,nb,ctx)) goto err;
450 #endif
451                 if (    BN_is_one(dd) &&
452                         !BN_is_one(x) &&
453                         (BN_cmp(x,n1) != 0))
454                         {
455                         ret=1;
456                         goto err;
457                         }
458                 if (BN_is_bit_set(n1,i))
459                         {
460 #ifndef RECP_MUL_MOD
461                         if (!BN_mod_mul(d,dd,a,n,ctx)) goto err;
462 #else
463                         if (!BN_mod_mul_reciprocal(d,dd,a,n,inv,nb,ctx)) goto err; 
464 #endif
465                         }
466                 else
467                         {
468                         tmp=d;
469                         d=dd;
470                         dd=tmp;
471                         }
472                 }
473         if (BN_is_one(d))
474                 i=0;
475         else    i=1;
476         ret=i;
477 err:
478         ctx->tos-=5;
479         return(ret);
480         }
481 #endif