rndsort{Miller, Rabin} primality test.
[openssl.git] / crypto / bn / bn_prime.c
index 0c85f70b59ccedb53cc3d174303a14f1f19b903c..21d49affda6435a3b5110c0d2d8973a53821a499 100644 (file)
 #include <time.h>
 #include "cryptlib.h"
 #include "bn_lcl.h"
-#include "rand.h"
+#include <openssl/rand.h>
 
-/* The quick seive algorithm approach to weeding out primes is
+/* The quick sieve algorithm approach to weeding out primes is
  * Philip Zimmermann's, as implemented in PGP.  I have had a read of
  * his comments and implemented my own version.
  */
 #include "bn_prime.h"
 
-#ifndef NOPROTO
-static int witness(BIGNUM *a, BIGNUM *n, BN_CTX *ctx,BN_CTX *ctx2,
-       BN_MONT_CTX *mont);
+static int witness(BIGNUM *w, BIGNUM *a, BIGNUM *a1, BIGNUM *a1_odd, int k,
+       BN_CTX *ctx, BN_MONT_CTX *mont);
 static int probable_prime(BIGNUM *rnd, int bits);
 static int probable_prime_dh(BIGNUM *rnd, int bits,
        BIGNUM *add, BIGNUM *rem, BN_CTX *ctx);
-static int probable_prime_dh_strong(BIGNUM *rnd, int bits,
+static int probable_prime_dh_safe(BIGNUM *rnd, int bits,
        BIGNUM *add, BIGNUM *rem, BN_CTX *ctx);
-#else
-static int witness();
-static int probable_prime();
-static int probable_prime_dh();
-static int probable_prime_dh_strong();
-#endif
-
-BIGNUM *BN_generate_prime(bits,strong,add,rem,callback,cb_arg)
-int bits;
-int strong;
-BIGNUM *add;
-BIGNUM *rem;
-void (*callback)(P_I_I_P); 
-char *cb_arg;
+
+BIGNUM *BN_generate_prime(BIGNUM *ret, int bits, int safe, BIGNUM *add,
+            BIGNUM *rem, void (*callback)(int,int,void *), void *cb_arg)
        {
        BIGNUM *rnd=NULL;
-       BIGNUM *ret=NULL;
-       BIGNUM *t=NULL;
+       BIGNUM t;
+       int found=0;
        int i,j,c1=0;
        BN_CTX *ctx;
+       int checks = BN_prime_checks_for_size(bits);
 
        ctx=BN_CTX_new();
        if (ctx == NULL) goto err;
-       if ((rnd=BN_new()) == NULL) goto err;
-       if (strong)
-               if ((t=BN_new()) == NULL) goto err;
+       if (ret == NULL)
+               {
+               if ((rnd=BN_new()) == NULL) goto err;
+               }
+       else
+               rnd=ret;
+       BN_init(&t);
 loop: 
        /* make a random number and set the top and bottom bits */
        if (add == NULL)
@@ -110,9 +103,9 @@ loop:
                }
        else
                {
-               if (strong)
+               if (safe)
                        {
-                       if (!probable_prime_dh_strong(rnd,bits,add,rem,ctx))
+                       if (!probable_prime_dh_safe(rnd,bits,add,rem,ctx))
                                 goto err;
                        }
                else
@@ -124,171 +117,174 @@ loop:
        /* if (BN_mod_word(rnd,(BN_ULONG)3) == 1) goto loop; */
        if (callback != NULL) callback(0,c1++,cb_arg);
 
-       if (!strong)
+       if (!safe)
                {
-               i=BN_is_prime(rnd,BN_prime_checks,callback,ctx,cb_arg);
+               i=BN_is_prime_fasttest(rnd,checks,callback,ctx,cb_arg,0);
                if (i == -1) goto err;
                if (i == 0) goto loop;
                }
        else
                {
-               /* for a strong prime generation,
+               /* for "safe prime" generation,
                 * check that (p-1)/2 is prime.
                 * Since a prime is odd, We just
                 * need to divide by 2 */
-               if (!BN_rshift1(t,rnd)) goto err;
+               if (!BN_rshift1(&t,rnd)) goto err;
 
-               for (i=0; i<BN_prime_checks; i++)
+               for (i=0; i<checks; i++)
                        {
-                       j=BN_is_prime(rnd,1,callback,ctx,cb_arg);
+                       j=BN_is_prime_fasttest(rnd,1,callback,ctx,cb_arg,0);
                        if (j == -1) goto err;
                        if (j == 0) goto loop;
 
-                       j=BN_is_prime(t,1,callback,ctx,cb_arg);
+                       j=BN_is_prime_fasttest(&t,1,callback,ctx,cb_arg,0);
                        if (j == -1) goto err;
                        if (j == 0) goto loop;
 
                        if (callback != NULL) callback(2,c1-1,cb_arg);
-                       /* We have a strong prime test pass */
+                       /* We have a safe prime test pass */
                        }
                }
        /* we have a prime :-) */
-       ret=rnd;
+       found = 1;
 err:
-       if ((ret == NULL) && (rnd != NULL)) BN_free(rnd);
-       if (t != NULL) BN_free(t);
+       if (!found && (ret == NULL) && (rnd != NULL)) BN_free(rnd);
+       BN_free(&t);
        if (ctx != NULL) BN_CTX_free(ctx);
-       return(ret);
+       return(found ? rnd : NULL);
+       }
+
+int BN_is_prime(BIGNUM *a, int checks, void (*callback)(int,int,void *),
+       BN_CTX *ctx_passed, void *cb_arg)
+       {
+       return BN_is_prime_fasttest(a, checks, callback, ctx_passed, cb_arg, 0);
        }
 
-int BN_is_prime(a,checks,callback,ctx_passed,cb_arg)
-BIGNUM *a;
-int checks;
-void (*callback)(P_I_I_P);
-BN_CTX *ctx_passed;
-char *cb_arg;
+int BN_is_prime_fasttest(BIGNUM *a, int checks,
+               void (*callback)(int,int,void *),
+               BN_CTX *ctx_passed, void *cb_arg,
+               int do_trial_division)
        {
-       int i,j,c2=0,ret= -1;
-       BIGNUM *check;
-       BN_CTX *ctx=NULL,*ctx2=NULL;
-       BN_MONT_CTX *mont=NULL;
+       int i, j, ret = -1;
+       int k;
+       BN_CTX *ctx = NULL;
+       BIGNUM *a1, *a1_odd, *check; /* taken from ctx */
+       BN_MONT_CTX *mont = NULL;
 
+       if (checks == BN_prime_checks)
+               checks = BN_prime_checks_for_size(BN_num_bits(a));
+
+       if (a->neg) /* for now, refuse to handle negative numbers */
+               return -1;
+
+       /* first look for small factors */
        if (!BN_is_odd(a))
                return(0);
+       if (do_trial_division)
+               {
+               for (i = 1; i < NUMPRIMES; i++)
+                       if (BN_mod_word(a, primes[i]) == 0) 
+                               return 0;
+               if (callback != NULL) callback(1, -1, cb_arg);
+               }
+
        if (ctx_passed != NULL)
-               ctx=ctx_passed;
+               ctx = ctx_passed;
        else
-               if ((ctx=BN_CTX_new()) == NULL) goto err;
-
-       if ((ctx2=BN_CTX_new()) == NULL) goto err;
-       if ((mont=BN_MONT_CTX_new()) == NULL) goto err;
-
-       check=ctx->bn[ctx->tos++];
-
-       /* Setup the montgomery structure */
-       if (!BN_MONT_CTX_set(mont,a,ctx2)) goto err;
+               if ((ctx=BN_CTX_new()) == NULL)
+                       goto err;
+       a1 = &(ctx->bn[ctx->tos++]);
+       a1_odd = &(ctx->bn[ctx->tos++]);
+       check = &(ctx->bn[ctx->tos++]);;
+
+       /* compute a1 := a - 1 */
+       if (!BN_copy(a1, a))
+               goto err;
+       if (!BN_sub_word(a1, 1))
+               goto err;
+       if (BN_is_zero(a1))
+               {
+               ret = 0;
+               goto err;
+               }
 
-       for (i=0; i<checks; i++)
+       /* write  a1  as  a1_odd * 2^k */
+       k = 1;
+       while (!BN_is_bit_set(a1, k))
+               k++;
+       if (!BN_rshift(a1_odd, a1, k))
+               goto err;
+
+       /* Montgomery setup for computations mod a */
+       mont = BN_MONT_CTX_new();
+       if (mont == NULL)
+               goto err;
+       if (!BN_MONT_CTX_set(mont, a, ctx))
+               goto err;
+       
+       for (i = 0; i < checks; i++)
                {
-               if (!BN_rand(check,BN_num_bits(a)-1,0,0)) goto err;
-               j=witness(check,a,ctx,ctx2,mont);
+               if (!BN_pseudo_rand(check, BN_num_bits(a1), 0, 0))
+                       goto err;
+               if (BN_cmp(check, a1) >= 0)
+                       if (!BN_sub(check, check, a1))
+                               goto err;
+               if (!BN_add_word(check, 1))
+                       goto err;
+               /* now 1 <= check < a */
+
+               j = witness(check, a, a1, a1_odd, k, ctx, mont);
                if (j == -1) goto err;
                if (j)
                        {
                        ret=0;
                        goto err;
                        }
-               if (callback != NULL) callback(1,c2++,cb_arg);
+               if (callback != NULL) callback(1,i,cb_arg);
                }
        ret=1;
 err:
-       ctx->tos--;
-       if ((ctx_passed == NULL) && (ctx != NULL))
+       if (ctx_passed != NULL)
+               ctx_passed->tos -= 3; /* a1, a1_odd, check */
+       else if (ctx != NULL)
                BN_CTX_free(ctx);
-       if (ctx2 != NULL)
-               BN_CTX_free(ctx2);
-       if (mont != NULL) BN_MONT_CTX_free(mont);
-               
+       if (mont != NULL)
+               BN_MONT_CTX_free(mont);
+
        return(ret);
        }
 
-#define RECP_MUL_MOD
-
-static int witness(a,n,ctx,ctx2,mont)
-BIGNUM *a;
-BIGNUM *n;
-BN_CTX *ctx,*ctx2;
-BN_MONT_CTX *mont;
+static int witness(BIGNUM *w, BIGNUM *a, BIGNUM *a1, BIGNUM *a1_odd, int k,
+       BN_CTX *ctx, BN_MONT_CTX *mont)
        {
-       int k,i,ret= -1,good;
-       BIGNUM *d,*dd,*tmp,*d1,*d2,*n1;
-       BIGNUM *mont_one,*mont_n1,*mont_a;
-
-       d1=ctx->bn[ctx->tos];
-       d2=ctx->bn[ctx->tos+1];
-       n1=ctx->bn[ctx->tos+2];
-       ctx->tos+=3;
-
-       mont_one=ctx2->bn[ctx2->tos];
-       mont_n1=ctx2->bn[ctx2->tos+1];
-       mont_a=ctx2->bn[ctx2->tos+2];
-       ctx2->tos+=3;
-
-       d=d1;
-       dd=d2;
-       if (!BN_one(d)) goto err;
-       if (!BN_sub(n1,n,d)) goto err; /* n1=n-1; */
-       k=BN_num_bits(n1);
-
-       if (!BN_to_montgomery(mont_one,BN_value_one(),mont,ctx2)) goto err;
-       if (!BN_to_montgomery(mont_n1,n1,mont,ctx2)) goto err;
-       if (!BN_to_montgomery(mont_a,a,mont,ctx2)) goto err;
-
-       BN_copy(d,mont_one);
-       for (i=k-1; i>=0; i--)
+       if (!BN_mod_exp_mont(w, w, a1_odd, a, ctx, mont)) /* w := w^a1_odd mod a */
+               return -1;
+       if (BN_is_one(w))
+               return 0; /* probably prime */
+       if (BN_cmp(w, a1) == 0)
+               return 0; /* w == -1 (mod a),  'a' is probably prime */
+       while (--k)
                {
-               if (    (BN_cmp(d,mont_one) != 0) &&
-                       (BN_cmp(d,mont_n1) != 0))
-                       good=1;
-               else
-                       good=0;
-
-               BN_mod_mul_montgomery(dd,d,d,mont,ctx2);
-               
-               if (good && (BN_cmp(dd,mont_one) == 0))
-                       {
-                       ret=1;
-                       goto err;
-                       }
-               if (BN_is_bit_set(n1,i))
-                       {
-                       BN_mod_mul_montgomery(d,dd,mont_a,mont,ctx2);
-                       }
-               else
-                       {
-                       tmp=d;
-                       d=dd;
-                       dd=tmp;
-                       }
+               if (!BN_mod_mul(w, w, w, a, ctx)) /* w := w^2 mod a */
+                       return -1;
+               if (BN_is_one(w))
+                       return 1; /* 'a' is composite, otherwise a previous 'w' would
+                                  * have been == -1 (mod 'a') */
+               if (BN_cmp(w, a1) == 0)
+                       return 0; /* w == -1 (mod a), 'a' is probably prime */
                }
-       if (BN_cmp(d,mont_one) == 0)
-               i=0;
-       else    i=1;
-       ret=i;
-err:
-       ctx->tos-=3;
-       ctx2->tos-=3;
-       return(ret);
+       /* If we get here, 'w' is the (a-1)/2-th power of the original 'w',
+        * and it is neither -1 nor +1 -- so 'a' cannot be prime */
+       return 1;
        }
 
-static int probable_prime(rnd, bits)
-BIGNUM *rnd;
-int bits;
+static int probable_prime(BIGNUM *rnd, int bits)
        {
        int i;
-       MS_STATIC BN_ULONG mods[NUMPRIMES];
-       BN_ULONG delta;
+       BN_ULONG mods[NUMPRIMES];
+       BN_ULONG delta,d;
 
+again:
        if (!BN_rand(rnd,bits,1,1)) return(0);
        /* we now have a random number 'rand' to test. */
        for (i=1; i<NUMPRIMES; i++)
@@ -300,9 +296,12 @@ int bits;
                 * that gcd(rnd-1,primes) == 1 (except for 2) */
                if (((mods[i]+delta)%primes[i]) <= 1)
                        {
+                       d=delta;
                        delta+=2;
                        /* perhaps need to check for overflow of
-                        * delta (but delta can be upto 2^32) */
+                        * delta (but delta can be upto 2^32)
+                        * 21-May-98 eay - added overflow check */
+                       if (delta < d) goto again;
                        goto loop;
                        }
                }
@@ -310,17 +309,13 @@ int bits;
        return(1);
        }
 
-static int probable_prime_dh(rnd, bits, add, rem,ctx)
-BIGNUM *rnd;
-int bits;
-BIGNUM *add;
-BIGNUM *rem;
-BN_CTX *ctx;
+static int probable_prime_dh(BIGNUM *rnd, int bits, BIGNUM *add, BIGNUM *rem,
+            BN_CTX *ctx)
        {
        int i,ret=0;
        BIGNUM *t1;
 
-       t1=ctx->bn[ctx->tos++];
+       t1= &(ctx->bn[ctx->tos++]);
 
        if (!BN_rand(rnd,bits,0,1)) goto err;
 
@@ -338,7 +333,7 @@ BN_CTX *ctx;
        loop: for (i=1; i<NUMPRIMES; i++)
                {
                /* check that rnd is a prime */
-               if (BN_mod_word(rnd,(BN_LONG)primes[i]) <= 1)
+               if (BN_mod_word(rnd,(BN_ULONG)primes[i]) <= 1)
                        {
                        if (!BN_add(rnd,rnd,add)) goto err;
                        goto loop;
@@ -350,20 +345,16 @@ err:
        return(ret);
        }
 
-static int probable_prime_dh_strong(p, bits, padd, rem,ctx)
-BIGNUM *p;
-int bits;
-BIGNUM *padd;
-BIGNUM *rem;
-BN_CTX *ctx;
+static int probable_prime_dh_safe(BIGNUM *p, int bits, BIGNUM *padd,
+            BIGNUM *rem, BN_CTX *ctx)
        {
        int i,ret=0;
        BIGNUM *t1,*qadd=NULL,*q=NULL;
 
        bits--;
-       t1=ctx->bn[ctx->tos++];
-       q=ctx->bn[ctx->tos++];
-       qadd=ctx->bn[ctx->tos++];
+       t1= &(ctx->bn[ctx->tos++]);
+       q= &(ctx->bn[ctx->tos++]);
+       qadd= &(ctx->bn[ctx->tos++]);
 
        if (!BN_rshift1(qadd,padd)) goto err;
                
@@ -389,8 +380,8 @@ BN_CTX *ctx;
                /* check that p and q are prime */
                /* check that for p and q
                 * gcd(p-1,primes) == 1 (except for 2) */
-               if (    (BN_mod_word(p,(BN_LONG)primes[i]) == 0) ||
-                       (BN_mod_word(q,(BN_LONG)primes[i]) == 0))
+               if (    (BN_mod_word(p,(BN_ULONG)primes[i]) == 0) ||
+                       (BN_mod_word(q,(BN_ULONG)primes[i]) == 0))
                        {
                        if (!BN_add(p,p,padd)) goto err;
                        if (!BN_add(q,q,qadd)) goto err;
@@ -402,72 +393,3 @@ err:
        ctx->tos-=3;
        return(ret);
        }
-
-#if 0
-static int witness(a, n,ctx)
-BIGNUM *a;
-BIGNUM *n;
-BN_CTX *ctx;
-       {
-       int k,i,nb,ret= -1;
-       BIGNUM *d,*dd,*tmp;
-       BIGNUM *d1,*d2,*x,*n1,*inv;
-
-       d1=ctx->bn[ctx->tos];
-       d2=ctx->bn[ctx->tos+1];
-       x=ctx->bn[ctx->tos+2];
-       n1=ctx->bn[ctx->tos+3];
-       inv=ctx->bn[ctx->tos+4];
-       ctx->tos+=5;
-
-       d=d1;
-       dd=d2;
-       if (!BN_one(d)) goto err;
-       if (!BN_sub(n1,n,d)) goto err; /* n1=n-1; */
-       k=BN_num_bits(n1);
-
-       /* i=BN_num_bits(n); */
-#ifdef RECP_MUL_MOD
-       nb=BN_reciprocal(inv,n,ctx); /**/
-       if (nb == -1) goto err;
-#endif
-
-       for (i=k-1; i>=0; i--)
-               {
-               if (BN_copy(x,d) == NULL) goto err;
-#ifndef RECP_MUL_MOD
-               if (!BN_mod_mul(dd,d,d,n,ctx)) goto err;
-#else
-               if (!BN_mod_mul_reciprocal(dd,d,d,n,inv,nb,ctx)) goto err;
-#endif
-               if (    BN_is_one(dd) &&
-                       !BN_is_one(x) &&
-                       (BN_cmp(x,n1) != 0))
-                       {
-                       ret=1;
-                       goto err;
-                       }
-               if (BN_is_bit_set(n1,i))
-                       {
-#ifndef RECP_MUL_MOD
-                       if (!BN_mod_mul(d,dd,a,n,ctx)) goto err;
-#else
-                       if (!BN_mod_mul_reciprocal(d,dd,a,n,inv,nb,ctx)) goto err; 
-#endif
-                       }
-               else
-                       {
-                       tmp=d;
-                       d=dd;
-                       dd=tmp;
-                       }
-               }
-       if (BN_is_one(d))
-               i=0;
-       else    i=1;
-       ret=i;
-err:
-       ctx->tos-=5;
-       return(ret);
-       }
-#endif