Tidy up, don't exceed the number of requested bits.
[openssl.git] / crypto / bn / bn_prime.c
index a9ec01d9160b90739028d358908e21135f2d2e56..2d66b61f0484a25519de73993038c4f1156933ae 100644 (file)
 static int witness(BIGNUM *w, const BIGNUM *a, const BIGNUM *a1,
        const BIGNUM *a1_odd, int k, BN_CTX *ctx, BN_MONT_CTX *mont);
 static int probable_prime(BIGNUM *rnd, int bits);
-static int probable_prime_dh(BIGNUM *rnd, int bits,
-       const BIGNUM *add, const BIGNUM *rem, BN_CTX *ctx);
 static int probable_prime_dh_safe(BIGNUM *rnd, int bits,
        const BIGNUM *add, const BIGNUM *rem, BN_CTX *ctx);
 
+static const int prime_offsets[480] = {
+       13, 17, 19, 23, 29, 31, 37, 41, 43, 47, 53, 59, 61, 67, 71, 73, 79, 83,
+       89, 97, 101, 103, 107, 109, 113, 127, 131, 137, 139, 149, 151, 157, 163,
+       167, 169, 173, 179, 181, 191, 193, 197, 199, 211, 221, 223, 227, 229,
+       233, 239, 241, 247, 251, 257, 263, 269, 271, 277, 281, 283, 289, 293,
+       299, 307, 311, 313, 317, 323, 331, 337, 347, 349, 353, 359, 361, 367,
+       373, 377, 379, 383, 389, 391, 397, 401, 403, 409, 419, 421, 431, 433,
+       437, 439, 443, 449, 457, 461, 463, 467, 479, 481, 487, 491, 493, 499,
+       503, 509, 521, 523, 527, 529, 533, 541, 547, 551, 557, 559, 563, 569,
+       571, 577, 587, 589, 593, 599, 601, 607, 611, 613, 617, 619, 629, 631,
+       641, 643, 647, 653, 659, 661, 667, 673, 677, 683, 689, 691, 697, 701,
+       703, 709, 713, 719, 727, 731, 733, 739, 743, 751, 757, 761, 767, 769,
+       773, 779, 787, 793, 797, 799, 809, 811, 817, 821, 823, 827, 829, 839,
+       841, 851, 853, 857, 859, 863, 871, 877, 881, 883, 887, 893, 899, 901,
+       907, 911, 919, 923, 929, 937, 941, 943, 947, 949, 953, 961, 967, 971,
+       977, 983, 989, 991, 997, 1003, 1007, 1009, 1013, 1019, 1021, 1027, 1031,
+       1033, 1037, 1039, 1049, 1051, 1061, 1063, 1069, 1073, 1079, 1081, 1087,
+       1091, 1093, 1097, 1103, 1109, 1117, 1121, 1123, 1129, 1139, 1147, 1151,
+       1153, 1157, 1159, 1163, 1171, 1181, 1187, 1189, 1193, 1201, 1207, 1213,
+       1217, 1219, 1223, 1229, 1231, 1237, 1241, 1247, 1249, 1259, 1261, 1271,
+       1273, 1277, 1279, 1283, 1289, 1291, 1297, 1301, 1303, 1307, 1313, 1319,
+       1321, 1327, 1333, 1339, 1343, 1349, 1357, 1361, 1363, 1367, 1369, 1373,
+       1381, 1387, 1391, 1399, 1403, 1409, 1411, 1417, 1423, 1427, 1429, 1433,
+       1439, 1447, 1451, 1453, 1457, 1459, 1469, 1471, 1481, 1483, 1487, 1489,
+       1493, 1499, 1501, 1511, 1513, 1517, 1523, 1531, 1537, 1541, 1543, 1549,
+       1553, 1559, 1567, 1571, 1577, 1579, 1583, 1591, 1597, 1601, 1607, 1609,
+       1613, 1619, 1621, 1627, 1633, 1637, 1643, 1649, 1651, 1657, 1663, 1667,
+       1669, 1679, 1681, 1691, 1693, 1697, 1699, 1703, 1709, 1711, 1717, 1721,
+       1723, 1733, 1739, 1741, 1747, 1751, 1753, 1759, 1763, 1769, 1777, 1781,
+       1783, 1787, 1789, 1801, 1807, 1811, 1817, 1819, 1823, 1829, 1831, 1843,
+       1847, 1849, 1853, 1861, 1867, 1871, 1873, 1877, 1879, 1889, 1891, 1901,
+       1907, 1909, 1913, 1919, 1921, 1927, 1931, 1933, 1937, 1943, 1949, 1951,
+       1957, 1961, 1963, 1973, 1979, 1987, 1993, 1997, 1999, 2003, 2011, 2017,
+       2021, 2027, 2029, 2033, 2039, 2041, 2047, 2053, 2059, 2063, 2069, 2071,
+       2077, 2081, 2083, 2087, 2089, 2099, 2111, 2113, 2117, 2119, 2129, 2131,
+       2137, 2141, 2143, 2147, 2153, 2159, 2161, 2171, 2173, 2179, 2183, 2197,
+       2201, 2203, 2207, 2209, 2213, 2221, 2227, 2231, 2237, 2239, 2243, 2249,
+       2251, 2257, 2263, 2267, 2269, 2273, 2279, 2281, 2287, 2291, 2293, 2297,
+       2309, 2311 };
+static const int prime_offset_count = 480;
+static const int prime_multiplier = 2310;
+static const int prime_multiplier_bits = 11; /* 2^|prime_multiplier_bits|
+                                               <= |prime_multiplier| */
+static const int first_prime_index = 5;
+
 int BN_GENCB_call(BN_GENCB *cb, int a, int b)
        {
        /* No callback means continue */
@@ -142,11 +185,13 @@ int BN_GENCB_call(BN_GENCB *cb, int a, int b)
                {
        case 1:
                /* Deprecated-style callbacks */
-               cb->cb_1(a, b, cb->arg);
+               if(!cb->cb.cb_1)
+                       return 1;
+               cb->cb.cb_1(a, b, cb->arg);
                return 1;
        case 2:
                /* New-style callbacks */
-               return cb->cb_2(a, b, cb);
+               return cb->cb.cb_2(a, b, cb);
        default:
                break;
                }
@@ -157,15 +202,30 @@ int BN_GENCB_call(BN_GENCB *cb, int a, int b)
 int BN_generate_prime_ex(BIGNUM *ret, int bits, int safe,
        const BIGNUM *add, const BIGNUM *rem, BN_GENCB *cb)
        {
-       BIGNUM t;
+       BIGNUM *t;
        int found=0;
        int i,j,c1=0;
        BN_CTX *ctx;
        int checks = BN_prime_checks_for_size(bits);
 
+       if (bits < 2)
+               {
+               /* There are no prime numbers this small. */
+               BNerr(BN_F_BN_GENERATE_PRIME_EX, BN_R_BITS_TOO_SMALL);
+               return 0;
+               }
+       else if (bits == 2 && safe)
+               {
+               /* The smallest safe prime (7) is three bits. */
+               BNerr(BN_F_BN_GENERATE_PRIME_EX, BN_R_BITS_TOO_SMALL);
+               return 0;
+               }
+
        ctx=BN_CTX_new();
        if (ctx == NULL) goto err;
-       BN_init(&t);
+       BN_CTX_start(ctx);
+       t = BN_CTX_get(ctx);
+       if(!t) goto err;
 loop: 
        /* make a random number and set the top and bottom bits */
        if (add == NULL)
@@ -181,7 +241,7 @@ loop:
                        }
                else
                        {
-                       if (!probable_prime_dh(ret,bits,add,rem,ctx))
+                       if (!bn_probable_prime_dh(ret,bits,add,rem,ctx))
                                goto err;
                        }
                }
@@ -202,7 +262,7 @@ loop:
                 * check that (p-1)/2 is prime.
                 * Since a prime is odd, We just
                 * need to divide by 2 */
-               if (!BN_rshift1(&t,ret)) goto err;
+               if (!BN_rshift1(t,ret)) goto err;
 
                for (i=0; i<checks; i++)
                        {
@@ -210,7 +270,7 @@ loop:
                        if (j == -1) goto err;
                        if (j == 0) goto loop;
 
-                       j=BN_is_prime_fasttest_ex(&t,1,ctx,0,cb);
+                       j=BN_is_prime_fasttest_ex(t,1,ctx,0,cb);
                        if (j == -1) goto err;
                        if (j == 0) goto loop;
 
@@ -222,8 +282,12 @@ loop:
        /* we have a prime :-) */
        found = 1;
 err:
-       BN_free(&t);
-       if (ctx != NULL) BN_CTX_free(ctx);
+       if (ctx != NULL)
+               {
+               BN_CTX_end(ctx);
+               BN_CTX_free(ctx);
+               }
+       bn_check_top(ret);
        return found;
        }
 
@@ -250,7 +314,8 @@ int BN_is_prime_fasttest_ex(const BIGNUM *a, int checks, BN_CTX *ctx_passed,
 
        /* first look for small factors */
        if (!BN_is_odd(a))
-               return 0;
+               /* a is even => a is prime if and only if a == 2 */
+               return BN_is_word(a, 2);
        if (do_trial_division)
                {
                for (i = 1; i < NUMPRIMES; i++)
@@ -340,6 +405,73 @@ err:
        return(ret);
        }
 
+int bn_probable_prime_dh_retry(BIGNUM *rnd, int bits, BN_CTX *ctx)
+       {
+       int i;
+       int ret = 0;
+
+loop:
+       if (!BN_rand(rnd, bits, 0, 1)) goto err;
+
+       /* we now have a random number 'rand' to test. */
+
+       for (i = 1; i < NUMPRIMES; i++)
+               {
+               /* check that rnd is a prime */
+               if (BN_mod_word(rnd, (BN_ULONG)primes[i]) <= 1)
+                       {
+                       goto loop;
+                       }
+               }
+       ret=1;
+
+err:
+       bn_check_top(rnd);
+       return(ret);
+       }
+
+int bn_probable_prime_dh_coprime(BIGNUM *rnd, int bits, BN_CTX *ctx)
+       {
+       int i;
+       BIGNUM *offset_index;
+       BIGNUM *offset_count;
+       int ret = 0;
+
+       OPENSSL_assert(bits > prime_multiplier_bits);
+       
+       BN_CTX_start(ctx);
+       if ((offset_index = BN_CTX_get(ctx)) == NULL) goto err;
+       if ((offset_count = BN_CTX_get(ctx)) == NULL) goto err;
+       
+       BN_add_word(offset_count, prime_offset_count);
+
+loop:
+       if (!BN_rand(rnd, bits - prime_multiplier_bits, 0, 1)) goto err;
+       if (BN_is_bit_set(rnd, bits)) goto loop;
+       if (!BN_rand_range(offset_index, offset_count)) goto err;
+
+       BN_mul_word(rnd, prime_multiplier);
+       BN_add_word(rnd, prime_offsets[BN_get_word(offset_index)]);
+
+       /* we now have a random number 'rand' to test. */
+
+       /* skip coprimes */
+       for (i = first_prime_index; i < NUMPRIMES; i++)
+               {
+               /* check that rnd is a prime */
+               if (BN_mod_word(rnd, (BN_ULONG)primes[i]) <= 1)
+                       {
+                       goto loop;
+                       }
+               }
+       ret = 1;
+
+err:
+       BN_CTX_end(ctx);
+       bn_check_top(rnd);
+       return ret;
+       }
+
 static int witness(BIGNUM *w, const BIGNUM *a, const BIGNUM *a1,
        const BIGNUM *a1_odd, int k, BN_CTX *ctx, BN_MONT_CTX *mont)
        {
@@ -361,41 +493,78 @@ static int witness(BIGNUM *w, const BIGNUM *a, const BIGNUM *a1,
                }
        /* If we get here, 'w' is the (a-1)/2-th power of the original 'w',
         * and it is neither -1 nor +1 -- so 'a' cannot be prime */
+       bn_check_top(w);
        return 1;
        }
 
 static int probable_prime(BIGNUM *rnd, int bits)
        {
        int i;
-       BN_ULONG mods[NUMPRIMES];
-       BN_ULONG delta,d;
+       prime_t mods[NUMPRIMES];
+       BN_ULONG delta;
+       BN_ULONG maxdelta = BN_MASK2 - primes[NUMPRIMES-1];
+       char is_single_word = bits <= BN_BITS2;
 
 again:
        if (!BN_rand(rnd,bits,1,1)) return(0);
-       /* we now have a random number 'rand' to test. */
+       /* we now have a random number 'rnd' to test. */
        for (i=1; i<NUMPRIMES; i++)
-               mods[i]=BN_mod_word(rnd,(BN_ULONG)primes[i]);
+               mods[i]=(prime_t)BN_mod_word(rnd,(BN_ULONG)primes[i]);
+       /* If bits is so small that it fits into a single word then we
+        * additionally don't want to exceed that many bits. */
+       if (is_single_word)
+               {
+               BN_ULONG size_limit = (((BN_ULONG) 1) << bits) - BN_get_word(rnd) - 1;
+               if (size_limit < maxdelta)
+                       maxdelta = size_limit;
+               }
        delta=0;
-       loop: for (i=1; i<NUMPRIMES; i++)
+loop:
+       if (is_single_word)
                {
-               /* check that rnd is not a prime and also
-                * that gcd(rnd-1,primes) == 1 (except for 2) */
-               if (((mods[i]+delta)%primes[i]) <= 1)
+               BN_ULONG rnd_word = BN_get_word(rnd);
+
+               /* In the case that the candidate prime is a single word then
+                * we check that:
+                *   1) It's greater than primes[i] because we shouldn't reject
+                *      3 as being a prime number because it's a multiple of
+                *      three.
+                *   2) That it's not a multiple of a known prime. We don't
+                *      check that rnd-1 is also coprime to all the known
+                *      primes because there aren't many small primes where
+                *      that's true. */
+               for (i=1; i<NUMPRIMES && primes[i]<rnd_word; i++)
                        {
-                       d=delta;
-                       delta+=2;
-                       /* perhaps need to check for overflow of
-                        * delta (but delta can be up to 2^32)
-                        * 21-May-98 eay - added overflow check */
-                       if (delta < d) goto again;
-                       goto loop;
+                       if ((mods[i]+delta)%primes[i] == 0)
+                               {
+                               delta+=2;
+                               if (delta > maxdelta) goto again;
+                               goto loop;
+                               }
+                       }
+               }
+       else
+               {
+               for (i=1; i<NUMPRIMES; i++)
+                       {
+                       /* check that rnd is not a prime and also
+                        * that gcd(rnd-1,primes) == 1 (except for 2) */
+                       if (((mods[i]+delta)%primes[i]) <= 1)
+                               {
+                               delta+=2;
+                               if (delta > maxdelta) goto again;
+                               goto loop;
+                               }
                        }
                }
        if (!BN_add_word(rnd,delta)) return(0);
+       if (BN_num_bits(rnd) != bits)
+               goto again;
+       bn_check_top(rnd);
        return(1);
        }
 
-static int probable_prime_dh(BIGNUM *rnd, int bits,
+int bn_probable_prime_dh(BIGNUM *rnd, int bits,
        const BIGNUM *add, const BIGNUM *rem, BN_CTX *ctx)
        {
        int i,ret=0;
@@ -417,7 +586,8 @@ static int probable_prime_dh(BIGNUM *rnd, int bits,
 
        /* we now have a random number 'rand' to test. */
 
-       loop: for (i=1; i<NUMPRIMES; i++)
+loop:
+       for (i=1; i<NUMPRIMES; i++)
                {
                /* check that rnd is a prime */
                if (BN_mod_word(rnd,(BN_ULONG)primes[i]) <= 1)
@@ -427,8 +597,10 @@ static int probable_prime_dh(BIGNUM *rnd, int bits,
                        }
                }
        ret=1;
+
 err:
        BN_CTX_end(ctx);
+       bn_check_top(rnd);
        return(ret);
        }
 
@@ -464,12 +636,13 @@ static int probable_prime_dh_safe(BIGNUM *p, int bits, const BIGNUM *padd,
        if (!BN_lshift1(p,q)) goto err;
        if (!BN_add_word(p,1)) goto err;
 
-       loop: for (i=1; i<NUMPRIMES; i++)
+loop:
+       for (i=1; i<NUMPRIMES; i++)
                {
                /* check that p and q are prime */
                /* check that for p and q
                 * gcd(p-1,primes) == 1 (except for 2) */
-               if (    (BN_mod_word(p,(BN_ULONG)primes[i]) == 0) ||
+               if ((BN_mod_word(p,(BN_ULONG)primes[i]) == 0) ||
                        (BN_mod_word(q,(BN_ULONG)primes[i]) == 0))
                        {
                        if (!BN_add(p,p,padd)) goto err;
@@ -478,7 +651,9 @@ static int probable_prime_dh_safe(BIGNUM *p, int bits, const BIGNUM *padd,
                        }
                }
        ret=1;
+
 err:
        BN_CTX_end(ctx);
+       bn_check_top(p);
        return(ret);
        }