Fix wrong numbers being passed as string lengths
[openssl.git] / crypto / dsa / dsa_gen.c
1 /* crypto/dsa/dsa_gen.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #undef GENUINE_DSA
60
61 #ifdef GENUINE_DSA
62 /*
63  * Parameter generation follows the original release of FIPS PUB 186,
64  * Appendix 2.2 (i.e. use SHA as defined in FIPS PUB 180)
65  */
66 # define HASH    EVP_sha()
67 #else
68 /*
69  * Parameter generation follows the updated Appendix 2.2 for FIPS PUB 186,
70  * also Appendix 2.2 of FIPS PUB 186-1 (i.e. use SHA as defined in FIPS PUB
71  * 180-1)
72  */
73 # define HASH    EVP_sha1()
74 #endif
75
76 #include <openssl/opensslconf.h> /* To see if OPENSSL_NO_SHA is defined */
77
78 #ifndef OPENSSL_NO_SHA
79
80 # include <stdio.h>
81 # include "cryptlib.h"
82 # include <openssl/evp.h>
83 # include <openssl/bn.h>
84 # include <openssl/rand.h>
85 # include <openssl/sha.h>
86 # include "dsa_locl.h"
87
88 # ifdef OPENSSL_FIPS
89 #  include <openssl/fips.h>
90 # endif
91
92 int DSA_generate_parameters_ex(DSA *ret, int bits,
93                                const unsigned char *seed_in, int seed_len,
94                                int *counter_ret, unsigned long *h_ret,
95                                BN_GENCB *cb)
96 {
97 # ifdef OPENSSL_FIPS
98     if (FIPS_mode() && !(ret->meth->flags & DSA_FLAG_FIPS_METHOD)
99         && !(ret->flags & DSA_FLAG_NON_FIPS_ALLOW)) {
100         DSAerr(DSA_F_DSA_GENERATE_PARAMETERS_EX, DSA_R_NON_FIPS_DSA_METHOD);
101         return 0;
102     }
103 # endif
104     if (ret->meth->dsa_paramgen)
105         return ret->meth->dsa_paramgen(ret, bits, seed_in, seed_len,
106                                        counter_ret, h_ret, cb);
107 # ifdef OPENSSL_FIPS
108     else if (FIPS_mode()) {
109         return FIPS_dsa_generate_parameters_ex(ret, bits,
110                                                seed_in, seed_len,
111                                                counter_ret, h_ret, cb);
112     }
113 # endif
114     else {
115         const EVP_MD *evpmd;
116         size_t qbits = bits >= 2048 ? 256 : 160;
117
118         if (bits >= 2048) {
119             qbits = 256;
120             evpmd = EVP_sha256();
121         } else {
122             qbits = 160;
123             evpmd = EVP_sha1();
124         }
125
126         return dsa_builtin_paramgen(ret, bits, qbits, evpmd,
127                                     seed_in, seed_len, NULL, counter_ret,
128                                     h_ret, cb);
129     }
130 }
131
132 int dsa_builtin_paramgen(DSA *ret, size_t bits, size_t qbits,
133                          const EVP_MD *evpmd, const unsigned char *seed_in,
134                          size_t seed_len, unsigned char *seed_out,
135                          int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
136 {
137     int ok = 0;
138     unsigned char seed[SHA256_DIGEST_LENGTH];
139     unsigned char md[SHA256_DIGEST_LENGTH];
140     unsigned char buf[SHA256_DIGEST_LENGTH], buf2[SHA256_DIGEST_LENGTH];
141     BIGNUM *r0, *W, *X, *c, *test;
142     BIGNUM *g = NULL, *q = NULL, *p = NULL;
143     BN_MONT_CTX *mont = NULL;
144     int i, k, n = 0, m = 0, qsize = qbits >> 3;
145     int counter = 0;
146     int r = 0;
147     BN_CTX *ctx = NULL;
148     unsigned int h = 2;
149
150     if (qsize != SHA_DIGEST_LENGTH && qsize != SHA224_DIGEST_LENGTH &&
151         qsize != SHA256_DIGEST_LENGTH)
152         /* invalid q size */
153         return 0;
154
155     if (evpmd == NULL)
156         /* use SHA1 as default */
157         evpmd = EVP_sha1();
158
159     if (bits < 512)
160         bits = 512;
161
162     bits = (bits + 63) / 64 * 64;
163
164     /*
165      * NB: seed_len == 0 is special case: copy generated seed to seed_in if
166      * it is not NULL.
167      */
168     if (seed_len && (seed_len < (size_t)qsize))
169         seed_in = NULL;         /* seed buffer too small -- ignore */
170     if (seed_len > (size_t)qsize)
171         seed_len = qsize;       /* App. 2.2 of FIPS PUB 186 allows larger
172                                  * SEED, but our internal buffers are
173                                  * restricted to 160 bits */
174     if (seed_in != NULL)
175         memcpy(seed, seed_in, seed_len);
176
177     if ((ctx = BN_CTX_new()) == NULL)
178         goto err;
179
180     if ((mont = BN_MONT_CTX_new()) == NULL)
181         goto err;
182
183     BN_CTX_start(ctx);
184     r0 = BN_CTX_get(ctx);
185     g = BN_CTX_get(ctx);
186     W = BN_CTX_get(ctx);
187     q = BN_CTX_get(ctx);
188     X = BN_CTX_get(ctx);
189     c = BN_CTX_get(ctx);
190     p = BN_CTX_get(ctx);
191     test = BN_CTX_get(ctx);
192
193     if (!BN_lshift(test, BN_value_one(), bits - 1))
194         goto err;
195
196     for (;;) {
197         for (;;) {              /* find q */
198             int seed_is_random;
199
200             /* step 1 */
201             if (!BN_GENCB_call(cb, 0, m++))
202                 goto err;
203
204             if (!seed_len) {
205                 RAND_pseudo_bytes(seed, qsize);
206                 seed_is_random = 1;
207             } else {
208                 seed_is_random = 0;
209                 seed_len = 0;   /* use random seed if 'seed_in' turns out to
210                                  * be bad */
211             }
212             memcpy(buf, seed, qsize);
213             memcpy(buf2, seed, qsize);
214             /* precompute "SEED + 1" for step 7: */
215             for (i = qsize - 1; i >= 0; i--) {
216                 buf[i]++;
217                 if (buf[i] != 0)
218                     break;
219             }
220
221             /* step 2 */
222             if (!EVP_Digest(seed, qsize, md, NULL, evpmd, NULL))
223                 goto err;
224             if (!EVP_Digest(buf, qsize, buf2, NULL, evpmd, NULL))
225                 goto err;
226             for (i = 0; i < qsize; i++)
227                 md[i] ^= buf2[i];
228
229             /* step 3 */
230             md[0] |= 0x80;
231             md[qsize - 1] |= 0x01;
232             if (!BN_bin2bn(md, qsize, q))
233                 goto err;
234
235             /* step 4 */
236             r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
237                                         seed_is_random, cb);
238             if (r > 0)
239                 break;
240             if (r != 0)
241                 goto err;
242
243             /* do a callback call */
244             /* step 5 */
245         }
246
247         if (!BN_GENCB_call(cb, 2, 0))
248             goto err;
249         if (!BN_GENCB_call(cb, 3, 0))
250             goto err;
251
252         /* step 6 */
253         counter = 0;
254         /* "offset = 2" */
255
256         n = (bits - 1) / 160;
257
258         for (;;) {
259             if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
260                 goto err;
261
262             /* step 7 */
263             BN_zero(W);
264             /* now 'buf' contains "SEED + offset - 1" */
265             for (k = 0; k <= n; k++) {
266                 /*
267                  * obtain "SEED + offset + k" by incrementing:
268                  */
269                 for (i = qsize - 1; i >= 0; i--) {
270                     buf[i]++;
271                     if (buf[i] != 0)
272                         break;
273                 }
274
275                 if (!EVP_Digest(buf, qsize, md, NULL, evpmd, NULL))
276                     goto err;
277
278                 /* step 8 */
279                 if (!BN_bin2bn(md, qsize, r0))
280                     goto err;
281                 if (!BN_lshift(r0, r0, (qsize << 3) * k))
282                     goto err;
283                 if (!BN_add(W, W, r0))
284                     goto err;
285             }
286
287             /* more of step 8 */
288             if (!BN_mask_bits(W, bits - 1))
289                 goto err;
290             if (!BN_copy(X, W))
291                 goto err;
292             if (!BN_add(X, X, test))
293                 goto err;
294
295             /* step 9 */
296             if (!BN_lshift1(r0, q))
297                 goto err;
298             if (!BN_mod(c, X, r0, ctx))
299                 goto err;
300             if (!BN_sub(r0, c, BN_value_one()))
301                 goto err;
302             if (!BN_sub(p, X, r0))
303                 goto err;
304
305             /* step 10 */
306             if (BN_cmp(p, test) >= 0) {
307                 /* step 11 */
308                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks, ctx, 1, cb);
309                 if (r > 0)
310                     goto end;   /* found it */
311                 if (r != 0)
312                     goto err;
313             }
314
315             /* step 13 */
316             counter++;
317             /* "offset = offset + n + 1" */
318
319             /* step 14 */
320             if (counter >= 4096)
321                 break;
322         }
323     }
324  end:
325     if (!BN_GENCB_call(cb, 2, 1))
326         goto err;
327
328     /* We now need to generate g */
329     /* Set r0=(p-1)/q */
330     if (!BN_sub(test, p, BN_value_one()))
331         goto err;
332     if (!BN_div(r0, NULL, test, q, ctx))
333         goto err;
334
335     if (!BN_set_word(test, h))
336         goto err;
337     if (!BN_MONT_CTX_set(mont, p, ctx))
338         goto err;
339
340     for (;;) {
341         /* g=test^r0%p */
342         if (!BN_mod_exp_mont(g, test, r0, p, ctx, mont))
343             goto err;
344         if (!BN_is_one(g))
345             break;
346         if (!BN_add(test, test, BN_value_one()))
347             goto err;
348         h++;
349     }
350
351     if (!BN_GENCB_call(cb, 3, 1))
352         goto err;
353
354     ok = 1;
355  err:
356     if (ok) {
357         if (ret->p)
358             BN_free(ret->p);
359         if (ret->q)
360             BN_free(ret->q);
361         if (ret->g)
362             BN_free(ret->g);
363         ret->p = BN_dup(p);
364         ret->q = BN_dup(q);
365         ret->g = BN_dup(g);
366         if (ret->p == NULL || ret->q == NULL || ret->g == NULL) {
367             ok = 0;
368             goto err;
369         }
370         if (counter_ret != NULL)
371             *counter_ret = counter;
372         if (h_ret != NULL)
373             *h_ret = h;
374         if (seed_out)
375             memcpy(seed_out, seed, qsize);
376     }
377     if (ctx) {
378         BN_CTX_end(ctx);
379         BN_CTX_free(ctx);
380     }
381     if (mont != NULL)
382         BN_MONT_CTX_free(mont);
383     return ok;
384 }
385 #endif