Check that we were actually allocated BIGNUMs in dsa_builtin_paramgen2
[openssl.git] / crypto / dsa / dsa_gen.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 /*
59  * Parameter generation follows the updated Appendix 2.2 for FIPS PUB 186,
60  * also Appendix 2.2 of FIPS PUB 186-1 (i.e. use SHA as defined in FIPS PUB
61  * 180-1)
62  */
63 #define xxxHASH    EVP_sha1()
64
65 #include <openssl/opensslconf.h>
66 #include <stdio.h>
67 #include "internal/cryptlib.h"
68 #include <openssl/evp.h>
69 #include <openssl/bn.h>
70 #include <openssl/rand.h>
71 #include <openssl/sha.h>
72 #include "dsa_locl.h"
73
74 int DSA_generate_parameters_ex(DSA *ret, int bits,
75                                const unsigned char *seed_in, int seed_len,
76                                int *counter_ret, unsigned long *h_ret,
77                                BN_GENCB *cb)
78 {
79     if (ret->meth->dsa_paramgen)
80         return ret->meth->dsa_paramgen(ret, bits, seed_in, seed_len,
81                                        counter_ret, h_ret, cb);
82     else {
83         const EVP_MD *evpmd = bits >= 2048 ? EVP_sha256() : EVP_sha1();
84         size_t qbits = EVP_MD_size(evpmd) * 8;
85
86         return dsa_builtin_paramgen(ret, bits, qbits, evpmd,
87                                     seed_in, seed_len, NULL, counter_ret,
88                                     h_ret, cb);
89     }
90 }
91
92 int dsa_builtin_paramgen(DSA *ret, size_t bits, size_t qbits,
93                          const EVP_MD *evpmd, const unsigned char *seed_in,
94                          size_t seed_len, unsigned char *seed_out,
95                          int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
96 {
97     int ok = 0;
98     unsigned char seed[SHA256_DIGEST_LENGTH];
99     unsigned char md[SHA256_DIGEST_LENGTH];
100     unsigned char buf[SHA256_DIGEST_LENGTH], buf2[SHA256_DIGEST_LENGTH];
101     BIGNUM *r0, *W, *X, *c, *test;
102     BIGNUM *g = NULL, *q = NULL, *p = NULL;
103     BN_MONT_CTX *mont = NULL;
104     int i, k, n = 0, m = 0, qsize = qbits >> 3;
105     int counter = 0;
106     int r = 0;
107     BN_CTX *ctx = NULL;
108     unsigned int h = 2;
109
110     if (qsize != SHA_DIGEST_LENGTH && qsize != SHA224_DIGEST_LENGTH &&
111         qsize != SHA256_DIGEST_LENGTH)
112         /* invalid q size */
113         return 0;
114
115     if (evpmd == NULL)
116         /* use SHA1 as default */
117         evpmd = EVP_sha1();
118
119     if (bits < 512)
120         bits = 512;
121
122     bits = (bits + 63) / 64 * 64;
123
124     if (seed_in != NULL) {
125         if (seed_len < (size_t)qsize)
126             return 0;
127         if (seed_len > (size_t)qsize) {
128             /* Only consume as much seed as is expected. */
129             seed_len = qsize;
130         }
131         memcpy(seed, seed_in, seed_len);
132     }
133
134     if ((mont = BN_MONT_CTX_new()) == NULL)
135         goto err;
136
137     if ((ctx = BN_CTX_new()) == NULL)
138         goto err;
139
140     BN_CTX_start(ctx);
141
142     r0 = BN_CTX_get(ctx);
143     g = BN_CTX_get(ctx);
144     W = BN_CTX_get(ctx);
145     q = BN_CTX_get(ctx);
146     X = BN_CTX_get(ctx);
147     c = BN_CTX_get(ctx);
148     p = BN_CTX_get(ctx);
149     test = BN_CTX_get(ctx);
150
151     if (!BN_lshift(test, BN_value_one(), bits - 1))
152         goto err;
153
154     for (;;) {
155         for (;;) {              /* find q */
156             int use_random_seed = (seed_in == NULL);
157
158             /* step 1 */
159             if (!BN_GENCB_call(cb, 0, m++))
160                 goto err;
161
162             if (use_random_seed) {
163                 if (RAND_bytes(seed, qsize) <= 0)
164                     goto err;
165             } else {
166                 /* If we come back through, use random seed next time. */
167                 seed_in = NULL;
168             }
169             memcpy(buf, seed, qsize);
170             memcpy(buf2, seed, qsize);
171             /* precompute "SEED + 1" for step 7: */
172             for (i = qsize - 1; i >= 0; i--) {
173                 buf[i]++;
174                 if (buf[i] != 0)
175                     break;
176             }
177
178             /* step 2 */
179             if (!EVP_Digest(seed, qsize, md, NULL, evpmd, NULL))
180                 goto err;
181             if (!EVP_Digest(buf, qsize, buf2, NULL, evpmd, NULL))
182                 goto err;
183             for (i = 0; i < qsize; i++)
184                 md[i] ^= buf2[i];
185
186             /* step 3 */
187             md[0] |= 0x80;
188             md[qsize - 1] |= 0x01;
189             if (!BN_bin2bn(md, qsize, q))
190                 goto err;
191
192             /* step 4 */
193             r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
194                                         use_random_seed, cb);
195             if (r > 0)
196                 break;
197             if (r != 0)
198                 goto err;
199
200             /* do a callback call */
201             /* step 5 */
202         }
203
204         if (!BN_GENCB_call(cb, 2, 0))
205             goto err;
206         if (!BN_GENCB_call(cb, 3, 0))
207             goto err;
208
209         /* step 6 */
210         counter = 0;
211         /* "offset = 2" */
212
213         n = (bits - 1) / 160;
214
215         for (;;) {
216             if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
217                 goto err;
218
219             /* step 7 */
220             BN_zero(W);
221             /* now 'buf' contains "SEED + offset - 1" */
222             for (k = 0; k <= n; k++) {
223                 /*
224                  * obtain "SEED + offset + k" by incrementing:
225                  */
226                 for (i = qsize - 1; i >= 0; i--) {
227                     buf[i]++;
228                     if (buf[i] != 0)
229                         break;
230                 }
231
232                 if (!EVP_Digest(buf, qsize, md, NULL, evpmd, NULL))
233                     goto err;
234
235                 /* step 8 */
236                 if (!BN_bin2bn(md, qsize, r0))
237                     goto err;
238                 if (!BN_lshift(r0, r0, (qsize << 3) * k))
239                     goto err;
240                 if (!BN_add(W, W, r0))
241                     goto err;
242             }
243
244             /* more of step 8 */
245             if (!BN_mask_bits(W, bits - 1))
246                 goto err;
247             if (!BN_copy(X, W))
248                 goto err;
249             if (!BN_add(X, X, test))
250                 goto err;
251
252             /* step 9 */
253             if (!BN_lshift1(r0, q))
254                 goto err;
255             if (!BN_mod(c, X, r0, ctx))
256                 goto err;
257             if (!BN_sub(r0, c, BN_value_one()))
258                 goto err;
259             if (!BN_sub(p, X, r0))
260                 goto err;
261
262             /* step 10 */
263             if (BN_cmp(p, test) >= 0) {
264                 /* step 11 */
265                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks, ctx, 1, cb);
266                 if (r > 0)
267                     goto end;   /* found it */
268                 if (r != 0)
269                     goto err;
270             }
271
272             /* step 13 */
273             counter++;
274             /* "offset = offset + n + 1" */
275
276             /* step 14 */
277             if (counter >= 4096)
278                 break;
279         }
280     }
281  end:
282     if (!BN_GENCB_call(cb, 2, 1))
283         goto err;
284
285     /* We now need to generate g */
286     /* Set r0=(p-1)/q */
287     if (!BN_sub(test, p, BN_value_one()))
288         goto err;
289     if (!BN_div(r0, NULL, test, q, ctx))
290         goto err;
291
292     if (!BN_set_word(test, h))
293         goto err;
294     if (!BN_MONT_CTX_set(mont, p, ctx))
295         goto err;
296
297     for (;;) {
298         /* g=test^r0%p */
299         if (!BN_mod_exp_mont(g, test, r0, p, ctx, mont))
300             goto err;
301         if (!BN_is_one(g))
302             break;
303         if (!BN_add(test, test, BN_value_one()))
304             goto err;
305         h++;
306     }
307
308     if (!BN_GENCB_call(cb, 3, 1))
309         goto err;
310
311     ok = 1;
312  err:
313     if (ok) {
314         BN_free(ret->p);
315         BN_free(ret->q);
316         BN_free(ret->g);
317         ret->p = BN_dup(p);
318         ret->q = BN_dup(q);
319         ret->g = BN_dup(g);
320         if (ret->p == NULL || ret->q == NULL || ret->g == NULL) {
321             ok = 0;
322             goto err;
323         }
324         if (counter_ret != NULL)
325             *counter_ret = counter;
326         if (h_ret != NULL)
327             *h_ret = h;
328         if (seed_out)
329             memcpy(seed_out, seed, qsize);
330     }
331     if (ctx)
332         BN_CTX_end(ctx);
333     BN_CTX_free(ctx);
334     BN_MONT_CTX_free(mont);
335     return ok;
336 }
337
338 /*
339  * This is a parameter generation algorithm for the DSA2 algorithm as
340  * described in FIPS 186-3.
341  */
342
343 int dsa_builtin_paramgen2(DSA *ret, size_t L, size_t N,
344                           const EVP_MD *evpmd, const unsigned char *seed_in,
345                           size_t seed_len, int idx, unsigned char *seed_out,
346                           int *counter_ret, unsigned long *h_ret,
347                           BN_GENCB *cb)
348 {
349     int ok = -1;
350     unsigned char *seed = NULL, *seed_tmp = NULL;
351     unsigned char md[EVP_MAX_MD_SIZE];
352     int mdsize;
353     BIGNUM *r0, *W, *X, *c, *test;
354     BIGNUM *g = NULL, *q = NULL, *p = NULL;
355     BN_MONT_CTX *mont = NULL;
356     int i, k, n = 0, m = 0, qsize = N >> 3;
357     int counter = 0;
358     int r = 0;
359     BN_CTX *ctx = NULL;
360     EVP_MD_CTX *mctx = EVP_MD_CTX_new();
361     unsigned int h = 2;
362
363     if (mctx == NULL)
364         goto err;
365
366     if (evpmd == NULL) {
367         if (N == 160)
368             evpmd = EVP_sha1();
369         else if (N == 224)
370             evpmd = EVP_sha224();
371         else
372             evpmd = EVP_sha256();
373     }
374
375     mdsize = EVP_MD_size(evpmd);
376     /* If unverifiable g generation only don't need seed */
377     if (!ret->p || !ret->q || idx >= 0) {
378         if (seed_len == 0)
379             seed_len = mdsize;
380
381         seed = OPENSSL_malloc(seed_len);
382
383         if (seed_out)
384             seed_tmp = seed_out;
385         else
386             seed_tmp = OPENSSL_malloc(seed_len);
387
388         if (seed == NULL || seed_tmp == NULL)
389             goto err;
390
391         if (seed_in)
392             memcpy(seed, seed_in, seed_len);
393
394     }
395
396     if ((ctx = BN_CTX_new()) == NULL)
397         goto err;
398
399     if ((mont = BN_MONT_CTX_new()) == NULL)
400         goto err;
401
402     BN_CTX_start(ctx);
403     r0 = BN_CTX_get(ctx);
404     g = BN_CTX_get(ctx);
405     W = BN_CTX_get(ctx);
406     X = BN_CTX_get(ctx);
407     c = BN_CTX_get(ctx);
408     test = BN_CTX_get(ctx);
409     if (test == NULL)
410         goto err;
411
412     /* if p, q already supplied generate g only */
413     if (ret->p && ret->q) {
414         p = ret->p;
415         q = ret->q;
416         if (idx >= 0)
417             memcpy(seed_tmp, seed, seed_len);
418         goto g_only;
419     } else {
420         p = BN_CTX_get(ctx);
421         q = BN_CTX_get(ctx);
422     }
423
424     if (!BN_lshift(test, BN_value_one(), L - 1))
425         goto err;
426     for (;;) {
427         for (;;) {              /* find q */
428             unsigned char *pmd;
429             /* step 1 */
430             if (!BN_GENCB_call(cb, 0, m++))
431                 goto err;
432
433             if (!seed_in) {
434                 if (RAND_bytes(seed, seed_len) <= 0)
435                     goto err;
436             }
437             /* step 2 */
438             if (!EVP_Digest(seed, seed_len, md, NULL, evpmd, NULL))
439                 goto err;
440             /* Take least significant bits of md */
441             if (mdsize > qsize)
442                 pmd = md + mdsize - qsize;
443             else
444                 pmd = md;
445
446             if (mdsize < qsize)
447                 memset(md + mdsize, 0, qsize - mdsize);
448
449             /* step 3 */
450             pmd[0] |= 0x80;
451             pmd[qsize - 1] |= 0x01;
452             if (!BN_bin2bn(pmd, qsize, q))
453                 goto err;
454
455             /* step 4 */
456             r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
457                                         seed_in ? 1 : 0, cb);
458             if (r > 0)
459                 break;
460             if (r != 0)
461                 goto err;
462             /* Provided seed didn't produce a prime: error */
463             if (seed_in) {
464                 ok = 0;
465                 DSAerr(DSA_F_DSA_BUILTIN_PARAMGEN2, DSA_R_Q_NOT_PRIME);
466                 goto err;
467             }
468
469             /* do a callback call */
470             /* step 5 */
471         }
472         /* Copy seed to seed_out before we mess with it */
473         if (seed_out)
474             memcpy(seed_out, seed, seed_len);
475
476         if (!BN_GENCB_call(cb, 2, 0))
477             goto err;
478         if (!BN_GENCB_call(cb, 3, 0))
479             goto err;
480
481         /* step 6 */
482         counter = 0;
483         /* "offset = 1" */
484
485         n = (L - 1) / (mdsize << 3);
486
487         for (;;) {
488             if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
489                 goto err;
490
491             /* step 7 */
492             BN_zero(W);
493             /* now 'buf' contains "SEED + offset - 1" */
494             for (k = 0; k <= n; k++) {
495                 /*
496                  * obtain "SEED + offset + k" by incrementing:
497                  */
498                 for (i = seed_len - 1; i >= 0; i--) {
499                     seed[i]++;
500                     if (seed[i] != 0)
501                         break;
502                 }
503
504                 if (!EVP_Digest(seed, seed_len, md, NULL, evpmd, NULL))
505                     goto err;
506
507                 /* step 8 */
508                 if (!BN_bin2bn(md, mdsize, r0))
509                     goto err;
510                 if (!BN_lshift(r0, r0, (mdsize << 3) * k))
511                     goto err;
512                 if (!BN_add(W, W, r0))
513                     goto err;
514             }
515
516             /* more of step 8 */
517             if (!BN_mask_bits(W, L - 1))
518                 goto err;
519             if (!BN_copy(X, W))
520                 goto err;
521             if (!BN_add(X, X, test))
522                 goto err;
523
524             /* step 9 */
525             if (!BN_lshift1(r0, q))
526                 goto err;
527             if (!BN_mod(c, X, r0, ctx))
528                 goto err;
529             if (!BN_sub(r0, c, BN_value_one()))
530                 goto err;
531             if (!BN_sub(p, X, r0))
532                 goto err;
533
534             /* step 10 */
535             if (BN_cmp(p, test) >= 0) {
536                 /* step 11 */
537                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks, ctx, 1, cb);
538                 if (r > 0)
539                     goto end;   /* found it */
540                 if (r != 0)
541                     goto err;
542             }
543
544             /* step 13 */
545             counter++;
546             /* "offset = offset + n + 1" */
547
548             /* step 14 */
549             if (counter >= (int)(4 * L))
550                 break;
551         }
552         if (seed_in) {
553             ok = 0;
554             DSAerr(DSA_F_DSA_BUILTIN_PARAMGEN2, DSA_R_INVALID_PARAMETERS);
555             goto err;
556         }
557     }
558  end:
559     if (!BN_GENCB_call(cb, 2, 1))
560         goto err;
561
562  g_only:
563
564     /* We now need to generate g */
565     /* Set r0=(p-1)/q */
566     if (!BN_sub(test, p, BN_value_one()))
567         goto err;
568     if (!BN_div(r0, NULL, test, q, ctx))
569         goto err;
570
571     if (idx < 0) {
572         if (!BN_set_word(test, h))
573             goto err;
574     } else
575         h = 1;
576     if (!BN_MONT_CTX_set(mont, p, ctx))
577         goto err;
578
579     for (;;) {
580         static const unsigned char ggen[4] = { 0x67, 0x67, 0x65, 0x6e };
581         if (idx >= 0) {
582             md[0] = idx & 0xff;
583             md[1] = (h >> 8) & 0xff;
584             md[2] = h & 0xff;
585             if (!EVP_DigestInit_ex(mctx, evpmd, NULL))
586                 goto err;
587             if (!EVP_DigestUpdate(mctx, seed_tmp, seed_len))
588                 goto err;
589             if (!EVP_DigestUpdate(mctx, ggen, sizeof(ggen)))
590                 goto err;
591             if (!EVP_DigestUpdate(mctx, md, 3))
592                 goto err;
593             if (!EVP_DigestFinal_ex(mctx, md, NULL))
594                 goto err;
595             if (!BN_bin2bn(md, mdsize, test))
596                 goto err;
597         }
598         /* g=test^r0%p */
599         if (!BN_mod_exp_mont(g, test, r0, p, ctx, mont))
600             goto err;
601         if (!BN_is_one(g))
602             break;
603         if (idx < 0 && !BN_add(test, test, BN_value_one()))
604             goto err;
605         h++;
606         if (idx >= 0 && h > 0xffff)
607             goto err;
608     }
609
610     if (!BN_GENCB_call(cb, 3, 1))
611         goto err;
612
613     ok = 1;
614  err:
615     if (ok == 1) {
616         if (p != ret->p) {
617             BN_free(ret->p);
618             ret->p = BN_dup(p);
619         }
620         if (q != ret->q) {
621             BN_free(ret->q);
622             ret->q = BN_dup(q);
623         }
624         BN_free(ret->g);
625         ret->g = BN_dup(g);
626         if (ret->p == NULL || ret->q == NULL || ret->g == NULL) {
627             ok = -1;
628             goto err;
629         }
630         if (counter_ret != NULL)
631             *counter_ret = counter;
632         if (h_ret != NULL)
633             *h_ret = h;
634     }
635     OPENSSL_free(seed);
636     if (seed_out != seed_tmp)
637         OPENSSL_free(seed_tmp);
638     if (ctx)
639         BN_CTX_end(ctx);
640     BN_CTX_free(ctx);
641     BN_MONT_CTX_free(mont);
642     EVP_MD_CTX_free(mctx);
643     return ok;
644 }