check RAND_pseudo_bytes return value
[openssl.git] / crypto / dsa / dsa_gen.c
1 /* crypto/dsa/dsa_gen.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #undef GENUINE_DSA
60
61 #ifdef GENUINE_DSA
62 /* Parameter generation follows the original release of FIPS PUB 186,
63  * Appendix 2.2 (i.e. use SHA as defined in FIPS PUB 180) */
64 #define HASH    EVP_sha()
65 #else
66 /* Parameter generation follows the updated Appendix 2.2 for FIPS PUB 186,
67  * also Appendix 2.2 of FIPS PUB 186-1 (i.e. use SHA as defined in
68  * FIPS PUB 180-1) */
69 #define HASH    EVP_sha1()
70 #endif 
71
72 #include <openssl/opensslconf.h> /* To see if OPENSSL_NO_SHA is defined */
73
74 #ifndef OPENSSL_NO_SHA
75
76 #define OPENSSL_FIPSAPI
77
78 #include <stdio.h>
79 #include "cryptlib.h"
80 #include <openssl/evp.h>
81 #include <openssl/bn.h>
82 #include <openssl/rand.h>
83 #include <openssl/sha.h>
84 #ifdef OPENSSL_FIPS
85 #include <openssl/fips.h>
86 #endif
87
88 #include "dsa_locl.h"
89
90 int DSA_generate_parameters_ex(DSA *ret, int bits,
91                 const unsigned char *seed_in, int seed_len,
92                 int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
93         {
94         if(ret->meth->dsa_paramgen)
95                 return ret->meth->dsa_paramgen(ret, bits, seed_in, seed_len,
96                                 counter_ret, h_ret, cb);
97         else
98                 {
99                 const EVP_MD *evpmd;
100                 size_t qbits = bits >= 2048 ? 256 : 160;
101
102                 if (bits >= 2048)
103                         {
104                         qbits = 256;
105                         evpmd = EVP_sha256();
106                         }
107                 else
108                         {
109                         qbits = 160;
110                         evpmd = EVP_sha1();
111                         }
112
113                 return dsa_builtin_paramgen(ret, bits, qbits, evpmd,
114                         seed_in, seed_len, NULL, counter_ret, h_ret, cb);
115                 }
116         }
117
118 int dsa_builtin_paramgen(DSA *ret, size_t bits, size_t qbits,
119         const EVP_MD *evpmd, const unsigned char *seed_in, size_t seed_len,
120         unsigned char *seed_out,
121         int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
122         {
123         int ok=0;
124         unsigned char seed[SHA256_DIGEST_LENGTH];
125         unsigned char md[SHA256_DIGEST_LENGTH];
126         unsigned char buf[SHA256_DIGEST_LENGTH],buf2[SHA256_DIGEST_LENGTH];
127         BIGNUM *r0,*W,*X,*c,*test;
128         BIGNUM *g=NULL,*q=NULL,*p=NULL;
129         BN_MONT_CTX *mont=NULL;
130         int i, k, n=0, m=0, qsize = qbits >> 3;
131         int counter=0;
132         int r=0;
133         BN_CTX *ctx=NULL;
134         unsigned int h=2;
135
136 #ifdef OPENSSL_FIPS
137         if(FIPS_selftest_failed())
138             {
139             FIPSerr(FIPS_F_DSA_BUILTIN_PARAMGEN, FIPS_R_FIPS_SELFTEST_FAILED);
140             goto err;
141             }
142
143         if (FIPS_mode() && (bits < OPENSSL_DSA_FIPS_MIN_MODULUS_BITS))
144                 {
145                 DSAerr(DSA_F_DSA_BUILTIN_PARAMGEN, DSA_R_KEY_SIZE_TOO_SMALL);
146                 goto err;
147                 }
148 #endif
149
150         if (qsize != SHA_DIGEST_LENGTH && qsize != SHA224_DIGEST_LENGTH &&
151             qsize != SHA256_DIGEST_LENGTH)
152                 /* invalid q size */
153                 return 0;
154
155         if (evpmd == NULL)
156                 /* use SHA1 as default */
157                 evpmd = EVP_sha1();
158
159         if (bits < 512)
160                 bits = 512;
161
162         bits = (bits+63)/64*64;
163
164         /* NB: seed_len == 0 is special case: copy generated seed to
165          * seed_in if it is not NULL.
166          */
167         if (seed_len && (seed_len < (size_t)qsize))
168                 seed_in = NULL;         /* seed buffer too small -- ignore */
169         if (seed_len > (size_t)qsize) 
170                 seed_len = qsize;       /* App. 2.2 of FIPS PUB 186 allows larger SEED,
171                                          * but our internal buffers are restricted to 160 bits*/
172         if (seed_in != NULL)
173                 memcpy(seed, seed_in, seed_len);
174
175         if ((ctx=BN_CTX_new()) == NULL)
176                 goto err;
177
178         if ((mont=BN_MONT_CTX_new()) == NULL)
179                 goto err;
180
181         BN_CTX_start(ctx);
182         r0 = BN_CTX_get(ctx);
183         g = BN_CTX_get(ctx);
184         W = BN_CTX_get(ctx);
185         q = BN_CTX_get(ctx);
186         X = BN_CTX_get(ctx);
187         c = BN_CTX_get(ctx);
188         p = BN_CTX_get(ctx);
189         test = BN_CTX_get(ctx);
190
191         if (!BN_lshift(test,BN_value_one(),bits-1))
192                 goto err;
193
194         for (;;)
195                 {
196                 for (;;) /* find q */
197                         {
198                         int seed_is_random;
199
200                         /* step 1 */
201                         if(!BN_GENCB_call(cb, 0, m++))
202                                 goto err;
203
204                         if (!seed_len)
205                                 {
206                                 if (RAND_pseudo_bytes(seed, qsize) < 0)
207                                         goto err;
208                                 seed_is_random = 1;
209                                 }
210                         else
211                                 {
212                                 seed_is_random = 0;
213                                 seed_len=0; /* use random seed if 'seed_in' turns out to be bad*/
214                                 }
215                         memcpy(buf , seed, qsize);
216                         memcpy(buf2, seed, qsize);
217                         /* precompute "SEED + 1" for step 7: */
218                         for (i = qsize-1; i >= 0; i--)
219                                 {
220                                 buf[i]++;
221                                 if (buf[i] != 0)
222                                         break;
223                                 }
224
225                         /* step 2 */
226                         if (!EVP_Digest(seed, qsize, md,   NULL, evpmd, NULL))
227                                 goto err;
228                         if (!EVP_Digest(buf,  qsize, buf2, NULL, evpmd, NULL))
229                                 goto err;
230                         for (i = 0; i < qsize; i++)
231                                 md[i]^=buf2[i];
232
233                         /* step 3 */
234                         md[0] |= 0x80;
235                         md[qsize-1] |= 0x01;
236                         if (!BN_bin2bn(md, qsize, q))
237                                 goto err;
238
239                         /* step 4 */
240                         r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
241                                         seed_is_random, cb);
242                         if (r > 0)
243                                 break;
244                         if (r != 0)
245                                 goto err;
246
247                         /* do a callback call */
248                         /* step 5 */
249                         }
250
251                 if(!BN_GENCB_call(cb, 2, 0)) goto err;
252                 if(!BN_GENCB_call(cb, 3, 0)) goto err;
253
254                 /* step 6 */
255                 counter=0;
256                 /* "offset = 2" */
257
258                 n=(bits-1)/160;
259
260                 for (;;)
261                         {
262                         if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
263                                 goto err;
264
265                         /* step 7 */
266                         BN_zero(W);
267                         /* now 'buf' contains "SEED + offset - 1" */
268                         for (k=0; k<=n; k++)
269                                 {
270                                 /* obtain "SEED + offset + k" by incrementing: */
271                                 for (i = qsize-1; i >= 0; i--)
272                                         {
273                                         buf[i]++;
274                                         if (buf[i] != 0)
275                                                 break;
276                                         }
277
278                                 if (!EVP_Digest(buf, qsize, md ,NULL, evpmd,
279                                                                         NULL))
280                                         goto err;
281
282                                 /* step 8 */
283                                 if (!BN_bin2bn(md, qsize, r0))
284                                         goto err;
285                                 if (!BN_lshift(r0,r0,(qsize << 3)*k)) goto err;
286                                 if (!BN_add(W,W,r0)) goto err;
287                                 }
288
289                         /* more of step 8 */
290                         if (!BN_mask_bits(W,bits-1)) goto err;
291                         if (!BN_copy(X,W)) goto err;
292                         if (!BN_add(X,X,test)) goto err;
293
294                         /* step 9 */
295                         if (!BN_lshift1(r0,q)) goto err;
296                         if (!BN_mod(c,X,r0,ctx)) goto err;
297                         if (!BN_sub(r0,c,BN_value_one())) goto err;
298                         if (!BN_sub(p,X,r0)) goto err;
299
300                         /* step 10 */
301                         if (BN_cmp(p,test) >= 0)
302                                 {
303                                 /* step 11 */
304                                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks,
305                                                 ctx, 1, cb);
306                                 if (r > 0)
307                                                 goto end; /* found it */
308                                 if (r != 0)
309                                         goto err;
310                                 }
311
312                         /* step 13 */
313                         counter++;
314                         /* "offset = offset + n + 1" */
315
316                         /* step 14 */
317                         if (counter >= 4096) break;
318                         }
319                 }
320 end:
321         if(!BN_GENCB_call(cb, 2, 1))
322                 goto err;
323
324         /* We now need to generate g */
325         /* Set r0=(p-1)/q */
326         if (!BN_sub(test,p,BN_value_one())) goto err;
327         if (!BN_div(r0,NULL,test,q,ctx)) goto err;
328
329         if (!BN_set_word(test,h)) goto err;
330         if (!BN_MONT_CTX_set(mont,p,ctx)) goto err;
331
332         for (;;)
333                 {
334                 /* g=test^r0%p */
335                 if (!BN_mod_exp_mont(g,test,r0,p,ctx,mont)) goto err;
336                 if (!BN_is_one(g)) break;
337                 if (!BN_add(test,test,BN_value_one())) goto err;
338                 h++;
339                 }
340
341         if(!BN_GENCB_call(cb, 3, 1))
342                 goto err;
343
344         ok=1;
345 err:
346         if (ok)
347                 {
348                 if(ret->p) BN_free(ret->p);
349                 if(ret->q) BN_free(ret->q);
350                 if(ret->g) BN_free(ret->g);
351                 ret->p=BN_dup(p);
352                 ret->q=BN_dup(q);
353                 ret->g=BN_dup(g);
354                 if (ret->p == NULL || ret->q == NULL || ret->g == NULL)
355                         {
356                         ok=0;
357                         goto err;
358                         }
359                 if (counter_ret != NULL) *counter_ret=counter;
360                 if (h_ret != NULL) *h_ret=h;
361                 if (seed_out)
362                         memcpy(seed_out, seed, qsize);
363                 }
364         if(ctx)
365                 {
366                 BN_CTX_end(ctx);
367                 BN_CTX_free(ctx);
368                 }
369         if (mont != NULL) BN_MONT_CTX_free(mont);
370         return ok;
371         }
372
373 /* Security strength of parameter values for (L,N): see FIPS186-3 4.2
374  * and SP800-131A
375  */
376
377
378 static int dsa2_security_strength(size_t L, size_t N)
379         {
380         if (L == 1024 && N == 160)
381                 return 80;
382         if (L == 2048 && N == 224)
383                 return 112;
384         if (L == 2048 && N == 256)
385                 return 112;
386         if (L == 3072 && N == 256)
387                 return 112;
388         return 0;
389         }
390
391 /* This is a parameter generation algorithm for the DSA2 algorithm as
392  * described in FIPS 186-3.
393  */
394
395 int dsa_builtin_paramgen2(DSA *ret, size_t L, size_t N,
396         const EVP_MD *evpmd, const unsigned char *seed_in, size_t seed_len,
397         unsigned char *seed_out,
398         int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
399         {
400         int ok=-1;
401         unsigned char *seed = NULL;
402         unsigned char md[EVP_MAX_MD_SIZE];
403         int mdsize;
404         BIGNUM *r0,*W,*X,*c,*test;
405         BIGNUM *g=NULL,*q=NULL,*p=NULL;
406         BN_MONT_CTX *mont=NULL;
407         int i, k, n=0, m=0, qsize = N >> 3;
408         int counter=0;
409         int r=0;
410         BN_CTX *ctx=NULL;
411         unsigned int h=2;
412
413 #ifdef OPENSSL_FIPS
414         if(FIPS_selftest_failed())
415             {
416             FIPSerr(FIPS_F_DSA_BUILTIN_PARAMGEN2,
417                     FIPS_R_FIPS_SELFTEST_FAILED);
418             goto err;
419             }
420 #endif
421         if (!dsa2_security_strength(L, N))
422                 {
423                 DSAerr(DSA_F_DSA_BUILTIN_PARAMGEN2, DSA_R_INVALID_PARAMETERS);
424                 ok = 0;
425                 goto err;
426                 }
427
428         if (evpmd == NULL)
429                 {
430                 if (N == 160)
431                         evpmd = EVP_sha1();
432                 else if (N == 224)
433                         evpmd = EVP_sha224();
434                 else
435                         evpmd = EVP_sha256();
436                 }
437
438         mdsize = M_EVP_MD_size(evpmd);
439
440         if (seed_len == 0)
441                 seed_len = mdsize;
442
443         seed = OPENSSL_malloc(seed_len);
444
445         if (!seed)
446                 goto err;
447
448         if (seed_in)
449                 memcpy(seed, seed_in, seed_len);
450
451         if ((ctx=BN_CTX_new()) == NULL)
452                 goto err;
453
454         if ((mont=BN_MONT_CTX_new()) == NULL)
455                 goto err;
456
457         BN_CTX_start(ctx);
458         r0 = BN_CTX_get(ctx);
459         g = BN_CTX_get(ctx);
460         W = BN_CTX_get(ctx);
461         q = BN_CTX_get(ctx);
462         X = BN_CTX_get(ctx);
463         c = BN_CTX_get(ctx);
464         p = BN_CTX_get(ctx);
465         test = BN_CTX_get(ctx);
466
467         if (!BN_lshift(test,BN_value_one(),L-1))
468                 goto err;
469         for (;;)
470                 {
471                 for (;;) /* find q */
472                         {
473                         unsigned char *pmd;
474                         /* step 1 */
475                         if(!BN_GENCB_call(cb, 0, m++))
476                                 goto err;
477
478                         if (!seed_in)
479                                 {
480                                 if (RAND_pseudo_bytes(seed, seed_len) < 0)
481                                         goto err;
482                                 }
483                         /* step 2 */
484                         if (!EVP_Digest(seed, seed_len, md, NULL, evpmd, NULL))
485                                 goto err;
486                         /* Take least significant bits of md */
487                         if (mdsize > qsize)
488                                 pmd = md + mdsize - qsize;
489                         else
490                                 pmd = md;
491
492                         if (mdsize < qsize)
493                                 memset(md + mdsize, 0, qsize - mdsize);
494
495                         /* step 3 */
496                         pmd[0] |= 0x80;
497                         pmd[qsize-1] |= 0x01;
498                         if (!BN_bin2bn(pmd, qsize, q))
499                                 goto err;
500
501                         /* step 4 */
502                         r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
503                                         seed_in ? 1 : 0, cb);
504                         if (r > 0)
505                                 break;
506                         if (r != 0)
507                                 goto err;
508                         /* Provided seed didn't produce a prime: error */
509                         if (seed_in)
510                                 {
511                                 ok = 0;
512                                 DSAerr(DSA_F_DSA_BUILTIN_PARAMGEN2, DSA_R_Q_NOT_PRIME);
513                                 goto err;
514                                 }
515
516                         /* do a callback call */
517                         /* step 5 */
518                         }
519                 /* Copy seed to seed_out before we mess with it */
520                 if (seed_out)
521                         memcpy(seed_out, seed, seed_len);
522
523                 if(!BN_GENCB_call(cb, 2, 0)) goto err;
524                 if(!BN_GENCB_call(cb, 3, 0)) goto err;
525
526                 /* step 6 */
527                 counter=0;
528                 /* "offset = 1" */
529
530                 n=(L-1)/(mdsize << 3);
531
532                 for (;;)
533                         {
534                         if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
535                                 goto err;
536
537                         /* step 7 */
538                         BN_zero(W);
539                         /* now 'buf' contains "SEED + offset - 1" */
540                         for (k=0; k<=n; k++)
541                                 {
542                                 /* obtain "SEED + offset + k" by incrementing: */
543                                 for (i = seed_len-1; i >= 0; i--)
544                                         {
545                                         seed[i]++;
546                                         if (seed[i] != 0)
547                                                 break;
548                                         }
549
550                                 if (!EVP_Digest(seed, seed_len, md ,NULL, evpmd,
551                                                                         NULL))
552                                         goto err;
553
554                                 /* step 8 */
555                                 if (!BN_bin2bn(md, mdsize, r0))
556                                         goto err;
557                                 if (!BN_lshift(r0,r0,(mdsize << 3)*k)) goto err;
558                                 if (!BN_add(W,W,r0)) goto err;
559                                 }
560
561                         /* more of step 8 */
562                         if (!BN_mask_bits(W,L-1)) goto err;
563                         if (!BN_copy(X,W)) goto err;
564                         if (!BN_add(X,X,test)) goto err;
565
566                         /* step 9 */
567                         if (!BN_lshift1(r0,q)) goto err;
568                         if (!BN_mod(c,X,r0,ctx)) goto err;
569                         if (!BN_sub(r0,c,BN_value_one())) goto err;
570                         if (!BN_sub(p,X,r0)) goto err;
571
572                         /* step 10 */
573                         if (BN_cmp(p,test) >= 0)
574                                 {
575                                 /* step 11 */
576                                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks,
577                                                 ctx, 1, cb);
578                                 if (r > 0)
579                                                 goto end; /* found it */
580                                 if (r != 0)
581                                         goto err;
582                                 }
583
584                         /* step 13 */
585                         counter++;
586                         /* "offset = offset + n + 1" */
587
588                         /* step 14 */
589                         if (counter >= 4096) break;
590                         }
591                 }
592 end:
593         if(!BN_GENCB_call(cb, 2, 1))
594                 goto err;
595
596         /* We now need to generate g */
597         /* Set r0=(p-1)/q */
598         if (!BN_sub(test,p,BN_value_one())) goto err;
599         if (!BN_div(r0,NULL,test,q,ctx)) goto err;
600
601         if (!BN_set_word(test,h)) goto err;
602         if (!BN_MONT_CTX_set(mont,p,ctx)) goto err;
603
604         for (;;)
605                 {
606                 /* g=test^r0%p */
607                 if (!BN_mod_exp_mont(g,test,r0,p,ctx,mont)) goto err;
608                 if (!BN_is_one(g)) break;
609                 if (!BN_add(test,test,BN_value_one())) goto err;
610                 h++;
611                 }
612
613         if(!BN_GENCB_call(cb, 3, 1))
614                 goto err;
615
616         ok=1;
617 err:
618         if (ok == 1)
619                 {
620                 if(ret->p) BN_free(ret->p);
621                 if(ret->q) BN_free(ret->q);
622                 if(ret->g) BN_free(ret->g);
623                 ret->p=BN_dup(p);
624                 ret->q=BN_dup(q);
625                 ret->g=BN_dup(g);
626                 if (ret->p == NULL || ret->q == NULL || ret->g == NULL)
627                         {
628                         ok=-1;
629                         goto err;
630                         }
631                 if (counter_ret != NULL) *counter_ret=counter;
632                 if (h_ret != NULL) *h_ret=h;
633                 }
634         if (seed)
635                 OPENSSL_free(seed);
636         if(ctx)
637                 {
638                 BN_CTX_end(ctx);
639                 BN_CTX_free(ctx);
640                 }
641         if (mont != NULL) BN_MONT_CTX_free(mont);
642         return ok;
643         }
644 #endif