Audit libcrypto for unchecked return values: fix all cases enountered
[openssl.git] / crypto / dsa / dsa_gen.c
1 /* crypto/dsa/dsa_gen.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #undef GENUINE_DSA
60
61 #ifdef GENUINE_DSA
62 /* Parameter generation follows the original release of FIPS PUB 186,
63  * Appendix 2.2 (i.e. use SHA as defined in FIPS PUB 180) */
64 #define HASH    EVP_sha()
65 #else
66 /* Parameter generation follows the updated Appendix 2.2 for FIPS PUB 186,
67  * also Appendix 2.2 of FIPS PUB 186-1 (i.e. use SHA as defined in
68  * FIPS PUB 180-1) */
69 #define HASH    EVP_sha1()
70 #endif 
71
72 #include <openssl/opensslconf.h> /* To see if OPENSSL_NO_SHA is defined */
73
74 #ifndef OPENSSL_NO_SHA
75
76 #include <stdio.h>
77 #include "cryptlib.h"
78 #include <openssl/evp.h>
79 #include <openssl/bn.h>
80 #include <openssl/rand.h>
81 #include <openssl/sha.h>
82 #include "dsa_locl.h"
83
84 int DSA_generate_parameters_ex(DSA *ret, int bits,
85                 const unsigned char *seed_in, int seed_len,
86                 int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
87         {
88         if(ret->meth->dsa_paramgen)
89                 return ret->meth->dsa_paramgen(ret, bits, seed_in, seed_len,
90                                 counter_ret, h_ret, cb);
91         else
92                 {
93                 const EVP_MD *evpmd;
94                 size_t qbits = bits >= 2048 ? 256 : 160;
95
96                 if (bits >= 2048)
97                         {
98                         qbits = 256;
99                         evpmd = EVP_sha256();
100                         }
101                 else
102                         {
103                         qbits = 160;
104                         evpmd = EVP_sha1();
105                         }
106
107                 return dsa_builtin_paramgen(ret, bits, qbits, evpmd,
108                                 seed_in, seed_len, counter_ret, h_ret, cb);
109                 }
110         }
111
112 int dsa_builtin_paramgen(DSA *ret, size_t bits, size_t qbits,
113         const EVP_MD *evpmd, const unsigned char *seed_in, size_t seed_len,
114         int *counter_ret, unsigned long *h_ret, BN_GENCB *cb)
115         {
116         int ok=0;
117         unsigned char seed[SHA256_DIGEST_LENGTH];
118         unsigned char md[SHA256_DIGEST_LENGTH];
119         unsigned char buf[SHA256_DIGEST_LENGTH],buf2[SHA256_DIGEST_LENGTH];
120         BIGNUM *r0,*W,*X,*c,*test;
121         BIGNUM *g=NULL,*q=NULL,*p=NULL;
122         BN_MONT_CTX *mont=NULL;
123         int i, k,n=0,b,m=0, qsize = qbits >> 3;
124         int counter=0;
125         int r=0;
126         BN_CTX *ctx=NULL;
127         unsigned int h=2;
128
129         if (qsize != SHA_DIGEST_LENGTH && qsize != SHA224_DIGEST_LENGTH &&
130             qsize != SHA256_DIGEST_LENGTH)
131                 /* invalid q size */
132                 return 0;
133
134         if (evpmd == NULL)
135                 /* use SHA1 as default */
136                 evpmd = EVP_sha1();
137
138         if (bits < 512)
139                 bits = 512;
140
141         bits = (bits+63)/64*64;
142
143         /* NB: seed_len == 0 is special case: copy generated seed to
144          * seed_in if it is not NULL.
145          */
146         if (seed_len && (seed_len < (size_t)qsize))
147                 seed_in = NULL;         /* seed buffer too small -- ignore */
148         if (seed_len > (size_t)qsize) 
149                 seed_len = qsize;       /* App. 2.2 of FIPS PUB 186 allows larger SEED,
150                                          * but our internal buffers are restricted to 160 bits*/
151         if (seed_in != NULL)
152                 memcpy(seed, seed_in, seed_len);
153
154         if ((ctx=BN_CTX_new()) == NULL)
155                 goto err;
156
157         if ((mont=BN_MONT_CTX_new()) == NULL)
158                 goto err;
159
160         BN_CTX_start(ctx);
161         r0 = BN_CTX_get(ctx);
162         g = BN_CTX_get(ctx);
163         W = BN_CTX_get(ctx);
164         q = BN_CTX_get(ctx);
165         X = BN_CTX_get(ctx);
166         c = BN_CTX_get(ctx);
167         p = BN_CTX_get(ctx);
168         test = BN_CTX_get(ctx);
169
170         if (!BN_lshift(test,BN_value_one(),bits-1))
171                 goto err;
172
173         for (;;)
174                 {
175                 for (;;) /* find q */
176                         {
177                         int seed_is_random;
178
179                         /* step 1 */
180                         if(!BN_GENCB_call(cb, 0, m++))
181                                 goto err;
182
183                         if (!seed_len)
184                                 {
185                                 RAND_pseudo_bytes(seed, qsize);
186                                 seed_is_random = 1;
187                                 }
188                         else
189                                 {
190                                 seed_is_random = 0;
191                                 seed_len=0; /* use random seed if 'seed_in' turns out to be bad*/
192                                 }
193                         memcpy(buf , seed, qsize);
194                         memcpy(buf2, seed, qsize);
195                         /* precompute "SEED + 1" for step 7: */
196                         for (i = qsize-1; i >= 0; i--)
197                                 {
198                                 buf[i]++;
199                                 if (buf[i] != 0)
200                                         break;
201                                 }
202
203                         /* step 2 */
204                         if (!EVP_Digest(seed, qsize, md,   NULL, evpmd, NULL))
205                                 goto err;
206                         if (!EVP_Digest(buf,  qsize, buf2, NULL, evpmd, NULL))
207                                 goto err;
208                         for (i = 0; i < qsize; i++)
209                                 md[i]^=buf2[i];
210
211                         /* step 3 */
212                         md[0] |= 0x80;
213                         md[qsize-1] |= 0x01;
214                         if (!BN_bin2bn(md, qsize, q))
215                                 goto err;
216
217                         /* step 4 */
218                         r = BN_is_prime_fasttest_ex(q, DSS_prime_checks, ctx,
219                                         seed_is_random, cb);
220                         if (r > 0)
221                                 break;
222                         if (r != 0)
223                                 goto err;
224
225                         /* do a callback call */
226                         /* step 5 */
227                         }
228
229                 if(!BN_GENCB_call(cb, 2, 0)) goto err;
230                 if(!BN_GENCB_call(cb, 3, 0)) goto err;
231
232                 /* step 6 */
233                 counter=0;
234                 /* "offset = 2" */
235
236                 n=(bits-1)/160;
237                 b=(bits-1)-n*160;
238
239                 for (;;)
240                         {
241                         if ((counter != 0) && !BN_GENCB_call(cb, 0, counter))
242                                 goto err;
243
244                         /* step 7 */
245                         BN_zero(W);
246                         /* now 'buf' contains "SEED + offset - 1" */
247                         for (k=0; k<=n; k++)
248                                 {
249                                 /* obtain "SEED + offset + k" by incrementing: */
250                                 for (i = qsize-1; i >= 0; i--)
251                                         {
252                                         buf[i]++;
253                                         if (buf[i] != 0)
254                                                 break;
255                                         }
256
257                                 if (!EVP_Digest(buf, qsize, md ,NULL, evpmd,
258                                                                         NULL))
259                                         goto err;
260
261                                 /* step 8 */
262                                 if (!BN_bin2bn(md, qsize, r0))
263                                         goto err;
264                                 if (!BN_lshift(r0,r0,(qsize << 3)*k)) goto err;
265                                 if (!BN_add(W,W,r0)) goto err;
266                                 }
267
268                         /* more of step 8 */
269                         if (!BN_mask_bits(W,bits-1)) goto err;
270                         if (!BN_copy(X,W)) goto err;
271                         if (!BN_add(X,X,test)) goto err;
272
273                         /* step 9 */
274                         if (!BN_lshift1(r0,q)) goto err;
275                         if (!BN_mod(c,X,r0,ctx)) goto err;
276                         if (!BN_sub(r0,c,BN_value_one())) goto err;
277                         if (!BN_sub(p,X,r0)) goto err;
278
279                         /* step 10 */
280                         if (BN_cmp(p,test) >= 0)
281                                 {
282                                 /* step 11 */
283                                 r = BN_is_prime_fasttest_ex(p, DSS_prime_checks,
284                                                 ctx, 1, cb);
285                                 if (r > 0)
286                                                 goto end; /* found it */
287                                 if (r != 0)
288                                         goto err;
289                                 }
290
291                         /* step 13 */
292                         counter++;
293                         /* "offset = offset + n + 1" */
294
295                         /* step 14 */
296                         if (counter >= 4096) break;
297                         }
298                 }
299 end:
300         if(!BN_GENCB_call(cb, 2, 1))
301                 goto err;
302
303         /* We now need to generate g */
304         /* Set r0=(p-1)/q */
305         if (!BN_sub(test,p,BN_value_one())) goto err;
306         if (!BN_div(r0,NULL,test,q,ctx)) goto err;
307
308         if (!BN_set_word(test,h)) goto err;
309         if (!BN_MONT_CTX_set(mont,p,ctx)) goto err;
310
311         for (;;)
312                 {
313                 /* g=test^r0%p */
314                 if (!BN_mod_exp_mont(g,test,r0,p,ctx,mont)) goto err;
315                 if (!BN_is_one(g)) break;
316                 if (!BN_add(test,test,BN_value_one())) goto err;
317                 h++;
318                 }
319
320         if(!BN_GENCB_call(cb, 3, 1))
321                 goto err;
322
323         ok=1;
324 err:
325         if (ok)
326                 {
327                 if(ret->p) BN_free(ret->p);
328                 if(ret->q) BN_free(ret->q);
329                 if(ret->g) BN_free(ret->g);
330                 ret->p=BN_dup(p);
331                 ret->q=BN_dup(q);
332                 ret->g=BN_dup(g);
333                 if (ret->p == NULL || ret->q == NULL || ret->g == NULL)
334                         {
335                         ok=0;
336                         goto err;
337                         }
338                 if (counter_ret != NULL) *counter_ret=counter;
339                 if (h_ret != NULL) *h_ret=h;
340                 }
341         if(ctx)
342                 {
343                 BN_CTX_end(ctx);
344                 BN_CTX_free(ctx);
345                 }
346         if (mont != NULL) BN_MONT_CTX_free(mont);
347         return ok;
348         }
349 #endif