Remove RSA_FLAG_SIGN_VER flag.
[openssl.git] / crypto / rsa / rsa_gen.c
1 /* crypto/rsa/rsa_gen.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 /*
60  * NB: these functions have been "upgraded", the deprecated versions (which
61  * are compatibility wrappers using these functions) are in rsa_depr.c. -
62  * Geoff
63  */
64
65 #include <stdio.h>
66 #include <time.h>
67 #include "internal/cryptlib.h"
68 #include <openssl/bn.h>
69 #include <openssl/rsa.h>
70
71 static int rsa_builtin_keygen(RSA *rsa, int bits, BIGNUM *e_value,
72                               BN_GENCB *cb);
73
74 /*
75  * NB: this wrapper would normally be placed in rsa_lib.c and the static
76  * implementation would probably be in rsa_eay.c. Nonetheless, is kept here
77  * so that we don't introduce a new linker dependency. Eg. any application
78  * that wasn't previously linking object code related to key-generation won't
79  * have to now just because key-generation is part of RSA_METHOD.
80  */
81 int RSA_generate_key_ex(RSA *rsa, int bits, BIGNUM *e_value, BN_GENCB *cb)
82 {
83     if (rsa->meth->rsa_keygen)
84         return rsa->meth->rsa_keygen(rsa, bits, e_value, cb);
85     return rsa_builtin_keygen(rsa, bits, e_value, cb);
86 }
87
88 static int rsa_builtin_keygen(RSA *rsa, int bits, BIGNUM *e_value,
89                               BN_GENCB *cb)
90 {
91     BIGNUM *r0 = NULL, *r1 = NULL, *r2 = NULL, *r3 = NULL, *tmp;
92     int bitsp, bitsq, ok = -1, n = 0;
93     BN_CTX *ctx = NULL;
94
95     ctx = BN_CTX_new();
96     if (ctx == NULL)
97         goto err;
98     BN_CTX_start(ctx);
99     r0 = BN_CTX_get(ctx);
100     r1 = BN_CTX_get(ctx);
101     r2 = BN_CTX_get(ctx);
102     r3 = BN_CTX_get(ctx);
103     if (r3 == NULL)
104         goto err;
105
106     bitsp = (bits + 1) / 2;
107     bitsq = bits - bitsp;
108
109     /* We need the RSA components non-NULL */
110     if (!rsa->n && ((rsa->n = BN_new()) == NULL))
111         goto err;
112     if (!rsa->d && ((rsa->d = BN_secure_new()) == NULL))
113         goto err;
114     if (!rsa->e && ((rsa->e = BN_new()) == NULL))
115         goto err;
116     if (!rsa->p && ((rsa->p = BN_secure_new()) == NULL))
117         goto err;
118     if (!rsa->q && ((rsa->q = BN_secure_new()) == NULL))
119         goto err;
120     if (!rsa->dmp1 && ((rsa->dmp1 = BN_secure_new()) == NULL))
121         goto err;
122     if (!rsa->dmq1 && ((rsa->dmq1 = BN_secure_new()) == NULL))
123         goto err;
124     if (!rsa->iqmp && ((rsa->iqmp = BN_secure_new()) == NULL))
125         goto err;
126
127     BN_copy(rsa->e, e_value);
128
129     /* generate p and q */
130     for (;;) {
131         if (!BN_generate_prime_ex(rsa->p, bitsp, 0, NULL, NULL, cb))
132             goto err;
133         if (!BN_sub(r2, rsa->p, BN_value_one()))
134             goto err;
135         if (!BN_gcd(r1, r2, rsa->e, ctx))
136             goto err;
137         if (BN_is_one(r1))
138             break;
139         if (!BN_GENCB_call(cb, 2, n++))
140             goto err;
141     }
142     if (!BN_GENCB_call(cb, 3, 0))
143         goto err;
144     for (;;) {
145         /*
146          * When generating ridiculously small keys, we can get stuck
147          * continually regenerating the same prime values. Check for this and
148          * bail if it happens 3 times.
149          */
150         unsigned int degenerate = 0;
151         do {
152             if (!BN_generate_prime_ex(rsa->q, bitsq, 0, NULL, NULL, cb))
153                 goto err;
154         } while ((BN_cmp(rsa->p, rsa->q) == 0) && (++degenerate < 3));
155         if (degenerate == 3) {
156             ok = 0;             /* we set our own err */
157             RSAerr(RSA_F_RSA_BUILTIN_KEYGEN, RSA_R_KEY_SIZE_TOO_SMALL);
158             goto err;
159         }
160         if (!BN_sub(r2, rsa->q, BN_value_one()))
161             goto err;
162         if (!BN_gcd(r1, r2, rsa->e, ctx))
163             goto err;
164         if (BN_is_one(r1))
165             break;
166         if (!BN_GENCB_call(cb, 2, n++))
167             goto err;
168     }
169     if (!BN_GENCB_call(cb, 3, 1))
170         goto err;
171     if (BN_cmp(rsa->p, rsa->q) < 0) {
172         tmp = rsa->p;
173         rsa->p = rsa->q;
174         rsa->q = tmp;
175     }
176
177     /* calculate n */
178     if (!BN_mul(rsa->n, rsa->p, rsa->q, ctx))
179         goto err;
180
181     /* calculate d */
182     if (!BN_sub(r1, rsa->p, BN_value_one()))
183         goto err;               /* p-1 */
184     if (!BN_sub(r2, rsa->q, BN_value_one()))
185         goto err;               /* q-1 */
186     if (!BN_mul(r0, r1, r2, ctx))
187         goto err;               /* (p-1)(q-1) */
188     {
189         BIGNUM *local_r0 = NULL, *pr0;
190         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME)) {
191             pr0 = local_r0 = BN_new();
192             if (local_r0 == NULL)
193                 goto err;
194             BN_with_flags(pr0, r0, BN_FLG_CONSTTIME);
195         } else {
196             pr0 = r0;
197         }
198         if (!BN_mod_inverse(rsa->d, rsa->e, pr0, ctx)) {
199             BN_free(local_r0);
200             goto err;               /* d */
201         }
202         /* We MUST free local_r0 before any further use of r0 */
203         BN_free(local_r0);
204     }
205
206     {
207         BIGNUM *local_d = NULL, *d;
208         /* set up d for correct BN_FLG_CONSTTIME flag */
209         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME)) {
210             d = local_d = BN_new();
211             if (local_d == NULL)
212                 goto err;
213             BN_with_flags(d, rsa->d, BN_FLG_CONSTTIME);
214         } else {
215             d = rsa->d;
216         }
217
218         if (   /* calculate d mod (p-1) */
219                !BN_mod(rsa->dmp1, d, r1, ctx)
220                /* calculate d mod (q-1) */
221             || !BN_mod(rsa->dmq1, d, r2, ctx)) {
222             BN_free(local_d);
223             goto err;
224         }
225         /* We MUST free local_d before any further use of rsa->d */
226         BN_free(local_d);
227     }
228
229     {
230         BIGNUM *local_p = NULL, *p;
231
232         /* calculate inverse of q mod p */
233         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME)) {
234             p = local_p = BN_new();
235             if (local_p == NULL)
236                 goto err;
237             BN_with_flags(p, rsa->p, BN_FLG_CONSTTIME);
238         } else {
239             p = rsa->p;
240         }
241         if (!BN_mod_inverse(rsa->iqmp, rsa->q, p, ctx)) {
242             BN_free(local_p);
243             goto err;
244         }
245         /* We MUST free local_p before any further use of rsa->p */
246         BN_free(local_p);
247     }
248
249     ok = 1;
250  err:
251     if (ok == -1) {
252         RSAerr(RSA_F_RSA_BUILTIN_KEYGEN, ERR_LIB_BN);
253         ok = 0;
254     }
255     if (ctx != NULL)
256         BN_CTX_end(ctx);
257     BN_CTX_free(ctx);
258
259     return ok;
260 }