A general spring-cleaning (in autumn) to fix up signed/unsigned warnings.
[openssl.git] / crypto / rsa / rsa_gen.c
1 /* crypto/rsa/rsa_gen.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59
60 /* NB: these functions have been "upgraded", the deprecated versions (which are
61  * compatibility wrappers using these functions) are in rsa_depr.c.
62  * - Geoff
63  */
64
65 #include <stdio.h>
66 #include <time.h>
67 #include "cryptlib.h"
68 #include <openssl/bn.h>
69 #include <openssl/rsa.h>
70
71 static int rsa_builtin_keygen(RSA *rsa, int bits, unsigned long e_value, BN_GENCB *cb);
72
73 /* NB: this wrapper would normally be placed in rsa_lib.c and the static
74  * implementation would probably be in rsa_eay.c. Nonetheless, is kept here so
75  * that we don't introduce a new linker dependency. Eg. any application that
76  * wasn't previously linking object code related to key-generation won't have to
77  * now just because key-generation is part of RSA_METHOD. */
78 int RSA_generate_key_ex(RSA *rsa, int bits, unsigned long e_value, BN_GENCB *cb)
79         {
80         if(rsa->meth->rsa_keygen)
81                 return rsa->meth->rsa_keygen(rsa, bits, e_value, cb);
82         return rsa_builtin_keygen(rsa, bits, e_value, cb);
83         }
84
85 static int rsa_builtin_keygen(RSA *rsa, int bits, unsigned long e_value, BN_GENCB *cb)
86         {
87         BIGNUM *r0=NULL,*r1=NULL,*r2=NULL,*r3=NULL,*tmp;
88         int bitsp,bitsq,ok= -1,n=0;
89         unsigned int i;
90         BN_CTX *ctx=NULL,*ctx2=NULL;
91
92         ctx=BN_CTX_new();
93         if (ctx == NULL) goto err;
94         ctx2=BN_CTX_new();
95         if (ctx2 == NULL) goto err;
96         BN_CTX_start(ctx);
97         r0 = BN_CTX_get(ctx);
98         r1 = BN_CTX_get(ctx);
99         r2 = BN_CTX_get(ctx);
100         r3 = BN_CTX_get(ctx);
101         if (r3 == NULL) goto err;
102
103         bitsp=(bits+1)/2;
104         bitsq=bits-bitsp;
105
106         /* We need the RSA components non-NULL */
107         if(!rsa->n && ((rsa->n=BN_new()) == NULL)) goto err;
108         if(!rsa->d && ((rsa->d=BN_new()) == NULL)) goto err;
109         if(!rsa->e && ((rsa->e=BN_new()) == NULL)) goto err;
110         if(!rsa->p && ((rsa->p=BN_new()) == NULL)) goto err;
111         if(!rsa->q && ((rsa->q=BN_new()) == NULL)) goto err;
112         if(!rsa->dmp1 && ((rsa->dmp1=BN_new()) == NULL)) goto err;
113         if(!rsa->dmq1 && ((rsa->dmq1=BN_new()) == NULL)) goto err;
114         if(!rsa->iqmp && ((rsa->iqmp=BN_new()) == NULL)) goto err;
115
116 #if 1
117         /* The problem is when building with 8, 16, or 32 BN_ULONG,
118          * unsigned long can be larger */
119         for (i=0; i<sizeof(unsigned long)*8; i++)
120                 {
121                 if (e_value & (1UL<<i))
122                         BN_set_bit(rsa->e,i);
123                 }
124 #else
125         if (!BN_set_word(rsa->e,e_value)) goto err;
126 #endif
127
128         /* generate p and q */
129         for (;;)
130                 {
131                 if(!BN_generate_prime_ex(rsa->p, bitsp, 0, NULL, NULL, cb))
132                         goto err;
133                 if (!BN_sub(r2,rsa->p,BN_value_one())) goto err;
134                 if (!BN_gcd(r1,r2,rsa->e,ctx)) goto err;
135                 if (BN_is_one(r1)) break;
136                 if(!BN_GENCB_call(cb, 2, n++))
137                         goto err;
138                 }
139         if(!BN_GENCB_call(cb, 3, 0))
140                 goto err;
141         for (;;)
142                 {
143                 if(!BN_generate_prime_ex(rsa->q, bitsq, 0, NULL, NULL, cb))
144                         goto err;
145                 if (!BN_sub(r2,rsa->q,BN_value_one())) goto err;
146                 if (!BN_gcd(r1,r2,rsa->e,ctx)) goto err;
147                 if (BN_is_one(r1) && (BN_cmp(rsa->p,rsa->q) != 0))
148                         break;
149                 if(!BN_GENCB_call(cb, 2, n++))
150                         goto err;
151                 }
152         if(!BN_GENCB_call(cb, 3, 1))
153                 goto err;
154         if (BN_cmp(rsa->p,rsa->q) < 0)
155                 {
156                 tmp=rsa->p;
157                 rsa->p=rsa->q;
158                 rsa->q=tmp;
159                 }
160
161         /* calculate n */
162         if (!BN_mul(rsa->n,rsa->p,rsa->q,ctx)) goto err;
163
164         /* calculate d */
165         if (!BN_sub(r1,rsa->p,BN_value_one())) goto err;        /* p-1 */
166         if (!BN_sub(r2,rsa->q,BN_value_one())) goto err;        /* q-1 */
167         if (!BN_mul(r0,r1,r2,ctx)) goto err;    /* (p-1)(q-1) */
168
169 /* should not be needed, since gcd(p-1,e) == 1 and gcd(q-1,e) == 1 */
170 /*      for (;;)
171                 {
172                 if (!BN_gcd(r3,r0,rsa->e,ctx)) goto err;
173                 if (BN_is_one(r3)) break;
174
175                 if (1)
176                         {
177                         if (!BN_add_word(rsa->e,2L)) goto err;
178                         continue;
179                         }
180                 RSAerr(RSA_F_RSA_GENERATE_KEY,RSA_R_BAD_E_VALUE);
181                 goto err;
182                 }
183 */
184         if (!BN_mod_inverse(rsa->d,rsa->e,r0,ctx2)) goto err;   /* d */
185
186         /* calculate d mod (p-1) */
187         if (!BN_mod(rsa->dmp1,rsa->d,r1,ctx)) goto err;
188
189         /* calculate d mod (q-1) */
190         if (!BN_mod(rsa->dmq1,rsa->d,r2,ctx)) goto err;
191
192         /* calculate inverse of q mod p */
193         if (!BN_mod_inverse(rsa->iqmp,rsa->q,rsa->p,ctx2)) goto err;
194
195         ok=1;
196 err:
197         if (ok == -1)
198                 {
199                 RSAerr(RSA_F_RSA_GENERATE_KEY,ERR_LIB_BN);
200                 ok=0;
201                 }
202         BN_CTX_end(ctx);
203         BN_CTX_free(ctx);
204         BN_CTX_free(ctx2);
205
206         return ok;
207         }
208