Backport libcrypto audit: check return values of EVP functions instead
[openssl.git] / crypto / rsa / rsa_lib.c
1 /* crypto/rsa/rsa_lib.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include <openssl/crypto.h>
61 #include "cryptlib.h"
62 #include <openssl/lhash.h>
63 #include <openssl/bn.h>
64 #include <openssl/rsa.h>
65 #include <openssl/rand.h>
66 #ifndef OPENSSL_NO_ENGINE
67 #include <openssl/engine.h>
68 #endif
69
70 #ifdef OPENSSL_FIPS
71 #include <openssl/fips.h>
72 #endif
73
74 const char RSA_version[]="RSA" OPENSSL_VERSION_PTEXT;
75
76 static const RSA_METHOD *default_RSA_meth=NULL;
77
78 RSA *RSA_new(void)
79         {
80         RSA *r=RSA_new_method(NULL);
81
82         return r;
83         }
84
85 void RSA_set_default_method(const RSA_METHOD *meth)
86         {
87         default_RSA_meth = meth;
88         }
89
90 const RSA_METHOD *RSA_get_default_method(void)
91         {
92         if (default_RSA_meth == NULL)
93                 {
94 #ifdef RSA_NULL
95                 default_RSA_meth=RSA_null_method();
96 #else
97 #if 0 /* was: #ifdef RSAref */
98                 default_RSA_meth=RSA_PKCS1_RSAref();
99 #else
100 #ifdef OPENSSL_FIPS
101                 if (FIPS_mode())
102                         default_RSA_meth = FIPS_rsa_pkcs1_ssleay();
103                 else
104 #endif
105                         default_RSA_meth=RSA_PKCS1_SSLeay();
106 #endif
107 #endif
108                 }
109
110         return default_RSA_meth;
111         }
112
113 const RSA_METHOD *RSA_get_method(const RSA *rsa)
114         {
115         return rsa->meth;
116         }
117
118 int RSA_set_method(RSA *rsa, const RSA_METHOD *meth)
119         {
120         /* NB: The caller is specifically setting a method, so it's not up to us
121          * to deal with which ENGINE it comes from. */
122         const RSA_METHOD *mtmp;
123         mtmp = rsa->meth;
124         if (mtmp->finish) mtmp->finish(rsa);
125 #ifndef OPENSSL_NO_ENGINE
126         if (rsa->engine)
127                 {
128                 ENGINE_finish(rsa->engine);
129                 rsa->engine = NULL;
130                 }
131 #endif
132         rsa->meth = meth;
133         if (meth->init) meth->init(rsa);
134         return 1;
135         }
136
137 RSA *RSA_new_method(ENGINE *engine)
138         {
139         RSA *ret;
140
141         ret=(RSA *)OPENSSL_malloc(sizeof(RSA));
142         if (ret == NULL)
143                 {
144                 RSAerr(RSA_F_RSA_NEW_METHOD,ERR_R_MALLOC_FAILURE);
145                 return NULL;
146                 }
147
148         ret->meth = RSA_get_default_method();
149 #ifndef OPENSSL_NO_ENGINE
150         if (engine)
151                 {
152                 if (!ENGINE_init(engine))
153                         {
154                         RSAerr(RSA_F_RSA_NEW_METHOD, ERR_R_ENGINE_LIB);
155                         OPENSSL_free(ret);
156                         return NULL;
157                         }
158                 ret->engine = engine;
159                 }
160         else
161                 ret->engine = ENGINE_get_default_RSA();
162         if(ret->engine)
163                 {
164                 ret->meth = ENGINE_get_RSA(ret->engine);
165                 if(!ret->meth)
166                         {
167                         RSAerr(RSA_F_RSA_NEW_METHOD,
168                                 ERR_R_ENGINE_LIB);
169                         ENGINE_finish(ret->engine);
170                         OPENSSL_free(ret);
171                         return NULL;
172                         }
173                 }
174 #endif
175
176         ret->pad=0;
177         ret->version=0;
178         ret->n=NULL;
179         ret->e=NULL;
180         ret->d=NULL;
181         ret->p=NULL;
182         ret->q=NULL;
183         ret->dmp1=NULL;
184         ret->dmq1=NULL;
185         ret->iqmp=NULL;
186         ret->references=1;
187         ret->_method_mod_n=NULL;
188         ret->_method_mod_p=NULL;
189         ret->_method_mod_q=NULL;
190         ret->blinding=NULL;
191         ret->mt_blinding=NULL;
192         ret->bignum_data=NULL;
193         ret->flags=ret->meth->flags & ~RSA_FLAG_NON_FIPS_ALLOW;
194         if (!CRYPTO_new_ex_data(CRYPTO_EX_INDEX_RSA, ret, &ret->ex_data))
195                 {
196 #ifndef OPENSSL_NO_ENGINE
197         if (ret->engine)
198                 ENGINE_finish(ret->engine);
199 #endif
200                 OPENSSL_free(ret);
201                 return(NULL);
202                 }
203
204         if ((ret->meth->init != NULL) && !ret->meth->init(ret))
205                 {
206 #ifndef OPENSSL_NO_ENGINE
207                 if (ret->engine)
208                         ENGINE_finish(ret->engine);
209 #endif
210                 CRYPTO_free_ex_data(CRYPTO_EX_INDEX_RSA, ret, &ret->ex_data);
211                 OPENSSL_free(ret);
212                 ret=NULL;
213                 }
214         return(ret);
215         }
216
217 void RSA_free(RSA *r)
218         {
219         int i;
220
221         if (r == NULL) return;
222
223         i=CRYPTO_add(&r->references,-1,CRYPTO_LOCK_RSA);
224 #ifdef REF_PRINT
225         REF_PRINT("RSA",r);
226 #endif
227         if (i > 0) return;
228 #ifdef REF_CHECK
229         if (i < 0)
230                 {
231                 fprintf(stderr,"RSA_free, bad reference count\n");
232                 abort();
233                 }
234 #endif
235
236         if (r->meth->finish)
237                 r->meth->finish(r);
238 #ifndef OPENSSL_NO_ENGINE
239         if (r->engine)
240                 ENGINE_finish(r->engine);
241 #endif
242
243         CRYPTO_free_ex_data(CRYPTO_EX_INDEX_RSA, r, &r->ex_data);
244
245         if (r->n != NULL) BN_clear_free(r->n);
246         if (r->e != NULL) BN_clear_free(r->e);
247         if (r->d != NULL) BN_clear_free(r->d);
248         if (r->p != NULL) BN_clear_free(r->p);
249         if (r->q != NULL) BN_clear_free(r->q);
250         if (r->dmp1 != NULL) BN_clear_free(r->dmp1);
251         if (r->dmq1 != NULL) BN_clear_free(r->dmq1);
252         if (r->iqmp != NULL) BN_clear_free(r->iqmp);
253         if (r->blinding != NULL) BN_BLINDING_free(r->blinding);
254         if (r->mt_blinding != NULL) BN_BLINDING_free(r->mt_blinding);
255         if (r->bignum_data != NULL) OPENSSL_free_locked(r->bignum_data);
256         OPENSSL_free(r);
257         }
258
259 int RSA_up_ref(RSA *r)
260         {
261         int i = CRYPTO_add(&r->references, 1, CRYPTO_LOCK_RSA);
262 #ifdef REF_PRINT
263         REF_PRINT("RSA",r);
264 #endif
265 #ifdef REF_CHECK
266         if (i < 2)
267                 {
268                 fprintf(stderr, "RSA_up_ref, bad reference count\n");
269                 abort();
270                 }
271 #endif
272         return ((i > 1) ? 1 : 0);
273         }
274
275 int RSA_get_ex_new_index(long argl, void *argp, CRYPTO_EX_new *new_func,
276              CRYPTO_EX_dup *dup_func, CRYPTO_EX_free *free_func)
277         {
278         return CRYPTO_get_ex_new_index(CRYPTO_EX_INDEX_RSA, argl, argp,
279                                 new_func, dup_func, free_func);
280         }
281
282 int RSA_set_ex_data(RSA *r, int idx, void *arg)
283         {
284         return(CRYPTO_set_ex_data(&r->ex_data,idx,arg));
285         }
286
287 void *RSA_get_ex_data(const RSA *r, int idx)
288         {
289         return(CRYPTO_get_ex_data(&r->ex_data,idx));
290         }
291
292 int RSA_memory_lock(RSA *r)
293         {
294         int i,j,k,off;
295         char *p;
296         BIGNUM *bn,**t[6],*b;
297         BN_ULONG *ul;
298
299         if (r->d == NULL) return(1);
300         t[0]= &r->d;
301         t[1]= &r->p;
302         t[2]= &r->q;
303         t[3]= &r->dmp1;
304         t[4]= &r->dmq1;
305         t[5]= &r->iqmp;
306         k=sizeof(BIGNUM)*6;
307         off=k/sizeof(BN_ULONG)+1;
308         j=1;
309         for (i=0; i<6; i++)
310                 j+= (*t[i])->top;
311         if ((p=OPENSSL_malloc_locked((off+j)*sizeof(BN_ULONG))) == NULL)
312                 {
313                 RSAerr(RSA_F_RSA_MEMORY_LOCK,ERR_R_MALLOC_FAILURE);
314                 return(0);
315                 }
316         bn=(BIGNUM *)p;
317         ul=(BN_ULONG *)&(p[off]);
318         for (i=0; i<6; i++)
319                 {
320                 b= *(t[i]);
321                 *(t[i])= &(bn[i]);
322                 memcpy((char *)&(bn[i]),(char *)b,sizeof(BIGNUM));
323                 bn[i].flags=BN_FLG_STATIC_DATA;
324                 bn[i].d=ul;
325                 memcpy((char *)ul,b->d,sizeof(BN_ULONG)*b->top);
326                 ul+=b->top;
327                 BN_clear_free(b);
328                 }
329         
330         /* I should fix this so it can still be done */
331         r->flags&= ~(RSA_FLAG_CACHE_PRIVATE|RSA_FLAG_CACHE_PUBLIC);
332
333         r->bignum_data=p;
334         return(1);
335         }