crypto/rsa/rsa_eay.c

   1 /* crypto/rsa/rsa_eay.c */
   2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
   3  * All rights reserved.
   4  *
   5  * This package is an SSL implementation written
   6  * by Eric Young (eay@cryptsoft.com).
   7  * The implementation was written so as to conform with Netscapes SSL.
   8  *
   9  * This library is free for commercial and non-commercial use as long as
  10  * the following conditions are aheared to.  The following conditions
  11  * apply to all code found in this distribution, be it the RC4, RSA,
  12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
  13  * included with this distribution is covered by the same copyright terms
  14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
  15  *
  16  * Copyright remains Eric Young's, and as such any Copyright notices in
  17  * the code are not to be removed.
  18  * If this package is used in a product, Eric Young should be given attribution
  19  * as the author of the parts of the library used.
  20  * This can be in the form of a textual message at program startup or
  21  * in documentation (online or textual) provided with the package.
  22  *
  23  * Redistribution and use in source and binary forms, with or without
  24  * modification, are permitted provided that the following conditions
  25  * are met:
  26  * 1. Redistributions of source code must retain the copyright
  27  *    notice, this list of conditions and the following disclaimer.
  28  * 2. Redistributions in binary form must reproduce the above copyright
  29  *    notice, this list of conditions and the following disclaimer in the
  30  *    documentation and/or other materials provided with the distribution.
  31  * 3. All advertising materials mentioning features or use of this software
  32  *    must display the following acknowledgement:
  33  *    "This product includes cryptographic software written by
  34  *     Eric Young (eay@cryptsoft.com)"
  35  *    The word 'cryptographic' can be left out if the rouines from the library
  36  *    being used are not cryptographic related :-).
  37  * 4. If you include any Windows specific code (or a derivative thereof) from
  38  *    the apps directory (application code) you must include an acknowledgement:
  39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
  40  *
  41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
  42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  51  * SUCH DAMAGE.
  52  *
  53  * The licence and distribution terms for any publically available version or
  54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
  55  * copied and put under another distribution licence
  56  * [including the GNU Public Licence.]
  57  */
  58
  59 #include <stdio.h>
  60 #include "cryptlib.h"
  61 #include <openssl/bn.h>
  62 #include <openssl/rsa.h>
  63 #include <openssl/rand.h>
  64
  65 static int RSA_eay_public_encrypt(int flen, unsigned char *from,
  66                 unsigned char *to, RSA *rsa,int padding);
  67 static int RSA_eay_private_encrypt(int flen, unsigned char *from,
  68                 unsigned char *to, RSA *rsa,int padding);
  69 static int RSA_eay_public_decrypt(int flen, unsigned char *from,
  70                 unsigned char *to, RSA *rsa,int padding);
  71 static int RSA_eay_private_decrypt(int flen, unsigned char *from,
  72                 unsigned char *to, RSA *rsa,int padding);
  73 static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *i, RSA *rsa);
  74 static int RSA_eay_init(RSA *rsa);
  75 static int RSA_eay_finish(RSA *rsa);
  76 static RSA_METHOD rsa_pkcs1_eay_meth={
  77         "Eric Young's PKCS#1 RSA",
  78         RSA_eay_public_encrypt,
  79         RSA_eay_public_decrypt,
  80         RSA_eay_private_encrypt,
  81         RSA_eay_private_decrypt,
  82         RSA_eay_mod_exp,
  83         BN_mod_exp_mont,
  84         RSA_eay_init,
  85         RSA_eay_finish,
  86         0,
  87         NULL,
  88         };
  89
  90 RSA_METHOD *RSA_PKCS1_SSLeay(void)
  91         {
  92         return(&rsa_pkcs1_eay_meth);
  93         }
  94
  95 static int RSA_eay_public_encrypt(int flen, unsigned char *from,
  96              unsigned char *to, RSA *rsa, int padding)
  97         {
  98         BIGNUM f,ret;
  99         int i,j,k,num=0,r= -1;
 100         unsigned char *buf=NULL;
 101         BN_CTX *ctx=NULL;
 102
 103         BN_init(&f);
 104         BN_init(&ret);
 105         if ((ctx=BN_CTX_new()) == NULL) goto err;
 106         num=BN_num_bytes(rsa->n);
 107         if ((buf=(unsigned char *)Malloc(num)) == NULL)
 108                 {
 109                 RSAerr(RSA_F_RSA_EAY_PUBLIC_ENCRYPT,ERR_R_MALLOC_FAILURE);
 110                 goto err;
 111                 }
 112
 113         switch (padding)
 114                 {
 115         case RSA_PKCS1_PADDING:
 116                 i=RSA_padding_add_PKCS1_type_2(buf,num,from,flen);
 117                 break;
 118 #ifndef NO_SHA
 119         case RSA_PKCS1_OAEP_PADDING:
 120                 i=RSA_padding_add_PKCS1_OAEP(buf,num,from,flen,NULL,0);
 121                 break;
 122 #endif
 123         case RSA_SSLV23_PADDING:
 124                 i=RSA_padding_add_SSLv23(buf,num,from,flen);
 125                 break;
 126         case RSA_NO_PADDING:
 127                 i=RSA_padding_add_none(buf,num,from,flen);
 128                 break;
 129         default:
 130                 RSAerr(RSA_F_RSA_EAY_PUBLIC_ENCRYPT,RSA_R_UNKNOWN_PADDING_TYPE);
 131                 goto err;
 132                 }
 133         if (i <= 0) goto err;
 134
 135         if (BN_bin2bn(buf,num,&f) == NULL) goto err;
 136
 137         if ((rsa->_method_mod_n == NULL) && (rsa->flags & RSA_FLAG_CACHE_PUBLIC))
 138                 {
 139                 if ((rsa->_method_mod_n=BN_MONT_CTX_new()) != NULL)
 140                         if (!BN_MONT_CTX_set(rsa->_method_mod_n,rsa->n,ctx))
 141                             goto err;
 142                 }
 143
 144         if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->e,rsa->n,ctx,
 145                 rsa->_method_mod_n)) goto err;
 146
 147         /* put in leading 0 bytes if the number is less than the
 148          * length of the modulus */
 149         j=BN_num_bytes(&ret);
 150         i=BN_bn2bin(&ret,&(to[num-j]));
 151         for (k=0; k<(num-i); k++)
 152                 to[k]=0;
 153
 154         r=num;
 155 err:
 156         if (ctx != NULL) BN_CTX_free(ctx);
 157         BN_clear_free(&f);
 158         BN_clear_free(&ret);
 159         if (buf != NULL)
 160                 {
 161                 memset(buf,0,num);
 162                 Free(buf);
 163                 }
 164         return(r);
 165         }
 166
 167 static int RSA_eay_private_encrypt(int flen, unsigned char *from,
 168              unsigned char *to, RSA *rsa, int padding)
 169         {
 170         BIGNUM f,ret;
 171         int i,j,k,num=0,r= -1;
 172         unsigned char *buf=NULL;
 173         BN_CTX *ctx=NULL;
 174
 175         BN_init(&f);
 176         BN_init(&ret);
 177
 178         if ((ctx=BN_CTX_new()) == NULL) goto err;
 179         num=BN_num_bytes(rsa->n);
 180         if ((buf=(unsigned char *)Malloc(num)) == NULL)
 181                 {
 182                 RSAerr(RSA_F_RSA_EAY_PRIVATE_ENCRYPT,ERR_R_MALLOC_FAILURE);
 183                 goto err;
 184                 }
 185
 186         switch (padding)
 187                 {
 188         case RSA_PKCS1_PADDING:
 189                 i=RSA_padding_add_PKCS1_type_1(buf,num,from,flen);
 190                 break;
 191         case RSA_NO_PADDING:
 192                 i=RSA_padding_add_none(buf,num,from,flen);
 193                 break;
 194         case RSA_SSLV23_PADDING:
 195         default:
 196                 RSAerr(RSA_F_RSA_EAY_PRIVATE_ENCRYPT,RSA_R_UNKNOWN_PADDING_TYPE);
 197                 goto err;
 198                 }
 199         if (i <= 0) goto err;
 200
 201         if (BN_bin2bn(buf,num,&f) == NULL) goto err;
 202
 203         if ((rsa->flags & RSA_FLAG_BLINDING) && (rsa->blinding == NULL))
 204                 RSA_blinding_on(rsa,ctx);
 205         if (rsa->flags & RSA_FLAG_BLINDING)
 206                 if (!BN_BLINDING_convert(&f,rsa->blinding,ctx)) goto err;
 207
 208         if ( (rsa->flags & RSA_FLAG_EXT_PKEY) ||
 209                 ((rsa->p != NULL) &&
 210                 (rsa->q != NULL) &&
 211                 (rsa->dmp1 != NULL) &&
 212                 (rsa->dmq1 != NULL) &&
 213                 (rsa->iqmp != NULL)) )
 214                 { if (!rsa->meth->rsa_mod_exp(&ret,&f,rsa)) goto err; }
 215         else
 216                 {
 217                 if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,NULL)) goto err;
 218                 }
 219
 220         if (rsa->flags & RSA_FLAG_BLINDING)
 221                 if (!BN_BLINDING_invert(&ret,rsa->blinding,ctx)) goto err;
 222
 223         /* put in leading 0 bytes if the number is less than the
 224          * length of the modulus */
 225         j=BN_num_bytes(&ret);
 226         i=BN_bn2bin(&ret,&(to[num-j]));
 227         for (k=0; k<(num-i); k++)
 228                 to[k]=0;
 229
 230         r=num;
 231 err:
 232         if (ctx != NULL) BN_CTX_free(ctx);
 233         BN_clear_free(&ret);
 234         BN_clear_free(&f);
 235         if (buf != NULL)
 236                 {
 237                 memset(buf,0,num);
 238                 Free(buf);
 239                 }
 240         return(r);
 241         }
 242
 243 static int RSA_eay_private_decrypt(int flen, unsigned char *from,
 244              unsigned char *to, RSA *rsa, int padding)
 245         {
 246         BIGNUM f,ret;
 247         int j,num=0,r= -1;
 248         unsigned char *p;
 249         unsigned char *buf=NULL;
 250         BN_CTX *ctx=NULL;
 251
 252         BN_init(&f);
 253         BN_init(&ret);
 254         ctx=BN_CTX_new();
 255         if (ctx == NULL) goto err;
 256
 257         num=BN_num_bytes(rsa->n);
 258
 259         if ((buf=(unsigned char *)Malloc(num)) == NULL)
 260                 {
 261                 RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,ERR_R_MALLOC_FAILURE);
 262                 goto err;
 263                 }
 264
 265         /* This check was for equallity but PGP does evil things
 266          * and chops off the top '0' bytes */
 267         if (flen > num)
 268                 {
 269                 RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,RSA_R_DATA_GREATER_THAN_MOD_LEN);
 270                 goto err;
 271                 }
 272
 273         /* make data into a big number */
 274         if (BN_bin2bn(from,(int)flen,&f) == NULL) goto err;
 275
 276         if ((rsa->flags & RSA_FLAG_BLINDING) && (rsa->blinding == NULL))
 277                 RSA_blinding_on(rsa,ctx);
 278         if (rsa->flags & RSA_FLAG_BLINDING)
 279                 if (!BN_BLINDING_convert(&f,rsa->blinding,ctx)) goto err;
 280
 281         /* do the decrypt */
 282         if ( (rsa->flags & RSA_FLAG_EXT_PKEY) ||
 283                 ((rsa->p != NULL) &&
 284                 (rsa->q != NULL) &&
 285                 (rsa->dmp1 != NULL) &&
 286                 (rsa->dmq1 != NULL) &&
 287                 (rsa->iqmp != NULL)) )
 288                 { if (!rsa->meth->rsa_mod_exp(&ret,&f,rsa)) goto err; }
 289         else
 290                 {
 291                 if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,NULL))
 292                         goto err;
 293                 }
 294
 295         if (rsa->flags & RSA_FLAG_BLINDING)
 296                 if (!BN_BLINDING_invert(&ret,rsa->blinding,ctx)) goto err;
 297
 298         p=buf;
 299         j=BN_bn2bin(&ret,p); /* j is only used with no-padding mode */
 300
 301         switch (padding)
 302                 {
 303         case RSA_PKCS1_PADDING:
 304                 r=RSA_padding_check_PKCS1_type_2(to,num,buf,j,num);
 305                 break;
 306 #ifndef NO_SHA
 307         case RSA_PKCS1_OAEP_PADDING:
 308                 r=RSA_padding_check_PKCS1_OAEP(to,num,buf,j,num,NULL,0);
 309                 break;
 310 #endif
 311         case RSA_SSLV23_PADDING:
 312                 r=RSA_padding_check_SSLv23(to,num,buf,j,num);
 313                 break;
 314         case RSA_NO_PADDING:
 315                 r=RSA_padding_check_none(to,num,buf,j,num);
 316                 break;
 317         default:
 318                 RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,RSA_R_UNKNOWN_PADDING_TYPE);
 319                 goto err;
 320                 }
 321         if (r < 0)
 322                 RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,RSA_R_PADDING_CHECK_FAILED);
 323
 324 err:
 325         if (ctx != NULL) BN_CTX_free(ctx);
 326         BN_clear_free(&f);
 327         BN_clear_free(&ret);
 328         if (buf != NULL)
 329                 {
 330                 memset(buf,0,num);
 331                 Free(buf);
 332                 }
 333         return(r);
 334         }
 335
 336 static int RSA_eay_public_decrypt(int flen, unsigned char *from,
 337              unsigned char *to, RSA *rsa, int padding)
 338         {
 339         BIGNUM f,ret;
 340         int i,num=0,r= -1;
 341         unsigned char *p;
 342         unsigned char *buf=NULL;
 343         BN_CTX *ctx=NULL;
 344
 345         BN_init(&f);
 346         BN_init(&ret);
 347         ctx=BN_CTX_new();
 348         if (ctx == NULL) goto err;
 349
 350         num=BN_num_bytes(rsa->n);
 351         buf=(unsigned char *)Malloc(num);
 352         if (buf == NULL)
 353                 {
 354                 RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,ERR_R_MALLOC_FAILURE);
 355                 goto err;
 356                 }
 357
 358         /* This check was for equallity but PGP does evil things
 359          * and chops off the top '0' bytes */
 360         if (flen > num)
 361                 {
 362                 RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,RSA_R_DATA_GREATER_THAN_MOD_LEN);
 363                 goto err;
 364                 }
 365
 366         if (BN_bin2bn(from,flen,&f) == NULL) goto err;
 367         /* do the decrypt */
 368         if ((rsa->_method_mod_n == NULL) && (rsa->flags & RSA_FLAG_CACHE_PUBLIC))
 369                 {
 370                 if ((rsa->_method_mod_n=BN_MONT_CTX_new()) != NULL)
 371                         if (!BN_MONT_CTX_set(rsa->_method_mod_n,rsa->n,ctx))
 372                             goto err;
 373                 }
 374
 375         if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->e,rsa->n,ctx,
 376                 rsa->_method_mod_n)) goto err;
 377
 378         p=buf;
 379         i=BN_bn2bin(&ret,p);
 380
 381         switch (padding)
 382                 {
 383         case RSA_PKCS1_PADDING:
 384                 r=RSA_padding_check_PKCS1_type_1(to,num,buf,i,num);
 385                 break;
 386         case RSA_NO_PADDING:
 387                 r=RSA_padding_check_none(to,num,buf,i,num);
 388                 break;
 389         default:
 390                 RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,RSA_R_UNKNOWN_PADDING_TYPE);
 391                 goto err;
 392                 }
 393         if (r < 0)
 394                 RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,RSA_R_PADDING_CHECK_FAILED);
 395
 396 err:
 397         if (ctx != NULL) BN_CTX_free(ctx);
 398         BN_clear_free(&f);
 399         BN_clear_free(&ret);
 400         if (buf != NULL)
 401                 {
 402                 memset(buf,0,num);
 403                 Free(buf);
 404                 }
 405         return(r);
 406         }
 407
 408 static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *I, RSA *rsa)
 409         {
 410         BIGNUM r1,m1;
 411         int ret=0;
 412         BN_CTX *ctx;
 413
 414         if ((ctx=BN_CTX_new()) == NULL) goto err;
 415         BN_init(&m1);
 416         BN_init(&r1);
 417
 418         if (rsa->flags & RSA_FLAG_CACHE_PRIVATE)
 419                 {
 420                 if (rsa->_method_mod_p == NULL)
 421                         {
 422                         if ((rsa->_method_mod_p=BN_MONT_CTX_new()) != NULL)
 423                                 if (!BN_MONT_CTX_set(rsa->_method_mod_p,rsa->p,
 424                                                      ctx))
 425                                         goto err;
 426                         }
 427                 if (rsa->_method_mod_q == NULL)
 428                         {
 429                         if ((rsa->_method_mod_q=BN_MONT_CTX_new()) != NULL)
 430                                 if (!BN_MONT_CTX_set(rsa->_method_mod_q,rsa->q,
 431                                                      ctx))
 432                                         goto err;
 433                         }
 434                 }
 435
 436         if (!BN_mod(&r1,I,rsa->q,ctx)) goto err;
 437         if (!rsa->meth->bn_mod_exp(&m1,&r1,rsa->dmq1,rsa->q,ctx,
 438                 rsa->_method_mod_q)) goto err;
 439
 440         if (!BN_mod(&r1,I,rsa->p,ctx)) goto err;
 441         if (!rsa->meth->bn_mod_exp(r0,&r1,rsa->dmp1,rsa->p,ctx,
 442                 rsa->_method_mod_p)) goto err;
 443
 444         if (!BN_sub(r0,r0,&m1)) goto err;
 445         /* This will help stop the size of r0 increasing, which does
 446          * affect the multiply if it optimised for a power of 2 size */
 447         if (r0->neg)
 448                 if (!BN_add(r0,r0,rsa->p)) goto err;
 449
 450         if (!BN_mul(&r1,r0,rsa->iqmp,ctx)) goto err;
 451         if (!BN_mod(r0,&r1,rsa->p,ctx)) goto err;
 452         /* If p < q it is occasionally possible for the correction of
 453          * adding 'p' if r0 is negative above to leave the result still
 454          * negative. This can break the private key operations: the following
 455          * second correction should *always* correct this rare occurrence.
 456          * This will *never* happen with OpenSSL generated keys because
 457          * they ensure p > q [steve]
 458          */
 459         if (r0->neg)
 460                 if (!BN_add(r0,r0,rsa->p)) goto err;
 461         if (!BN_mul(&r1,r0,rsa->q,ctx)) goto err;
 462         if (!BN_add(r0,&r1,&m1)) goto err;
 463
 464         ret=1;
 465 err:
 466         BN_clear_free(&m1);
 467         BN_clear_free(&r1);
 468         BN_CTX_free(ctx);
 469         return(ret);
 470         }
 471
 472 static int RSA_eay_init(RSA *rsa)
 473         {
 474         rsa->flags|=RSA_FLAG_CACHE_PUBLIC|RSA_FLAG_CACHE_PRIVATE;
 475         return(1);
 476         }
 477
 478 static int RSA_eay_finish(RSA *rsa)
 479         {
 480         if (rsa->_method_mod_n != NULL)
 481                 BN_MONT_CTX_free(rsa->_method_mod_n);
 482         if (rsa->_method_mod_p != NULL)
 483                 BN_MONT_CTX_free(rsa->_method_mod_p);
 484         if (rsa->_method_mod_q != NULL)
 485                 BN_MONT_CTX_free(rsa->_method_mod_q);
 486         return(1);
 487         }
 488
 489