make sure RSA blinding works when the PRNG is not properly seeded;
[openssl.git] / crypto / rsa / rsa_eay.c
index ebe4ed273c9d183f5017991c37cf951761bf44cd..6bc6ef391344a1c88f886a2e42ab9e0309f150d1 100644 (file)
 #include <openssl/bn.h>
 #include <openssl/rsa.h>
 #include <openssl/rand.h>
+#ifndef OPENSSL_NO_ENGINE
+#include <openssl/engine.h>
+#endif
 
-static int RSA_eay_public_encrypt(int flen, unsigned char *from,
+#ifndef RSA_NULL
+
+static int RSA_eay_public_encrypt(int flen, const unsigned char *from,
                unsigned char *to, RSA *rsa,int padding);
-static int RSA_eay_private_encrypt(int flen, unsigned char *from,
+static int RSA_eay_private_encrypt(int flen, const unsigned char *from,
                unsigned char *to, RSA *rsa,int padding);
-static int RSA_eay_public_decrypt(int flen, unsigned char *from,
+static int RSA_eay_public_decrypt(int flen, const unsigned char *from,
                unsigned char *to, RSA *rsa,int padding);
-static int RSA_eay_private_decrypt(int flen, unsigned char *from,
+static int RSA_eay_private_decrypt(int flen, const unsigned char *from,
                unsigned char *to, RSA *rsa,int padding);
-static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *i, RSA *rsa);
+static int RSA_eay_mod_exp(BIGNUM *r0, const BIGNUM *i, RSA *rsa);
 static int RSA_eay_init(RSA *rsa);
 static int RSA_eay_finish(RSA *rsa);
 static RSA_METHOD rsa_pkcs1_eay_meth={
        "Eric Young's PKCS#1 RSA",
        RSA_eay_public_encrypt,
-       RSA_eay_public_decrypt,
-       RSA_eay_private_encrypt,
+       RSA_eay_public_decrypt, /* signature verification */
+       RSA_eay_private_encrypt, /* signing */
        RSA_eay_private_decrypt,
        RSA_eay_mod_exp,
-       BN_mod_exp_mont,
+       BN_mod_exp_mont, /* XXX probably we should not use Montgomery if  e == 3 */
        RSA_eay_init,
        RSA_eay_finish,
-       0,
+       0, /* flags */
        NULL,
+       0, /* rsa_sign */
+       0, /* rsa_verify */
+       NULL /* rsa_keygen */
        };
 
-RSA_METHOD *RSA_PKCS1_SSLeay(void)
+const RSA_METHOD *RSA_PKCS1_SSLeay(void)
        {
        return(&rsa_pkcs1_eay_meth);
        }
 
-static int RSA_eay_public_encrypt(int flen, unsigned char *from,
+/* Static helper to reduce oodles of code duplication. As a slight
+ * optimisation, the "MONT_HELPER() macro must be used as front-end to this
+ * function, to prevent unnecessary function calls - there is an initial test
+ * that is performed by the macro-generated code. */
+static int rsa_eay_mont_helper(BN_MONT_CTX **ptr, const BIGNUM *modulus, BN_CTX *ctx)
+       {
+       BN_MONT_CTX *bn_mont_ctx;
+       if((bn_mont_ctx = BN_MONT_CTX_new()) == NULL)
+               return 0;
+       if(!BN_MONT_CTX_set(bn_mont_ctx, modulus, ctx))
+               {
+               BN_MONT_CTX_free(bn_mont_ctx);
+               return 0;
+               }
+       if (*ptr == NULL) /* other thread may have finished first */
+               {
+               CRYPTO_w_lock(CRYPTO_LOCK_RSA);
+               if (*ptr == NULL) /* check again in the lock to stop races */
+                       {
+                       *ptr = bn_mont_ctx;
+                       bn_mont_ctx = NULL;
+                       }
+               CRYPTO_w_unlock(CRYPTO_LOCK_RSA);
+               }
+       if (bn_mont_ctx)
+               BN_MONT_CTX_free(bn_mont_ctx);
+       return 1;
+       }
+/* Usage example;
+ *    MONT_HELPER(rsa, bn_ctx, p, rsa->flags & RSA_FLAG_CACHE_PRIVATE, goto err);
+ */
+#define MONT_HELPER(rsa, ctx, m, pre_cond, err_instr) \
+       if((pre_cond) && ((rsa)->_method_mod_##m == NULL) && \
+                       !rsa_eay_mont_helper(&((rsa)->_method_mod_##m), \
+                               (rsa)->m, (ctx))) \
+               err_instr
+
+static int RSA_eay_public_encrypt(int flen, const unsigned char *from,
             unsigned char *to, RSA *rsa, int padding)
        {
        BIGNUM f,ret;
@@ -104,7 +149,7 @@ static int RSA_eay_public_encrypt(int flen, unsigned char *from,
        BN_init(&ret);
        if ((ctx=BN_CTX_new()) == NULL) goto err;
        num=BN_num_bytes(rsa->n);
-       if ((buf=(unsigned char *)Malloc(num)) == NULL)
+       if ((buf=(unsigned char *)OPENSSL_malloc(num)) == NULL)
                {
                RSAerr(RSA_F_RSA_EAY_PUBLIC_ENCRYPT,ERR_R_MALLOC_FAILURE);
                goto err;
@@ -115,9 +160,11 @@ static int RSA_eay_public_encrypt(int flen, unsigned char *from,
        case RSA_PKCS1_PADDING:
                i=RSA_padding_add_PKCS1_type_2(buf,num,from,flen);
                break;
+#ifndef OPENSSL_NO_SHA
        case RSA_PKCS1_OAEP_PADDING:
                i=RSA_padding_add_PKCS1_OAEP(buf,num,from,flen,NULL,0);
                break;
+#endif
        case RSA_SSLV23_PADDING:
                i=RSA_padding_add_SSLv23(buf,num,from,flen);
                break;
@@ -132,13 +179,15 @@ static int RSA_eay_public_encrypt(int flen, unsigned char *from,
 
        if (BN_bin2bn(buf,num,&f) == NULL) goto err;
        
-       if ((rsa->_method_mod_n == NULL) && (rsa->flags & RSA_FLAG_CACHE_PUBLIC))
-               {
-               if ((rsa->_method_mod_n=BN_MONT_CTX_new()) != NULL)
-                       if (!BN_MONT_CTX_set(rsa->_method_mod_n,rsa->n,ctx))
-                           goto err;
+       if (BN_ucmp(&f, rsa->n) >= 0)
+               {       
+               /* usually the padding functions would catch this */
+               RSAerr(RSA_F_RSA_EAY_PUBLIC_ENCRYPT,RSA_R_DATA_TOO_LARGE_FOR_MODULUS);
+               goto err;
                }
 
+       MONT_HELPER(rsa, ctx, n, rsa->flags & RSA_FLAG_CACHE_PUBLIC, goto err);
+
        if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->e,rsa->n,ctx,
                rsa->_method_mod_n)) goto err;
 
@@ -156,13 +205,33 @@ err:
        BN_clear_free(&ret);
        if (buf != NULL) 
                {
-               memset(buf,0,num);
-               Free(buf);
+               OPENSSL_cleanse(buf,num);
+               OPENSSL_free(buf);
                }
        return(r);
        }
 
-static int RSA_eay_private_encrypt(int flen, unsigned char *from,
+static int rsa_eay_blinding(RSA *rsa, BN_CTX *ctx)
+       {
+       int ret = 1;
+       CRYPTO_w_lock(CRYPTO_LOCK_RSA);
+       /* Check again inside the lock - the macro's check is racey */
+       if(rsa->blinding == NULL)
+               ret = RSA_blinding_on(rsa, ctx);
+       CRYPTO_w_unlock(CRYPTO_LOCK_RSA);
+       return ret;
+       }
+
+#define BLINDING_HELPER(rsa, ctx, err_instr) \
+       do { \
+               if((!((rsa)->flags & RSA_FLAG_NO_BLINDING)) && \
+                   ((rsa)->blinding == NULL) && \
+                   !rsa_eay_blinding(rsa, ctx)) \
+                       err_instr \
+       } while(0)
+
+/* signing */
+static int RSA_eay_private_encrypt(int flen, const unsigned char *from,
             unsigned char *to, RSA *rsa, int padding)
        {
        BIGNUM f,ret;
@@ -175,7 +244,7 @@ static int RSA_eay_private_encrypt(int flen, unsigned char *from,
 
        if ((ctx=BN_CTX_new()) == NULL) goto err;
        num=BN_num_bytes(rsa->n);
-       if ((buf=(unsigned char *)Malloc(num)) == NULL)
+       if ((buf=(unsigned char *)OPENSSL_malloc(num)) == NULL)
                {
                RSAerr(RSA_F_RSA_EAY_PRIVATE_ENCRYPT,ERR_R_MALLOC_FAILURE);
                goto err;
@@ -197,24 +266,34 @@ static int RSA_eay_private_encrypt(int flen, unsigned char *from,
        if (i <= 0) goto err;
 
        if (BN_bin2bn(buf,num,&f) == NULL) goto err;
+       
+       if (BN_ucmp(&f, rsa->n) >= 0)
+               {       
+               /* usually the padding functions would catch this */
+               RSAerr(RSA_F_RSA_EAY_PRIVATE_ENCRYPT,RSA_R_DATA_TOO_LARGE_FOR_MODULUS);
+               goto err;
+               }
 
-       if ((rsa->flags & RSA_FLAG_BLINDING) && (rsa->blinding == NULL))
-               RSA_blinding_on(rsa,ctx);
-       if (rsa->flags & RSA_FLAG_BLINDING)
+       BLINDING_HELPER(rsa, ctx, goto err;);
+
+       if (!(rsa->flags & RSA_FLAG_NO_BLINDING))
                if (!BN_BLINDING_convert(&f,rsa->blinding,ctx)) goto err;
 
-       if (    (rsa->p != NULL) &&
+       if ( (rsa->flags & RSA_FLAG_EXT_PKEY) ||
+               ((rsa->p != NULL) &&
                (rsa->q != NULL) &&
                (rsa->dmp1 != NULL) &&
                (rsa->dmq1 != NULL) &&
-               (rsa->iqmp != NULL))
+               (rsa->iqmp != NULL)) )
                { if (!rsa->meth->rsa_mod_exp(&ret,&f,rsa)) goto err; }
        else
                {
-               if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,NULL)) goto err;
+               MONT_HELPER(rsa, ctx, n, rsa->flags & RSA_FLAG_CACHE_PUBLIC, goto err);
+               if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,
+                               rsa->_method_mod_n)) goto err;
                }
 
-       if (rsa->flags & RSA_FLAG_BLINDING)
+       if (!(rsa->flags & RSA_FLAG_NO_BLINDING))
                if (!BN_BLINDING_invert(&ret,rsa->blinding,ctx)) goto err;
 
        /* put in leading 0 bytes if the number is less than the
@@ -231,13 +310,13 @@ err:
        BN_clear_free(&f);
        if (buf != NULL)
                {
-               memset(buf,0,num);
-               Free(buf);
+               OPENSSL_cleanse(buf,num);
+               OPENSSL_free(buf);
                }
        return(r);
        }
 
-static int RSA_eay_private_decrypt(int flen, unsigned char *from,
+static int RSA_eay_private_decrypt(int flen, const unsigned char *from,
             unsigned char *to, RSA *rsa, int padding)
        {
        BIGNUM f,ret;
@@ -253,13 +332,13 @@ static int RSA_eay_private_decrypt(int flen, unsigned char *from,
 
        num=BN_num_bytes(rsa->n);
 
-       if ((buf=(unsigned char *)Malloc(num)) == NULL)
+       if ((buf=(unsigned char *)OPENSSL_malloc(num)) == NULL)
                {
                RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,ERR_R_MALLOC_FAILURE);
                goto err;
                }
 
-       /* This check was for equallity but PGP does evil things
+       /* This check was for equality but PGP does evil things
         * and chops off the top '0' bytes */
        if (flen > num)
                {
@@ -270,25 +349,34 @@ static int RSA_eay_private_decrypt(int flen, unsigned char *from,
        /* make data into a big number */
        if (BN_bin2bn(from,(int)flen,&f) == NULL) goto err;
 
-       if ((rsa->flags & RSA_FLAG_BLINDING) && (rsa->blinding == NULL))
-               RSA_blinding_on(rsa,ctx);
-       if (rsa->flags & RSA_FLAG_BLINDING)
+       if (BN_ucmp(&f, rsa->n) >= 0)
+               {
+               RSAerr(RSA_F_RSA_EAY_PRIVATE_DECRYPT,RSA_R_DATA_TOO_LARGE_FOR_MODULUS);
+               goto err;
+               }
+
+       BLINDING_HELPER(rsa, ctx, goto err;);
+
+       if (!(rsa->flags & RSA_FLAG_NO_BLINDING))
                if (!BN_BLINDING_convert(&f,rsa->blinding,ctx)) goto err;
 
        /* do the decrypt */
-       if (    (rsa->p != NULL) &&
+       if ( (rsa->flags & RSA_FLAG_EXT_PKEY) ||
+               ((rsa->p != NULL) &&
                (rsa->q != NULL) &&
                (rsa->dmp1 != NULL) &&
                (rsa->dmq1 != NULL) &&
-               (rsa->iqmp != NULL))
+               (rsa->iqmp != NULL)) )
                { if (!rsa->meth->rsa_mod_exp(&ret,&f,rsa)) goto err; }
        else
                {
-               if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,NULL))
+               MONT_HELPER(rsa, ctx, n, rsa->flags & RSA_FLAG_CACHE_PUBLIC, goto err);
+               if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->d,rsa->n,ctx,
+                               rsa->_method_mod_n))
                        goto err;
                }
 
-       if (rsa->flags & RSA_FLAG_BLINDING)
+       if (!(rsa->flags & RSA_FLAG_NO_BLINDING))
                if (!BN_BLINDING_invert(&ret,rsa->blinding,ctx)) goto err;
 
        p=buf;
@@ -299,9 +387,11 @@ static int RSA_eay_private_decrypt(int flen, unsigned char *from,
        case RSA_PKCS1_PADDING:
                r=RSA_padding_check_PKCS1_type_2(to,num,buf,j,num);
                break;
+#ifndef OPENSSL_NO_SHA
         case RSA_PKCS1_OAEP_PADDING:
                r=RSA_padding_check_PKCS1_OAEP(to,num,buf,j,num,NULL,0);
                 break;
+#endif
        case RSA_SSLV23_PADDING:
                r=RSA_padding_check_SSLv23(to,num,buf,j,num);
                break;
@@ -321,13 +411,14 @@ err:
        BN_clear_free(&ret);
        if (buf != NULL)
                {
-               memset(buf,0,num);
-               Free(buf);
+               OPENSSL_cleanse(buf,num);
+               OPENSSL_free(buf);
                }
        return(r);
        }
 
-static int RSA_eay_public_decrypt(int flen, unsigned char *from,
+/* signature verification */
+static int RSA_eay_public_decrypt(int flen, const unsigned char *from,
             unsigned char *to, RSA *rsa, int padding)
        {
        BIGNUM f,ret;
@@ -342,14 +433,14 @@ static int RSA_eay_public_decrypt(int flen, unsigned char *from,
        if (ctx == NULL) goto err;
 
        num=BN_num_bytes(rsa->n);
-       buf=(unsigned char *)Malloc(num);
+       buf=(unsigned char *)OPENSSL_malloc(num);
        if (buf == NULL)
                {
                RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,ERR_R_MALLOC_FAILURE);
                goto err;
                }
 
-       /* This check was for equallity but PGP does evil things
+       /* This check was for equality but PGP does evil things
         * and chops off the top '0' bytes */
        if (flen > num)
                {
@@ -358,14 +449,15 @@ static int RSA_eay_public_decrypt(int flen, unsigned char *from,
                }
 
        if (BN_bin2bn(from,flen,&f) == NULL) goto err;
-       /* do the decrypt */
-       if ((rsa->_method_mod_n == NULL) && (rsa->flags & RSA_FLAG_CACHE_PUBLIC))
+
+       if (BN_ucmp(&f, rsa->n) >= 0)
                {
-               if ((rsa->_method_mod_n=BN_MONT_CTX_new()) != NULL)
-                       if (!BN_MONT_CTX_set(rsa->_method_mod_n,rsa->n,ctx))
-                           goto err;
+               RSAerr(RSA_F_RSA_EAY_PUBLIC_DECRYPT,RSA_R_DATA_TOO_LARGE_FOR_MODULUS);
+               goto err;
                }
 
+       MONT_HELPER(rsa, ctx, n, rsa->flags & RSA_FLAG_CACHE_PUBLIC, goto err);
+
        if (!rsa->meth->bn_mod_exp(&ret,&f,rsa->e,rsa->n,ctx,
                rsa->_method_mod_n)) goto err;
 
@@ -393,39 +485,26 @@ err:
        BN_clear_free(&ret);
        if (buf != NULL)
                {
-               memset(buf,0,num);
-               Free(buf);
+               OPENSSL_cleanse(buf,num);
+               OPENSSL_free(buf);
                }
        return(r);
        }
 
-static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *I, RSA *rsa)
+static int RSA_eay_mod_exp(BIGNUM *r0, const BIGNUM *I, RSA *rsa)
        {
-       BIGNUM r1,m1;
+       BIGNUM r1,m1,vrfy;
        int ret=0;
        BN_CTX *ctx;
 
-       if ((ctx=BN_CTX_new()) == NULL) goto err;
        BN_init(&m1);
        BN_init(&r1);
+       BN_init(&vrfy);
+       if ((ctx=BN_CTX_new()) == NULL) goto err;
 
-       if (rsa->flags & RSA_FLAG_CACHE_PRIVATE)
-               {
-               if (rsa->_method_mod_p == NULL)
-                       {
-                       if ((rsa->_method_mod_p=BN_MONT_CTX_new()) != NULL)
-                               if (!BN_MONT_CTX_set(rsa->_method_mod_p,rsa->p,
-                                                    ctx))
-                                       goto err;
-                       }
-               if (rsa->_method_mod_q == NULL)
-                       {
-                       if ((rsa->_method_mod_q=BN_MONT_CTX_new()) != NULL)
-                               if (!BN_MONT_CTX_set(rsa->_method_mod_q,rsa->q,
-                                                    ctx))
-                                       goto err;
-                       }
-               }
+       MONT_HELPER(rsa, ctx, p, rsa->flags & RSA_FLAG_CACHE_PRIVATE, goto err);
+       MONT_HELPER(rsa, ctx, q, rsa->flags & RSA_FLAG_CACHE_PRIVATE, goto err);
+       MONT_HELPER(rsa, ctx, n, rsa->flags & RSA_FLAG_CACHE_PUBLIC, goto err);
 
        if (!BN_mod(&r1,I,rsa->q,ctx)) goto err;
        if (!rsa->meth->bn_mod_exp(&m1,&r1,rsa->dmq1,rsa->q,ctx,
@@ -438,7 +517,7 @@ static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *I, RSA *rsa)
        if (!BN_sub(r0,r0,&m1)) goto err;
        /* This will help stop the size of r0 increasing, which does
         * affect the multiply if it optimised for a power of 2 size */
-       if (r0->neg)
+       if (BN_get_sign(r0))
                if (!BN_add(r0,r0,rsa->p)) goto err;
 
        if (!BN_mul(&r1,r0,rsa->iqmp,ctx)) goto err;
@@ -450,15 +529,34 @@ static int RSA_eay_mod_exp(BIGNUM *r0, BIGNUM *I, RSA *rsa)
         * This will *never* happen with OpenSSL generated keys because
          * they ensure p > q [steve]
          */
-       if (r0->neg)
+       if (BN_get_sign(r0))
                if (!BN_add(r0,r0,rsa->p)) goto err;
        if (!BN_mul(&r1,r0,rsa->q,ctx)) goto err;
        if (!BN_add(r0,&r1,&m1)) goto err;
 
+       if (rsa->e && rsa->n)
+               {
+               if (!rsa->meth->bn_mod_exp(&vrfy,r0,rsa->e,rsa->n,ctx,rsa->_method_mod_n)) goto err;
+               /* If 'I' was greater than (or equal to) rsa->n, the operation
+                * will be equivalent to using 'I mod n'. However, the result of
+                * the verify will *always* be less than 'n' so we don't check
+                * for absolute equality, just congruency. */
+               if (!BN_sub(&vrfy, &vrfy, I)) goto err;
+               if (!BN_mod(&vrfy, &vrfy, rsa->n, ctx)) goto err;
+               if (BN_get_sign(&vrfy))
+                       if (!BN_add(&vrfy, &vrfy, rsa->n)) goto err;
+               if (!BN_is_zero(&vrfy))
+                       /* 'I' and 'vrfy' aren't congruent mod n. Don't leak
+                        * miscalculated CRT output, just do a raw (slower)
+                        * mod_exp and return that instead. */
+                       if (!rsa->meth->bn_mod_exp(r0,I,rsa->d,rsa->n,ctx,
+                                       rsa->_method_mod_n)) goto err;
+               }
        ret=1;
 err:
        BN_clear_free(&m1);
        BN_clear_free(&r1);
+       BN_clear_free(&vrfy);
        BN_CTX_free(ctx);
        return(ret);
        }
@@ -480,4 +578,4 @@ static int RSA_eay_finish(RSA *rsa)
        return(1);
        }
 
-
+#endif