crypto/rsa/rsa_oaep.c

   1 /* crypto/rsa/rsa_oaep.c */
   2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
   3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
   4
   5 /* EME_OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
   6
   7 #if !defined(NO_SHA) && !defined(NO_SHA1)
   8 #include <stdio.h>
   9 #include "cryptlib.h"
  10 #include <openssl/bn.h>
  11 #include <openssl/rsa.h>
  12 #include <openssl/sha.h>
  13 #include <openssl/rand.h>
  14
  15 int MGF1(unsigned char *mask, long len,
  16         const unsigned char *seed, long seedlen);
  17
  18 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
  19         const unsigned char *from, int flen,
  20         const unsigned char *param, int plen)
  21     {
  22     int i, emlen = tlen - 1;
  23     unsigned char *db, *seed;
  24     unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
  25
  26     if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
  27         {
  28         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
  29                RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
  30         return (0);
  31         }
  32
  33     if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
  34         {
  35         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
  36         return (0);
  37         }
  38
  39     dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
  40     if (dbmask == NULL)
  41         {
  42         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
  43         return (0);
  44         }
  45
  46     to[0] = 0;
  47     seed = to + 1;
  48     db = to + SHA_DIGEST_LENGTH + 1;
  49
  50     SHA1(param, plen, db);
  51     memset(db + SHA_DIGEST_LENGTH, 0,
  52            emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
  53     db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
  54     memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
  55     if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
  56         return (0);
  57 #ifdef PKCS_TESTVECT
  58     memcpy(seed,
  59            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
  60            20);
  61 #endif
  62
  63     MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
  64     for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
  65         db[i] ^= dbmask[i];
  66
  67     MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
  68     for (i = 0; i < SHA_DIGEST_LENGTH; i++)
  69         seed[i] ^= seedmask[i];
  70
  71     OPENSSL_free(dbmask);
  72     return (1);
  73     }
  74
  75 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
  76         const unsigned char *from, int flen, int num,
  77         const unsigned char *param, int plen)
  78     {
  79     int i, dblen, mlen = -1;
  80     const unsigned char *maskeddb;
  81     int lzero;
  82     unsigned char *db, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
  83
  84     if (--num < 2 * SHA_DIGEST_LENGTH + 1)
  85         {
  86         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
  87         return (-1);
  88         }
  89
  90     dblen = num - SHA_DIGEST_LENGTH;
  91     db = OPENSSL_malloc(dblen);
  92     if (db == NULL)
  93         {
  94         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
  95         return (-1);
  96         }
  97
  98     lzero = num - flen;
  99     maskeddb = from - lzero + SHA_DIGEST_LENGTH;
 100
 101     MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
 102     for (i = lzero; i < SHA_DIGEST_LENGTH; i++)
 103         seed[i] ^= from[i - lzero];
 104
 105     MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
 106     for (i = 0; i < dblen; i++)
 107         db[i] ^= maskeddb[i];
 108
 109     SHA1(param, plen, phash);
 110
 111     if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0)
 112         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
 113     else
 114         {
 115         for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
 116             if (db[i] != 0x00)
 117                 break;
 118         if (db[i] != 0x01 || i++ >= dblen)
 119             RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP,
 120                    RSA_R_OAEP_DECODING_ERROR);
 121         else
 122             {
 123             mlen = dblen - i;
 124             if (tlen < mlen)
 125                 {
 126                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
 127                 mlen = -1;
 128                 }
 129             else
 130                 memcpy(to, db + i, mlen);
 131             }
 132         }
 133     OPENSSL_free(db);
 134     return (mlen);
 135     }
 136
 137 int MGF1(unsigned char *mask, long len,
 138         const unsigned char *seed, long seedlen)
 139     {
 140     long i, outlen = 0;
 141     unsigned char cnt[4];
 142     SHA_CTX c;
 143     unsigned char md[SHA_DIGEST_LENGTH];
 144
 145     for (i = 0; outlen < len; i++)
 146         {
 147         cnt[0] = (i >> 24) & 255, cnt[1] = (i >> 16) & 255,
 148           cnt[2] = (i >> 8) & 255, cnt[3] = i & 255;
 149         SHA1_Init(&c);
 150         SHA1_Update(&c, seed, seedlen);
 151         SHA1_Update(&c, cnt, 4);
 152         if (outlen + SHA_DIGEST_LENGTH <= len)
 153             {
 154             SHA1_Final(mask + outlen, &c);
 155             outlen += SHA_DIGEST_LENGTH;
 156             }
 157         else
 158             {
 159             SHA1_Final(md, &c);
 160             memcpy(mask + outlen, md, len - outlen);
 161             outlen = len;
 162             }
 163         }
 164     return (0);
 165     }
 166 #endif