crypto/rsa/rsa_oaep.c

   1 /* crypto/rsa/rsa_oaep.c */
   2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
   3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
   4
   5 /* EME_OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
   6
   7 #include <stdio.h>
   8 #include "cryptlib.h"
   9 #include "bn.h"
  10 #include "rsa.h"
  11 #include "sha.h"
  12 #include "rand.h"
  13
  14 int MGF1(unsigned char *mask, long len, unsigned char *seed, long seedlen);
  15
  16 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
  17              unsigned char *from, int flen, unsigned char *param, int plen)
  18     {
  19     int i, emlen = tlen - 1;
  20     unsigned char *db, *seed;
  21     unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
  22
  23     if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
  24         {
  25         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
  26                RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
  27         return (0);
  28         }
  29
  30     if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
  31         {
  32         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
  33         return (0);
  34         }
  35
  36     dbmask = Malloc(emlen - SHA_DIGEST_LENGTH);
  37     if (dbmask == NULL)
  38         {
  39         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
  40         return (0);
  41         }
  42
  43     to[0] = 0;
  44     seed = to + 1;
  45     db = to + SHA_DIGEST_LENGTH + 1;
  46
  47     SHA1(param, plen, db);
  48     memset(db + SHA_DIGEST_LENGTH, 0,
  49            emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
  50     db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
  51     memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
  52     RAND_bytes(seed, SHA_DIGEST_LENGTH);
  53 #ifdef PKCS_TESTVECT
  54     memcpy(seed,
  55            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
  56            20);
  57 #endif
  58
  59     MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
  60     for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
  61         db[i] ^= dbmask[i];
  62
  63     MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
  64     for (i = 0; i < SHA_DIGEST_LENGTH; i++)
  65         seed[i] ^= seedmask[i];
  66
  67     Free(dbmask);
  68     return (1);
  69     }
  70
  71 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
  72              unsigned char *from, int flen, int num, unsigned char *param,
  73              int plen)
  74     {
  75     int i, dblen, mlen = -1;
  76     unsigned char *maskeddb;
  77     unsigned char *db, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
  78
  79     if (flen < 2 * SHA_DIGEST_LENGTH + 1)
  80         {
  81         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
  82         return (-1);
  83         }
  84
  85     dblen = flen - SHA_DIGEST_LENGTH;
  86     db = Malloc(dblen);
  87     if (db == NULL)
  88         {
  89         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
  90         return (-1);
  91         }
  92
  93     maskeddb = from + SHA_DIGEST_LENGTH;
  94
  95     MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
  96     for (i = 0; i < SHA_DIGEST_LENGTH; i++)
  97         seed[i] ^= from[i];
  98
  99     MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
 100     for (i = 0; i < dblen; i++)
 101         db[i] ^= maskeddb[i];
 102
 103     SHA1(param, plen, phash);
 104
 105     if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0)
 106         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
 107     else
 108         {
 109         for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
 110             if (db[i] != 0x00)
 111                 break;
 112         if (db[i] != 0x01 || i++ >= dblen)
 113             RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP,
 114                    RSA_R_OAEP_DECODING_ERROR);
 115         else
 116             {
 117             mlen = dblen - i;
 118             if (tlen < mlen)
 119                 {
 120                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
 121                 mlen = -1;
 122                 }
 123             else
 124                 memcpy(to, db + i, mlen);
 125             }
 126         }
 127     Free(db);
 128     return (mlen);
 129     }
 130
 131 int MGF1(unsigned char *mask, long len, unsigned char *seed, long seedlen)
 132     {
 133     long i, outlen = 0;
 134     unsigned char cnt[4];
 135     SHA_CTX c;
 136     unsigned char md[SHA_DIGEST_LENGTH];
 137
 138     for (i = 0; outlen < len; i++)
 139         {
 140         cnt[0] = (i >> 24) & 255, cnt[1] = (i >> 16) & 255,
 141           cnt[2] = (i >> 8) & 255, cnt[3] = i & 255;
 142         SHA1_Init(&c);
 143         SHA1_Update(&c, seed, seedlen);
 144         SHA1_Update(&c, cnt, 4);
 145         if (outlen + SHA_DIGEST_LENGTH <= len)
 146             {
 147             SHA1_Final(mask + outlen, &c);
 148             outlen += SHA_DIGEST_LENGTH;
 149             }
 150         else
 151             {
 152             SHA1_Final(md, &c);
 153             memcpy(mask + outlen, md, len - outlen);
 154             outlen = len;
 155             }
 156         }
 157     return (0);
 158     }