f735c8d638ad5be734900ff9a471aac484ba3a20
[openssl.git] / crypto / rsa / rsa_oaep.c
1 /* crypto/rsa/rsa_oaep.c */
2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
4
5 /* EME_OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
6
7 #if !defined(NO_SHA) && !defined(NO_SHA1)
8 #include <stdio.h>
9 #include "cryptlib.h"
10 #include <openssl/bn.h>
11 #include <openssl/rsa.h>
12 #include <openssl/sha.h>
13 #include <openssl/rand.h>
14
15 int MGF1(unsigned char *mask, long len,
16         const unsigned char *seed, long seedlen);
17
18 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
19         const unsigned char *from, int flen,
20         const unsigned char *param, int plen)
21     {
22     int i, emlen = tlen - 1;
23     unsigned char *db, *seed;
24     unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
25
26     if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
27         {
28         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
29                RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
30         return (0);
31         }
32
33     if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
34         {
35         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
36         return (0);
37         }
38     
39     dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
40     if (dbmask == NULL)
41         {
42         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
43         return (0);
44         }
45
46     to[0] = 0;
47     seed = to + 1;
48     db = to + SHA_DIGEST_LENGTH + 1;
49
50     SHA1(param, plen, db);
51     memset(db + SHA_DIGEST_LENGTH, 0,
52            emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
53     db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
54     memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
55     if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
56         return (0);
57 #ifdef PKCS_TESTVECT
58     memcpy(seed,
59            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
60            20);
61 #endif
62
63     MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
64     for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
65         db[i] ^= dbmask[i];
66
67     MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
68     for (i = 0; i < SHA_DIGEST_LENGTH; i++)
69         seed[i] ^= seedmask[i];
70
71     OPENSSL_free(dbmask);
72     return (1);
73     }
74
75 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
76         const unsigned char *from, int flen, int num,
77         const unsigned char *param, int plen)
78     {
79     int i, dblen, mlen = -1;
80     const unsigned char *maskeddb;
81     int lzero;
82     unsigned char *db, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
83
84     if (--num < 2 * SHA_DIGEST_LENGTH + 1)
85         {
86         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
87         return (-1);
88         }
89
90     dblen = num - SHA_DIGEST_LENGTH;
91     db = OPENSSL_malloc(dblen);
92     if (db == NULL)
93         {
94         RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
95         return (-1);
96         }
97
98     lzero = num - flen;
99     maskeddb = from - lzero + SHA_DIGEST_LENGTH;
100     
101     MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
102     for (i = lzero; i < SHA_DIGEST_LENGTH; i++)
103         seed[i] ^= from[i - lzero];
104   
105     MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
106     for (i = 0; i < dblen; i++)
107         db[i] ^= maskeddb[i];
108
109     SHA1(param, plen, phash);
110
111     if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0)
112         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
113     else
114         {
115         for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
116             if (db[i] != 0x00)
117                 break;
118         if (db[i] != 0x01 || i++ >= dblen)
119             RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP,
120                    RSA_R_OAEP_DECODING_ERROR);
121         else
122             {
123             mlen = dblen - i;
124             if (tlen < mlen)
125                 {
126                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
127                 mlen = -1;
128                 }
129             else
130                 memcpy(to, db + i, mlen);
131             }
132         }
133     OPENSSL_free(db);
134     return (mlen);
135     }
136
137 int MGF1(unsigned char *mask, long len,
138         const unsigned char *seed, long seedlen)
139     {
140     long i, outlen = 0;
141     unsigned char cnt[4];
142     SHA_CTX c;
143     unsigned char md[SHA_DIGEST_LENGTH];
144
145     for (i = 0; outlen < len; i++)
146         {
147         cnt[0] = (i >> 24) & 255, cnt[1] = (i >> 16) & 255,
148           cnt[2] = (i >> 8) & 255, cnt[3] = i & 255;
149         SHA1_Init(&c);
150         SHA1_Update(&c, seed, seedlen);
151         SHA1_Update(&c, cnt, 4);
152         if (outlen + SHA_DIGEST_LENGTH <= len)
153             {
154             SHA1_Final(mask + outlen, &c);
155             outlen += SHA_DIGEST_LENGTH;
156             }
157         else
158             {
159             SHA1_Final(md, &c);
160             memcpy(mask + outlen, md, len - outlen);
161             outlen = len;
162             }
163         }
164     return (0);
165     }
166 #endif