Redirect FIPS memory allocation to FIPS_malloc() routine, remove
[openssl.git] / crypto / rsa / rsa_oaep.c
1 /* crypto/rsa/rsa_oaep.c */
2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
4
5 /* EME-OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
6
7 /* See Victor Shoup, "OAEP reconsidered," Nov. 2000,
8  * <URL: http://www.shoup.net/papers/oaep.ps.Z>
9  * for problems with the security proof for the
10  * original OAEP scheme, which EME-OAEP is based on.
11  * 
12  * A new proof can be found in E. Fujisaki, T. Okamoto,
13  * D. Pointcheval, J. Stern, "RSA-OEAP is Still Alive!",
14  * Dec. 2000, <URL: http://eprint.iacr.org/2000/061/>.
15  * The new proof has stronger requirements for the
16  * underlying permutation: "partial-one-wayness" instead
17  * of one-wayness.  For the RSA function, this is
18  * an equivalent notion.
19  */
20
21 #define OPENSSL_FIPSAPI
22
23
24 #if !defined(OPENSSL_NO_SHA) && !defined(OPENSSL_NO_SHA1)
25 #include <stdio.h>
26 #include "cryptlib.h"
27 #include <openssl/bn.h>
28 #include <openssl/rsa.h>
29 #include <openssl/evp.h>
30 #include <openssl/rand.h>
31 #include <openssl/sha.h>
32
33 #ifdef OPENSSL_FIPS
34 #include <openssl/fips.h>
35 #endif
36
37 static int MGF1(unsigned char *mask, long len,
38         const unsigned char *seed, long seedlen);
39
40 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
41         const unsigned char *from, int flen,
42         const unsigned char *param, int plen)
43         {
44         int i, emlen = tlen - 1;
45         unsigned char *db, *seed;
46         unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
47
48         if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
49                 {
50                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
51                    RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
52                 return 0;
53                 }
54
55         if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
56                 {
57                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
58                 return 0;
59                 }
60
61         to[0] = 0;
62         seed = to + 1;
63         db = to + SHA_DIGEST_LENGTH + 1;
64
65         if (!EVP_Digest((void *)param, plen, db, NULL, EVP_sha1(), NULL))
66                 return 0;
67         memset(db + SHA_DIGEST_LENGTH, 0,
68                 emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
69         db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
70         memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
71         if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
72                 return 0;
73 #ifdef PKCS_TESTVECT
74         memcpy(seed,
75            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
76            20);
77 #endif
78
79         dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
80         if (dbmask == NULL)
81                 {
82                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
83                 return 0;
84                 }
85
86         if (MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH) < 0)
87                 return 0;
88         for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
89                 db[i] ^= dbmask[i];
90
91         if (MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH) < 0)
92                 return 0;
93         for (i = 0; i < SHA_DIGEST_LENGTH; i++)
94                 seed[i] ^= seedmask[i];
95
96         OPENSSL_free(dbmask);
97         return 1;
98         }
99
100 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
101         const unsigned char *from, int flen, int num,
102         const unsigned char *param, int plen)
103         {
104         int i, dblen, mlen = -1;
105         const unsigned char *maskeddb;
106         int lzero;
107         unsigned char *db = NULL, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
108         unsigned char *padded_from;
109         int bad = 0;
110
111         if (--num < 2 * SHA_DIGEST_LENGTH + 1)
112                 /* 'num' is the length of the modulus, i.e. does not depend on the
113                  * particular ciphertext. */
114                 goto decoding_err;
115
116         lzero = num - flen;
117         if (lzero < 0)
118                 {
119                 /* signalling this error immediately after detection might allow
120                  * for side-channel attacks (e.g. timing if 'plen' is huge
121                  * -- cf. James H. Manger, "A Chosen Ciphertext Attack on RSA Optimal
122                  * Asymmetric Encryption Padding (OAEP) [...]", CRYPTO 2001),
123                  * so we use a 'bad' flag */
124                 bad = 1;
125                 lzero = 0;
126                 flen = num; /* don't overflow the memcpy to padded_from */
127                 }
128
129         dblen = num - SHA_DIGEST_LENGTH;
130         db = OPENSSL_malloc(dblen + num);
131         if (db == NULL)
132                 {
133                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
134                 return -1;
135                 }
136
137         /* Always do this zero-padding copy (even when lzero == 0)
138          * to avoid leaking timing info about the value of lzero. */
139         padded_from = db + dblen;
140         memset(padded_from, 0, lzero);
141         memcpy(padded_from + lzero, from, flen);
142
143         maskeddb = padded_from + SHA_DIGEST_LENGTH;
144
145         if (MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen))
146                 return -1;
147         for (i = 0; i < SHA_DIGEST_LENGTH; i++)
148                 seed[i] ^= padded_from[i];
149   
150         if (MGF1(db, dblen, seed, SHA_DIGEST_LENGTH))
151                 return -1;
152         for (i = 0; i < dblen; i++)
153                 db[i] ^= maskeddb[i];
154
155         if (!EVP_Digest((void *)param, plen, phash, NULL, EVP_sha1(), NULL))
156                 return -1;
157
158         if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0 || bad)
159                 goto decoding_err;
160         else
161                 {
162                 for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
163                         if (db[i] != 0x00)
164                                 break;
165                 if (i == dblen || db[i] != 0x01)
166                         goto decoding_err;
167                 else
168                         {
169                         /* everything looks OK */
170
171                         mlen = dblen - ++i;
172                         if (tlen < mlen)
173                                 {
174                                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
175                                 mlen = -1;
176                                 }
177                         else
178                                 memcpy(to, db + i, mlen);
179                         }
180                 }
181         OPENSSL_free(db);
182         return mlen;
183
184 decoding_err:
185         /* to avoid chosen ciphertext attacks, the error message should not reveal
186          * which kind of decoding error happened */
187         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
188         if (db != NULL) OPENSSL_free(db);
189         return -1;
190         }
191
192 int PKCS1_MGF1(unsigned char *mask, long len,
193         const unsigned char *seed, long seedlen, const EVP_MD *dgst)
194         {
195         long i, outlen = 0;
196         unsigned char cnt[4];
197         EVP_MD_CTX c;
198         unsigned char md[EVP_MAX_MD_SIZE];
199         int mdlen;
200         int rv = -1;
201
202         EVP_MD_CTX_init(&c);
203         mdlen = M_EVP_MD_size(dgst);
204         if (mdlen < 0)
205                 goto err;
206         for (i = 0; outlen < len; i++)
207                 {
208                 cnt[0] = (unsigned char)((i >> 24) & 255);
209                 cnt[1] = (unsigned char)((i >> 16) & 255);
210                 cnt[2] = (unsigned char)((i >> 8)) & 255;
211                 cnt[3] = (unsigned char)(i & 255);
212                 if (!EVP_DigestInit_ex(&c,dgst, NULL)
213                         || !EVP_DigestUpdate(&c, seed, seedlen)
214                         || !EVP_DigestUpdate(&c, cnt, 4))
215                         goto err;
216                 if (outlen + mdlen <= len)
217                         {
218                         if (!EVP_DigestFinal_ex(&c, mask + outlen, NULL))
219                                 goto err;
220                         outlen += mdlen;
221                         }
222                 else
223                         {
224                         if (!EVP_DigestFinal_ex(&c, md, NULL))
225                                 goto err;
226                         memcpy(mask + outlen, md, len - outlen);
227                         outlen = len;
228                         }
229                 }
230         rv = 0;
231         err:
232         EVP_MD_CTX_cleanup(&c);
233         return rv;
234         }
235
236 static int MGF1(unsigned char *mask, long len, const unsigned char *seed,
237                  long seedlen)
238         {
239         return PKCS1_MGF1(mask, len, seed, seedlen, EVP_sha1());
240         }
241 #endif