62d2ed7e9fdbdfb9afe812c37bd15cadcff588e4
[openssl.git] / crypto / rsa / rsa_oaep.c
1 /* crypto/rsa/rsa_oaep.c */
2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
4
5 /* EME-OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
6
7 /* See Victor Shoup, "OAEP reconsidered," Nov. 2000,
8  * <URL: http://www.shoup.net/papers/oaep.ps.Z>
9  * for problems with the security proof for the
10  * original OAEP scheme, which EME-OAEP is based on.
11  * 
12  * A new proof can be found in E. Fujisaki, T. Okamoto,
13  * D. Pointcheval, J. Stern, "RSA-OEAP is Still Alive!",
14  * Dec. 2000, <URL: http://eprint.iacr.org/2000/061/>.
15  * The new proof has stronger requirements for the
16  * underlying permutation: "partial-one-wayness" instead
17  * of one-wayness.  For the RSA function, this is
18  * an equivalent notion.
19  */
20
21
22 #if !defined(OPENSSL_NO_SHA) && !defined(OPENSSL_NO_SHA1)
23 #include <stdio.h>
24 #include "cryptlib.h"
25 #include <openssl/bn.h>
26 #include <openssl/rsa.h>
27 #include <openssl/evp.h>
28 #include <openssl/rand.h>
29 #include <openssl/sha.h>
30
31 int MGF1(unsigned char *mask, long len,
32         const unsigned char *seed, long seedlen);
33
34 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
35         const unsigned char *from, int flen,
36         const unsigned char *param, int plen)
37         {
38         int i, emlen = tlen - 1;
39         unsigned char *db, *seed;
40         unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
41
42         if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
43                 {
44                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
45                    RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
46                 return (0);
47                 }
48
49         if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
50                 {
51                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
52                 return (0);
53                 }
54         
55         dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
56         if (dbmask == NULL)
57                 {
58                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
59                 return (0);
60                 }
61
62         to[0] = 0;
63         seed = to + 1;
64         db = to + SHA_DIGEST_LENGTH + 1;
65
66         EVP_Digest((void *)param, plen, db, NULL, EVP_sha1());
67         memset(db + SHA_DIGEST_LENGTH, 0,
68                 emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
69         db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
70         memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
71         if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
72                 return (0);
73 #ifdef PKCS_TESTVECT
74         memcpy(seed,
75            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
76            20);
77 #endif
78
79         MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
80         for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
81                 db[i] ^= dbmask[i];
82         
83         MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
84         for (i = 0; i < SHA_DIGEST_LENGTH; i++)
85                 seed[i] ^= seedmask[i];
86
87         OPENSSL_free(dbmask);
88         return 1;
89         }
90
91 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
92         const unsigned char *from, int flen, int num,
93         const unsigned char *param, int plen)
94         {
95         int i, dblen, mlen = -1;
96         const unsigned char *maskeddb;
97         int lzero;
98         unsigned char *db = NULL, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
99
100         if (--num < 2 * SHA_DIGEST_LENGTH + 1)
101                 goto decoding_err;
102
103         lzero = num - flen;
104         if (lzero < 0)
105                 goto decoding_err;
106         maskeddb = from - lzero + SHA_DIGEST_LENGTH;
107         
108         dblen = num - SHA_DIGEST_LENGTH;
109         db = OPENSSL_malloc(dblen);
110         if (db == NULL)
111                 {
112                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
113                 return (-1);
114                 }
115
116         MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
117         for (i = lzero; i < SHA_DIGEST_LENGTH; i++)
118                 seed[i] ^= from[i - lzero];
119   
120         MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
121         for (i = 0; i < dblen; i++)
122                 db[i] ^= maskeddb[i];
123
124         EVP_Digest((void *)param, plen, phash, NULL, EVP_sha1());
125         
126         if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0)
127                 goto decoding_err;
128         else
129                 {
130                 for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
131                         if (db[i] != 0x00)
132                                 break;
133                 if (db[i] != 0x01 || i++ >= dblen)
134                         goto decoding_err;
135                 else
136                         {
137                         mlen = dblen - i;
138                         if (tlen < mlen)
139                                 {
140                                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
141                                 mlen = -1;
142                                 }
143                         else
144                                 memcpy(to, db + i, mlen);
145                         }
146                 }
147         OPENSSL_free(db);
148         return mlen;
149         
150 decoding_err:
151         /* to avoid chosen ciphertext attacks, the error message should not reveal
152          * which kind of decoding error happened */
153         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
154         if (db != NULL) OPENSSL_free(db);
155         return -1;
156         }
157
158 int MGF1(unsigned char *mask, long len,
159         const unsigned char *seed, long seedlen)
160         {
161         long i, outlen = 0;
162         unsigned char cnt[4];
163         EVP_MD_CTX c;
164         unsigned char md[SHA_DIGEST_LENGTH];
165
166         EVP_MD_CTX_init(&c);
167         for (i = 0; outlen < len; i++)
168                 {
169                 cnt[0] = (unsigned char)((i >> 24) & 255);
170                 cnt[1] = (unsigned char)((i >> 16) & 255);
171                 cnt[2] = (unsigned char)((i >> 8)) & 255;
172                 cnt[3] = (unsigned char)(i & 255);
173                 EVP_DigestInit(&c,EVP_sha1());
174                 EVP_DigestUpdate(&c, seed, seedlen);
175                 EVP_DigestUpdate(&c, cnt, 4);
176                 if (outlen + SHA_DIGEST_LENGTH <= len)
177                         {
178                         EVP_DigestFinal(&c, mask + outlen, NULL);
179                         outlen += SHA_DIGEST_LENGTH;
180                         }
181                 else
182                         {
183                         EVP_DigestFinal(&c, md, NULL);
184                         memcpy(mask + outlen, md, len - outlen);
185                         outlen = len;
186                         }
187                 }
188         EVP_MD_CTX_cleanup(&c);
189         return 0;
190         }
191 #endif