fix a few more style issues
[openssl.git] / crypto / rsa / rsa_ameth.c
1 /*
2  * Copyright 2006-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/asn1t.h>
13 #include <openssl/x509.h>
14 #include <openssl/bn.h>
15 #include <openssl/cms.h>
16 #include "internal/asn1_int.h"
17 #include "internal/evp_int.h"
18 #include "rsa_locl.h"
19
20 #ifndef OPENSSL_NO_CMS
21 static int rsa_cms_sign(CMS_SignerInfo *si);
22 static int rsa_cms_verify(CMS_SignerInfo *si);
23 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
24 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
25 #endif
26
27 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
28
29 /* Set any parameters associated with pkey */
30 static int rsa_param_encode(const EVP_PKEY *pkey,
31                             ASN1_STRING **pstr, int *pstrtype)
32 {
33     const RSA *rsa = pkey->pkey.rsa;
34
35     *pstr = NULL;
36     /* If RSA it's just NULL type */
37     if (pkey->ameth->pkey_id == EVP_PKEY_RSA) {
38         *pstrtype = V_ASN1_NULL;
39         return 1;
40     }
41     /* If no PSS parameters we omit parameters entirely */
42     if (rsa->pss == NULL) {
43         *pstrtype = V_ASN1_UNDEF;
44         return 1;
45     }
46     /* Encode PSS parameters */
47     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
48         return 0;
49
50     *pstrtype = V_ASN1_SEQUENCE;
51     return 1;
52 }
53 /* Decode any parameters and set them in RSA structure */
54 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
55 {
56     const ASN1_OBJECT *algoid;
57     const void *algp;
58     int algptype;
59
60     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
61     if (OBJ_obj2nid(algoid) == EVP_PKEY_RSA)
62         return 1;
63     if (algptype == V_ASN1_UNDEF)
64         return 1;
65     if (algptype != V_ASN1_SEQUENCE) {
66         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
67         return 0;
68     }
69     rsa->pss = rsa_pss_decode(alg);
70     if (rsa->pss == NULL)
71         return 0;
72     return 1;
73 }
74
75 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
76 {
77     unsigned char *penc = NULL;
78     int penclen;
79     ASN1_STRING *str;
80     int strtype;
81
82     if (!rsa_param_encode(pkey, &str, &strtype))
83         return 0;
84     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
85     if (penclen <= 0)
86         return 0;
87     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
88                                strtype, str, penc, penclen))
89         return 1;
90
91     OPENSSL_free(penc);
92     return 0;
93 }
94
95 static int rsa_pub_decode(EVP_PKEY *pkey, X509_PUBKEY *pubkey)
96 {
97     const unsigned char *p;
98     int pklen;
99     X509_ALGOR *alg;
100     RSA *rsa = NULL;
101
102     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
103         return 0;
104     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL) {
105         RSAerr(RSA_F_RSA_PUB_DECODE, ERR_R_RSA_LIB);
106         return 0;
107     }
108     if (!rsa_param_decode(rsa, alg)) {
109         RSA_free(rsa);
110         return 0;
111     }
112     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
113     return 1;
114 }
115
116 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
117 {
118     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
119         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
120         return 0;
121     return 1;
122 }
123
124 static int old_rsa_priv_decode(EVP_PKEY *pkey,
125                                const unsigned char **pder, int derlen)
126 {
127     RSA *rsa;
128
129     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL) {
130         RSAerr(RSA_F_OLD_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
131         return 0;
132     }
133     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
134     return 1;
135 }
136
137 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
138 {
139     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
140 }
141
142 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
143 {
144     unsigned char *rk = NULL;
145     int rklen;
146     ASN1_STRING *str;
147     int strtype;
148
149     if (!rsa_param_encode(pkey, &str, &strtype))
150         return 0;
151     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
152
153     if (rklen <= 0) {
154         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
155         ASN1_STRING_free(str);
156         return 0;
157     }
158
159     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
160                          strtype, str, rk, rklen)) {
161         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
162         ASN1_STRING_free(str);
163         return 0;
164     }
165
166     return 1;
167 }
168
169 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
170 {
171     const unsigned char *p;
172     RSA *rsa;
173     int pklen;
174     const X509_ALGOR *alg;
175
176     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
177         return 0;
178     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
179     if (rsa == NULL) {
180         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
181         return 0;
182     }
183     if (!rsa_param_decode(rsa, alg)) {
184         RSA_free(rsa);
185         return 0;
186     }
187     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
188     return 1;
189 }
190
191 static int int_rsa_size(const EVP_PKEY *pkey)
192 {
193     return RSA_size(pkey->pkey.rsa);
194 }
195
196 static int rsa_bits(const EVP_PKEY *pkey)
197 {
198     return BN_num_bits(pkey->pkey.rsa->n);
199 }
200
201 static int rsa_security_bits(const EVP_PKEY *pkey)
202 {
203     return RSA_security_bits(pkey->pkey.rsa);
204 }
205
206 static void int_rsa_free(EVP_PKEY *pkey)
207 {
208     RSA_free(pkey->pkey.rsa);
209 }
210
211 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
212 {
213     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
214         return NULL;
215     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
216                                      alg->parameter);
217 }
218
219 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
220                                int indent)
221 {
222     int rv = 0;
223     X509_ALGOR *maskHash = NULL;
224
225     if (!BIO_indent(bp, indent, 128))
226         goto err;
227     if (pss_key) {
228         if (pss == NULL) {
229             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
230                 return 0;
231             return 1;
232         } else {
233             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
234                 return 0;
235         }
236     } else if (pss == NULL) {
237         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
238             return 0;
239         return 1;
240     }
241     if (BIO_puts(bp, "\n") <= 0)
242         goto err;
243     if (pss_key)
244         indent += 2;
245     if (!BIO_indent(bp, indent, 128))
246         goto err;
247     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
248         goto err;
249
250     if (pss->hashAlgorithm) {
251         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
252             goto err;
253     } else if (BIO_puts(bp, "sha1 (default)") <= 0)
254         goto err;
255
256     if (BIO_puts(bp, "\n") <= 0)
257         goto err;
258
259     if (!BIO_indent(bp, indent, 128))
260         goto err;
261
262     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
263         goto err;
264     if (pss->maskGenAlgorithm) {
265         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
266             goto err;
267         if (BIO_puts(bp, " with ") <= 0)
268             goto err;
269         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
270         if (maskHash != NULL) {
271             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
272                 goto err;
273         } else if (BIO_puts(bp, "INVALID") <= 0)
274             goto err;
275     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0)
276         goto err;
277     BIO_puts(bp, "\n");
278
279     if (!BIO_indent(bp, indent, 128))
280         goto err;
281     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
282         goto err;
283     if (pss->saltLength) {
284         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
285             goto err;
286     } else if (BIO_puts(bp, "14 (default)") <= 0)
287         goto err;
288     BIO_puts(bp, "\n");
289
290     if (!BIO_indent(bp, indent, 128))
291         goto err;
292     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
293         goto err;
294     if (pss->trailerField) {
295         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
296             goto err;
297     } else if (BIO_puts(bp, "BC (default)") <= 0)
298         goto err;
299     BIO_puts(bp, "\n");
300
301     rv = 1;
302
303  err:
304     X509_ALGOR_free(maskHash);
305     return rv;
306
307 }
308
309 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
310 {
311     const RSA *x = pkey->pkey.rsa;
312     char *str;
313     const char *s;
314     int ret = 0, mod_len = 0;
315
316     if (x->n != NULL)
317         mod_len = BN_num_bits(x->n);
318
319     if (!BIO_indent(bp, off, 128))
320         goto err;
321
322     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
323         goto err;
324
325     if (priv && x->d) {
326         if (BIO_printf(bp, "Private-Key: (%d bit)\n", mod_len) <= 0)
327             goto err;
328         str = "modulus:";
329         s = "publicExponent:";
330     } else {
331         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
332             goto err;
333         str = "Modulus:";
334         s = "Exponent:";
335     }
336     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
337         goto err;
338     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
339         goto err;
340     if (priv) {
341         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
342             goto err;
343         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
344             goto err;
345         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
346             goto err;
347         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
348             goto err;
349         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
350             goto err;
351         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
352             goto err;
353     }
354     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
355         goto err;
356     ret = 1;
357  err:
358     return ret;
359 }
360
361 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
362                          ASN1_PCTX *ctx)
363 {
364     return pkey_rsa_print(bp, pkey, indent, 0);
365 }
366
367 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
368                           ASN1_PCTX *ctx)
369 {
370     return pkey_rsa_print(bp, pkey, indent, 1);
371 }
372
373 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
374 {
375     RSA_PSS_PARAMS *pss;
376
377     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
378                                     alg->parameter);
379
380     if (pss == NULL)
381         return NULL;
382
383     if (pss->maskGenAlgorithm != NULL) {
384         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
385         if (pss->maskHash == NULL) {
386             RSA_PSS_PARAMS_free(pss);
387             return NULL;
388         }
389     }
390
391     return pss;
392 }
393
394 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
395                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
396 {
397     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
398         int rv;
399         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
400
401         rv = rsa_pss_param_print(bp, 0, pss, indent);
402         RSA_PSS_PARAMS_free(pss);
403         if (!rv)
404             return 0;
405     } else if (!sig && BIO_puts(bp, "\n") <= 0) {
406         return 0;
407     }
408     if (sig)
409         return X509_signature_dump(bp, sig, indent);
410     return 1;
411 }
412
413 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
414 {
415     X509_ALGOR *alg = NULL;
416
417     switch (op) {
418
419     case ASN1_PKEY_CTRL_PKCS7_SIGN:
420         if (arg1 == 0)
421             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
422         break;
423
424     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
425         if (pkey_is_pss(pkey))
426             return -2;
427         if (arg1 == 0)
428             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
429         break;
430 #ifndef OPENSSL_NO_CMS
431     case ASN1_PKEY_CTRL_CMS_SIGN:
432         if (arg1 == 0)
433             return rsa_cms_sign(arg2);
434         else if (arg1 == 1)
435             return rsa_cms_verify(arg2);
436         break;
437
438     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
439         if (pkey_is_pss(pkey))
440             return -2;
441         if (arg1 == 0)
442             return rsa_cms_encrypt(arg2);
443         else if (arg1 == 1)
444             return rsa_cms_decrypt(arg2);
445         break;
446
447     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
448         if (pkey_is_pss(pkey))
449             return -2;
450         *(int *)arg2 = CMS_RECIPINFO_TRANS;
451         return 1;
452 #endif
453
454     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
455         *(int *)arg2 = NID_sha256;
456         return 1;
457
458     default:
459         return -2;
460
461     }
462
463     if (alg)
464         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
465
466     return 1;
467
468 }
469
470 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
471 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
472 {
473     if (md == NULL || EVP_MD_type(md) == NID_sha1)
474         return 1;
475     *palg = X509_ALGOR_new();
476     if (*palg == NULL)
477         return 0;
478     X509_ALGOR_set_md(*palg, md);
479     return 1;
480 }
481
482 /* Allocate and set MGF1 algorithm ID from EVP_MD */
483 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
484 {
485     X509_ALGOR *algtmp = NULL;
486     ASN1_STRING *stmp = NULL;
487
488     *palg = NULL;
489     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
490         return 1;
491     /* need to embed algorithm ID inside another */
492     if (!rsa_md_to_algor(&algtmp, mgf1md))
493         goto err;
494     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
495          goto err;
496     *palg = X509_ALGOR_new();
497     if (*palg == NULL)
498         goto err;
499     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
500     stmp = NULL;
501  err:
502     ASN1_STRING_free(stmp);
503     X509_ALGOR_free(algtmp);
504     if (*palg)
505         return 1;
506     return 0;
507 }
508
509 /* convert algorithm ID to EVP_MD, default SHA1 */
510 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
511 {
512     const EVP_MD *md;
513
514     if (!alg)
515         return EVP_sha1();
516     md = EVP_get_digestbyobj(alg->algorithm);
517     if (md == NULL)
518         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
519     return md;
520 }
521
522 /*
523  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
524  * suitable for setting an AlgorithmIdentifier.
525  */
526
527 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
528 {
529     const EVP_MD *sigmd, *mgf1md;
530     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
531     int saltlen;
532
533     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
534         return NULL;
535     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
536         return NULL;
537     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
538         return NULL;
539     if (saltlen == -1)
540         saltlen = EVP_MD_size(sigmd);
541     else if (saltlen == -2) {
542         saltlen = EVP_PKEY_size(pk) - EVP_MD_size(sigmd) - 2;
543         if (((EVP_PKEY_bits(pk) - 1) & 0x7) == 0)
544             saltlen--;
545     }
546
547     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
548 }
549
550 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
551                                       const EVP_MD *mgf1md, int saltlen)
552 {
553     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
554
555     if (pss == NULL)
556         goto err;
557     if (saltlen != 20) {
558         pss->saltLength = ASN1_INTEGER_new();
559         if (pss->saltLength == NULL)
560             goto err;
561         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
562             goto err;
563     }
564     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
565         goto err;
566     if (mgf1md == NULL)
567         mgf1md = sigmd;
568     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
569         goto err;
570     return pss;
571  err:
572     RSA_PSS_PARAMS_free(pss);
573     return NULL;
574 }
575
576 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
577 {
578     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
579     ASN1_STRING *os;
580
581     if (pss == NULL)
582         return NULL;
583
584     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
585     RSA_PSS_PARAMS_free(pss);
586     return os;
587 }
588
589 /*
590  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
591  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
592  * passed to pkctx instead.
593  */
594
595 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
596                           X509_ALGOR *sigalg, EVP_PKEY *pkey)
597 {
598     int rv = -1;
599     int saltlen;
600     const EVP_MD *mgf1md = NULL, *md = NULL;
601     RSA_PSS_PARAMS *pss;
602
603     /* Sanity check: make sure it is PSS */
604     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
605         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
606         return -1;
607     }
608     /* Decode PSS parameters */
609     pss = rsa_pss_decode(sigalg);
610
611     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
612         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
613         goto err;
614     }
615
616     /* We have all parameters now set up context */
617     if (pkey) {
618         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
619             goto err;
620     } else {
621         const EVP_MD *checkmd;
622         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
623             goto err;
624         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
625             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
626             goto err;
627         }
628     }
629
630     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
631         goto err;
632
633     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
634         goto err;
635
636     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
637         goto err;
638     /* Carry on */
639     rv = 1;
640
641  err:
642     RSA_PSS_PARAMS_free(pss);
643     return rv;
644 }
645
646 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
647                       const EVP_MD **pmgf1md, int *psaltlen)
648 {
649     if (pss == NULL)
650         return 0;
651     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
652     if (*pmd == NULL)
653         return 0;
654     *pmgf1md = rsa_algor_to_md(pss->maskHash);
655     if (*pmgf1md == NULL)
656         return 0;
657     if (pss->saltLength) {
658         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
659         if (*psaltlen < 0) {
660             RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_SALT_LENGTH);
661             return 0;
662         }
663     } else {
664         *psaltlen = 20;
665     }
666
667     /*
668      * low-level routines support only trailer field 0xbc (value 1) and
669      * PKCS#1 says we should reject any other value anyway.
670      */
671     if (pss->trailerField && ASN1_INTEGER_get(pss->trailerField) != 1) {
672         RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_TRAILER);
673         return 0;
674     }
675
676     return 1;
677 }
678
679 #ifndef OPENSSL_NO_CMS
680 static int rsa_cms_verify(CMS_SignerInfo *si)
681 {
682     int nid, nid2;
683     X509_ALGOR *alg;
684     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
685
686     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
687     nid = OBJ_obj2nid(alg->algorithm);
688     if (nid == EVP_PKEY_RSA_PSS)
689         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
690     /* Only PSS allowed for PSS keys */
691     if (pkey_ctx_is_pss(pkctx)) {
692         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
693         return 0;
694     }
695     if (nid == NID_rsaEncryption)
696         return 1;
697     /* Workaround for some implementation that use a signature OID */
698     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
699         if (nid2 == NID_rsaEncryption)
700             return 1;
701     }
702     return 0;
703 }
704 #endif
705
706 /*
707  * Customised RSA item verification routine. This is called when a signature
708  * is encountered requiring special handling. We currently only handle PSS.
709  */
710
711 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
712                            X509_ALGOR *sigalg, ASN1_BIT_STRING *sig,
713                            EVP_PKEY *pkey)
714 {
715     /* Sanity check: make sure it is PSS */
716     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
717         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
718         return -1;
719     }
720     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
721         /* Carry on */
722         return 2;
723     }
724     return -1;
725 }
726
727 #ifndef OPENSSL_NO_CMS
728 static int rsa_cms_sign(CMS_SignerInfo *si)
729 {
730     int pad_mode = RSA_PKCS1_PADDING;
731     X509_ALGOR *alg;
732     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
733     ASN1_STRING *os = NULL;
734
735     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
736     if (pkctx) {
737         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
738             return 0;
739     }
740     if (pad_mode == RSA_PKCS1_PADDING) {
741         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
742         return 1;
743     }
744     /* We don't support it */
745     if (pad_mode != RSA_PKCS1_PSS_PADDING)
746         return 0;
747     os = rsa_ctx_to_pss_string(pkctx);
748     if (!os)
749         return 0;
750     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
751     return 1;
752 }
753 #endif
754
755 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
756                          X509_ALGOR *alg1, X509_ALGOR *alg2,
757                          ASN1_BIT_STRING *sig)
758 {
759     int pad_mode;
760     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
761
762     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
763         return 0;
764     if (pad_mode == RSA_PKCS1_PADDING)
765         return 2;
766     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
767         ASN1_STRING *os1 = NULL;
768         os1 = rsa_ctx_to_pss_string(pkctx);
769         if (!os1)
770             return 0;
771         /* Duplicate parameters if we have to */
772         if (alg2) {
773             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
774             if (!os2) {
775                 ASN1_STRING_free(os1);
776                 return 0;
777             }
778             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
779                             V_ASN1_SEQUENCE, os2);
780         }
781         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
782                         V_ASN1_SEQUENCE, os1);
783         return 3;
784     }
785     return 2;
786 }
787
788 #ifndef OPENSSL_NO_CMS
789 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
790 {
791     RSA_OAEP_PARAMS *oaep;
792
793     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
794                                      alg->parameter);
795
796     if (oaep == NULL)
797         return NULL;
798
799     if (oaep->maskGenFunc != NULL) {
800         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
801         if (oaep->maskHash == NULL) {
802             RSA_OAEP_PARAMS_free(oaep);
803             return NULL;
804         }
805     }
806     return oaep;
807 }
808
809 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
810 {
811     EVP_PKEY_CTX *pkctx;
812     X509_ALGOR *cmsalg;
813     int nid;
814     int rv = -1;
815     unsigned char *label = NULL;
816     int labellen = 0;
817     const EVP_MD *mgf1md = NULL, *md = NULL;
818     RSA_OAEP_PARAMS *oaep;
819
820     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
821     if (pkctx == NULL)
822         return 0;
823     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
824         return -1;
825     nid = OBJ_obj2nid(cmsalg->algorithm);
826     if (nid == NID_rsaEncryption)
827         return 1;
828     if (nid != NID_rsaesOaep) {
829         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
830         return -1;
831     }
832     /* Decode OAEP parameters */
833     oaep = rsa_oaep_decode(cmsalg);
834
835     if (oaep == NULL) {
836         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
837         goto err;
838     }
839
840     mgf1md = rsa_algor_to_md(oaep->maskHash);
841     if (mgf1md == NULL)
842         goto err;
843     md = rsa_algor_to_md(oaep->hashFunc);
844     if (md == NULL)
845         goto err;
846
847     if (oaep->pSourceFunc != NULL) {
848         X509_ALGOR *plab = oaep->pSourceFunc;
849
850         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
851             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
852             goto err;
853         }
854         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
855             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
856             goto err;
857         }
858
859         label = plab->parameter->value.octet_string->data;
860         /* Stop label being freed when OAEP parameters are freed */
861         plab->parameter->value.octet_string->data = NULL;
862         labellen = plab->parameter->value.octet_string->length;
863     }
864
865     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
866         goto err;
867     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
868         goto err;
869     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
870         goto err;
871     if (EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
872         goto err;
873     /* Carry on */
874     rv = 1;
875
876  err:
877     RSA_OAEP_PARAMS_free(oaep);
878     return rv;
879 }
880
881 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
882 {
883     const EVP_MD *md, *mgf1md;
884     RSA_OAEP_PARAMS *oaep = NULL;
885     ASN1_STRING *os = NULL;
886     X509_ALGOR *alg;
887     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
888     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
889     unsigned char *label;
890
891     CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg);
892     if (pkctx) {
893         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
894             return 0;
895     }
896     if (pad_mode == RSA_PKCS1_PADDING) {
897         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
898         return 1;
899     }
900     /* Not supported */
901     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
902         return 0;
903     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
904         goto err;
905     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
906         goto err;
907     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
908     if (labellen < 0)
909         goto err;
910     oaep = RSA_OAEP_PARAMS_new();
911     if (oaep == NULL)
912         goto err;
913     if (!rsa_md_to_algor(&oaep->hashFunc, md))
914         goto err;
915     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
916         goto err;
917     if (labellen > 0) {
918         ASN1_OCTET_STRING *los;
919         oaep->pSourceFunc = X509_ALGOR_new();
920         if (oaep->pSourceFunc == NULL)
921             goto err;
922         los = ASN1_OCTET_STRING_new();
923         if (los == NULL)
924             goto err;
925         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
926             ASN1_OCTET_STRING_free(los);
927             goto err;
928         }
929         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
930                         V_ASN1_OCTET_STRING, los);
931     }
932     /* create string with pss parameter encoding. */
933     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
934          goto err;
935     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
936     os = NULL;
937     rv = 1;
938  err:
939     RSA_OAEP_PARAMS_free(oaep);
940     ASN1_STRING_free(os);
941     return rv;
942 }
943 #endif
944
945 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
946     {
947      EVP_PKEY_RSA,
948      EVP_PKEY_RSA,
949      ASN1_PKEY_SIGPARAM_NULL,
950
951      "RSA",
952      "OpenSSL RSA method",
953
954      rsa_pub_decode,
955      rsa_pub_encode,
956      rsa_pub_cmp,
957      rsa_pub_print,
958
959      rsa_priv_decode,
960      rsa_priv_encode,
961      rsa_priv_print,
962
963      int_rsa_size,
964      rsa_bits,
965      rsa_security_bits,
966
967      0, 0, 0, 0, 0, 0,
968
969      rsa_sig_print,
970      int_rsa_free,
971      rsa_pkey_ctrl,
972      old_rsa_priv_decode,
973      old_rsa_priv_encode,
974      rsa_item_verify,
975      rsa_item_sign},
976
977     {
978      EVP_PKEY_RSA2,
979      EVP_PKEY_RSA,
980      ASN1_PKEY_ALIAS}
981 };
982
983 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
984      EVP_PKEY_RSA_PSS,
985      EVP_PKEY_RSA_PSS,
986      ASN1_PKEY_SIGPARAM_NULL,
987
988      "RSA-PSS",
989      "OpenSSL RSA-PSS method",
990
991      rsa_pub_decode,
992      rsa_pub_encode,
993      rsa_pub_cmp,
994      rsa_pub_print,
995
996      rsa_priv_decode,
997      rsa_priv_encode,
998      rsa_priv_print,
999
1000      int_rsa_size,
1001      rsa_bits,
1002      rsa_security_bits,
1003
1004      0, 0, 0, 0, 0, 0,
1005
1006      rsa_sig_print,
1007      int_rsa_free,
1008      rsa_pkey_ctrl,
1009      0, 0,
1010      rsa_item_verify,
1011      rsa_item_sign,
1012 };