aab237aecdf6bce86563aef6a19289b0dd24540b
[openssl.git] / crypto / rsa / rsa_ameth.c
1 /*
2  * Copyright 2006-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*
11  * RSA low level APIs are deprecated for public use, but still ok for
12  * internal use.
13  */
14 #include "internal/deprecated.h"
15
16 #include <stdio.h>
17 #include "internal/cryptlib.h"
18 #include <openssl/asn1t.h>
19 #include <openssl/x509.h>
20 #include <openssl/bn.h>
21 #include <openssl/cms.h>
22 #include <openssl/core_names.h>
23 #include <openssl/param_build.h>
24 #include "crypto/asn1.h"
25 #include "crypto/evp.h"
26 #include "crypto/rsa.h"
27 #include "rsa_local.h"
28
29 #ifndef OPENSSL_NO_CMS
30 static int rsa_cms_sign(CMS_SignerInfo *si);
31 static int rsa_cms_verify(CMS_SignerInfo *si);
32 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
33 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
34 #endif
35
36 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
37 static int rsa_sync_to_pss_params_30(RSA *rsa);
38
39 /* Set any parameters associated with pkey */
40 static int rsa_param_encode(const EVP_PKEY *pkey,
41                             ASN1_STRING **pstr, int *pstrtype)
42 {
43     const RSA *rsa = pkey->pkey.rsa;
44
45     *pstr = NULL;
46     /* If RSA it's just NULL type */
47     if (RSA_test_flags(rsa, RSA_FLAG_TYPE_MASK) != RSA_FLAG_TYPE_RSASSAPSS) {
48         *pstrtype = V_ASN1_NULL;
49         return 1;
50     }
51     /* If no PSS parameters we omit parameters entirely */
52     if (rsa->pss == NULL) {
53         *pstrtype = V_ASN1_UNDEF;
54         return 1;
55     }
56     /* Encode PSS parameters */
57     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
58         return 0;
59
60     *pstrtype = V_ASN1_SEQUENCE;
61     return 1;
62 }
63 /* Decode any parameters and set them in RSA structure */
64 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
65 {
66     const ASN1_OBJECT *algoid;
67     const void *algp;
68     int algptype;
69
70     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
71     if (OBJ_obj2nid(algoid) != EVP_PKEY_RSA_PSS)
72         return 1;
73     if (algptype == V_ASN1_UNDEF)
74         return 1;
75     if (algptype != V_ASN1_SEQUENCE) {
76         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
77         return 0;
78     }
79     rsa->pss = rsa_pss_decode(alg);
80     if (rsa->pss == NULL)
81         return 0;
82     if (!rsa_sync_to_pss_params_30(rsa))
83         return 0;
84     return 1;
85 }
86
87 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
88 {
89     unsigned char *penc = NULL;
90     int penclen;
91     ASN1_STRING *str;
92     int strtype;
93
94     if (!rsa_param_encode(pkey, &str, &strtype))
95         return 0;
96     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
97     if (penclen <= 0)
98         return 0;
99     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
100                                strtype, str, penc, penclen))
101         return 1;
102
103     OPENSSL_free(penc);
104     return 0;
105 }
106
107 static int rsa_pub_decode(EVP_PKEY *pkey, const X509_PUBKEY *pubkey)
108 {
109     const unsigned char *p;
110     int pklen;
111     X509_ALGOR *alg;
112     RSA *rsa = NULL;
113
114     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
115         return 0;
116     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL)
117         return 0;
118     if (!rsa_param_decode(rsa, alg)) {
119         RSA_free(rsa);
120         return 0;
121     }
122
123     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
124     switch (pkey->ameth->pkey_id) {
125     case EVP_PKEY_RSA:
126         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
127         break;
128     case EVP_PKEY_RSA_PSS:
129         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
130         break;
131     default:
132         /* Leave the type bits zero */
133         break;
134     }
135
136     if (!EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa)) {
137         RSA_free(rsa);
138         return 0;
139     }
140     return 1;
141 }
142
143 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
144 {
145     /*
146      * Don't check the public/private key, this is mostly for smart
147      * cards.
148      */
149     if (((RSA_flags(a->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK))
150             || (RSA_flags(b->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK)) {
151         return 1;
152     }
153
154     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
155         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
156         return 0;
157     return 1;
158 }
159
160 static int old_rsa_priv_decode(EVP_PKEY *pkey,
161                                const unsigned char **pder, int derlen)
162 {
163     RSA *rsa;
164
165     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL)
166         return 0;
167     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
168     return 1;
169 }
170
171 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
172 {
173     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
174 }
175
176 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
177 {
178     unsigned char *rk = NULL;
179     int rklen;
180     ASN1_STRING *str;
181     int strtype;
182
183     if (!rsa_param_encode(pkey, &str, &strtype))
184         return 0;
185     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
186
187     if (rklen <= 0) {
188         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
189         ASN1_STRING_free(str);
190         return 0;
191     }
192
193     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
194                          strtype, str, rk, rklen)) {
195         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
196         ASN1_STRING_free(str);
197         return 0;
198     }
199
200     return 1;
201 }
202
203 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
204 {
205     const unsigned char *p;
206     RSA *rsa;
207     int pklen;
208     const X509_ALGOR *alg;
209
210     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
211         return 0;
212     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
213     if (rsa == NULL) {
214         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
215         return 0;
216     }
217     if (!rsa_param_decode(rsa, alg)) {
218         RSA_free(rsa);
219         return 0;
220     }
221
222     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
223     switch (pkey->ameth->pkey_id) {
224     case EVP_PKEY_RSA:
225         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
226         break;
227     case EVP_PKEY_RSA_PSS:
228         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
229         break;
230     default:
231         /* Leave the type bits zero */
232         break;
233     }
234
235     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
236     return 1;
237 }
238
239 static int int_rsa_size(const EVP_PKEY *pkey)
240 {
241     return RSA_size(pkey->pkey.rsa);
242 }
243
244 static int rsa_bits(const EVP_PKEY *pkey)
245 {
246     return BN_num_bits(pkey->pkey.rsa->n);
247 }
248
249 static int rsa_security_bits(const EVP_PKEY *pkey)
250 {
251     return RSA_security_bits(pkey->pkey.rsa);
252 }
253
254 static void int_rsa_free(EVP_PKEY *pkey)
255 {
256     RSA_free(pkey->pkey.rsa);
257 }
258
259 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
260 {
261     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
262         return NULL;
263     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
264                                      alg->parameter);
265 }
266
267 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
268                                int indent)
269 {
270     int rv = 0;
271     X509_ALGOR *maskHash = NULL;
272
273     if (!BIO_indent(bp, indent, 128))
274         goto err;
275     if (pss_key) {
276         if (pss == NULL) {
277             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
278                 return 0;
279             return 1;
280         } else {
281             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
282                 return 0;
283         }
284     } else if (pss == NULL) {
285         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
286             return 0;
287         return 1;
288     }
289     if (BIO_puts(bp, "\n") <= 0)
290         goto err;
291     if (pss_key)
292         indent += 2;
293     if (!BIO_indent(bp, indent, 128))
294         goto err;
295     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
296         goto err;
297
298     if (pss->hashAlgorithm) {
299         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
300             goto err;
301     } else if (BIO_puts(bp, "sha1 (default)") <= 0) {
302         goto err;
303     }
304
305     if (BIO_puts(bp, "\n") <= 0)
306         goto err;
307
308     if (!BIO_indent(bp, indent, 128))
309         goto err;
310
311     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
312         goto err;
313     if (pss->maskGenAlgorithm) {
314         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
315             goto err;
316         if (BIO_puts(bp, " with ") <= 0)
317             goto err;
318         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
319         if (maskHash != NULL) {
320             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
321                 goto err;
322         } else if (BIO_puts(bp, "INVALID") <= 0) {
323             goto err;
324         }
325     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0) {
326         goto err;
327     }
328     BIO_puts(bp, "\n");
329
330     if (!BIO_indent(bp, indent, 128))
331         goto err;
332     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
333         goto err;
334     if (pss->saltLength) {
335         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
336             goto err;
337     } else if (BIO_puts(bp, "14 (default)") <= 0) {
338         goto err;
339     }
340     BIO_puts(bp, "\n");
341
342     if (!BIO_indent(bp, indent, 128))
343         goto err;
344     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
345         goto err;
346     if (pss->trailerField) {
347         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
348             goto err;
349     } else if (BIO_puts(bp, "BC (default)") <= 0) {
350         goto err;
351     }
352     BIO_puts(bp, "\n");
353
354     rv = 1;
355
356  err:
357     X509_ALGOR_free(maskHash);
358     return rv;
359
360 }
361
362 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
363 {
364     const RSA *x = pkey->pkey.rsa;
365     char *str;
366     const char *s;
367     int ret = 0, mod_len = 0, ex_primes;
368
369     if (x->n != NULL)
370         mod_len = BN_num_bits(x->n);
371     ex_primes = sk_RSA_PRIME_INFO_num(x->prime_infos);
372
373     if (!BIO_indent(bp, off, 128))
374         goto err;
375
376     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
377         goto err;
378
379     if (priv && x->d) {
380         if (BIO_printf(bp, "Private-Key: (%d bit, %d primes)\n",
381                        mod_len, ex_primes <= 0 ? 2 : ex_primes + 2) <= 0)
382             goto err;
383         str = "modulus:";
384         s = "publicExponent:";
385     } else {
386         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
387             goto err;
388         str = "Modulus:";
389         s = "Exponent:";
390     }
391     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
392         goto err;
393     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
394         goto err;
395     if (priv) {
396         int i;
397
398         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
399             goto err;
400         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
401             goto err;
402         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
403             goto err;
404         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
405             goto err;
406         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
407             goto err;
408         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
409             goto err;
410         for (i = 0; i < sk_RSA_PRIME_INFO_num(x->prime_infos); i++) {
411             /* print multi-prime info */
412             BIGNUM *bn = NULL;
413             RSA_PRIME_INFO *pinfo;
414             int j;
415
416             pinfo = sk_RSA_PRIME_INFO_value(x->prime_infos, i);
417             for (j = 0; j < 3; j++) {
418                 if (!BIO_indent(bp, off, 128))
419                     goto err;
420                 switch (j) {
421                 case 0:
422                     if (BIO_printf(bp, "prime%d:", i + 3) <= 0)
423                         goto err;
424                     bn = pinfo->r;
425                     break;
426                 case 1:
427                     if (BIO_printf(bp, "exponent%d:", i + 3) <= 0)
428                         goto err;
429                     bn = pinfo->d;
430                     break;
431                 case 2:
432                     if (BIO_printf(bp, "coefficient%d:", i + 3) <= 0)
433                         goto err;
434                     bn = pinfo->t;
435                     break;
436                 default:
437                     break;
438                 }
439                 if (!ASN1_bn_print(bp, "", bn, NULL, off))
440                     goto err;
441             }
442         }
443     }
444     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
445         goto err;
446     ret = 1;
447  err:
448     return ret;
449 }
450
451 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
452                          ASN1_PCTX *ctx)
453 {
454     return pkey_rsa_print(bp, pkey, indent, 0);
455 }
456
457 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
458                           ASN1_PCTX *ctx)
459 {
460     return pkey_rsa_print(bp, pkey, indent, 1);
461 }
462
463 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
464 {
465     RSA_PSS_PARAMS *pss;
466
467     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
468                                     alg->parameter);
469
470     if (pss == NULL)
471         return NULL;
472
473     if (pss->maskGenAlgorithm != NULL) {
474         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
475         if (pss->maskHash == NULL) {
476             RSA_PSS_PARAMS_free(pss);
477             return NULL;
478         }
479     }
480
481     return pss;
482 }
483
484 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
485                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
486 {
487     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
488         int rv;
489         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
490
491         rv = rsa_pss_param_print(bp, 0, pss, indent);
492         RSA_PSS_PARAMS_free(pss);
493         if (!rv)
494             return 0;
495     } else if (BIO_puts(bp, "\n") <= 0) {
496         return 0;
497     }
498     if (sig)
499         return X509_signature_dump(bp, sig, indent);
500     return 1;
501 }
502
503 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
504 {
505     X509_ALGOR *alg = NULL;
506     const EVP_MD *md;
507     const EVP_MD *mgf1md;
508     int min_saltlen;
509
510     switch (op) {
511
512     case ASN1_PKEY_CTRL_PKCS7_SIGN:
513         if (arg1 == 0)
514             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
515         break;
516
517     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
518         if (pkey_is_pss(pkey))
519             return -2;
520         if (arg1 == 0)
521             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
522         break;
523 #ifndef OPENSSL_NO_CMS
524     case ASN1_PKEY_CTRL_CMS_SIGN:
525         if (arg1 == 0)
526             return rsa_cms_sign(arg2);
527         else if (arg1 == 1)
528             return rsa_cms_verify(arg2);
529         break;
530
531     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
532         if (pkey_is_pss(pkey))
533             return -2;
534         if (arg1 == 0)
535             return rsa_cms_encrypt(arg2);
536         else if (arg1 == 1)
537             return rsa_cms_decrypt(arg2);
538         break;
539
540     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
541         if (pkey_is_pss(pkey))
542             return -2;
543         *(int *)arg2 = CMS_RECIPINFO_TRANS;
544         return 1;
545 #endif
546
547     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
548         if (pkey->pkey.rsa->pss != NULL) {
549             if (!rsa_pss_get_param(pkey->pkey.rsa->pss, &md, &mgf1md,
550                                    &min_saltlen)) {
551                 RSAerr(0, ERR_R_INTERNAL_ERROR);
552                 return 0;
553             }
554             *(int *)arg2 = EVP_MD_type(md);
555             /* Return of 2 indicates this MD is mandatory */
556             return 2;
557         }
558         *(int *)arg2 = NID_sha256;
559         return 1;
560
561     default:
562         return -2;
563
564     }
565
566     if (alg)
567         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
568
569     return 1;
570
571 }
572
573 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
574 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
575 {
576     if (md == NULL || EVP_MD_type(md) == NID_sha1)
577         return 1;
578     *palg = X509_ALGOR_new();
579     if (*palg == NULL)
580         return 0;
581     X509_ALGOR_set_md(*palg, md);
582     return 1;
583 }
584
585 /* Allocate and set MGF1 algorithm ID from EVP_MD */
586 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
587 {
588     X509_ALGOR *algtmp = NULL;
589     ASN1_STRING *stmp = NULL;
590
591     *palg = NULL;
592     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
593         return 1;
594     /* need to embed algorithm ID inside another */
595     if (!rsa_md_to_algor(&algtmp, mgf1md))
596         goto err;
597     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
598          goto err;
599     *palg = X509_ALGOR_new();
600     if (*palg == NULL)
601         goto err;
602     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
603     stmp = NULL;
604  err:
605     ASN1_STRING_free(stmp);
606     X509_ALGOR_free(algtmp);
607     if (*palg)
608         return 1;
609     return 0;
610 }
611
612 /* convert algorithm ID to EVP_MD, default SHA1 */
613 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
614 {
615     const EVP_MD *md;
616
617     if (!alg)
618         return EVP_sha1();
619     md = EVP_get_digestbyobj(alg->algorithm);
620     if (md == NULL)
621         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
622     return md;
623 }
624
625 /*
626  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
627  * suitable for setting an AlgorithmIdentifier.
628  */
629
630 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
631 {
632     const EVP_MD *sigmd, *mgf1md;
633     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
634     RSA *rsa = EVP_PKEY_get0_RSA(pk);
635     int saltlen;
636
637     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
638         return NULL;
639     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
640         return NULL;
641     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
642         return NULL;
643     if (saltlen == -1) {
644         saltlen = EVP_MD_size(sigmd);
645     } else if (saltlen == -2 || saltlen == -3) {
646         saltlen = RSA_size(rsa) - EVP_MD_size(sigmd) - 2;
647         if ((EVP_PKEY_bits(pk) & 0x7) == 1)
648             saltlen--;
649         if (saltlen < 0)
650             return NULL;
651     }
652
653     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
654 }
655
656 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
657                                       const EVP_MD *mgf1md, int saltlen)
658 {
659     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
660
661     if (pss == NULL)
662         goto err;
663     if (saltlen != 20) {
664         pss->saltLength = ASN1_INTEGER_new();
665         if (pss->saltLength == NULL)
666             goto err;
667         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
668             goto err;
669     }
670     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
671         goto err;
672     if (mgf1md == NULL)
673         mgf1md = sigmd;
674     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
675         goto err;
676     if (!rsa_md_to_algor(&pss->maskHash, mgf1md))
677         goto err;
678     return pss;
679  err:
680     RSA_PSS_PARAMS_free(pss);
681     return NULL;
682 }
683
684 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
685 {
686     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
687     ASN1_STRING *os;
688
689     if (pss == NULL)
690         return NULL;
691
692     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
693     RSA_PSS_PARAMS_free(pss);
694     return os;
695 }
696
697 /*
698  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
699  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
700  * passed to pkctx instead.
701  */
702
703 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
704                           const X509_ALGOR *sigalg, EVP_PKEY *pkey)
705 {
706     int rv = -1;
707     int saltlen;
708     const EVP_MD *mgf1md = NULL, *md = NULL;
709     RSA_PSS_PARAMS *pss;
710
711     /* Sanity check: make sure it is PSS */
712     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
713         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
714         return -1;
715     }
716     /* Decode PSS parameters */
717     pss = rsa_pss_decode(sigalg);
718
719     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
720         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
721         goto err;
722     }
723
724     /* We have all parameters now set up context */
725     if (pkey) {
726         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
727             goto err;
728     } else {
729         const EVP_MD *checkmd;
730         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
731             goto err;
732         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
733             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
734             goto err;
735         }
736     }
737
738     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
739         goto err;
740
741     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
742         goto err;
743
744     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
745         goto err;
746     /* Carry on */
747     rv = 1;
748
749  err:
750     RSA_PSS_PARAMS_free(pss);
751     return rv;
752 }
753
754 static int rsa_pss_verify_param(const EVP_MD **pmd, const EVP_MD **pmgf1md,
755                                 int *psaltlen, int *ptrailerField)
756 {
757     if (psaltlen != NULL && *psaltlen < 0) {
758         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_SALT_LENGTH);
759         return 0;
760     }
761     /*
762      * low-level routines support only trailer field 0xbc (value 1) and
763      * PKCS#1 says we should reject any other value anyway.
764      */
765     if (ptrailerField != NULL && *ptrailerField != 1) {
766         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_TRAILER);
767         return 0;
768     }
769     return 1;
770 }
771
772 static int rsa_pss_get_param_unverified(const RSA_PSS_PARAMS *pss,
773                                         const EVP_MD **pmd,
774                                         const EVP_MD **pmgf1md,
775                                         int *psaltlen, int *ptrailerField)
776 {
777     RSA_PSS_PARAMS_30 pss_params;
778
779     /* Get the defaults from the ONE place */
780     (void)rsa_pss_params_30_set_defaults(&pss_params);
781
782     if (pss == NULL)
783         return 0;
784     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
785     if (*pmd == NULL)
786         return 0;
787     *pmgf1md = rsa_algor_to_md(pss->maskHash);
788     if (*pmgf1md == NULL)
789         return 0;
790     if (pss->saltLength)
791         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
792     else
793         *psaltlen = rsa_pss_params_30_saltlen(&pss_params);
794     if (pss->trailerField)
795         *ptrailerField = ASN1_INTEGER_get(pss->trailerField);
796     else
797         *ptrailerField = rsa_pss_params_30_trailerfield(&pss_params);;
798
799     return 1;
800 }
801
802 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
803                       const EVP_MD **pmgf1md, int *psaltlen)
804 {
805     /*
806      * Callers do not care about the trailer field, and yet, we must
807      * pass it from get_param to verify_param, since the latter checks
808      * its value.
809      *
810      * When callers start caring, it's a simple thing to add another
811      * argument to this function.
812      */
813     int trailerField = 0;
814
815     return rsa_pss_get_param_unverified(pss, pmd, pmgf1md, psaltlen,
816                                         &trailerField)
817         && rsa_pss_verify_param(pmd, pmgf1md, psaltlen, &trailerField);
818 }
819
820 static int rsa_sync_to_pss_params_30(RSA *rsa)
821 {
822     if (rsa != NULL && rsa->pss != NULL) {
823         const EVP_MD *md = NULL, *mgf1md = NULL;
824         int md_nid, mgf1md_nid, saltlen, trailerField;
825         RSA_PSS_PARAMS_30 pss_params;
826
827         /*
828          * We don't care about the validity of the fields here, we just
829          * want to synchronise values.  Verifying here makes it impossible
830          * to even read a key with invalid values, making it hard to test
831          * a bad situation.
832          *
833          * Other routines use rsa_pss_get_param(), so the values will be
834          * checked, eventually.
835          */
836         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
837                                           &saltlen, &trailerField))
838             return 0;
839         md_nid = EVP_MD_type(md);
840         mgf1md_nid = EVP_MD_type(mgf1md);
841         if (!rsa_pss_params_30_set_defaults(&pss_params)
842             || !rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
843             || !rsa_pss_params_30_set_maskgenhashalg(&pss_params, mgf1md_nid)
844             || !rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
845             || !rsa_pss_params_30_set_trailerfield(&pss_params, trailerField))
846             return 0;
847         rsa->pss_params = pss_params;
848     }
849     return 1;
850 }
851
852 #ifndef OPENSSL_NO_CMS
853 static int rsa_cms_verify(CMS_SignerInfo *si)
854 {
855     int nid, nid2;
856     X509_ALGOR *alg;
857     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
858
859     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
860     nid = OBJ_obj2nid(alg->algorithm);
861     if (nid == EVP_PKEY_RSA_PSS)
862         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
863     /* Only PSS allowed for PSS keys */
864     if (pkey_ctx_is_pss(pkctx)) {
865         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
866         return 0;
867     }
868     if (nid == NID_rsaEncryption)
869         return 1;
870     /* Workaround for some implementation that use a signature OID */
871     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
872         if (nid2 == NID_rsaEncryption)
873             return 1;
874     }
875     return 0;
876 }
877 #endif
878
879 /*
880  * Customised RSA item verification routine. This is called when a signature
881  * is encountered requiring special handling. We currently only handle PSS.
882  */
883
884 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it,
885                            const void *asn, const X509_ALGOR *sigalg,
886                            const ASN1_BIT_STRING *sig, EVP_PKEY *pkey)
887 {
888     /* Sanity check: make sure it is PSS */
889     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
890         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
891         return -1;
892     }
893     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
894         /* Carry on */
895         return 2;
896     }
897     return -1;
898 }
899
900 #ifndef OPENSSL_NO_CMS
901 static int rsa_cms_sign(CMS_SignerInfo *si)
902 {
903     int pad_mode = RSA_PKCS1_PADDING;
904     X509_ALGOR *alg;
905     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
906     ASN1_STRING *os = NULL;
907
908     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
909     if (pkctx) {
910         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
911             return 0;
912     }
913     if (pad_mode == RSA_PKCS1_PADDING) {
914         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
915         return 1;
916     }
917     /* We don't support it */
918     if (pad_mode != RSA_PKCS1_PSS_PADDING)
919         return 0;
920     os = rsa_ctx_to_pss_string(pkctx);
921     if (!os)
922         return 0;
923     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
924     return 1;
925 }
926 #endif
927
928 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, const void *asn,
929                          X509_ALGOR *alg1, X509_ALGOR *alg2,
930                          ASN1_BIT_STRING *sig)
931 {
932     int pad_mode;
933     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
934
935     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
936         return 0;
937     if (pad_mode == RSA_PKCS1_PADDING)
938         return 2;
939     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
940         ASN1_STRING *os1 = NULL;
941         os1 = rsa_ctx_to_pss_string(pkctx);
942         if (!os1)
943             return 0;
944         /* Duplicate parameters if we have to */
945         if (alg2) {
946             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
947             if (!os2) {
948                 ASN1_STRING_free(os1);
949                 return 0;
950             }
951             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
952                             V_ASN1_SEQUENCE, os2);
953         }
954         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
955                         V_ASN1_SEQUENCE, os1);
956         return 3;
957     }
958     return 2;
959 }
960
961 static int rsa_sig_info_set(X509_SIG_INFO *siginf, const X509_ALGOR *sigalg,
962                             const ASN1_STRING *sig)
963 {
964     int rv = 0;
965     int mdnid, saltlen;
966     uint32_t flags;
967     const EVP_MD *mgf1md = NULL, *md = NULL;
968     RSA_PSS_PARAMS *pss;
969     int secbits;
970
971     /* Sanity check: make sure it is PSS */
972     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS)
973         return 0;
974     /* Decode PSS parameters */
975     pss = rsa_pss_decode(sigalg);
976     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen))
977         goto err;
978     mdnid = EVP_MD_type(md);
979     /*
980      * For TLS need SHA256, SHA384 or SHA512, digest and MGF1 digest must
981      * match and salt length must equal digest size
982      */
983     if ((mdnid == NID_sha256 || mdnid == NID_sha384 || mdnid == NID_sha512)
984             && mdnid == EVP_MD_type(mgf1md) && saltlen == EVP_MD_size(md))
985         flags = X509_SIG_INFO_TLS;
986     else
987         flags = 0;
988     /* Note: security bits half number of digest bits */
989     secbits = EVP_MD_size(md) * 4;
990     /*
991      * SHA1 and MD5 are known to be broken. Reduce security bits so that
992      * they're no longer accepted at security level 1. The real values don't
993      * really matter as long as they're lower than 80, which is our security
994      * level 1.
995      * https://eprint.iacr.org/2020/014 puts a chosen-prefix attack for SHA1 at
996      * 2^63.4
997      * https://documents.epfl.ch/users/l/le/lenstra/public/papers/lat.pdf
998      * puts a chosen-prefix attack for MD5 at 2^39.
999      */
1000     if (mdnid == NID_sha1)
1001         secbits = 64;
1002     else if (mdnid == NID_md5_sha1)
1003         secbits = 68;
1004     else if (mdnid == NID_md5)
1005         secbits = 39;
1006     X509_SIG_INFO_set(siginf, mdnid, EVP_PKEY_RSA_PSS, secbits,
1007                       flags);
1008     rv = 1;
1009     err:
1010     RSA_PSS_PARAMS_free(pss);
1011     return rv;
1012 }
1013
1014 #ifndef OPENSSL_NO_CMS
1015 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
1016 {
1017     RSA_OAEP_PARAMS *oaep;
1018
1019     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
1020                                      alg->parameter);
1021
1022     if (oaep == NULL)
1023         return NULL;
1024
1025     if (oaep->maskGenFunc != NULL) {
1026         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
1027         if (oaep->maskHash == NULL) {
1028             RSA_OAEP_PARAMS_free(oaep);
1029             return NULL;
1030         }
1031     }
1032     return oaep;
1033 }
1034
1035 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
1036 {
1037     EVP_PKEY_CTX *pkctx;
1038     X509_ALGOR *cmsalg;
1039     int nid;
1040     int rv = -1;
1041     unsigned char *label = NULL;
1042     int labellen = 0;
1043     const EVP_MD *mgf1md = NULL, *md = NULL;
1044     RSA_OAEP_PARAMS *oaep;
1045
1046     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1047     if (pkctx == NULL)
1048         return 0;
1049     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
1050         return -1;
1051     nid = OBJ_obj2nid(cmsalg->algorithm);
1052     if (nid == NID_rsaEncryption)
1053         return 1;
1054     if (nid != NID_rsaesOaep) {
1055         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
1056         return -1;
1057     }
1058     /* Decode OAEP parameters */
1059     oaep = rsa_oaep_decode(cmsalg);
1060
1061     if (oaep == NULL) {
1062         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
1063         goto err;
1064     }
1065
1066     mgf1md = rsa_algor_to_md(oaep->maskHash);
1067     if (mgf1md == NULL)
1068         goto err;
1069     md = rsa_algor_to_md(oaep->hashFunc);
1070     if (md == NULL)
1071         goto err;
1072
1073     if (oaep->pSourceFunc != NULL) {
1074         X509_ALGOR *plab = oaep->pSourceFunc;
1075
1076         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
1077             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
1078             goto err;
1079         }
1080         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
1081             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
1082             goto err;
1083         }
1084
1085         label = plab->parameter->value.octet_string->data;
1086         /* Stop label being freed when OAEP parameters are freed */
1087         plab->parameter->value.octet_string->data = NULL;
1088         labellen = plab->parameter->value.octet_string->length;
1089     }
1090
1091     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
1092         goto err;
1093     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
1094         goto err;
1095     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
1096         goto err;
1097     if (label != NULL
1098             && EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
1099         goto err;
1100     /* Carry on */
1101     rv = 1;
1102
1103  err:
1104     RSA_OAEP_PARAMS_free(oaep);
1105     return rv;
1106 }
1107
1108 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
1109 {
1110     const EVP_MD *md, *mgf1md;
1111     RSA_OAEP_PARAMS *oaep = NULL;
1112     ASN1_STRING *os = NULL;
1113     X509_ALGOR *alg;
1114     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1115     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
1116     unsigned char *label;
1117
1118     if (CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg) <= 0)
1119         return 0;
1120     if (pkctx) {
1121         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
1122             return 0;
1123     }
1124     if (pad_mode == RSA_PKCS1_PADDING) {
1125         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
1126         return 1;
1127     }
1128     /* Not supported */
1129     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
1130         return 0;
1131     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
1132         goto err;
1133     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
1134         goto err;
1135     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
1136     if (labellen < 0)
1137         goto err;
1138     oaep = RSA_OAEP_PARAMS_new();
1139     if (oaep == NULL)
1140         goto err;
1141     if (!rsa_md_to_algor(&oaep->hashFunc, md))
1142         goto err;
1143     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
1144         goto err;
1145     if (labellen > 0) {
1146         ASN1_OCTET_STRING *los;
1147         oaep->pSourceFunc = X509_ALGOR_new();
1148         if (oaep->pSourceFunc == NULL)
1149             goto err;
1150         los = ASN1_OCTET_STRING_new();
1151         if (los == NULL)
1152             goto err;
1153         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
1154             ASN1_OCTET_STRING_free(los);
1155             goto err;
1156         }
1157         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
1158                         V_ASN1_OCTET_STRING, los);
1159     }
1160     /* create string with pss parameter encoding. */
1161     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
1162          goto err;
1163     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
1164     os = NULL;
1165     rv = 1;
1166  err:
1167     RSA_OAEP_PARAMS_free(oaep);
1168     ASN1_STRING_free(os);
1169     return rv;
1170 }
1171 #endif
1172
1173 static int rsa_pkey_check(const EVP_PKEY *pkey)
1174 {
1175     return RSA_check_key_ex(pkey->pkey.rsa, NULL);
1176 }
1177
1178 static size_t rsa_pkey_dirty_cnt(const EVP_PKEY *pkey)
1179 {
1180     return pkey->pkey.rsa->dirty_cnt;
1181 }
1182
1183 /*
1184  * For the moment, we trust the call path, where keys going through
1185  * rsa_pkey_export_to() match a KEYMGMT for the "RSA" keytype, while
1186  * keys going through rsa_pss_pkey_export_to() match a KEYMGMT for the
1187  * "RSA-PSS" keytype.
1188  * TODO(3.0) Investigate whether we should simply continue to trust the
1189  * call path, or if we should strengthen this function by checking that
1190  * |rsa_type| matches the RSA key subtype.  The latter requires ensuring
1191  * that the type flag for the RSA key is properly set by other functions
1192  * in this file.
1193  */
1194 static int rsa_int_export_to(const EVP_PKEY *from, int rsa_type,
1195                              void *to_keydata, EVP_KEYMGMT *to_keymgmt,
1196                              OPENSSL_CTX *libctx, const char *propq)
1197 {
1198     RSA *rsa = from->pkey.rsa;
1199     OSSL_PARAM_BLD *tmpl = OSSL_PARAM_BLD_new();
1200     OSSL_PARAM *params = NULL;
1201     int selection = 0;
1202     int rv = 0;
1203
1204     if (tmpl == NULL)
1205         return 0;
1206     /*
1207      * If the RSA method is foreign, then we can't be sure of anything, and
1208      * can therefore not export or pretend to export.
1209      */
1210     if (RSA_get_method(rsa) != RSA_PKCS1_OpenSSL())
1211         goto err;
1212
1213     /* Public parameters must always be present */
1214     if (RSA_get0_n(rsa) == NULL || RSA_get0_e(rsa) == NULL)
1215         goto err;
1216
1217     if (!rsa_todata(rsa, tmpl, NULL))
1218         goto err;
1219
1220     selection |= OSSL_KEYMGMT_SELECT_PUBLIC_KEY;
1221     if (RSA_get0_d(rsa) != NULL)
1222         selection |= OSSL_KEYMGMT_SELECT_PRIVATE_KEY;
1223
1224     if (rsa->pss != NULL) {
1225         const EVP_MD *md = NULL, *mgf1md = NULL;
1226         int md_nid, mgf1md_nid, saltlen, trailerfield;
1227         RSA_PSS_PARAMS_30 pss_params;
1228
1229         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
1230                                           &saltlen, &trailerfield))
1231             goto err;
1232         md_nid = EVP_MD_type(md);
1233         mgf1md_nid = EVP_MD_type(mgf1md);
1234         if (!rsa_pss_params_30_set_defaults(&pss_params)
1235             || !rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
1236             || !rsa_pss_params_30_set_maskgenhashalg(&pss_params, mgf1md_nid)
1237             || !rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
1238             || !rsa_pss_params_30_todata(&pss_params, tmpl, NULL))
1239             goto err;
1240         selection |= OSSL_KEYMGMT_SELECT_OTHER_PARAMETERS;
1241     }
1242
1243     if ((params = OSSL_PARAM_BLD_to_param(tmpl)) == NULL)
1244         goto err;
1245
1246     /* We export, the provider imports */
1247     rv = evp_keymgmt_import(to_keymgmt, to_keydata, selection, params);
1248
1249  err:
1250     OSSL_PARAM_BLD_free_params(params);
1251     OSSL_PARAM_BLD_free(tmpl);
1252     return rv;
1253 }
1254
1255 static int rsa_int_import_from(const OSSL_PARAM params[], void *vpctx,
1256                                int rsa_type)
1257 {
1258     EVP_PKEY_CTX *pctx = vpctx;
1259     EVP_PKEY *pkey = EVP_PKEY_CTX_get0_pkey(pctx);
1260     RSA *rsa = rsa_new_with_ctx(pctx->libctx);
1261     RSA_PSS_PARAMS_30 rsa_pss_params = { 0, };
1262     int ok = 0;
1263
1264     if (rsa == NULL) {
1265         ERR_raise(ERR_LIB_DH, ERR_R_MALLOC_FAILURE);
1266         return 0;
1267     }
1268
1269     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
1270     RSA_set_flags(rsa, rsa_type);
1271
1272     if (!rsa_pss_params_30_fromdata(&rsa_pss_params, params, pctx->libctx))
1273         goto err;
1274
1275     switch (rsa_type) {
1276     case RSA_FLAG_TYPE_RSA:
1277         /*
1278          * Were PSS parameters filled in?
1279          * In that case, something's wrong
1280          */
1281         if (!rsa_pss_params_30_is_unrestricted(&rsa_pss_params))
1282             goto err;
1283         break;
1284     case RSA_FLAG_TYPE_RSASSAPSS:
1285         /*
1286          * Were PSS parameters filled in?  In that case, create the old
1287          * RSA_PSS_PARAMS structure.  Otherwise, this is an unrestricted key.
1288          */
1289         if (!rsa_pss_params_30_is_unrestricted(&rsa_pss_params)) {
1290             /* Create the older RSA_PSS_PARAMS from RSA_PSS_PARAMS_30 data */
1291             int mdnid = rsa_pss_params_30_hashalg(&rsa_pss_params);
1292             int mgf1mdnid = rsa_pss_params_30_maskgenhashalg(&rsa_pss_params);
1293             int saltlen = rsa_pss_params_30_saltlen(&rsa_pss_params);
1294             const EVP_MD *md = EVP_get_digestbynid(mdnid);
1295             const EVP_MD *mgf1md = EVP_get_digestbynid(mgf1mdnid);
1296
1297             if ((rsa->pss = rsa_pss_params_create(md, mgf1md, saltlen)) == NULL)
1298                 goto err;
1299         }
1300         break;
1301     default:
1302         /* RSA key sub-types we don't know how to handle yet */
1303         goto err;
1304     }
1305
1306     if (!rsa_fromdata(rsa, params))
1307         goto err;
1308
1309     switch (rsa_type) {
1310     case RSA_FLAG_TYPE_RSA:
1311         ok = EVP_PKEY_assign_RSA(pkey, rsa);
1312         break;
1313     case RSA_FLAG_TYPE_RSASSAPSS:
1314         ok = EVP_PKEY_assign(pkey, EVP_PKEY_RSA_PSS, rsa);
1315         break;
1316     }
1317
1318  err:
1319     if (!ok)
1320         RSA_free(rsa);
1321     return ok;
1322 }
1323
1324 static int rsa_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1325                               EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1326                               const char *propq)
1327 {
1328     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSA, to_keydata,
1329                              to_keymgmt, libctx, propq);
1330 }
1331
1332 static int rsa_pss_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1333                                   EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1334                                   const char *propq)
1335 {
1336     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSASSAPSS, to_keydata,
1337                              to_keymgmt, libctx, propq);
1338 }
1339
1340 static int rsa_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1341 {
1342     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSA);
1343 }
1344
1345 static int rsa_pss_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1346 {
1347     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSASSAPSS);
1348 }
1349
1350 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
1351     {
1352      EVP_PKEY_RSA,
1353      EVP_PKEY_RSA,
1354      ASN1_PKEY_SIGPARAM_NULL,
1355
1356      "RSA",
1357      "OpenSSL RSA method",
1358
1359      rsa_pub_decode,
1360      rsa_pub_encode,
1361      rsa_pub_cmp,
1362      rsa_pub_print,
1363
1364      rsa_priv_decode,
1365      rsa_priv_encode,
1366      rsa_priv_print,
1367
1368      int_rsa_size,
1369      rsa_bits,
1370      rsa_security_bits,
1371
1372      0, 0, 0, 0, 0, 0,
1373
1374      rsa_sig_print,
1375      int_rsa_free,
1376      rsa_pkey_ctrl,
1377      old_rsa_priv_decode,
1378      old_rsa_priv_encode,
1379      rsa_item_verify,
1380      rsa_item_sign,
1381      rsa_sig_info_set,
1382      rsa_pkey_check,
1383
1384      0, 0,
1385      0, 0, 0, 0,
1386
1387      rsa_pkey_dirty_cnt,
1388      rsa_pkey_export_to,
1389      rsa_pkey_import_from
1390     },
1391
1392     {
1393      EVP_PKEY_RSA2,
1394      EVP_PKEY_RSA,
1395      ASN1_PKEY_ALIAS}
1396 };
1397
1398 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
1399      EVP_PKEY_RSA_PSS,
1400      EVP_PKEY_RSA_PSS,
1401      ASN1_PKEY_SIGPARAM_NULL,
1402
1403      "RSA-PSS",
1404      "OpenSSL RSA-PSS method",
1405
1406      rsa_pub_decode,
1407      rsa_pub_encode,
1408      rsa_pub_cmp,
1409      rsa_pub_print,
1410
1411      rsa_priv_decode,
1412      rsa_priv_encode,
1413      rsa_priv_print,
1414
1415      int_rsa_size,
1416      rsa_bits,
1417      rsa_security_bits,
1418
1419      0, 0, 0, 0, 0, 0,
1420
1421      rsa_sig_print,
1422      int_rsa_free,
1423      rsa_pkey_ctrl,
1424      0, 0,
1425      rsa_item_verify,
1426      rsa_item_sign,
1427      0,
1428      rsa_pkey_check,
1429
1430      0, 0,
1431      0, 0, 0, 0,
1432
1433      rsa_pkey_dirty_cnt,
1434      rsa_pss_pkey_export_to,
1435      rsa_pss_pkey_import_from
1436 };