rsa: add ossl_ prefix to internal rsa_ calls.
[openssl.git] / crypto / rsa / rsa_ameth.c
1 /*
2  * Copyright 2006-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*
11  * RSA low level APIs are deprecated for public use, but still ok for
12  * internal use.
13  */
14 #include "internal/deprecated.h"
15
16 #include <stdio.h>
17 #include "internal/cryptlib.h"
18 #include <openssl/asn1t.h>
19 #include <openssl/x509.h>
20 #include <openssl/bn.h>
21 #include <openssl/cms.h>
22 #include <openssl/core_names.h>
23 #include <openssl/param_build.h>
24 #include "crypto/asn1.h"
25 #include "crypto/evp.h"
26 #include "crypto/rsa.h"
27 #include "rsa_local.h"
28
29 #ifndef OPENSSL_NO_CMS
30 static int rsa_cms_sign(CMS_SignerInfo *si);
31 static int rsa_cms_verify(CMS_SignerInfo *si);
32 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
33 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
34 #endif
35
36 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
37 static int rsa_sync_to_pss_params_30(RSA *rsa);
38
39 /* Set any parameters associated with pkey */
40 static int rsa_param_encode(const EVP_PKEY *pkey,
41                             ASN1_STRING **pstr, int *pstrtype)
42 {
43     const RSA *rsa = pkey->pkey.rsa;
44
45     *pstr = NULL;
46     /* If RSA it's just NULL type */
47     if (RSA_test_flags(rsa, RSA_FLAG_TYPE_MASK) != RSA_FLAG_TYPE_RSASSAPSS) {
48         *pstrtype = V_ASN1_NULL;
49         return 1;
50     }
51     /* If no PSS parameters we omit parameters entirely */
52     if (rsa->pss == NULL) {
53         *pstrtype = V_ASN1_UNDEF;
54         return 1;
55     }
56     /* Encode PSS parameters */
57     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
58         return 0;
59
60     *pstrtype = V_ASN1_SEQUENCE;
61     return 1;
62 }
63 /* Decode any parameters and set them in RSA structure */
64 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
65 {
66     const ASN1_OBJECT *algoid;
67     const void *algp;
68     int algptype;
69
70     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
71     if (OBJ_obj2nid(algoid) != EVP_PKEY_RSA_PSS)
72         return 1;
73     if (algptype == V_ASN1_UNDEF)
74         return 1;
75     if (algptype != V_ASN1_SEQUENCE) {
76         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
77         return 0;
78     }
79     rsa->pss = rsa_pss_decode(alg);
80     if (rsa->pss == NULL)
81         return 0;
82     if (!rsa_sync_to_pss_params_30(rsa))
83         return 0;
84     return 1;
85 }
86
87 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
88 {
89     unsigned char *penc = NULL;
90     int penclen;
91     ASN1_STRING *str;
92     int strtype;
93
94     if (!rsa_param_encode(pkey, &str, &strtype))
95         return 0;
96     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
97     if (penclen <= 0)
98         return 0;
99     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
100                                strtype, str, penc, penclen))
101         return 1;
102
103     OPENSSL_free(penc);
104     return 0;
105 }
106
107 static int rsa_pub_decode(EVP_PKEY *pkey, const X509_PUBKEY *pubkey)
108 {
109     const unsigned char *p;
110     int pklen;
111     X509_ALGOR *alg;
112     RSA *rsa = NULL;
113
114     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
115         return 0;
116     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL)
117         return 0;
118     if (!rsa_param_decode(rsa, alg)) {
119         RSA_free(rsa);
120         return 0;
121     }
122
123     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
124     switch (pkey->ameth->pkey_id) {
125     case EVP_PKEY_RSA:
126         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
127         break;
128     case EVP_PKEY_RSA_PSS:
129         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
130         break;
131     default:
132         /* Leave the type bits zero */
133         break;
134     }
135
136     if (!EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa)) {
137         RSA_free(rsa);
138         return 0;
139     }
140     return 1;
141 }
142
143 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
144 {
145     /*
146      * Don't check the public/private key, this is mostly for smart
147      * cards.
148      */
149     if (((RSA_flags(a->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK))
150             || (RSA_flags(b->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK)) {
151         return 1;
152     }
153
154     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
155         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
156         return 0;
157     return 1;
158 }
159
160 static int old_rsa_priv_decode(EVP_PKEY *pkey,
161                                const unsigned char **pder, int derlen)
162 {
163     RSA *rsa;
164
165     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL)
166         return 0;
167     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
168     return 1;
169 }
170
171 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
172 {
173     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
174 }
175
176 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
177 {
178     unsigned char *rk = NULL;
179     int rklen;
180     ASN1_STRING *str;
181     int strtype;
182
183     if (!rsa_param_encode(pkey, &str, &strtype))
184         return 0;
185     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
186
187     if (rklen <= 0) {
188         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
189         ASN1_STRING_free(str);
190         return 0;
191     }
192
193     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
194                          strtype, str, rk, rklen)) {
195         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
196         ASN1_STRING_free(str);
197         return 0;
198     }
199
200     return 1;
201 }
202
203 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
204 {
205     const unsigned char *p;
206     RSA *rsa;
207     int pklen;
208     const X509_ALGOR *alg;
209
210     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
211         return 0;
212     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
213     if (rsa == NULL) {
214         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
215         return 0;
216     }
217     if (!rsa_param_decode(rsa, alg)) {
218         RSA_free(rsa);
219         return 0;
220     }
221
222     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
223     switch (pkey->ameth->pkey_id) {
224     case EVP_PKEY_RSA:
225         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
226         break;
227     case EVP_PKEY_RSA_PSS:
228         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
229         break;
230     default:
231         /* Leave the type bits zero */
232         break;
233     }
234
235     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
236     return 1;
237 }
238
239 static int int_rsa_size(const EVP_PKEY *pkey)
240 {
241     return RSA_size(pkey->pkey.rsa);
242 }
243
244 static int rsa_bits(const EVP_PKEY *pkey)
245 {
246     return BN_num_bits(pkey->pkey.rsa->n);
247 }
248
249 static int rsa_security_bits(const EVP_PKEY *pkey)
250 {
251     return RSA_security_bits(pkey->pkey.rsa);
252 }
253
254 static void int_rsa_free(EVP_PKEY *pkey)
255 {
256     RSA_free(pkey->pkey.rsa);
257 }
258
259 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
260 {
261     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
262         return NULL;
263     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
264                                      alg->parameter);
265 }
266
267 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
268                                int indent)
269 {
270     int rv = 0;
271     X509_ALGOR *maskHash = NULL;
272
273     if (!BIO_indent(bp, indent, 128))
274         goto err;
275     if (pss_key) {
276         if (pss == NULL) {
277             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
278                 return 0;
279             return 1;
280         } else {
281             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
282                 return 0;
283         }
284     } else if (pss == NULL) {
285         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
286             return 0;
287         return 1;
288     }
289     if (BIO_puts(bp, "\n") <= 0)
290         goto err;
291     if (pss_key)
292         indent += 2;
293     if (!BIO_indent(bp, indent, 128))
294         goto err;
295     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
296         goto err;
297
298     if (pss->hashAlgorithm) {
299         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
300             goto err;
301     } else if (BIO_puts(bp, "sha1 (default)") <= 0) {
302         goto err;
303     }
304
305     if (BIO_puts(bp, "\n") <= 0)
306         goto err;
307
308     if (!BIO_indent(bp, indent, 128))
309         goto err;
310
311     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
312         goto err;
313     if (pss->maskGenAlgorithm) {
314         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
315             goto err;
316         if (BIO_puts(bp, " with ") <= 0)
317             goto err;
318         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
319         if (maskHash != NULL) {
320             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
321                 goto err;
322         } else if (BIO_puts(bp, "INVALID") <= 0) {
323             goto err;
324         }
325     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0) {
326         goto err;
327     }
328     BIO_puts(bp, "\n");
329
330     if (!BIO_indent(bp, indent, 128))
331         goto err;
332     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
333         goto err;
334     if (pss->saltLength) {
335         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
336             goto err;
337     } else if (BIO_puts(bp, "14 (default)") <= 0) {
338         goto err;
339     }
340     BIO_puts(bp, "\n");
341
342     if (!BIO_indent(bp, indent, 128))
343         goto err;
344     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
345         goto err;
346     if (pss->trailerField) {
347         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
348             goto err;
349     } else if (BIO_puts(bp, "BC (default)") <= 0) {
350         goto err;
351     }
352     BIO_puts(bp, "\n");
353
354     rv = 1;
355
356  err:
357     X509_ALGOR_free(maskHash);
358     return rv;
359
360 }
361
362 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
363 {
364     const RSA *x = pkey->pkey.rsa;
365     char *str;
366     const char *s;
367     int ret = 0, mod_len = 0, ex_primes;
368
369     if (x->n != NULL)
370         mod_len = BN_num_bits(x->n);
371     ex_primes = sk_RSA_PRIME_INFO_num(x->prime_infos);
372
373     if (!BIO_indent(bp, off, 128))
374         goto err;
375
376     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
377         goto err;
378
379     if (priv && x->d) {
380         if (BIO_printf(bp, "Private-Key: (%d bit, %d primes)\n",
381                        mod_len, ex_primes <= 0 ? 2 : ex_primes + 2) <= 0)
382             goto err;
383         str = "modulus:";
384         s = "publicExponent:";
385     } else {
386         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
387             goto err;
388         str = "Modulus:";
389         s = "Exponent:";
390     }
391     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
392         goto err;
393     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
394         goto err;
395     if (priv) {
396         int i;
397
398         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
399             goto err;
400         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
401             goto err;
402         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
403             goto err;
404         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
405             goto err;
406         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
407             goto err;
408         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
409             goto err;
410         for (i = 0; i < sk_RSA_PRIME_INFO_num(x->prime_infos); i++) {
411             /* print multi-prime info */
412             BIGNUM *bn = NULL;
413             RSA_PRIME_INFO *pinfo;
414             int j;
415
416             pinfo = sk_RSA_PRIME_INFO_value(x->prime_infos, i);
417             for (j = 0; j < 3; j++) {
418                 if (!BIO_indent(bp, off, 128))
419                     goto err;
420                 switch (j) {
421                 case 0:
422                     if (BIO_printf(bp, "prime%d:", i + 3) <= 0)
423                         goto err;
424                     bn = pinfo->r;
425                     break;
426                 case 1:
427                     if (BIO_printf(bp, "exponent%d:", i + 3) <= 0)
428                         goto err;
429                     bn = pinfo->d;
430                     break;
431                 case 2:
432                     if (BIO_printf(bp, "coefficient%d:", i + 3) <= 0)
433                         goto err;
434                     bn = pinfo->t;
435                     break;
436                 default:
437                     break;
438                 }
439                 if (!ASN1_bn_print(bp, "", bn, NULL, off))
440                     goto err;
441             }
442         }
443     }
444     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
445         goto err;
446     ret = 1;
447  err:
448     return ret;
449 }
450
451 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
452                          ASN1_PCTX *ctx)
453 {
454     return pkey_rsa_print(bp, pkey, indent, 0);
455 }
456
457 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
458                           ASN1_PCTX *ctx)
459 {
460     return pkey_rsa_print(bp, pkey, indent, 1);
461 }
462
463 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
464 {
465     RSA_PSS_PARAMS *pss;
466
467     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
468                                     alg->parameter);
469
470     if (pss == NULL)
471         return NULL;
472
473     if (pss->maskGenAlgorithm != NULL) {
474         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
475         if (pss->maskHash == NULL) {
476             RSA_PSS_PARAMS_free(pss);
477             return NULL;
478         }
479     }
480
481     return pss;
482 }
483
484 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
485                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
486 {
487     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
488         int rv;
489         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
490
491         rv = rsa_pss_param_print(bp, 0, pss, indent);
492         RSA_PSS_PARAMS_free(pss);
493         if (!rv)
494             return 0;
495     } else if (BIO_puts(bp, "\n") <= 0) {
496         return 0;
497     }
498     if (sig)
499         return X509_signature_dump(bp, sig, indent);
500     return 1;
501 }
502
503 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
504 {
505     X509_ALGOR *alg = NULL;
506     const EVP_MD *md;
507     const EVP_MD *mgf1md;
508     int min_saltlen;
509
510     switch (op) {
511
512     case ASN1_PKEY_CTRL_PKCS7_SIGN:
513         if (arg1 == 0)
514             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
515         break;
516
517     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
518         if (pkey_is_pss(pkey))
519             return -2;
520         if (arg1 == 0)
521             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
522         break;
523 #ifndef OPENSSL_NO_CMS
524     case ASN1_PKEY_CTRL_CMS_SIGN:
525         if (arg1 == 0)
526             return rsa_cms_sign(arg2);
527         else if (arg1 == 1)
528             return rsa_cms_verify(arg2);
529         break;
530
531     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
532         if (pkey_is_pss(pkey))
533             return -2;
534         if (arg1 == 0)
535             return rsa_cms_encrypt(arg2);
536         else if (arg1 == 1)
537             return rsa_cms_decrypt(arg2);
538         break;
539
540     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
541         if (pkey_is_pss(pkey))
542             return -2;
543         *(int *)arg2 = CMS_RECIPINFO_TRANS;
544         return 1;
545 #endif
546
547     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
548         if (pkey->pkey.rsa->pss != NULL) {
549             if (!rsa_pss_get_param(pkey->pkey.rsa->pss, &md, &mgf1md,
550                                    &min_saltlen)) {
551                 RSAerr(0, ERR_R_INTERNAL_ERROR);
552                 return 0;
553             }
554             *(int *)arg2 = EVP_MD_type(md);
555             /* Return of 2 indicates this MD is mandatory */
556             return 2;
557         }
558         *(int *)arg2 = NID_sha256;
559         return 1;
560
561     default:
562         return -2;
563
564     }
565
566     if (alg)
567         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
568
569     return 1;
570
571 }
572
573 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
574 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
575 {
576     if (md == NULL || EVP_MD_type(md) == NID_sha1)
577         return 1;
578     *palg = X509_ALGOR_new();
579     if (*palg == NULL)
580         return 0;
581     X509_ALGOR_set_md(*palg, md);
582     return 1;
583 }
584
585 /* Allocate and set MGF1 algorithm ID from EVP_MD */
586 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
587 {
588     X509_ALGOR *algtmp = NULL;
589     ASN1_STRING *stmp = NULL;
590
591     *palg = NULL;
592     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
593         return 1;
594     /* need to embed algorithm ID inside another */
595     if (!rsa_md_to_algor(&algtmp, mgf1md))
596         goto err;
597     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
598          goto err;
599     *palg = X509_ALGOR_new();
600     if (*palg == NULL)
601         goto err;
602     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
603     stmp = NULL;
604  err:
605     ASN1_STRING_free(stmp);
606     X509_ALGOR_free(algtmp);
607     if (*palg)
608         return 1;
609     return 0;
610 }
611
612 /* convert algorithm ID to EVP_MD, default SHA1 */
613 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
614 {
615     const EVP_MD *md;
616
617     if (!alg)
618         return EVP_sha1();
619     md = EVP_get_digestbyobj(alg->algorithm);
620     if (md == NULL)
621         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
622     return md;
623 }
624
625 /*
626  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
627  * suitable for setting an AlgorithmIdentifier.
628  */
629
630 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
631 {
632     const EVP_MD *sigmd, *mgf1md;
633     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
634     RSA *rsa = EVP_PKEY_get0_RSA(pk);
635     int saltlen;
636
637     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
638         return NULL;
639     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
640         return NULL;
641     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
642         return NULL;
643     if (saltlen == -1) {
644         saltlen = EVP_MD_size(sigmd);
645     } else if (saltlen == -2 || saltlen == -3) {
646         saltlen = RSA_size(rsa) - EVP_MD_size(sigmd) - 2;
647         if ((EVP_PKEY_bits(pk) & 0x7) == 1)
648             saltlen--;
649         if (saltlen < 0)
650             return NULL;
651     }
652
653     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
654 }
655
656 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
657                                       const EVP_MD *mgf1md, int saltlen)
658 {
659     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
660
661     if (pss == NULL)
662         goto err;
663     if (saltlen != 20) {
664         pss->saltLength = ASN1_INTEGER_new();
665         if (pss->saltLength == NULL)
666             goto err;
667         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
668             goto err;
669     }
670     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
671         goto err;
672     if (mgf1md == NULL)
673         mgf1md = sigmd;
674     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
675         goto err;
676     if (!rsa_md_to_algor(&pss->maskHash, mgf1md))
677         goto err;
678     return pss;
679  err:
680     RSA_PSS_PARAMS_free(pss);
681     return NULL;
682 }
683
684 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
685 {
686     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
687     ASN1_STRING *os;
688
689     if (pss == NULL)
690         return NULL;
691
692     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
693     RSA_PSS_PARAMS_free(pss);
694     return os;
695 }
696
697 /*
698  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
699  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
700  * passed to pkctx instead.
701  */
702
703 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
704                           const X509_ALGOR *sigalg, EVP_PKEY *pkey)
705 {
706     int rv = -1;
707     int saltlen;
708     const EVP_MD *mgf1md = NULL, *md = NULL;
709     RSA_PSS_PARAMS *pss;
710
711     /* Sanity check: make sure it is PSS */
712     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
713         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
714         return -1;
715     }
716     /* Decode PSS parameters */
717     pss = rsa_pss_decode(sigalg);
718
719     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
720         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
721         goto err;
722     }
723
724     /* We have all parameters now set up context */
725     if (pkey) {
726         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
727             goto err;
728     } else {
729         const EVP_MD *checkmd;
730         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
731             goto err;
732         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
733             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
734             goto err;
735         }
736     }
737
738     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
739         goto err;
740
741     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
742         goto err;
743
744     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
745         goto err;
746     /* Carry on */
747     rv = 1;
748
749  err:
750     RSA_PSS_PARAMS_free(pss);
751     return rv;
752 }
753
754 static int rsa_pss_verify_param(const EVP_MD **pmd, const EVP_MD **pmgf1md,
755                                 int *psaltlen, int *ptrailerField)
756 {
757     if (psaltlen != NULL && *psaltlen < 0) {
758         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_SALT_LENGTH);
759         return 0;
760     }
761     /*
762      * low-level routines support only trailer field 0xbc (value 1) and
763      * PKCS#1 says we should reject any other value anyway.
764      */
765     if (ptrailerField != NULL && *ptrailerField != 1) {
766         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_TRAILER);
767         return 0;
768     }
769     return 1;
770 }
771
772 static int rsa_pss_get_param_unverified(const RSA_PSS_PARAMS *pss,
773                                         const EVP_MD **pmd,
774                                         const EVP_MD **pmgf1md,
775                                         int *psaltlen, int *ptrailerField)
776 {
777     RSA_PSS_PARAMS_30 pss_params;
778
779     /* Get the defaults from the ONE place */
780     (void)ossl_rsa_pss_params_30_set_defaults(&pss_params);
781
782     if (pss == NULL)
783         return 0;
784     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
785     if (*pmd == NULL)
786         return 0;
787     *pmgf1md = rsa_algor_to_md(pss->maskHash);
788     if (*pmgf1md == NULL)
789         return 0;
790     if (pss->saltLength)
791         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
792     else
793         *psaltlen = ossl_rsa_pss_params_30_saltlen(&pss_params);
794     if (pss->trailerField)
795         *ptrailerField = ASN1_INTEGER_get(pss->trailerField);
796     else
797         *ptrailerField = ossl_rsa_pss_params_30_trailerfield(&pss_params);;
798
799     return 1;
800 }
801
802 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
803                       const EVP_MD **pmgf1md, int *psaltlen)
804 {
805     /*
806      * Callers do not care about the trailer field, and yet, we must
807      * pass it from get_param to verify_param, since the latter checks
808      * its value.
809      *
810      * When callers start caring, it's a simple thing to add another
811      * argument to this function.
812      */
813     int trailerField = 0;
814
815     return rsa_pss_get_param_unverified(pss, pmd, pmgf1md, psaltlen,
816                                         &trailerField)
817         && rsa_pss_verify_param(pmd, pmgf1md, psaltlen, &trailerField);
818 }
819
820 static int rsa_sync_to_pss_params_30(RSA *rsa)
821 {
822     if (rsa != NULL && rsa->pss != NULL) {
823         const EVP_MD *md = NULL, *mgf1md = NULL;
824         int md_nid, mgf1md_nid, saltlen, trailerField;
825         RSA_PSS_PARAMS_30 pss_params;
826
827         /*
828          * We don't care about the validity of the fields here, we just
829          * want to synchronise values.  Verifying here makes it impossible
830          * to even read a key with invalid values, making it hard to test
831          * a bad situation.
832          *
833          * Other routines use rsa_pss_get_param(), so the values will be
834          * checked, eventually.
835          */
836         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
837                                           &saltlen, &trailerField))
838             return 0;
839         md_nid = EVP_MD_type(md);
840         mgf1md_nid = EVP_MD_type(mgf1md);
841         if (!ossl_rsa_pss_params_30_set_defaults(&pss_params)
842             || !ossl_rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
843             || !ossl_rsa_pss_params_30_set_maskgenhashalg(&pss_params,
844                                                           mgf1md_nid)
845             || !ossl_rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
846             || !ossl_rsa_pss_params_30_set_trailerfield(&pss_params,
847                                                         trailerField))
848             return 0;
849         rsa->pss_params = pss_params;
850     }
851     return 1;
852 }
853
854 #ifndef OPENSSL_NO_CMS
855 static int rsa_cms_verify(CMS_SignerInfo *si)
856 {
857     int nid, nid2;
858     X509_ALGOR *alg;
859     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
860
861     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
862     nid = OBJ_obj2nid(alg->algorithm);
863     if (nid == EVP_PKEY_RSA_PSS)
864         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
865     /* Only PSS allowed for PSS keys */
866     if (pkey_ctx_is_pss(pkctx)) {
867         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
868         return 0;
869     }
870     if (nid == NID_rsaEncryption)
871         return 1;
872     /* Workaround for some implementation that use a signature OID */
873     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
874         if (nid2 == NID_rsaEncryption)
875             return 1;
876     }
877     return 0;
878 }
879 #endif
880
881 /*
882  * Customised RSA item verification routine. This is called when a signature
883  * is encountered requiring special handling. We currently only handle PSS.
884  */
885
886 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it,
887                            const void *asn, const X509_ALGOR *sigalg,
888                            const ASN1_BIT_STRING *sig, EVP_PKEY *pkey)
889 {
890     /* Sanity check: make sure it is PSS */
891     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
892         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
893         return -1;
894     }
895     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
896         /* Carry on */
897         return 2;
898     }
899     return -1;
900 }
901
902 #ifndef OPENSSL_NO_CMS
903 static int rsa_cms_sign(CMS_SignerInfo *si)
904 {
905     int pad_mode = RSA_PKCS1_PADDING;
906     X509_ALGOR *alg;
907     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
908     ASN1_STRING *os = NULL;
909
910     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
911     if (pkctx) {
912         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
913             return 0;
914     }
915     if (pad_mode == RSA_PKCS1_PADDING) {
916         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
917         return 1;
918     }
919     /* We don't support it */
920     if (pad_mode != RSA_PKCS1_PSS_PADDING)
921         return 0;
922     os = rsa_ctx_to_pss_string(pkctx);
923     if (!os)
924         return 0;
925     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
926     return 1;
927 }
928 #endif
929
930 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, const void *asn,
931                          X509_ALGOR *alg1, X509_ALGOR *alg2,
932                          ASN1_BIT_STRING *sig)
933 {
934     int pad_mode;
935     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
936
937     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
938         return 0;
939     if (pad_mode == RSA_PKCS1_PADDING)
940         return 2;
941     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
942         ASN1_STRING *os1 = NULL;
943         os1 = rsa_ctx_to_pss_string(pkctx);
944         if (!os1)
945             return 0;
946         /* Duplicate parameters if we have to */
947         if (alg2) {
948             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
949             if (!os2) {
950                 ASN1_STRING_free(os1);
951                 return 0;
952             }
953             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
954                             V_ASN1_SEQUENCE, os2);
955         }
956         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
957                         V_ASN1_SEQUENCE, os1);
958         return 3;
959     }
960     return 2;
961 }
962
963 static int rsa_sig_info_set(X509_SIG_INFO *siginf, const X509_ALGOR *sigalg,
964                             const ASN1_STRING *sig)
965 {
966     int rv = 0;
967     int mdnid, saltlen;
968     uint32_t flags;
969     const EVP_MD *mgf1md = NULL, *md = NULL;
970     RSA_PSS_PARAMS *pss;
971     int secbits;
972
973     /* Sanity check: make sure it is PSS */
974     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS)
975         return 0;
976     /* Decode PSS parameters */
977     pss = rsa_pss_decode(sigalg);
978     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen))
979         goto err;
980     mdnid = EVP_MD_type(md);
981     /*
982      * For TLS need SHA256, SHA384 or SHA512, digest and MGF1 digest must
983      * match and salt length must equal digest size
984      */
985     if ((mdnid == NID_sha256 || mdnid == NID_sha384 || mdnid == NID_sha512)
986             && mdnid == EVP_MD_type(mgf1md) && saltlen == EVP_MD_size(md))
987         flags = X509_SIG_INFO_TLS;
988     else
989         flags = 0;
990     /* Note: security bits half number of digest bits */
991     secbits = EVP_MD_size(md) * 4;
992     /*
993      * SHA1 and MD5 are known to be broken. Reduce security bits so that
994      * they're no longer accepted at security level 1. The real values don't
995      * really matter as long as they're lower than 80, which is our security
996      * level 1.
997      * https://eprint.iacr.org/2020/014 puts a chosen-prefix attack for SHA1 at
998      * 2^63.4
999      * https://documents.epfl.ch/users/l/le/lenstra/public/papers/lat.pdf
1000      * puts a chosen-prefix attack for MD5 at 2^39.
1001      */
1002     if (mdnid == NID_sha1)
1003         secbits = 64;
1004     else if (mdnid == NID_md5_sha1)
1005         secbits = 68;
1006     else if (mdnid == NID_md5)
1007         secbits = 39;
1008     X509_SIG_INFO_set(siginf, mdnid, EVP_PKEY_RSA_PSS, secbits,
1009                       flags);
1010     rv = 1;
1011     err:
1012     RSA_PSS_PARAMS_free(pss);
1013     return rv;
1014 }
1015
1016 #ifndef OPENSSL_NO_CMS
1017 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
1018 {
1019     RSA_OAEP_PARAMS *oaep;
1020
1021     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
1022                                      alg->parameter);
1023
1024     if (oaep == NULL)
1025         return NULL;
1026
1027     if (oaep->maskGenFunc != NULL) {
1028         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
1029         if (oaep->maskHash == NULL) {
1030             RSA_OAEP_PARAMS_free(oaep);
1031             return NULL;
1032         }
1033     }
1034     return oaep;
1035 }
1036
1037 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
1038 {
1039     EVP_PKEY_CTX *pkctx;
1040     X509_ALGOR *cmsalg;
1041     int nid;
1042     int rv = -1;
1043     unsigned char *label = NULL;
1044     int labellen = 0;
1045     const EVP_MD *mgf1md = NULL, *md = NULL;
1046     RSA_OAEP_PARAMS *oaep;
1047
1048     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1049     if (pkctx == NULL)
1050         return 0;
1051     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
1052         return -1;
1053     nid = OBJ_obj2nid(cmsalg->algorithm);
1054     if (nid == NID_rsaEncryption)
1055         return 1;
1056     if (nid != NID_rsaesOaep) {
1057         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
1058         return -1;
1059     }
1060     /* Decode OAEP parameters */
1061     oaep = rsa_oaep_decode(cmsalg);
1062
1063     if (oaep == NULL) {
1064         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
1065         goto err;
1066     }
1067
1068     mgf1md = rsa_algor_to_md(oaep->maskHash);
1069     if (mgf1md == NULL)
1070         goto err;
1071     md = rsa_algor_to_md(oaep->hashFunc);
1072     if (md == NULL)
1073         goto err;
1074
1075     if (oaep->pSourceFunc != NULL) {
1076         X509_ALGOR *plab = oaep->pSourceFunc;
1077
1078         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
1079             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
1080             goto err;
1081         }
1082         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
1083             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
1084             goto err;
1085         }
1086
1087         label = plab->parameter->value.octet_string->data;
1088         /* Stop label being freed when OAEP parameters are freed */
1089         plab->parameter->value.octet_string->data = NULL;
1090         labellen = plab->parameter->value.octet_string->length;
1091     }
1092
1093     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
1094         goto err;
1095     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
1096         goto err;
1097     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
1098         goto err;
1099     if (label != NULL
1100             && EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
1101         goto err;
1102     /* Carry on */
1103     rv = 1;
1104
1105  err:
1106     RSA_OAEP_PARAMS_free(oaep);
1107     return rv;
1108 }
1109
1110 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
1111 {
1112     const EVP_MD *md, *mgf1md;
1113     RSA_OAEP_PARAMS *oaep = NULL;
1114     ASN1_STRING *os = NULL;
1115     X509_ALGOR *alg;
1116     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1117     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
1118     unsigned char *label;
1119
1120     if (CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg) <= 0)
1121         return 0;
1122     if (pkctx) {
1123         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
1124             return 0;
1125     }
1126     if (pad_mode == RSA_PKCS1_PADDING) {
1127         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
1128         return 1;
1129     }
1130     /* Not supported */
1131     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
1132         return 0;
1133     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
1134         goto err;
1135     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
1136         goto err;
1137     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
1138     if (labellen < 0)
1139         goto err;
1140     oaep = RSA_OAEP_PARAMS_new();
1141     if (oaep == NULL)
1142         goto err;
1143     if (!rsa_md_to_algor(&oaep->hashFunc, md))
1144         goto err;
1145     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
1146         goto err;
1147     if (labellen > 0) {
1148         ASN1_OCTET_STRING *los;
1149         oaep->pSourceFunc = X509_ALGOR_new();
1150         if (oaep->pSourceFunc == NULL)
1151             goto err;
1152         los = ASN1_OCTET_STRING_new();
1153         if (los == NULL)
1154             goto err;
1155         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
1156             ASN1_OCTET_STRING_free(los);
1157             goto err;
1158         }
1159         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
1160                         V_ASN1_OCTET_STRING, los);
1161     }
1162     /* create string with pss parameter encoding. */
1163     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
1164          goto err;
1165     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
1166     os = NULL;
1167     rv = 1;
1168  err:
1169     RSA_OAEP_PARAMS_free(oaep);
1170     ASN1_STRING_free(os);
1171     return rv;
1172 }
1173 #endif
1174
1175 static int rsa_pkey_check(const EVP_PKEY *pkey)
1176 {
1177     return RSA_check_key_ex(pkey->pkey.rsa, NULL);
1178 }
1179
1180 static size_t rsa_pkey_dirty_cnt(const EVP_PKEY *pkey)
1181 {
1182     return pkey->pkey.rsa->dirty_cnt;
1183 }
1184
1185 /*
1186  * For the moment, we trust the call path, where keys going through
1187  * rsa_pkey_export_to() match a KEYMGMT for the "RSA" keytype, while
1188  * keys going through rsa_pss_pkey_export_to() match a KEYMGMT for the
1189  * "RSA-PSS" keytype.
1190  * TODO(3.0) Investigate whether we should simply continue to trust the
1191  * call path, or if we should strengthen this function by checking that
1192  * |rsa_type| matches the RSA key subtype.  The latter requires ensuring
1193  * that the type flag for the RSA key is properly set by other functions
1194  * in this file.
1195  */
1196 static int rsa_int_export_to(const EVP_PKEY *from, int rsa_type,
1197                              void *to_keydata, EVP_KEYMGMT *to_keymgmt,
1198                              OPENSSL_CTX *libctx, const char *propq)
1199 {
1200     RSA *rsa = from->pkey.rsa;
1201     OSSL_PARAM_BLD *tmpl = OSSL_PARAM_BLD_new();
1202     OSSL_PARAM *params = NULL;
1203     int selection = 0;
1204     int rv = 0;
1205
1206     if (tmpl == NULL)
1207         return 0;
1208     /*
1209      * If the RSA method is foreign, then we can't be sure of anything, and
1210      * can therefore not export or pretend to export.
1211      */
1212     if (RSA_get_method(rsa) != RSA_PKCS1_OpenSSL())
1213         goto err;
1214
1215     /* Public parameters must always be present */
1216     if (RSA_get0_n(rsa) == NULL || RSA_get0_e(rsa) == NULL)
1217         goto err;
1218
1219     if (!ossl_rsa_todata(rsa, tmpl, NULL))
1220         goto err;
1221
1222     selection |= OSSL_KEYMGMT_SELECT_PUBLIC_KEY;
1223     if (RSA_get0_d(rsa) != NULL)
1224         selection |= OSSL_KEYMGMT_SELECT_PRIVATE_KEY;
1225
1226     if (rsa->pss != NULL) {
1227         const EVP_MD *md = NULL, *mgf1md = NULL;
1228         int md_nid, mgf1md_nid, saltlen, trailerfield;
1229         RSA_PSS_PARAMS_30 pss_params;
1230
1231         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
1232                                           &saltlen, &trailerfield))
1233             goto err;
1234         md_nid = EVP_MD_type(md);
1235         mgf1md_nid = EVP_MD_type(mgf1md);
1236         if (!ossl_rsa_pss_params_30_set_defaults(&pss_params)
1237             || !ossl_rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
1238             || !ossl_rsa_pss_params_30_set_maskgenhashalg(&pss_params,
1239                                                           mgf1md_nid)
1240             || !ossl_rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
1241             || !ossl_rsa_pss_params_30_todata(&pss_params, tmpl, NULL))
1242             goto err;
1243         selection |= OSSL_KEYMGMT_SELECT_OTHER_PARAMETERS;
1244     }
1245
1246     if ((params = OSSL_PARAM_BLD_to_param(tmpl)) == NULL)
1247         goto err;
1248
1249     /* We export, the provider imports */
1250     rv = evp_keymgmt_import(to_keymgmt, to_keydata, selection, params);
1251
1252  err:
1253     OSSL_PARAM_BLD_free_params(params);
1254     OSSL_PARAM_BLD_free(tmpl);
1255     return rv;
1256 }
1257
1258 static int rsa_int_import_from(const OSSL_PARAM params[], void *vpctx,
1259                                int rsa_type)
1260 {
1261     EVP_PKEY_CTX *pctx = vpctx;
1262     EVP_PKEY *pkey = EVP_PKEY_CTX_get0_pkey(pctx);
1263     RSA *rsa = ossl_rsa_new_with_ctx(pctx->libctx);
1264     RSA_PSS_PARAMS_30 rsa_pss_params = { 0, };
1265     int ok = 0;
1266
1267     if (rsa == NULL) {
1268         ERR_raise(ERR_LIB_DH, ERR_R_MALLOC_FAILURE);
1269         return 0;
1270     }
1271
1272     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
1273     RSA_set_flags(rsa, rsa_type);
1274
1275     if (!ossl_rsa_pss_params_30_fromdata(&rsa_pss_params, params, pctx->libctx))
1276         goto err;
1277
1278     switch (rsa_type) {
1279     case RSA_FLAG_TYPE_RSA:
1280         /*
1281          * Were PSS parameters filled in?
1282          * In that case, something's wrong
1283          */
1284         if (!ossl_rsa_pss_params_30_is_unrestricted(&rsa_pss_params))
1285             goto err;
1286         break;
1287     case RSA_FLAG_TYPE_RSASSAPSS:
1288         /*
1289          * Were PSS parameters filled in?  In that case, create the old
1290          * RSA_PSS_PARAMS structure.  Otherwise, this is an unrestricted key.
1291          */
1292         if (!ossl_rsa_pss_params_30_is_unrestricted(&rsa_pss_params)) {
1293             /* Create the older RSA_PSS_PARAMS from RSA_PSS_PARAMS_30 data */
1294             int mdnid = ossl_rsa_pss_params_30_hashalg(&rsa_pss_params);
1295             int mgf1mdnid = ossl_rsa_pss_params_30_maskgenhashalg(&rsa_pss_params);
1296             int saltlen = ossl_rsa_pss_params_30_saltlen(&rsa_pss_params);
1297             const EVP_MD *md = EVP_get_digestbynid(mdnid);
1298             const EVP_MD *mgf1md = EVP_get_digestbynid(mgf1mdnid);
1299
1300             if ((rsa->pss = rsa_pss_params_create(md, mgf1md, saltlen)) == NULL)
1301                 goto err;
1302         }
1303         break;
1304     default:
1305         /* RSA key sub-types we don't know how to handle yet */
1306         goto err;
1307     }
1308
1309     if (!ossl_rsa_fromdata(rsa, params))
1310         goto err;
1311
1312     switch (rsa_type) {
1313     case RSA_FLAG_TYPE_RSA:
1314         ok = EVP_PKEY_assign_RSA(pkey, rsa);
1315         break;
1316     case RSA_FLAG_TYPE_RSASSAPSS:
1317         ok = EVP_PKEY_assign(pkey, EVP_PKEY_RSA_PSS, rsa);
1318         break;
1319     }
1320
1321  err:
1322     if (!ok)
1323         RSA_free(rsa);
1324     return ok;
1325 }
1326
1327 static int rsa_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1328                               EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1329                               const char *propq)
1330 {
1331     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSA, to_keydata,
1332                              to_keymgmt, libctx, propq);
1333 }
1334
1335 static int rsa_pss_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1336                                   EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1337                                   const char *propq)
1338 {
1339     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSASSAPSS, to_keydata,
1340                              to_keymgmt, libctx, propq);
1341 }
1342
1343 static int rsa_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1344 {
1345     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSA);
1346 }
1347
1348 static int rsa_pss_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1349 {
1350     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSASSAPSS);
1351 }
1352
1353 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
1354     {
1355      EVP_PKEY_RSA,
1356      EVP_PKEY_RSA,
1357      ASN1_PKEY_SIGPARAM_NULL,
1358
1359      "RSA",
1360      "OpenSSL RSA method",
1361
1362      rsa_pub_decode,
1363      rsa_pub_encode,
1364      rsa_pub_cmp,
1365      rsa_pub_print,
1366
1367      rsa_priv_decode,
1368      rsa_priv_encode,
1369      rsa_priv_print,
1370
1371      int_rsa_size,
1372      rsa_bits,
1373      rsa_security_bits,
1374
1375      0, 0, 0, 0, 0, 0,
1376
1377      rsa_sig_print,
1378      int_rsa_free,
1379      rsa_pkey_ctrl,
1380      old_rsa_priv_decode,
1381      old_rsa_priv_encode,
1382      rsa_item_verify,
1383      rsa_item_sign,
1384      rsa_sig_info_set,
1385      rsa_pkey_check,
1386
1387      0, 0,
1388      0, 0, 0, 0,
1389
1390      rsa_pkey_dirty_cnt,
1391      rsa_pkey_export_to,
1392      rsa_pkey_import_from
1393     },
1394
1395     {
1396      EVP_PKEY_RSA2,
1397      EVP_PKEY_RSA,
1398      ASN1_PKEY_ALIAS}
1399 };
1400
1401 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
1402      EVP_PKEY_RSA_PSS,
1403      EVP_PKEY_RSA_PSS,
1404      ASN1_PKEY_SIGPARAM_NULL,
1405
1406      "RSA-PSS",
1407      "OpenSSL RSA-PSS method",
1408
1409      rsa_pub_decode,
1410      rsa_pub_encode,
1411      rsa_pub_cmp,
1412      rsa_pub_print,
1413
1414      rsa_priv_decode,
1415      rsa_priv_encode,
1416      rsa_priv_print,
1417
1418      int_rsa_size,
1419      rsa_bits,
1420      rsa_security_bits,
1421
1422      0, 0, 0, 0, 0, 0,
1423
1424      rsa_sig_print,
1425      int_rsa_free,
1426      rsa_pkey_ctrl,
1427      0, 0,
1428      rsa_item_verify,
1429      rsa_item_sign,
1430      0,
1431      rsa_pkey_check,
1432
1433      0, 0,
1434      0, 0, 0, 0,
1435
1436      rsa_pkey_dirty_cnt,
1437      rsa_pss_pkey_export_to,
1438      rsa_pss_pkey_import_from
1439 };