Update core_names.h fields and document most fields.
[openssl.git] / providers / implementations / signature / rsa.c
1 /*
2  * Copyright 2019-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*
11  * RSA low level APIs are deprecated for public use, but still ok for
12  * internal use.
13  */
14 #include "internal/deprecated.h"
15
16 #include <string.h>
17 #include <openssl/crypto.h>
18 #include <openssl/core_numbers.h>
19 #include <openssl/core_names.h>
20 #include <openssl/err.h>
21 #include <openssl/rsa.h>
22 #include <openssl/params.h>
23 #include <openssl/evp.h>
24 #include "internal/cryptlib.h"
25 #include "internal/nelem.h"
26 #include "internal/sizes.h"
27 #include "crypto/rsa.h"
28 #include "prov/providercommonerr.h"
29 #include "prov/implementations.h"
30 #include "prov/provider_ctx.h"
31 #include "prov/der_rsa.h"
32
33 static OSSL_OP_signature_newctx_fn rsa_newctx;
34 static OSSL_OP_signature_sign_init_fn rsa_sign_init;
35 static OSSL_OP_signature_verify_init_fn rsa_verify_init;
36 static OSSL_OP_signature_verify_recover_init_fn rsa_verify_recover_init;
37 static OSSL_OP_signature_sign_fn rsa_sign;
38 static OSSL_OP_signature_verify_fn rsa_verify;
39 static OSSL_OP_signature_verify_recover_fn rsa_verify_recover;
40 static OSSL_OP_signature_digest_sign_init_fn rsa_digest_sign_init;
41 static OSSL_OP_signature_digest_sign_update_fn rsa_digest_signverify_update;
42 static OSSL_OP_signature_digest_sign_final_fn rsa_digest_sign_final;
43 static OSSL_OP_signature_digest_verify_init_fn rsa_digest_verify_init;
44 static OSSL_OP_signature_digest_verify_update_fn rsa_digest_signverify_update;
45 static OSSL_OP_signature_digest_verify_final_fn rsa_digest_verify_final;
46 static OSSL_OP_signature_freectx_fn rsa_freectx;
47 static OSSL_OP_signature_dupctx_fn rsa_dupctx;
48 static OSSL_OP_signature_get_ctx_params_fn rsa_get_ctx_params;
49 static OSSL_OP_signature_gettable_ctx_params_fn rsa_gettable_ctx_params;
50 static OSSL_OP_signature_set_ctx_params_fn rsa_set_ctx_params;
51 static OSSL_OP_signature_settable_ctx_params_fn rsa_settable_ctx_params;
52 static OSSL_OP_signature_get_ctx_md_params_fn rsa_get_ctx_md_params;
53 static OSSL_OP_signature_gettable_ctx_md_params_fn rsa_gettable_ctx_md_params;
54 static OSSL_OP_signature_set_ctx_md_params_fn rsa_set_ctx_md_params;
55 static OSSL_OP_signature_settable_ctx_md_params_fn rsa_settable_ctx_md_params;
56
57 static OSSL_ITEM padding_item[] = {
58     { RSA_PKCS1_PADDING,        OSSL_PKEY_RSA_PAD_MODE_PKCSV15 },
59     { RSA_SSLV23_PADDING,       OSSL_PKEY_RSA_PAD_MODE_SSLV23 },
60     { RSA_NO_PADDING,           OSSL_PKEY_RSA_PAD_MODE_NONE },
61     { RSA_X931_PADDING,         OSSL_PKEY_RSA_PAD_MODE_X931 },
62     { RSA_PKCS1_PSS_PADDING,    OSSL_PKEY_RSA_PAD_MODE_PSS },
63     { 0,                        NULL     }
64 };
65
66 /*
67  * What's passed as an actual key is defined by the KEYMGMT interface.
68  * We happen to know that our KEYMGMT simply passes RSA structures, so
69  * we use that here too.
70  */
71
72 typedef struct {
73     OPENSSL_CTX *libctx;
74     char *propq;
75     RSA *rsa;
76     int operation;
77
78     /*
79      * Flag to determine if the hash function can be changed (1) or not (0)
80      * Because it's dangerous to change during a DigestSign or DigestVerify
81      * operation, this flag is cleared by their Init function, and set again
82      * by their Final function.
83      */
84     unsigned int flag_allow_md : 1;
85
86     /* The Algorithm Identifier of the combined signature agorithm */
87     unsigned char aid_buf[128];
88     unsigned char *aid;
89     size_t  aid_len;
90
91     /* main digest */
92     EVP_MD *md;
93     EVP_MD_CTX *mdctx;
94     int mdnid;
95     char mdname[OSSL_MAX_NAME_SIZE]; /* Purely informational */
96
97     /* RSA padding mode */
98     int pad_mode;
99     /* message digest for MGF1 */
100     EVP_MD *mgf1_md;
101     char mgf1_mdname[OSSL_MAX_NAME_SIZE]; /* Purely informational */
102     /* PSS salt length */
103     int saltlen;
104     /* Minimum salt length or -1 if no PSS parameter restriction */
105     int min_saltlen;
106
107     /* Temp buffer */
108     unsigned char *tbuf;
109
110 } PROV_RSA_CTX;
111
112 static size_t rsa_get_md_size(const PROV_RSA_CTX *prsactx)
113 {
114     if (prsactx->md != NULL)
115         return EVP_MD_size(prsactx->md);
116     return 0;
117 }
118
119 static int rsa_get_md_nid(const EVP_MD *md)
120 {
121     /*
122      * Because the RSA library deals with NIDs, we need to translate.
123      * We do so using EVP_MD_is_a(), and therefore need a name to NID
124      * map.
125      */
126     static const OSSL_ITEM name_to_nid[] = {
127         { NID_sha1,      OSSL_DIGEST_NAME_SHA1      },
128         { NID_sha224,    OSSL_DIGEST_NAME_SHA2_224  },
129         { NID_sha256,    OSSL_DIGEST_NAME_SHA2_256  },
130         { NID_sha384,    OSSL_DIGEST_NAME_SHA2_384  },
131         { NID_sha512,    OSSL_DIGEST_NAME_SHA2_512  },
132         { NID_sha512_224, OSSL_DIGEST_NAME_SHA2_512_224 },
133         { NID_sha512_256, OSSL_DIGEST_NAME_SHA2_512_256 },
134         { NID_md5,       OSSL_DIGEST_NAME_MD5       },
135         { NID_md5_sha1,  OSSL_DIGEST_NAME_MD5_SHA1  },
136         { NID_md2,       OSSL_DIGEST_NAME_MD2       },
137         { NID_md4,       OSSL_DIGEST_NAME_MD4       },
138         { NID_mdc2,      OSSL_DIGEST_NAME_MDC2      },
139         { NID_ripemd160, OSSL_DIGEST_NAME_RIPEMD160 },
140         { NID_sha3_224,  OSSL_DIGEST_NAME_SHA3_224  },
141         { NID_sha3_256,  OSSL_DIGEST_NAME_SHA3_256  },
142         { NID_sha3_384,  OSSL_DIGEST_NAME_SHA3_384  },
143         { NID_sha3_512,  OSSL_DIGEST_NAME_SHA3_512  },
144     };
145     size_t i;
146     int mdnid = NID_undef;
147
148     if (md == NULL)
149         goto end;
150
151     for (i = 0; i < OSSL_NELEM(name_to_nid); i++) {
152         if (EVP_MD_is_a(md, name_to_nid[i].ptr)) {
153             mdnid = (int)name_to_nid[i].id;
154             break;
155         }
156     }
157
158  end:
159     return mdnid;
160 }
161
162 static int rsa_check_padding(int mdnid, int padding)
163 {
164     if (padding == RSA_NO_PADDING) {
165         ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE);
166         return 0;
167     }
168
169     if (padding == RSA_X931_PADDING) {
170         if (RSA_X931_hash_id(mdnid) == -1) {
171             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_X931_DIGEST);
172             return 0;
173         }
174     }
175
176     return 1;
177 }
178
179 static int rsa_check_parameters(EVP_MD *md, PROV_RSA_CTX *prsactx)
180 {
181     if (prsactx->pad_mode == RSA_PKCS1_PSS_PADDING) {
182         int max_saltlen;
183
184         /* See if minimum salt length exceeds maximum possible */
185         max_saltlen = RSA_size(prsactx->rsa) - EVP_MD_size(md);
186         if ((RSA_bits(prsactx->rsa) & 0x7) == 1)
187             max_saltlen--;
188         if (prsactx->min_saltlen > max_saltlen) {
189             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_SALT_LENGTH);
190             return 0;
191         }
192     }
193     return 1;
194 }
195
196 static void *rsa_newctx(void *provctx, const char *propq)
197 {
198     PROV_RSA_CTX *prsactx = NULL;
199     char *propq_copy = NULL;
200
201     if ((prsactx = OPENSSL_zalloc(sizeof(PROV_RSA_CTX))) == NULL
202         || (propq != NULL
203             && (propq_copy = OPENSSL_strdup(propq)) == NULL)) {
204         OPENSSL_free(prsactx);
205         ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
206         return NULL;
207     }
208
209     prsactx->libctx = PROV_LIBRARY_CONTEXT_OF(provctx);
210     prsactx->flag_allow_md = 1;
211     prsactx->propq = propq_copy;
212     return prsactx;
213 }
214
215 /* True if PSS parameters are restricted */
216 #define rsa_pss_restricted(prsactx) (prsactx->min_saltlen != -1)
217
218 static int rsa_setup_md(PROV_RSA_CTX *ctx, const char *mdname,
219                         const char *mdprops)
220 {
221     if (mdprops == NULL)
222         mdprops = ctx->propq;
223
224     if (mdname != NULL) {
225         EVP_MD *md = EVP_MD_fetch(ctx->libctx, mdname, mdprops);
226         int md_nid = rsa_get_md_nid(md);
227         WPACKET pkt;
228         size_t mdname_len = strlen(mdname);
229
230         if (md == NULL
231             || md_nid == NID_undef
232             || !rsa_check_padding(md_nid, ctx->pad_mode)
233             || !rsa_check_parameters(md, ctx)
234             || mdname_len >= sizeof(ctx->mdname)) {
235             if (md == NULL)
236                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
237                                "%s could not be fetched", mdname);
238             if (md_nid == NID_undef)
239                 ERR_raise_data(ERR_LIB_PROV, PROV_R_DIGEST_NOT_ALLOWED,
240                                "digest=%s", mdname);
241             if (mdname_len >= sizeof(ctx->mdname))
242                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
243                                "%s exceeds name buffer length", mdname);
244             EVP_MD_free(md);
245             return 0;
246         }
247
248         EVP_MD_CTX_free(ctx->mdctx);
249         EVP_MD_free(ctx->md);
250
251         /*
252          * TODO(3.0) Should we care about DER writing errors?
253          * All it really means is that for some reason, there's no
254          * AlgorithmIdentifier to be had (consider RSA with MD5-SHA1),
255          * but the operation itself is still valid, just as long as it's
256          * not used to construct anything that needs an AlgorithmIdentifier.
257          */
258         ctx->aid_len = 0;
259         if (WPACKET_init_der(&pkt, ctx->aid_buf, sizeof(ctx->aid_buf))
260             && DER_w_algorithmIdentifier_MDWithRSAEncryption(&pkt, -1, ctx->rsa,
261                                                              md_nid)
262             && WPACKET_finish(&pkt)) {
263             WPACKET_get_total_written(&pkt, &ctx->aid_len);
264             ctx->aid = WPACKET_get_curr(&pkt);
265         }
266         WPACKET_cleanup(&pkt);
267
268         ctx->mdctx = NULL;
269         ctx->md = md;
270         ctx->mdnid = md_nid;
271         OPENSSL_strlcpy(ctx->mdname, mdname, sizeof(ctx->mdname));
272     }
273
274     return 1;
275 }
276
277 static int rsa_setup_mgf1_md(PROV_RSA_CTX *ctx, const char *mdname,
278                              const char *mdprops)
279 {
280     size_t len;
281
282     if (mdprops == NULL)
283         mdprops = ctx->propq;
284
285     if (ctx->mgf1_mdname[0] != '\0')
286         EVP_MD_free(ctx->mgf1_md);
287
288     if ((ctx->mgf1_md = EVP_MD_fetch(ctx->libctx, mdname, mdprops)) == NULL) {
289         ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
290                        "%s could not be fetched", mdname);
291         return 0;
292     }
293     len = OPENSSL_strlcpy(ctx->mgf1_mdname, mdname, sizeof(ctx->mgf1_mdname));
294     if (len >= sizeof(ctx->mgf1_mdname)) {
295         ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
296                        "%s exceeds name buffer length", mdname);
297         return 0;
298     }
299
300     return 1;
301 }
302
303 static int rsa_signature_init(void *vprsactx, void *vrsa, int operation)
304 {
305     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
306
307     if (prsactx == NULL || vrsa == NULL || !RSA_up_ref(vrsa))
308         return 0;
309
310     RSA_free(prsactx->rsa);
311     prsactx->rsa = vrsa;
312     prsactx->operation = operation;
313
314     /* Maximum for sign, auto for verify */
315     prsactx->saltlen = RSA_PSS_SALTLEN_AUTO;
316     prsactx->min_saltlen = -1;
317
318     switch (RSA_test_flags(prsactx->rsa, RSA_FLAG_TYPE_MASK)) {
319     case RSA_FLAG_TYPE_RSA:
320         prsactx->pad_mode = RSA_PKCS1_PADDING;
321         break;
322     case RSA_FLAG_TYPE_RSASSAPSS:
323         prsactx->pad_mode = RSA_PKCS1_PSS_PADDING;
324
325         {
326             const RSA_PSS_PARAMS_30 *pss =
327                 rsa_get0_pss_params_30(prsactx->rsa);
328
329             if (!rsa_pss_params_30_is_unrestricted(pss)) {
330                 int md_nid = rsa_pss_params_30_hashalg(pss);
331                 int mgf1md_nid = rsa_pss_params_30_maskgenhashalg(pss);
332                 int min_saltlen = rsa_pss_params_30_saltlen(pss);
333                 const char *mdname, *mgf1mdname;
334                 size_t len;
335
336                 mdname = rsa_oaeppss_nid2name(md_nid);
337                 mgf1mdname = rsa_oaeppss_nid2name(mgf1md_nid);
338                 prsactx->min_saltlen = min_saltlen;
339
340                 if (mdname == NULL) {
341                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
342                                    "PSS restrictions lack hash algorithm");
343                     return 0;
344                 }
345                 if (mgf1mdname == NULL) {
346                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
347                                    "PSS restrictions lack MGF1 hash algorithm");
348                     return 0;
349                 }
350
351                 len = OPENSSL_strlcpy(prsactx->mdname, mdname,
352                                       sizeof(prsactx->mdname));
353                 if (len >= sizeof(prsactx->mdname)) {
354                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
355                                    "hash algorithm name too long");
356                     return 0;
357                 }
358                 len = OPENSSL_strlcpy(prsactx->mgf1_mdname, mgf1mdname,
359                                       sizeof(prsactx->mgf1_mdname));
360                 if (len >= sizeof(prsactx->mgf1_mdname)) {
361                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST,
362                                    "MGF1 hash algorithm name too long");
363                     return 0;
364                 }
365                 prsactx->saltlen = min_saltlen;
366
367                 return rsa_setup_md(prsactx, mdname, prsactx->propq)
368                     && rsa_setup_mgf1_md(prsactx, mgf1mdname, prsactx->propq);
369             }
370         }
371
372         break;
373     default:
374         ERR_raise(ERR_LIB_RSA, PROV_R_OPERATION_NOT_SUPPORTED_FOR_THIS_KEYTYPE);
375         return 0;
376     }
377
378     return 1;
379 }
380
381 static int setup_tbuf(PROV_RSA_CTX *ctx)
382 {
383     if (ctx->tbuf != NULL)
384         return 1;
385     if ((ctx->tbuf = OPENSSL_malloc(RSA_size(ctx->rsa))) == NULL) {
386         ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
387         return 0;
388     }
389     return 1;
390 }
391
392 static void clean_tbuf(PROV_RSA_CTX *ctx)
393 {
394     if (ctx->tbuf != NULL)
395         OPENSSL_cleanse(ctx->tbuf, RSA_size(ctx->rsa));
396 }
397
398 static void free_tbuf(PROV_RSA_CTX *ctx)
399 {
400     clean_tbuf(ctx);
401     OPENSSL_free(ctx->tbuf);
402     ctx->tbuf = NULL;
403 }
404
405 static int rsa_sign_init(void *vprsactx, void *vrsa)
406 {
407     return rsa_signature_init(vprsactx, vrsa, EVP_PKEY_OP_SIGN);
408 }
409
410 static int rsa_sign(void *vprsactx, unsigned char *sig, size_t *siglen,
411                     size_t sigsize, const unsigned char *tbs, size_t tbslen)
412 {
413     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
414     int ret;
415     size_t rsasize = RSA_size(prsactx->rsa);
416     size_t mdsize = rsa_get_md_size(prsactx);
417
418     if (sig == NULL) {
419         *siglen = rsasize;
420         return 1;
421     }
422
423     if (sigsize < rsasize) {
424         ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_SIGNATURE_SIZE,
425                        "is %zu, should be at least %zu", sigsize, rsasize);
426         return 0;
427     }
428
429     if (mdsize != 0) {
430         if (tbslen != mdsize) {
431             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH);
432             return 0;
433         }
434
435 #ifndef FIPS_MODULE
436         if (EVP_MD_is_a(prsactx->md, OSSL_DIGEST_NAME_MDC2)) {
437             unsigned int sltmp;
438
439             if (prsactx->pad_mode != RSA_PKCS1_PADDING) {
440                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
441                                "only PKCS#1 padding supported with MDC2");
442                 return 0;
443             }
444             ret = RSA_sign_ASN1_OCTET_STRING(0, tbs, tbslen, sig, &sltmp,
445                                              prsactx->rsa);
446
447             if (ret <= 0) {
448                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
449                 return 0;
450             }
451             ret = sltmp;
452             goto end;
453         }
454 #endif
455         switch (prsactx->pad_mode) {
456         case RSA_X931_PADDING:
457             if ((size_t)RSA_size(prsactx->rsa) < tbslen + 1) {
458                 ERR_raise_data(ERR_LIB_PROV, PROV_R_KEY_SIZE_TOO_SMALL,
459                                "RSA key size = %d, expected minimum = %d",
460                                RSA_size(prsactx->rsa), tbslen + 1);
461                 return 0;
462             }
463             if (!setup_tbuf(prsactx)) {
464                 ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
465                 return 0;
466             }
467             memcpy(prsactx->tbuf, tbs, tbslen);
468             prsactx->tbuf[tbslen] = RSA_X931_hash_id(prsactx->mdnid);
469             ret = RSA_private_encrypt(tbslen + 1, prsactx->tbuf,
470                                       sig, prsactx->rsa, RSA_X931_PADDING);
471             clean_tbuf(prsactx);
472             break;
473
474         case RSA_PKCS1_PADDING:
475             {
476                 unsigned int sltmp;
477
478                 ret = RSA_sign(prsactx->mdnid, tbs, tbslen, sig, &sltmp,
479                                prsactx->rsa);
480                 if (ret <= 0) {
481                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
482                     return 0;
483                 }
484                 ret = sltmp;
485             }
486             break;
487
488         case RSA_PKCS1_PSS_PADDING:
489             /* Check PSS restrictions */
490             if (rsa_pss_restricted(prsactx)) {
491                 switch (prsactx->saltlen) {
492                 case RSA_PSS_SALTLEN_DIGEST:
493                     if (prsactx->min_saltlen > EVP_MD_size(prsactx->md)) {
494                         ERR_raise_data(ERR_LIB_PROV,
495                                        PROV_R_PSS_SALTLEN_TOO_SMALL,
496                                        "minimum salt length set to %d, "
497                                        "but the digest only gives %d",
498                                        prsactx->min_saltlen,
499                                        EVP_MD_size(prsactx->md));
500                         return 0;
501                     }
502                     /* FALLTHRU */
503                 default:
504                     if (prsactx->saltlen >= 0
505                         && prsactx->saltlen < prsactx->min_saltlen) {
506                         ERR_raise_data(ERR_LIB_PROV,
507                                        PROV_R_PSS_SALTLEN_TOO_SMALL,
508                                        "minimum salt length set to %d, but the"
509                                        "actual salt length is only set to %d",
510                                        prsactx->min_saltlen,
511                                        prsactx->saltlen);
512                         return 0;
513                     }
514                     break;
515                 }
516             }
517             if (!setup_tbuf(prsactx))
518                 return 0;
519             if (!RSA_padding_add_PKCS1_PSS_mgf1(prsactx->rsa,
520                                                 prsactx->tbuf, tbs,
521                                                 prsactx->md, prsactx->mgf1_md,
522                                                 prsactx->saltlen)) {
523                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
524                 return 0;
525             }
526             ret = RSA_private_encrypt(RSA_size(prsactx->rsa), prsactx->tbuf,
527                                       sig, prsactx->rsa, RSA_NO_PADDING);
528             clean_tbuf(prsactx);
529             break;
530
531         default:
532             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
533                            "Only X.931, PKCS#1 v1.5 or PSS padding allowed");
534             return 0;
535         }
536     } else {
537         ret = RSA_private_encrypt(tbslen, tbs, sig, prsactx->rsa,
538                                   prsactx->pad_mode);
539     }
540
541 #ifndef FIPS_MODULE
542  end:
543 #endif
544     if (ret <= 0) {
545         ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
546         return 0;
547     }
548
549     *siglen = ret;
550     return 1;
551 }
552
553 static int rsa_verify_recover_init(void *vprsactx, void *vrsa)
554 {
555     return rsa_signature_init(vprsactx, vrsa, EVP_PKEY_OP_VERIFYRECOVER);
556 }
557
558 static int rsa_verify_recover(void *vprsactx,
559                               unsigned char *rout,
560                               size_t *routlen,
561                               size_t routsize,
562                               const unsigned char *sig,
563                               size_t siglen)
564 {
565     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
566     int ret;
567
568     if (rout == NULL) {
569         *routlen = RSA_size(prsactx->rsa);
570         return 1;
571     }
572
573     if (prsactx->md != NULL) {
574         switch (prsactx->pad_mode) {
575         case RSA_X931_PADDING:
576             if (!setup_tbuf(prsactx))
577                 return 0;
578             ret = RSA_public_decrypt(siglen, sig, prsactx->tbuf, prsactx->rsa,
579                                      RSA_X931_PADDING);
580             if (ret < 1) {
581                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
582                 return 0;
583             }
584             ret--;
585             if (prsactx->tbuf[ret] != RSA_X931_hash_id(prsactx->mdnid)) {
586                 ERR_raise(ERR_LIB_PROV, PROV_R_ALGORITHM_MISMATCH);
587                 return 0;
588             }
589             if (ret != EVP_MD_size(prsactx->md)) {
590                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH,
591                                "Should be %d, but got %d",
592                                EVP_MD_size(prsactx->md), ret);
593                 return 0;
594             }
595
596             *routlen = ret;
597             if (routsize < (size_t)ret) {
598                 ERR_raise_data(ERR_LIB_PROV, PROV_R_OUTPUT_BUFFER_TOO_SMALL,
599                                "buffer size is %d, should be %d",
600                                routsize, ret);
601                 return 0;
602             }
603             memcpy(rout, prsactx->tbuf, ret);
604             break;
605
606         case RSA_PKCS1_PADDING:
607             {
608                 size_t sltmp;
609
610                 ret = int_rsa_verify(prsactx->mdnid, NULL, 0, rout, &sltmp,
611                                      sig, siglen, prsactx->rsa);
612                 if (ret <= 0) {
613                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
614                     return 0;
615                 }
616                 ret = sltmp;
617             }
618             break;
619
620         default:
621             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
622                            "Only X.931 or PKCS#1 v1.5 padding allowed");
623             return 0;
624         }
625     } else {
626         ret = RSA_public_decrypt(siglen, sig, rout, prsactx->rsa,
627                                  prsactx->pad_mode);
628         if (ret < 0) {
629             ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
630             return 0;
631         }
632     }
633     *routlen = ret;
634     return 1;
635 }
636
637 static int rsa_verify_init(void *vprsactx, void *vrsa)
638 {
639     return rsa_signature_init(vprsactx, vrsa, EVP_PKEY_OP_VERIFY);
640 }
641
642 static int rsa_verify(void *vprsactx, const unsigned char *sig, size_t siglen,
643                       const unsigned char *tbs, size_t tbslen)
644 {
645     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
646     size_t rslen;
647
648     if (prsactx->md != NULL) {
649         switch (prsactx->pad_mode) {
650         case RSA_PKCS1_PADDING:
651             if (!RSA_verify(prsactx->mdnid, tbs, tbslen, sig, siglen,
652                             prsactx->rsa)) {
653                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
654                 return 0;
655             }
656             return 1;
657         case RSA_X931_PADDING:
658             if (rsa_verify_recover(prsactx, NULL, &rslen, 0, sig, siglen) <= 0)
659                 return 0;
660             break;
661         case RSA_PKCS1_PSS_PADDING:
662             {
663                 int ret;
664                 size_t mdsize;
665
666                 /*
667                  * We need to check this for the RSA_verify_PKCS1_PSS_mgf1()
668                  * call
669                  */
670                 mdsize = rsa_get_md_size(prsactx);
671                 if (tbslen != mdsize) {
672                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH,
673                                    "Should be %d, but got %d",
674                                    mdsize, tbslen);
675                     return 0;
676                 }
677
678                 if (!setup_tbuf(prsactx))
679                     return 0;
680                 ret = RSA_public_decrypt(siglen, sig, prsactx->tbuf,
681                                          prsactx->rsa, RSA_NO_PADDING);
682                 if (ret <= 0) {
683                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
684                     return 0;
685                 }
686                 ret = RSA_verify_PKCS1_PSS_mgf1(prsactx->rsa, tbs,
687                                                 prsactx->md, prsactx->mgf1_md,
688                                                 prsactx->tbuf,
689                                                 prsactx->saltlen);
690                 if (ret <= 0) {
691                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
692                     return 0;
693                 }
694                 return 1;
695             }
696         default:
697             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
698                            "Only X.931, PKCS#1 v1.5 or PSS padding allowed");
699             return 0;
700         }
701     } else {
702         if (!setup_tbuf(prsactx))
703             return 0;
704         rslen = RSA_public_decrypt(siglen, sig, prsactx->tbuf, prsactx->rsa,
705                                    prsactx->pad_mode);
706         if (rslen == 0) {
707             ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
708             return 0;
709         }
710     }
711
712     if ((rslen != tbslen) || memcmp(tbs, prsactx->tbuf, rslen))
713         return 0;
714
715     return 1;
716 }
717
718 static int rsa_digest_signverify_init(void *vprsactx, const char *mdname,
719                                       void *vrsa, int operation)
720 {
721     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
722
723     prsactx->flag_allow_md = 0;
724     if (!rsa_signature_init(vprsactx, vrsa, operation)
725         || !rsa_setup_md(prsactx, mdname, NULL)) /* TODO RL */
726         return 0;
727
728     prsactx->mdctx = EVP_MD_CTX_new();
729     if (prsactx->mdctx == NULL) {
730         ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
731         goto error;
732     }
733
734     if (!EVP_DigestInit_ex(prsactx->mdctx, prsactx->md, NULL))
735         goto error;
736
737     return 1;
738
739  error:
740     EVP_MD_CTX_free(prsactx->mdctx);
741     EVP_MD_free(prsactx->md);
742     prsactx->mdctx = NULL;
743     prsactx->md = NULL;
744     return 0;
745 }
746
747 static int rsa_digest_signverify_update(void *vprsactx,
748                                         const unsigned char *data,
749                                         size_t datalen)
750 {
751     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
752
753     if (prsactx == NULL || prsactx->mdctx == NULL)
754         return 0;
755
756     return EVP_DigestUpdate(prsactx->mdctx, data, datalen);
757 }
758
759 static int rsa_digest_sign_init(void *vprsactx, const char *mdname,
760                                 void *vrsa)
761 {
762     return rsa_digest_signverify_init(vprsactx, mdname, vrsa,
763                                       EVP_PKEY_OP_SIGN);
764 }
765
766 static int rsa_digest_sign_final(void *vprsactx, unsigned char *sig,
767                                  size_t *siglen, size_t sigsize)
768 {
769     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
770     unsigned char digest[EVP_MAX_MD_SIZE];
771     unsigned int dlen = 0;
772
773     prsactx->flag_allow_md = 1;
774     if (prsactx == NULL || prsactx->mdctx == NULL)
775         return 0;
776
777     /*
778      * If sig is NULL then we're just finding out the sig size. Other fields
779      * are ignored. Defer to rsa_sign.
780      */
781     if (sig != NULL) {
782         /*
783          * TODO(3.0): There is the possibility that some externally provided
784          * digests exceed EVP_MAX_MD_SIZE. We should probably handle that somehow -
785          * but that problem is much larger than just in RSA.
786          */
787         if (!EVP_DigestFinal_ex(prsactx->mdctx, digest, &dlen))
788             return 0;
789     }
790
791     return rsa_sign(vprsactx, sig, siglen, sigsize, digest, (size_t)dlen);
792 }
793
794 static int rsa_digest_verify_init(void *vprsactx, const char *mdname,
795                                   void *vrsa)
796 {
797     return rsa_digest_signverify_init(vprsactx, mdname, vrsa,
798                                       EVP_PKEY_OP_VERIFY);
799 }
800
801 int rsa_digest_verify_final(void *vprsactx, const unsigned char *sig,
802                             size_t siglen)
803 {
804     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
805     unsigned char digest[EVP_MAX_MD_SIZE];
806     unsigned int dlen = 0;
807
808     prsactx->flag_allow_md = 1;
809     if (prsactx == NULL || prsactx->mdctx == NULL)
810         return 0;
811
812     /*
813      * TODO(3.0): There is the possibility that some externally provided
814      * digests exceed EVP_MAX_MD_SIZE. We should probably handle that somehow -
815      * but that problem is much larger than just in RSA.
816      */
817     if (!EVP_DigestFinal_ex(prsactx->mdctx, digest, &dlen))
818         return 0;
819
820     return rsa_verify(vprsactx, sig, siglen, digest, (size_t)dlen);
821 }
822
823 static void rsa_freectx(void *vprsactx)
824 {
825     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
826
827     if (prsactx == NULL)
828         return;
829
830     RSA_free(prsactx->rsa);
831     EVP_MD_CTX_free(prsactx->mdctx);
832     EVP_MD_free(prsactx->md);
833     EVP_MD_free(prsactx->mgf1_md);
834     OPENSSL_free(prsactx->propq);
835     free_tbuf(prsactx);
836
837     OPENSSL_clear_free(prsactx, sizeof(prsactx));
838 }
839
840 static void *rsa_dupctx(void *vprsactx)
841 {
842     PROV_RSA_CTX *srcctx = (PROV_RSA_CTX *)vprsactx;
843     PROV_RSA_CTX *dstctx;
844
845     dstctx = OPENSSL_zalloc(sizeof(*srcctx));
846     if (dstctx == NULL) {
847         ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
848         return NULL;
849     }
850
851     *dstctx = *srcctx;
852     dstctx->rsa = NULL;
853     dstctx->md = NULL;
854     dstctx->mdctx = NULL;
855     dstctx->tbuf = NULL;
856
857     if (srcctx->rsa != NULL && !RSA_up_ref(srcctx->rsa))
858         goto err;
859     dstctx->rsa = srcctx->rsa;
860
861     if (srcctx->md != NULL && !EVP_MD_up_ref(srcctx->md))
862         goto err;
863     dstctx->md = srcctx->md;
864
865     if (srcctx->mgf1_md != NULL && !EVP_MD_up_ref(srcctx->mgf1_md))
866         goto err;
867     dstctx->mgf1_md = srcctx->mgf1_md;
868
869     if (srcctx->mdctx != NULL) {
870         dstctx->mdctx = EVP_MD_CTX_new();
871         if (dstctx->mdctx == NULL
872                 || !EVP_MD_CTX_copy_ex(dstctx->mdctx, srcctx->mdctx))
873             goto err;
874     }
875
876     return dstctx;
877  err:
878     rsa_freectx(dstctx);
879     return NULL;
880 }
881
882 static int rsa_get_ctx_params(void *vprsactx, OSSL_PARAM *params)
883 {
884     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
885     OSSL_PARAM *p;
886
887     if (prsactx == NULL || params == NULL)
888         return 0;
889
890     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_ALGORITHM_ID);
891     if (p != NULL
892         && !OSSL_PARAM_set_octet_string(p, prsactx->aid, prsactx->aid_len))
893         return 0;
894
895     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_PAD_MODE);
896     if (p != NULL)
897         switch (p->data_type) {
898         case OSSL_PARAM_INTEGER:
899             if (!OSSL_PARAM_set_int(p, prsactx->pad_mode))
900                 return 0;
901             break;
902         case OSSL_PARAM_UTF8_STRING:
903             {
904                 int i;
905                 const char *word = NULL;
906
907                 for (i = 0; padding_item[i].id != 0; i++) {
908                     if (prsactx->pad_mode == (int)padding_item[i].id) {
909                         word = padding_item[i].ptr;
910                         break;
911                     }
912                 }
913
914                 if (word != NULL) {
915                     if (!OSSL_PARAM_set_utf8_string(p, word))
916                         return 0;
917                 } else {
918                     ERR_raise(ERR_LIB_PROV, ERR_R_INTERNAL_ERROR);
919                 }
920             }
921             break;
922         default:
923             return 0;
924         }
925
926     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_DIGEST);
927     if (p != NULL && !OSSL_PARAM_set_utf8_string(p, prsactx->mdname))
928         return 0;
929
930     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_MGF1_DIGEST);
931     if (p != NULL && !OSSL_PARAM_set_utf8_string(p, prsactx->mgf1_mdname))
932         return 0;
933
934     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_PSS_SALTLEN);
935     if (p != NULL) {
936         if (p->data_type == OSSL_PARAM_INTEGER) {
937             if (!OSSL_PARAM_set_int(p, prsactx->saltlen))
938                 return 0;
939         } else if (p->data_type == OSSL_PARAM_UTF8_STRING) {
940             const char *value = NULL;
941
942             switch (prsactx->saltlen) {
943             case RSA_PSS_SALTLEN_DIGEST:
944                 value = OSSL_PKEY_RSA_PSS_SALT_LEN_DIGEST;
945                 break;
946             case RSA_PSS_SALTLEN_MAX:
947                 value = OSSL_PKEY_RSA_PSS_SALT_LEN_MAX;
948                 break;
949             case RSA_PSS_SALTLEN_AUTO:
950                 value = OSSL_PKEY_RSA_PSS_SALT_LEN_AUTO;
951                 break;
952             default:
953                 {
954                     int len = BIO_snprintf(p->data, p->data_size, "%d",
955                                            prsactx->saltlen);
956
957                     if (len <= 0)
958                         return 0;
959                     p->return_size = len;
960                     break;
961                 }
962             }
963             if (value != NULL
964                 && !OSSL_PARAM_set_utf8_string(p, value))
965                 return 0;
966         }
967     }
968
969     return 1;
970 }
971
972 static const OSSL_PARAM known_gettable_ctx_params[] = {
973     OSSL_PARAM_octet_string(OSSL_SIGNATURE_PARAM_ALGORITHM_ID, NULL, 0),
974     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PAD_MODE, NULL, 0),
975     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_DIGEST, NULL, 0),
976     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_DIGEST, NULL, 0),
977     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PSS_SALTLEN, NULL, 0),
978     OSSL_PARAM_END
979 };
980
981 static const OSSL_PARAM *rsa_gettable_ctx_params(void)
982 {
983     return known_gettable_ctx_params;
984 }
985
986 static int rsa_set_ctx_params(void *vprsactx, const OSSL_PARAM params[])
987 {
988     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
989     const OSSL_PARAM *p;
990
991     if (prsactx == NULL || params == NULL)
992         return 0;
993
994     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_DIGEST);
995     /* Not allowed during certain operations */
996     if (p != NULL && !prsactx->flag_allow_md)
997         return 0;
998     if (p != NULL) {
999         char mdname[OSSL_MAX_NAME_SIZE] = "", *pmdname = mdname;
1000         char mdprops[OSSL_MAX_PROPQUERY_SIZE] = "", *pmdprops = mdprops;
1001         const OSSL_PARAM *propsp =
1002             OSSL_PARAM_locate_const(params,
1003                                     OSSL_SIGNATURE_PARAM_PROPERTIES);
1004
1005         if (!OSSL_PARAM_get_utf8_string(p, &pmdname, sizeof(mdname)))
1006             return 0;
1007
1008         if (propsp == NULL)
1009             pmdprops = NULL;
1010         else if (!OSSL_PARAM_get_utf8_string(propsp,
1011                                              &pmdprops, sizeof(mdprops)))
1012             return 0;
1013
1014         if (rsa_pss_restricted(prsactx)) {
1015             /* TODO(3.0) figure out what to do for prsactx->md == NULL */
1016             if (prsactx->md == NULL || EVP_MD_is_a(prsactx->md, mdname))
1017                 return 1;
1018             ERR_raise(ERR_LIB_PROV, PROV_R_DIGEST_NOT_ALLOWED);
1019             return 0;
1020         }
1021
1022         /* non-PSS code follows */
1023         if (!rsa_setup_md(prsactx, mdname, pmdprops))
1024             return 0;
1025     }
1026
1027     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_PAD_MODE);
1028     if (p != NULL) {
1029         int pad_mode = 0;
1030         const char *err_extra_text = NULL;
1031
1032         switch (p->data_type) {
1033         case OSSL_PARAM_INTEGER: /* Support for legacy pad mode number */
1034             if (!OSSL_PARAM_get_int(p, &pad_mode))
1035                 return 0;
1036             break;
1037         case OSSL_PARAM_UTF8_STRING:
1038             {
1039                 int i;
1040
1041                 if (p->data == NULL)
1042                     return 0;
1043
1044                 for (i = 0; padding_item[i].id != 0; i++) {
1045                     if (strcmp(p->data, padding_item[i].ptr) == 0) {
1046                         pad_mode = padding_item[i].id;
1047                         break;
1048                     }
1049                 }
1050             }
1051             break;
1052         default:
1053             return 0;
1054         }
1055
1056         switch (pad_mode) {
1057         case RSA_PKCS1_OAEP_PADDING:
1058             /*
1059              * OAEP padding is for asymmetric cipher only so is not compatible
1060              * with signature use.
1061              */
1062             err_extra_text = "OAEP padding not allowed for signing / verifying";
1063             goto bad_pad;
1064         case RSA_PKCS1_PSS_PADDING:
1065             if ((prsactx->operation
1066                  & (EVP_PKEY_OP_SIGN | EVP_PKEY_OP_VERIFY)) == 0) {
1067                 err_extra_text =
1068                     "PSS padding only allowed for sign and verify operations";
1069                 goto bad_pad;
1070             }
1071             if (prsactx->md == NULL
1072                 && !rsa_setup_md(prsactx, OSSL_DIGEST_NAME_SHA1, NULL)) {
1073                 return 0;
1074             }
1075             break;
1076         case RSA_PKCS1_PADDING:
1077             err_extra_text = "PKCS#1 padding not allowed with RSA-PSS";
1078             goto cont;
1079         case RSA_SSLV23_PADDING:
1080             err_extra_text = "SSLv3 padding not allowed with RSA-PSS";
1081             goto cont;
1082         case RSA_NO_PADDING:
1083             err_extra_text = "No padding not allowed with RSA-PSS";
1084             goto cont;
1085         case RSA_X931_PADDING:
1086             err_extra_text = "X.931 padding not allowed with RSA-PSS";
1087         cont:
1088             if (RSA_test_flags(prsactx->rsa,
1089                                RSA_FLAG_TYPE_MASK) == RSA_FLAG_TYPE_RSA)
1090                 break;
1091             /* FALLTHRU */
1092         default:
1093         bad_pad:
1094             if (err_extra_text == NULL)
1095                 ERR_raise(ERR_LIB_PROV,
1096                           PROV_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
1097             else
1098                 ERR_raise_data(ERR_LIB_PROV,
1099                                PROV_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE,
1100                                err_extra_text);
1101             return 0;
1102         }
1103         if (!rsa_check_padding(prsactx->mdnid, pad_mode))
1104             return 0;
1105         prsactx->pad_mode = pad_mode;
1106     }
1107
1108     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_PSS_SALTLEN);
1109     if (p != NULL) {
1110         int saltlen;
1111
1112         if (prsactx->pad_mode != RSA_PKCS1_PSS_PADDING) {
1113             ERR_raise_data(ERR_LIB_PROV, PROV_R_NOT_SUPPORTED,
1114                            "PSS saltlen can only be specified if "
1115                            "PSS padding has been specified first");
1116             return 0;
1117         }
1118
1119         switch (p->data_type) {
1120         case OSSL_PARAM_INTEGER: /* Support for legacy pad mode number */
1121             if (!OSSL_PARAM_get_int(p, &saltlen))
1122                 return 0;
1123             break;
1124         case OSSL_PARAM_UTF8_STRING:
1125             if (strcmp(p->data, OSSL_PKEY_RSA_PSS_SALT_LEN_DIGEST) == 0)
1126                 saltlen = RSA_PSS_SALTLEN_DIGEST;
1127             else if (strcmp(p->data, OSSL_PKEY_RSA_PSS_SALT_LEN_MAX) == 0)
1128                 saltlen = RSA_PSS_SALTLEN_MAX;
1129             else if (strcmp(p->data, OSSL_PKEY_RSA_PSS_SALT_LEN_AUTO) == 0)
1130                 saltlen = RSA_PSS_SALTLEN_AUTO;
1131             else
1132                 saltlen = atoi(p->data);
1133             break;
1134         default:
1135             return 0;
1136         }
1137
1138         /*
1139          * RSA_PSS_SALTLEN_MAX seems curiously named in this check.
1140          * Contrary to what it's name suggests, it's the currently
1141          * lowest saltlen number possible.
1142          */
1143         if (saltlen < RSA_PSS_SALTLEN_MAX) {
1144             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PSS_SALTLEN);
1145             return 0;
1146         }
1147
1148         if (rsa_pss_restricted(prsactx)) {
1149             switch (prsactx->saltlen) {
1150             case RSA_PSS_SALTLEN_AUTO:
1151                 if (prsactx->operation == EVP_PKEY_OP_VERIFY) {
1152                     ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PSS_SALTLEN);
1153                     return 0;
1154                 }
1155                 break;
1156             case RSA_PSS_SALTLEN_DIGEST:
1157                 if (prsactx->min_saltlen > EVP_MD_size(prsactx->md)) {
1158                     ERR_raise_data(ERR_LIB_PROV,
1159                                    PROV_R_PSS_SALTLEN_TOO_SMALL,
1160                                    "Should be more than %d, but would be "
1161                                    "set to match digest size (%d)",
1162                                    prsactx->min_saltlen,
1163                                    EVP_MD_size(prsactx->md));
1164                     return 0;
1165                 }
1166                 /* FALLTHRU */
1167             default:
1168                 if (saltlen >= 0 && saltlen < prsactx->min_saltlen) {
1169                     ERR_raise_data(ERR_LIB_PROV,
1170                                    PROV_R_PSS_SALTLEN_TOO_SMALL,
1171                                    "Should be more than %d, "
1172                                    "but would be set to %d",
1173                                    prsactx->min_saltlen, saltlen);
1174                     return 0;
1175                 }
1176             }
1177         }
1178
1179         prsactx->saltlen = saltlen;
1180     }
1181
1182     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_MGF1_DIGEST);
1183     if (p != NULL) {
1184         char mdname[OSSL_MAX_NAME_SIZE] = "", *pmdname = mdname;
1185         char mdprops[OSSL_MAX_PROPQUERY_SIZE] = "", *pmdprops = mdprops;
1186         const OSSL_PARAM *propsp =
1187             OSSL_PARAM_locate_const(params,
1188                                     OSSL_SIGNATURE_PARAM_MGF1_PROPERTIES);
1189
1190         if (!OSSL_PARAM_get_utf8_string(p, &pmdname, sizeof(mdname)))
1191             return 0;
1192
1193         if (propsp == NULL)
1194             pmdprops = NULL;
1195         else if (!OSSL_PARAM_get_utf8_string(propsp,
1196                                              &pmdprops, sizeof(mdprops)))
1197             return 0;
1198
1199         if (prsactx->pad_mode != RSA_PKCS1_PSS_PADDING) {
1200             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_MGF1_MD);
1201             return  0;
1202         }
1203
1204         if (rsa_pss_restricted(prsactx)) {
1205             /* TODO(3.0) figure out what to do for prsactx->mgf1_md == NULL */
1206             if (prsactx->mgf1_md == NULL
1207                 || EVP_MD_is_a(prsactx->mgf1_md, mdname))
1208                 return 1;
1209             ERR_raise(ERR_LIB_PROV, PROV_R_DIGEST_NOT_ALLOWED);
1210             return 0;
1211         }
1212
1213         /* non-PSS code follows */
1214         if (!rsa_setup_mgf1_md(prsactx, mdname, pmdprops))
1215             return 0;
1216     }
1217
1218     return 1;
1219 }
1220
1221 static const OSSL_PARAM known_settable_ctx_params[] = {
1222     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PAD_MODE, NULL, 0),
1223     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_DIGEST, NULL, 0),
1224     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PROPERTIES, NULL, 0),
1225     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_DIGEST, NULL, 0),
1226     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_PROPERTIES, NULL, 0),
1227     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PSS_SALTLEN, NULL, 0),
1228     OSSL_PARAM_END
1229 };
1230
1231 static const OSSL_PARAM *rsa_settable_ctx_params(void)
1232 {
1233     /*
1234      * TODO(3.0): Should this function return a different set of settable ctx
1235      * params if the ctx is being used for a DigestSign/DigestVerify? In that
1236      * case it is not allowed to set the digest size/digest name because the
1237      * digest is explicitly set as part of the init.
1238      */
1239     return known_settable_ctx_params;
1240 }
1241
1242 static int rsa_get_ctx_md_params(void *vprsactx, OSSL_PARAM *params)
1243 {
1244     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1245
1246     if (prsactx->mdctx == NULL)
1247         return 0;
1248
1249     return EVP_MD_CTX_get_params(prsactx->mdctx, params);
1250 }
1251
1252 static const OSSL_PARAM *rsa_gettable_ctx_md_params(void *vprsactx)
1253 {
1254     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1255
1256     if (prsactx->md == NULL)
1257         return 0;
1258
1259     return EVP_MD_gettable_ctx_params(prsactx->md);
1260 }
1261
1262 static int rsa_set_ctx_md_params(void *vprsactx, const OSSL_PARAM params[])
1263 {
1264     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1265
1266     if (prsactx->mdctx == NULL)
1267         return 0;
1268
1269     return EVP_MD_CTX_set_params(prsactx->mdctx, params);
1270 }
1271
1272 static const OSSL_PARAM *rsa_settable_ctx_md_params(void *vprsactx)
1273 {
1274     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1275
1276     if (prsactx->md == NULL)
1277         return 0;
1278
1279     return EVP_MD_settable_ctx_params(prsactx->md);
1280 }
1281
1282 const OSSL_DISPATCH rsa_signature_functions[] = {
1283     { OSSL_FUNC_SIGNATURE_NEWCTX, (void (*)(void))rsa_newctx },
1284     { OSSL_FUNC_SIGNATURE_SIGN_INIT, (void (*)(void))rsa_sign_init },
1285     { OSSL_FUNC_SIGNATURE_SIGN, (void (*)(void))rsa_sign },
1286     { OSSL_FUNC_SIGNATURE_VERIFY_INIT, (void (*)(void))rsa_verify_init },
1287     { OSSL_FUNC_SIGNATURE_VERIFY, (void (*)(void))rsa_verify },
1288     { OSSL_FUNC_SIGNATURE_VERIFY_RECOVER_INIT,
1289       (void (*)(void))rsa_verify_recover_init },
1290     { OSSL_FUNC_SIGNATURE_VERIFY_RECOVER,
1291       (void (*)(void))rsa_verify_recover },
1292     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_INIT,
1293       (void (*)(void))rsa_digest_sign_init },
1294     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_UPDATE,
1295       (void (*)(void))rsa_digest_signverify_update },
1296     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_FINAL,
1297       (void (*)(void))rsa_digest_sign_final },
1298     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_INIT,
1299       (void (*)(void))rsa_digest_verify_init },
1300     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_UPDATE,
1301       (void (*)(void))rsa_digest_signverify_update },
1302     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_FINAL,
1303       (void (*)(void))rsa_digest_verify_final },
1304     { OSSL_FUNC_SIGNATURE_FREECTX, (void (*)(void))rsa_freectx },
1305     { OSSL_FUNC_SIGNATURE_DUPCTX, (void (*)(void))rsa_dupctx },
1306     { OSSL_FUNC_SIGNATURE_GET_CTX_PARAMS, (void (*)(void))rsa_get_ctx_params },
1307     { OSSL_FUNC_SIGNATURE_GETTABLE_CTX_PARAMS,
1308       (void (*)(void))rsa_gettable_ctx_params },
1309     { OSSL_FUNC_SIGNATURE_SET_CTX_PARAMS, (void (*)(void))rsa_set_ctx_params },
1310     { OSSL_FUNC_SIGNATURE_SETTABLE_CTX_PARAMS,
1311       (void (*)(void))rsa_settable_ctx_params },
1312     { OSSL_FUNC_SIGNATURE_GET_CTX_MD_PARAMS,
1313       (void (*)(void))rsa_get_ctx_md_params },
1314     { OSSL_FUNC_SIGNATURE_GETTABLE_CTX_MD_PARAMS,
1315       (void (*)(void))rsa_gettable_ctx_md_params },
1316     { OSSL_FUNC_SIGNATURE_SET_CTX_MD_PARAMS,
1317       (void (*)(void))rsa_set_ctx_md_params },
1318     { OSSL_FUNC_SIGNATURE_SETTABLE_CTX_MD_PARAMS,
1319       (void (*)(void))rsa_settable_ctx_md_params },
1320     { 0, NULL }
1321 };