Add RSA SHA512 truncated digest support
[openssl.git] / providers / implementations / signature / rsa.c
1 /*
2  * Copyright 2019-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*
11  * RSA low level APIs are deprecated for public use, but still ok for
12  * internal use.
13  */
14 #include "internal/deprecated.h"
15
16 #include <string.h>
17 #include <openssl/crypto.h>
18 #include <openssl/core_numbers.h>
19 #include <openssl/core_names.h>
20 #include <openssl/err.h>
21 #include <openssl/rsa.h>
22 #include <openssl/params.h>
23 #include <openssl/evp.h>
24 #include "internal/cryptlib.h"
25 #include "internal/nelem.h"
26 #include "internal/sizes.h"
27 #include "crypto/rsa.h"
28 #include "prov/providercommonerr.h"
29 #include "prov/implementations.h"
30 #include "prov/provider_ctx.h"
31 #include "prov/der_rsa.h"
32
33 static OSSL_OP_signature_newctx_fn rsa_newctx;
34 static OSSL_OP_signature_sign_init_fn rsa_signature_init;
35 static OSSL_OP_signature_verify_init_fn rsa_signature_init;
36 static OSSL_OP_signature_verify_recover_init_fn rsa_signature_init;
37 static OSSL_OP_signature_sign_fn rsa_sign;
38 static OSSL_OP_signature_verify_fn rsa_verify;
39 static OSSL_OP_signature_verify_recover_fn rsa_verify_recover;
40 static OSSL_OP_signature_digest_sign_init_fn rsa_digest_signverify_init;
41 static OSSL_OP_signature_digest_sign_update_fn rsa_digest_signverify_update;
42 static OSSL_OP_signature_digest_sign_final_fn rsa_digest_sign_final;
43 static OSSL_OP_signature_digest_verify_init_fn rsa_digest_signverify_init;
44 static OSSL_OP_signature_digest_verify_update_fn rsa_digest_signverify_update;
45 static OSSL_OP_signature_digest_verify_final_fn rsa_digest_verify_final;
46 static OSSL_OP_signature_freectx_fn rsa_freectx;
47 static OSSL_OP_signature_dupctx_fn rsa_dupctx;
48 static OSSL_OP_signature_get_ctx_params_fn rsa_get_ctx_params;
49 static OSSL_OP_signature_gettable_ctx_params_fn rsa_gettable_ctx_params;
50 static OSSL_OP_signature_set_ctx_params_fn rsa_set_ctx_params;
51 static OSSL_OP_signature_settable_ctx_params_fn rsa_settable_ctx_params;
52 static OSSL_OP_signature_get_ctx_md_params_fn rsa_get_ctx_md_params;
53 static OSSL_OP_signature_gettable_ctx_md_params_fn rsa_gettable_ctx_md_params;
54 static OSSL_OP_signature_set_ctx_md_params_fn rsa_set_ctx_md_params;
55 static OSSL_OP_signature_settable_ctx_md_params_fn rsa_settable_ctx_md_params;
56
57 static OSSL_ITEM padding_item[] = {
58     { RSA_PKCS1_PADDING,        "pkcs1"  },
59     { RSA_SSLV23_PADDING,       "sslv23" },
60     { RSA_NO_PADDING,           "none"   },
61     { RSA_PKCS1_OAEP_PADDING,   "oaep"   }, /* Correct spelling first */
62     { RSA_PKCS1_OAEP_PADDING,   "oeap"   },
63     { RSA_X931_PADDING,         "x931"   },
64     { RSA_PKCS1_PSS_PADDING,    "pss"    },
65     { 0,                        NULL     }
66 };
67
68 /*
69  * What's passed as an actual key is defined by the KEYMGMT interface.
70  * We happen to know that our KEYMGMT simply passes RSA structures, so
71  * we use that here too.
72  */
73
74 typedef struct {
75     OPENSSL_CTX *libctx;
76     RSA *rsa;
77
78     /*
79      * Flag to determine if the hash function can be changed (1) or not (0)
80      * Because it's dangerous to change during a DigestSign or DigestVerify
81      * operation, this flag is cleared by their Init function, and set again
82      * by their Final function.
83      */
84     unsigned int flag_allow_md : 1;
85
86     /* The Algorithm Identifier of the combined signature agorithm */
87     unsigned char aid_buf[128];
88     unsigned char *aid;
89     size_t  aid_len;
90
91     /* main digest */
92     EVP_MD *md;
93     EVP_MD_CTX *mdctx;
94     int mdnid;
95     char mdname[OSSL_MAX_NAME_SIZE]; /* Purely informational */
96
97     /* RSA padding mode */
98     int pad_mode;
99     /* message digest for MGF1 */
100     EVP_MD *mgf1_md;
101     char mgf1_mdname[OSSL_MAX_NAME_SIZE]; /* Purely informational */
102     /* PSS salt length */
103     int saltlen;
104     /* Minimum salt length or -1 if no PSS parameter restriction */
105     int min_saltlen;
106
107     /* Temp buffer */
108     unsigned char *tbuf;
109
110 } PROV_RSA_CTX;
111
112 static size_t rsa_get_md_size(const PROV_RSA_CTX *prsactx)
113 {
114     if (prsactx->md != NULL)
115         return EVP_MD_size(prsactx->md);
116     return 0;
117 }
118
119 static int rsa_get_md_nid(const EVP_MD *md)
120 {
121     /*
122      * Because the RSA library deals with NIDs, we need to translate.
123      * We do so using EVP_MD_is_a(), and therefore need a name to NID
124      * map.
125      */
126     static const OSSL_ITEM name_to_nid[] = {
127         { NID_sha1,      OSSL_DIGEST_NAME_SHA1      },
128         { NID_sha224,    OSSL_DIGEST_NAME_SHA2_224  },
129         { NID_sha256,    OSSL_DIGEST_NAME_SHA2_256  },
130         { NID_sha384,    OSSL_DIGEST_NAME_SHA2_384  },
131         { NID_sha512,    OSSL_DIGEST_NAME_SHA2_512  },
132         { NID_sha512_224, OSSL_DIGEST_NAME_SHA2_512_224 },
133         { NID_sha512_256, OSSL_DIGEST_NAME_SHA2_512_256 },
134         { NID_md5,       OSSL_DIGEST_NAME_MD5       },
135         { NID_md5_sha1,  OSSL_DIGEST_NAME_MD5_SHA1  },
136         { NID_md2,       OSSL_DIGEST_NAME_MD2       },
137         { NID_md4,       OSSL_DIGEST_NAME_MD4       },
138         { NID_mdc2,      OSSL_DIGEST_NAME_MDC2      },
139         { NID_ripemd160, OSSL_DIGEST_NAME_RIPEMD160 },
140         { NID_sha3_224,  OSSL_DIGEST_NAME_SHA3_224  },
141         { NID_sha3_256,  OSSL_DIGEST_NAME_SHA3_256  },
142         { NID_sha3_384,  OSSL_DIGEST_NAME_SHA3_384  },
143         { NID_sha3_512,  OSSL_DIGEST_NAME_SHA3_512  },
144     };
145     size_t i;
146     int mdnid = NID_undef;
147
148     if (md == NULL)
149         goto end;
150
151     for (i = 0; i < OSSL_NELEM(name_to_nid); i++) {
152         if (EVP_MD_is_a(md, name_to_nid[i].ptr)) {
153             mdnid = (int)name_to_nid[i].id;
154             break;
155         }
156     }
157
158     if (mdnid == NID_undef)
159         ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_DIGEST);
160
161  end:
162     return mdnid;
163 }
164
165 static int rsa_check_padding(int mdnid, int padding)
166 {
167     if (padding == RSA_NO_PADDING) {
168         ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE);
169         return 0;
170     }
171
172     if (padding == RSA_X931_PADDING) {
173         if (RSA_X931_hash_id(mdnid) == -1) {
174             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_X931_DIGEST);
175             return 0;
176         }
177     }
178
179     return 1;
180 }
181
182 static void *rsa_newctx(void *provctx)
183 {
184     PROV_RSA_CTX *prsactx = OPENSSL_zalloc(sizeof(PROV_RSA_CTX));
185
186     if (prsactx == NULL)
187         return NULL;
188
189     prsactx->libctx = PROV_LIBRARY_CONTEXT_OF(provctx);
190     prsactx->flag_allow_md = 1;
191     return prsactx;
192 }
193
194 /* True if PSS parameters are restricted */
195 #define rsa_pss_restricted(prsactx) (prsactx->min_saltlen != -1)
196
197 static int rsa_signature_init(void *vprsactx, void *vrsa)
198 {
199     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
200
201     if (prsactx == NULL || vrsa == NULL || !RSA_up_ref(vrsa))
202         return 0;
203
204     RSA_free(prsactx->rsa);
205     prsactx->rsa = vrsa;
206     if (RSA_get0_pss_params(prsactx->rsa) != NULL)
207         prsactx->pad_mode = RSA_PKCS1_PSS_PADDING;
208     else
209         prsactx->pad_mode = RSA_PKCS1_PADDING;
210     /* Maximum for sign, auto for verify */
211     prsactx->saltlen = RSA_PSS_SALTLEN_AUTO;
212     prsactx->min_saltlen = -1;
213
214     return 1;
215 }
216
217 static int rsa_setup_md(PROV_RSA_CTX *ctx, const char *mdname,
218                         const char *mdprops)
219 {
220     if (mdname != NULL) {
221         EVP_MD *md = EVP_MD_fetch(ctx->libctx, mdname, mdprops);
222         int md_nid = rsa_get_md_nid(md);
223         WPACKET pkt;
224
225         if (md == NULL
226             || md_nid == NID_undef
227             || !rsa_check_padding(md_nid, ctx->pad_mode)) {
228             EVP_MD_free(md);
229             return 0;
230         }
231
232         EVP_MD_CTX_free(ctx->mdctx);
233         EVP_MD_free(ctx->md);
234
235         /*
236          * TODO(3.0) Should we care about DER writing errors?
237          * All it really means is that for some reason, there's no
238          * AlgorithmIdentifier to be had (consider RSA with MD5-SHA1),
239          * but the operation itself is still valid, just as long as it's
240          * not used to construct anything that needs an AlgorithmIdentifier.
241          */
242         ctx->aid_len = 0;
243         if (WPACKET_init_der(&pkt, ctx->aid_buf, sizeof(ctx->aid_buf))
244             && DER_w_algorithmIdentifier_RSA_with(&pkt, -1, ctx->rsa, md_nid)
245             && WPACKET_finish(&pkt)) {
246             WPACKET_get_total_written(&pkt, &ctx->aid_len);
247             ctx->aid = WPACKET_get_curr(&pkt);
248         }
249         WPACKET_cleanup(&pkt);
250
251         ctx->mdctx = NULL;
252         ctx->md = md;
253         ctx->mdnid = md_nid;
254         OPENSSL_strlcpy(ctx->mdname, mdname, sizeof(ctx->mdname));
255     }
256
257     return 1;
258 }
259
260 static int rsa_setup_mgf1_md(PROV_RSA_CTX *ctx, const char *mdname,
261                              const char *props)
262 {
263     if (ctx->mgf1_mdname[0] != '\0')
264         EVP_MD_free(ctx->mgf1_md);
265
266     if ((ctx->mgf1_md = EVP_MD_fetch(ctx->libctx, mdname, props)) == NULL)
267         return 0;
268     OPENSSL_strlcpy(ctx->mgf1_mdname, mdname, sizeof(ctx->mgf1_mdname));
269
270     return 1;
271 }
272
273 static int setup_tbuf(PROV_RSA_CTX *ctx)
274 {
275     if (ctx->tbuf != NULL)
276         return 1;
277     if ((ctx->tbuf = OPENSSL_malloc(RSA_size(ctx->rsa))) == NULL) {
278         ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
279         return 0;
280     }
281     return 1;
282 }
283
284 static void clean_tbuf(PROV_RSA_CTX *ctx)
285 {
286     if (ctx->tbuf != NULL)
287         OPENSSL_cleanse(ctx->tbuf, RSA_size(ctx->rsa));
288 }
289
290 static void free_tbuf(PROV_RSA_CTX *ctx)
291 {
292     OPENSSL_clear_free(ctx->tbuf, RSA_size(ctx->rsa));
293     ctx->tbuf = NULL;
294 }
295
296 static int rsa_sign(void *vprsactx, unsigned char *sig, size_t *siglen,
297                     size_t sigsize, const unsigned char *tbs, size_t tbslen)
298 {
299     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
300     int ret;
301     size_t rsasize = RSA_size(prsactx->rsa);
302     size_t mdsize = rsa_get_md_size(prsactx);
303
304     if (sig == NULL) {
305         *siglen = rsasize;
306         return 1;
307     }
308
309     if (sigsize < (size_t)rsasize)
310         return 0;
311
312     if (mdsize != 0) {
313         if (tbslen != mdsize) {
314             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH);
315             return 0;
316         }
317
318 #ifndef FIPS_MODULE
319         if (EVP_MD_is_a(prsactx->md, OSSL_DIGEST_NAME_MDC2)) {
320             unsigned int sltmp;
321
322             if (prsactx->pad_mode != RSA_PKCS1_PADDING) {
323                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
324                                "only PKCS#1 padding supported with MDC2");
325                 return 0;
326             }
327             ret = RSA_sign_ASN1_OCTET_STRING(0, tbs, tbslen, sig, &sltmp,
328                                              prsactx->rsa);
329
330             if (ret <= 0) {
331                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
332                 return 0;
333             }
334             ret = sltmp;
335             goto end;
336         }
337 #endif
338         switch (prsactx->pad_mode) {
339         case RSA_X931_PADDING:
340             if ((size_t)RSA_size(prsactx->rsa) < tbslen + 1) {
341                 ERR_raise(ERR_LIB_PROV, PROV_R_KEY_SIZE_TOO_SMALL);
342                 return 0;
343             }
344             if (!setup_tbuf(prsactx)) {
345                 ERR_raise(ERR_LIB_PROV, ERR_R_MALLOC_FAILURE);
346                 return 0;
347             }
348             memcpy(prsactx->tbuf, tbs, tbslen);
349             prsactx->tbuf[tbslen] = RSA_X931_hash_id(prsactx->mdnid);
350             ret = RSA_private_encrypt(tbslen + 1, prsactx->tbuf,
351                                       sig, prsactx->rsa, RSA_X931_PADDING);
352             clean_tbuf(prsactx);
353             break;
354
355         case RSA_PKCS1_PADDING:
356             {
357                 unsigned int sltmp;
358
359                 ret = RSA_sign(prsactx->mdnid, tbs, tbslen, sig, &sltmp,
360                                prsactx->rsa);
361                 if (ret <= 0) {
362                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
363                     return 0;
364                 }
365                 ret = sltmp;
366             }
367             break;
368
369         case RSA_PKCS1_PSS_PADDING:
370             /* Check PSS restrictions */
371             if (rsa_pss_restricted(prsactx)) {
372                 switch (prsactx->saltlen) {
373                 case RSA_PSS_SALTLEN_DIGEST:
374                     if (prsactx->min_saltlen > EVP_MD_size(prsactx->md)) {
375                         ERR_raise(ERR_LIB_PROV, PROV_R_PSS_SALTLEN_TOO_SMALL);
376                         return 0;
377                     }
378                     /* FALLTHRU */
379                 default:
380                     if (prsactx->saltlen >= 0
381                         && prsactx->saltlen < prsactx->min_saltlen) {
382                         ERR_raise(ERR_LIB_PROV, PROV_R_PSS_SALTLEN_TOO_SMALL);
383                         return 0;
384                     }
385                     break;
386                 }
387             }
388             if (!setup_tbuf(prsactx))
389                 return 0;
390             if (!RSA_padding_add_PKCS1_PSS_mgf1(prsactx->rsa,
391                                                 prsactx->tbuf, tbs,
392                                                 prsactx->md, prsactx->mgf1_md,
393                                                 prsactx->saltlen)) {
394                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
395                 return 0;
396             }
397             ret = RSA_private_encrypt(RSA_size(prsactx->rsa), prsactx->tbuf,
398                                       sig, prsactx->rsa, RSA_NO_PADDING);
399             clean_tbuf(prsactx);
400             break;
401
402         default:
403             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
404                            "Only X.931, PKCS#1 v1.5 or PSS padding allowed");
405             return 0;
406         }
407     } else {
408         ret = RSA_private_encrypt(tbslen, tbs, sig, prsactx->rsa,
409                                   prsactx->pad_mode);
410     }
411
412 #ifndef FIPS_MODULE
413  end:
414 #endif
415     if (ret <= 0) {
416         ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
417         return 0;
418     }
419
420     *siglen = ret;
421     return 1;
422 }
423
424 static int rsa_verify_recover(void *vprsactx,
425                               unsigned char *rout,
426                               size_t *routlen,
427                               size_t routsize,
428                               const unsigned char *sig,
429                               size_t siglen)
430 {
431     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
432     int ret;
433
434     if (rout == NULL) {
435         *routlen = RSA_size(prsactx->rsa);
436         return 1;
437     }
438
439     if (prsactx->md != NULL) {
440         switch (prsactx->pad_mode) {
441         case RSA_X931_PADDING:
442             if (!setup_tbuf(prsactx))
443                 return 0;
444             ret = RSA_public_decrypt(siglen, sig, prsactx->tbuf, prsactx->rsa,
445                                      RSA_X931_PADDING);
446             if (ret < 1) {
447                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
448                 return 0;
449             }
450             ret--;
451             if (prsactx->tbuf[ret] != RSA_X931_hash_id(prsactx->mdnid)) {
452                 ERR_raise(ERR_LIB_PROV, PROV_R_ALGORITHM_MISMATCH);
453                 return 0;
454             }
455             if (ret != EVP_MD_size(prsactx->md)) {
456                 ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH,
457                                "Should be %d, but got %d",
458                                EVP_MD_size(prsactx->md), ret);
459                 return 0;
460             }
461
462             *routlen = ret;
463             if (routsize < (size_t)ret) {
464                 ERR_raise(ERR_LIB_PROV, PROV_R_OUTPUT_BUFFER_TOO_SMALL);
465                 return 0;
466             }
467             memcpy(rout, prsactx->tbuf, ret);
468             break;
469
470         case RSA_PKCS1_PADDING:
471             {
472                 size_t sltmp;
473
474                 ret = int_rsa_verify(prsactx->mdnid, NULL, 0, rout, &sltmp,
475                                      sig, siglen, prsactx->rsa);
476                 if (ret <= 0) {
477                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
478                     return 0;
479                 }
480                 ret = sltmp;
481             }
482             break;
483
484         default:
485             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
486                            "Only X.931 or PKCS#1 v1.5 padding allowed");
487             return 0;
488         }
489     } else {
490         ret = RSA_public_decrypt(siglen, sig, rout, prsactx->rsa,
491                                  prsactx->pad_mode);
492         if (ret < 0) {
493             ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
494             return 0;
495         }
496     }
497     *routlen = ret;
498     return 1;
499 }
500
501 static int rsa_verify(void *vprsactx, const unsigned char *sig, size_t siglen,
502                       const unsigned char *tbs, size_t tbslen)
503 {
504     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
505     size_t rslen;
506
507     if (prsactx->md != NULL) {
508         switch (prsactx->pad_mode) {
509         case RSA_PKCS1_PADDING:
510             if (!RSA_verify(prsactx->mdnid, tbs, tbslen, sig, siglen,
511                             prsactx->rsa)) {
512                 ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
513                 return 0;
514             }
515             return 1;
516         case RSA_X931_PADDING:
517             if (rsa_verify_recover(prsactx, NULL, &rslen, 0, sig, siglen) <= 0)
518                 return 0;
519             break;
520         case RSA_PKCS1_PSS_PADDING:
521             {
522                 int ret;
523                 size_t mdsize;
524
525                 /* Check PSS restrictions */
526                 if (rsa_pss_restricted(prsactx)) {
527                     switch (prsactx->saltlen) {
528                     case RSA_PSS_SALTLEN_AUTO:
529                         ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PSS_SALTLEN);
530                         return 0;
531                     case RSA_PSS_SALTLEN_DIGEST:
532                         if (prsactx->min_saltlen > EVP_MD_size(prsactx->md)) {
533                             ERR_raise(ERR_LIB_PROV,
534                                       PROV_R_PSS_SALTLEN_TOO_SMALL);
535                             return 0;
536                         }
537                         /* FALLTHRU */
538                     default:
539                         if (prsactx->saltlen >= 0
540                             && prsactx->saltlen < prsactx->min_saltlen) {
541                             ERR_raise(ERR_LIB_PROV, PROV_R_PSS_SALTLEN_TOO_SMALL);
542                             return 0;
543                         }
544                         break;
545                     }
546                 }
547
548                 /*
549                  * We need to check this for the RSA_verify_PKCS1_PSS_mgf1()
550                  * call
551                  */
552                 mdsize = rsa_get_md_size(prsactx);
553                 if (tbslen != mdsize) {
554                     ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_DIGEST_LENGTH,
555                                    "Should be %d, but got %d",
556                                    mdsize, tbslen);
557                     return 0;
558                 }
559
560                 if (!setup_tbuf(prsactx))
561                     return 0;
562                 ret = RSA_public_decrypt(siglen, sig, prsactx->tbuf,
563                                          prsactx->rsa, RSA_NO_PADDING);
564                 if (ret <= 0) {
565                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
566                     return 0;
567                 }
568                 ret = RSA_verify_PKCS1_PSS_mgf1(prsactx->rsa, tbs,
569                                                 prsactx->md, prsactx->mgf1_md,
570                                                 prsactx->tbuf,
571                                                 prsactx->saltlen);
572                 if (ret <= 0) {
573                     ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
574                     return 0;
575                 }
576                 return 1;
577             }
578         default:
579             ERR_raise_data(ERR_LIB_PROV, PROV_R_INVALID_PADDING_MODE,
580                            "Only X.931, PKCS#1 v1.5 or PSS padding allowed");
581             return 0;
582         }
583     } else {
584         if (!setup_tbuf(prsactx))
585             return 0;
586         rslen = RSA_public_decrypt(siglen, sig, prsactx->tbuf, prsactx->rsa,
587                                    prsactx->pad_mode);
588         if (rslen == 0) {
589             ERR_raise(ERR_LIB_PROV, ERR_LIB_RSA);
590             return 0;
591         }
592     }
593
594     if ((rslen != tbslen) || memcmp(tbs, prsactx->tbuf, rslen))
595         return 0;
596
597     return 1;
598 }
599
600 static int rsa_digest_signverify_init(void *vprsactx, const char *mdname,
601                                       const char *props, void *vrsa)
602 {
603     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
604
605     prsactx->flag_allow_md = 0;
606     if (!rsa_signature_init(vprsactx, vrsa)
607         || !rsa_setup_md(prsactx, mdname, props))
608         return 0;
609
610     prsactx->mdctx = EVP_MD_CTX_new();
611     if (prsactx->mdctx == NULL)
612         goto error;
613
614     if (!EVP_DigestInit_ex(prsactx->mdctx, prsactx->md, NULL))
615         goto error;
616
617     return 1;
618
619  error:
620     EVP_MD_CTX_free(prsactx->mdctx);
621     EVP_MD_free(prsactx->md);
622     prsactx->mdctx = NULL;
623     prsactx->md = NULL;
624     return 0;
625 }
626
627 int rsa_digest_signverify_update(void *vprsactx, const unsigned char *data,
628                                  size_t datalen)
629 {
630     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
631
632     if (prsactx == NULL || prsactx->mdctx == NULL)
633         return 0;
634
635     return EVP_DigestUpdate(prsactx->mdctx, data, datalen);
636 }
637
638 int rsa_digest_sign_final(void *vprsactx, unsigned char *sig, size_t *siglen,
639                           size_t sigsize)
640 {
641     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
642     unsigned char digest[EVP_MAX_MD_SIZE];
643     unsigned int dlen = 0;
644
645     prsactx->flag_allow_md = 1;
646     if (prsactx == NULL || prsactx->mdctx == NULL)
647         return 0;
648
649     /*
650      * If sig is NULL then we're just finding out the sig size. Other fields
651      * are ignored. Defer to rsa_sign.
652      */
653     if (sig != NULL) {
654         /*
655          * TODO(3.0): There is the possibility that some externally provided
656          * digests exceed EVP_MAX_MD_SIZE. We should probably handle that somehow -
657          * but that problem is much larger than just in RSA.
658          */
659         if (!EVP_DigestFinal_ex(prsactx->mdctx, digest, &dlen))
660             return 0;
661     }
662
663     return rsa_sign(vprsactx, sig, siglen, sigsize, digest, (size_t)dlen);
664 }
665
666
667 int rsa_digest_verify_final(void *vprsactx, const unsigned char *sig,
668                             size_t siglen)
669 {
670     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
671     unsigned char digest[EVP_MAX_MD_SIZE];
672     unsigned int dlen = 0;
673
674     prsactx->flag_allow_md = 1;
675     if (prsactx == NULL || prsactx->mdctx == NULL)
676         return 0;
677
678     /*
679      * TODO(3.0): There is the possibility that some externally provided
680      * digests exceed EVP_MAX_MD_SIZE. We should probably handle that somehow -
681      * but that problem is much larger than just in RSA.
682      */
683     if (!EVP_DigestFinal_ex(prsactx->mdctx, digest, &dlen))
684         return 0;
685
686     return rsa_verify(vprsactx, sig, siglen, digest, (size_t)dlen);
687 }
688
689 static void rsa_freectx(void *vprsactx)
690 {
691     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
692
693     if (prsactx == NULL)
694         return;
695
696     RSA_free(prsactx->rsa);
697     EVP_MD_CTX_free(prsactx->mdctx);
698     EVP_MD_free(prsactx->md);
699     EVP_MD_free(prsactx->mgf1_md);
700     free_tbuf(prsactx);
701
702     OPENSSL_clear_free(prsactx, sizeof(prsactx));
703 }
704
705 static void *rsa_dupctx(void *vprsactx)
706 {
707     PROV_RSA_CTX *srcctx = (PROV_RSA_CTX *)vprsactx;
708     PROV_RSA_CTX *dstctx;
709
710     dstctx = OPENSSL_zalloc(sizeof(*srcctx));
711     if (dstctx == NULL)
712         return NULL;
713
714     *dstctx = *srcctx;
715     dstctx->rsa = NULL;
716     dstctx->md = NULL;
717     dstctx->mdctx = NULL;
718     dstctx->tbuf = NULL;
719
720     if (srcctx->rsa != NULL && !RSA_up_ref(srcctx->rsa))
721         goto err;
722     dstctx->rsa = srcctx->rsa;
723
724     if (srcctx->md != NULL && !EVP_MD_up_ref(srcctx->md))
725         goto err;
726     dstctx->md = srcctx->md;
727
728     if (srcctx->mgf1_md != NULL && !EVP_MD_up_ref(srcctx->mgf1_md))
729         goto err;
730     dstctx->mgf1_md = srcctx->mgf1_md;
731
732     if (srcctx->mdctx != NULL) {
733         dstctx->mdctx = EVP_MD_CTX_new();
734         if (dstctx->mdctx == NULL
735                 || !EVP_MD_CTX_copy_ex(dstctx->mdctx, srcctx->mdctx))
736             goto err;
737     }
738
739     return dstctx;
740  err:
741     rsa_freectx(dstctx);
742     return NULL;
743 }
744
745 static int rsa_get_ctx_params(void *vprsactx, OSSL_PARAM *params)
746 {
747     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
748     OSSL_PARAM *p;
749
750     if (prsactx == NULL || params == NULL)
751         return 0;
752
753     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_ALGORITHM_ID);
754     if (p != NULL
755         && !OSSL_PARAM_set_octet_string(p, prsactx->aid, prsactx->aid_len))
756         return 0;
757
758     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_PAD_MODE);
759     if (p != NULL)
760         switch (p->data_type) {
761         case OSSL_PARAM_INTEGER:
762             if (!OSSL_PARAM_set_int(p, prsactx->pad_mode))
763                 return 0;
764             break;
765         case OSSL_PARAM_UTF8_STRING:
766             {
767                 int i;
768                 const char *word = NULL;
769
770                 for (i = 0; padding_item[i].id != 0; i++) {
771                     if (prsactx->pad_mode == (int)padding_item[i].id) {
772                         word = padding_item[i].ptr;
773                         break;
774                     }
775                 }
776
777                 if (word != NULL) {
778                     if (!OSSL_PARAM_set_utf8_string(p, word))
779                         return 0;
780                 } else {
781                     ERR_raise(ERR_LIB_PROV, ERR_R_INTERNAL_ERROR);
782                 }
783             }
784             break;
785         default:
786             return 0;
787         }
788
789     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_DIGEST);
790     if (p != NULL && !OSSL_PARAM_set_utf8_string(p, prsactx->mdname))
791         return 0;
792
793     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_MGF1_DIGEST);
794     if (p != NULL && !OSSL_PARAM_set_utf8_string(p, prsactx->mgf1_mdname))
795         return 0;
796
797     p = OSSL_PARAM_locate(params, OSSL_SIGNATURE_PARAM_PSS_SALTLEN);
798     if (p != NULL) {
799         if (p->data_type == OSSL_PARAM_INTEGER) {
800             if (!OSSL_PARAM_set_int(p, prsactx->saltlen))
801                 return 0;
802         } else if (p->data_type == OSSL_PARAM_UTF8_STRING) {
803             switch (prsactx->saltlen) {
804             case RSA_PSS_SALTLEN_DIGEST:
805                 if (!OSSL_PARAM_set_utf8_string(p, "digest"))
806                     return 0;
807                 break;
808             case RSA_PSS_SALTLEN_MAX:
809                 if (!OSSL_PARAM_set_utf8_string(p, "max"))
810                     return 0;
811                 break;
812             case RSA_PSS_SALTLEN_AUTO:
813                 if (!OSSL_PARAM_set_utf8_string(p, "auto"))
814                     return 0;
815                 break;
816             default:
817                 if (BIO_snprintf(p->data, p->data_size, "%d", prsactx->saltlen)
818                     <= 0)
819                     return 0;
820                 break;
821             }
822         }
823     }
824
825     return 1;
826 }
827
828 static const OSSL_PARAM known_gettable_ctx_params[] = {
829     OSSL_PARAM_octet_string(OSSL_SIGNATURE_PARAM_ALGORITHM_ID, NULL, 0),
830     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PAD_MODE, NULL, 0),
831     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_DIGEST, NULL, 0),
832     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_DIGEST, NULL, 0),
833     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PSS_SALTLEN, NULL, 0),
834     OSSL_PARAM_END
835 };
836
837 static const OSSL_PARAM *rsa_gettable_ctx_params(void)
838 {
839     return known_gettable_ctx_params;
840 }
841
842 static int rsa_set_ctx_params(void *vprsactx, const OSSL_PARAM params[])
843 {
844     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
845     const OSSL_PARAM *p;
846
847     if (prsactx == NULL || params == NULL)
848         return 0;
849
850     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_DIGEST);
851     /* Not allowed during certain operations */
852     if (p != NULL && !prsactx->flag_allow_md)
853         return 0;
854     if (p != NULL) {
855         char mdname[OSSL_MAX_NAME_SIZE] = "", *pmdname = mdname;
856         char mdprops[OSSL_MAX_PROPQUERY_SIZE] = "", *pmdprops = mdprops;
857         const OSSL_PARAM *propsp =
858             OSSL_PARAM_locate_const(params,
859                                     OSSL_SIGNATURE_PARAM_PROPERTIES);
860
861         if (!OSSL_PARAM_get_utf8_string(p, &pmdname, sizeof(mdname)))
862             return 0;
863         if (propsp != NULL
864             && !OSSL_PARAM_get_utf8_string(propsp, &pmdprops, sizeof(mdprops)))
865             return 0;
866
867         /* TODO(3.0) PSS check needs more work */
868         if (rsa_pss_restricted(prsactx)) {
869             /* TODO(3.0) figure out what to do for prsactx->md == NULL */
870             if (prsactx->md == NULL || EVP_MD_is_a(prsactx->md, mdname))
871                 return 1;
872             ERR_raise(ERR_LIB_PROV, PROV_R_DIGEST_NOT_ALLOWED);
873             return 0;
874         }
875
876         /* non-PSS code follows */
877         if (!rsa_setup_md(prsactx, mdname, mdprops))
878             return 0;
879     }
880
881     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_PAD_MODE);
882     if (p != NULL) {
883         int pad_mode = 0;
884
885         switch (p->data_type) {
886         case OSSL_PARAM_INTEGER: /* Support for legacy pad mode number */
887             if (!OSSL_PARAM_get_int(p, &pad_mode))
888                 return 0;
889             break;
890         case OSSL_PARAM_UTF8_STRING:
891             {
892                 int i;
893
894                 if (p->data == NULL)
895                     return 0;
896
897                 for (i = 0; padding_item[i].id != 0; i++) {
898                     if (strcmp(p->data, padding_item[i].ptr) == 0) {
899                         pad_mode = padding_item[i].id;
900                         break;
901                     }
902                 }
903             }
904             break;
905         default:
906             return 0;
907         }
908
909         switch (pad_mode) {
910         case RSA_PKCS1_OAEP_PADDING:
911             /*
912              * OAEP padding is for asymmetric cipher only so is not compatible
913              * with signature use.
914              */
915             ERR_raise_data(ERR_LIB_PROV,
916                            PROV_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE,
917                            "OAEP padding not allowed for signing / verifying");
918             return 0;
919         case RSA_PKCS1_PSS_PADDING:
920             if (prsactx->mdname[0] == '\0')
921                 rsa_setup_md(prsactx, "SHA1", "");
922             goto cont;
923         case RSA_PKCS1_PADDING:
924         case RSA_SSLV23_PADDING:
925         case RSA_NO_PADDING:
926         case RSA_X931_PADDING:
927             if (RSA_get0_pss_params(prsactx->rsa) != NULL) {
928                 ERR_raise_data(ERR_LIB_PROV,
929                                PROV_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE,
930                                "X.931 padding not allowed with RSA-PSS");
931                 return 0;
932             }
933         cont:
934             if (!rsa_check_padding(prsactx->mdnid, pad_mode))
935                 return 0;
936             break;
937         default:
938             return 0;
939         }
940         prsactx->pad_mode = pad_mode;
941     }
942
943     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_PSS_SALTLEN);
944     if (p != NULL) {
945         int saltlen;
946
947         if (prsactx->pad_mode != RSA_PKCS1_PSS_PADDING) {
948             ERR_raise_data(ERR_LIB_PROV, PROV_R_NOT_SUPPORTED,
949                            "PSS saltlen can only be specified if "
950                            "PSS padding has been specified first");
951             return 0;
952         }
953
954         switch (p->data_type) {
955         case OSSL_PARAM_INTEGER: /* Support for legacy pad mode number */
956             if (!OSSL_PARAM_get_int(p, &saltlen))
957                 return 0;
958             break;
959         case OSSL_PARAM_UTF8_STRING:
960             if (strcmp(p->data, "digest") == 0)
961                 saltlen = RSA_PSS_SALTLEN_DIGEST;
962             else if (strcmp(p->data, "max") == 0)
963                 saltlen = RSA_PSS_SALTLEN_MAX;
964             else if (strcmp(p->data, "auto") == 0)
965                 saltlen = RSA_PSS_SALTLEN_AUTO;
966             else
967                 saltlen = atoi(p->data);
968             break;
969         default:
970             return 0;
971         }
972
973         /*
974          * RSA_PSS_SALTLEN_MAX seems curiously named in this check.
975          * Contrary to what it's name suggests, it's the currently
976          * lowest saltlen number possible.
977          */
978         if (saltlen < RSA_PSS_SALTLEN_MAX) {
979             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_PSS_SALTLEN);
980             return 0;
981         }
982
983         prsactx->saltlen = saltlen;
984     }
985
986     p = OSSL_PARAM_locate_const(params, OSSL_SIGNATURE_PARAM_MGF1_DIGEST);
987     if (p != NULL) {
988         char mdname[OSSL_MAX_NAME_SIZE] = "", *pmdname = mdname;
989         char mdprops[OSSL_MAX_PROPQUERY_SIZE] = "", *pmdprops = mdprops;
990         const OSSL_PARAM *propsp =
991             OSSL_PARAM_locate_const(params,
992                                     OSSL_SIGNATURE_PARAM_MGF1_PROPERTIES);
993
994         if (!OSSL_PARAM_get_utf8_string(p, &pmdname, sizeof(mdname)))
995             return 0;
996         if (propsp != NULL
997             && !OSSL_PARAM_get_utf8_string(propsp, &pmdprops, sizeof(mdprops)))
998             return 0;
999
1000         if (prsactx->pad_mode != RSA_PKCS1_PSS_PADDING) {
1001             ERR_raise(ERR_LIB_PROV, PROV_R_INVALID_MGF1_MD);
1002             return  0;
1003         }
1004
1005         /* TODO(3.0) PSS check needs more work */
1006         if (rsa_pss_restricted(prsactx)) {
1007             /* TODO(3.0) figure out what to do for prsactx->md == NULL */
1008             if (prsactx->mgf1_md == NULL
1009                 || EVP_MD_is_a(prsactx->mgf1_md, mdname))
1010                 return 1;
1011             ERR_raise(ERR_LIB_PROV, PROV_R_DIGEST_NOT_ALLOWED);
1012             return 0;
1013         }
1014
1015         /* non-PSS code follows */
1016         if (!rsa_setup_mgf1_md(prsactx, mdname, mdprops))
1017             return 0;
1018     }
1019
1020     return 1;
1021 }
1022
1023 static const OSSL_PARAM known_settable_ctx_params[] = {
1024     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PAD_MODE, NULL, 0),
1025     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_DIGEST, NULL, 0),
1026     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PROPERTIES, NULL, 0),
1027     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_DIGEST, NULL, 0),
1028     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_MGF1_PROPERTIES, NULL, 0),
1029     OSSL_PARAM_utf8_string(OSSL_SIGNATURE_PARAM_PSS_SALTLEN, NULL, 0),
1030     OSSL_PARAM_END
1031 };
1032
1033 static const OSSL_PARAM *rsa_settable_ctx_params(void)
1034 {
1035     /*
1036      * TODO(3.0): Should this function return a different set of settable ctx
1037      * params if the ctx is being used for a DigestSign/DigestVerify? In that
1038      * case it is not allowed to set the digest size/digest name because the
1039      * digest is explicitly set as part of the init.
1040      */
1041     return known_settable_ctx_params;
1042 }
1043
1044 static int rsa_get_ctx_md_params(void *vprsactx, OSSL_PARAM *params)
1045 {
1046     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1047
1048     if (prsactx->mdctx == NULL)
1049         return 0;
1050
1051     return EVP_MD_CTX_get_params(prsactx->mdctx, params);
1052 }
1053
1054 static const OSSL_PARAM *rsa_gettable_ctx_md_params(void *vprsactx)
1055 {
1056     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1057
1058     if (prsactx->md == NULL)
1059         return 0;
1060
1061     return EVP_MD_gettable_ctx_params(prsactx->md);
1062 }
1063
1064 static int rsa_set_ctx_md_params(void *vprsactx, const OSSL_PARAM params[])
1065 {
1066     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1067
1068     if (prsactx->mdctx == NULL)
1069         return 0;
1070
1071     return EVP_MD_CTX_set_params(prsactx->mdctx, params);
1072 }
1073
1074 static const OSSL_PARAM *rsa_settable_ctx_md_params(void *vprsactx)
1075 {
1076     PROV_RSA_CTX *prsactx = (PROV_RSA_CTX *)vprsactx;
1077
1078     if (prsactx->md == NULL)
1079         return 0;
1080
1081     return EVP_MD_settable_ctx_params(prsactx->md);
1082 }
1083
1084 const OSSL_DISPATCH rsa_signature_functions[] = {
1085     { OSSL_FUNC_SIGNATURE_NEWCTX, (void (*)(void))rsa_newctx },
1086     { OSSL_FUNC_SIGNATURE_SIGN_INIT, (void (*)(void))rsa_signature_init },
1087     { OSSL_FUNC_SIGNATURE_SIGN, (void (*)(void))rsa_sign },
1088     { OSSL_FUNC_SIGNATURE_VERIFY_INIT, (void (*)(void))rsa_signature_init },
1089     { OSSL_FUNC_SIGNATURE_VERIFY, (void (*)(void))rsa_verify },
1090     { OSSL_FUNC_SIGNATURE_VERIFY_RECOVER_INIT, (void (*)(void))rsa_signature_init },
1091     { OSSL_FUNC_SIGNATURE_VERIFY_RECOVER, (void (*)(void))rsa_verify_recover },
1092     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_INIT,
1093       (void (*)(void))rsa_digest_signverify_init },
1094     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_UPDATE,
1095       (void (*)(void))rsa_digest_signverify_update },
1096     { OSSL_FUNC_SIGNATURE_DIGEST_SIGN_FINAL,
1097       (void (*)(void))rsa_digest_sign_final },
1098     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_INIT,
1099       (void (*)(void))rsa_digest_signverify_init },
1100     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_UPDATE,
1101       (void (*)(void))rsa_digest_signverify_update },
1102     { OSSL_FUNC_SIGNATURE_DIGEST_VERIFY_FINAL,
1103       (void (*)(void))rsa_digest_verify_final },
1104     { OSSL_FUNC_SIGNATURE_FREECTX, (void (*)(void))rsa_freectx },
1105     { OSSL_FUNC_SIGNATURE_DUPCTX, (void (*)(void))rsa_dupctx },
1106     { OSSL_FUNC_SIGNATURE_GET_CTX_PARAMS, (void (*)(void))rsa_get_ctx_params },
1107     { OSSL_FUNC_SIGNATURE_GETTABLE_CTX_PARAMS,
1108       (void (*)(void))rsa_gettable_ctx_params },
1109     { OSSL_FUNC_SIGNATURE_SET_CTX_PARAMS, (void (*)(void))rsa_set_ctx_params },
1110     { OSSL_FUNC_SIGNATURE_SETTABLE_CTX_PARAMS,
1111       (void (*)(void))rsa_settable_ctx_params },
1112     { OSSL_FUNC_SIGNATURE_GET_CTX_MD_PARAMS,
1113       (void (*)(void))rsa_get_ctx_md_params },
1114     { OSSL_FUNC_SIGNATURE_GETTABLE_CTX_MD_PARAMS,
1115       (void (*)(void))rsa_gettable_ctx_md_params },
1116     { OSSL_FUNC_SIGNATURE_SET_CTX_MD_PARAMS,
1117       (void (*)(void))rsa_set_ctx_md_params },
1118     { OSSL_FUNC_SIGNATURE_SETTABLE_CTX_MD_PARAMS,
1119       (void (*)(void))rsa_settable_ctx_md_params },
1120     { 0, NULL }
1121 };