crypto/rsa/rsa_ameth.c

   1 /*
   2  * Copyright 2006-2020 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the Apache License 2.0 (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 /*
  11  * RSA low level APIs are deprecated for public use, but still ok for
  12  * internal use.
  13  */
  14 #include "internal/deprecated.h"
  15
  16 #include <stdio.h>
  17 #include "internal/cryptlib.h"
  18 #include <openssl/asn1t.h>
  19 #include <openssl/x509.h>
  20 #include <openssl/bn.h>
  21 #include <openssl/cms.h>
  22 #include <openssl/core_names.h>
  23 #include <openssl/param_build.h>
  24 #include "crypto/asn1.h"
  25 #include "crypto/evp.h"
  26 #include "crypto/rsa.h"
  27 #include "rsa_local.h"
  28
  29 #ifndef OPENSSL_NO_CMS
  30 static int rsa_cms_sign(CMS_SignerInfo *si);
  31 static int rsa_cms_verify(CMS_SignerInfo *si);
  32 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
  33 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
  34 #endif
  35
  36 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
  37 static int rsa_sync_to_pss_params_30(RSA *rsa);
  38
  39 /* Set any parameters associated with pkey */
  40 static int rsa_param_encode(const EVP_PKEY *pkey,
  41                             ASN1_STRING **pstr, int *pstrtype)
  42 {
  43     const RSA *rsa = pkey->pkey.rsa;
  44
  45     *pstr = NULL;
  46     /* If RSA it's just NULL type */
  47     if (RSA_test_flags(rsa, RSA_FLAG_TYPE_MASK) != RSA_FLAG_TYPE_RSASSAPSS) {
  48         *pstrtype = V_ASN1_NULL;
  49         return 1;
  50     }
  51     /* If no PSS parameters we omit parameters entirely */
  52     if (rsa->pss == NULL) {
  53         *pstrtype = V_ASN1_UNDEF;
  54         return 1;
  55     }
  56     /* Encode PSS parameters */
  57     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
  58         return 0;
  59
  60     *pstrtype = V_ASN1_SEQUENCE;
  61     return 1;
  62 }
  63 /* Decode any parameters and set them in RSA structure */
  64 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
  65 {
  66     const ASN1_OBJECT *algoid;
  67     const void *algp;
  68     int algptype;
  69
  70     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
  71     if (OBJ_obj2nid(algoid) != EVP_PKEY_RSA_PSS)
  72         return 1;
  73     if (algptype == V_ASN1_UNDEF)
  74         return 1;
  75     if (algptype != V_ASN1_SEQUENCE) {
  76         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
  77         return 0;
  78     }
  79     rsa->pss = rsa_pss_decode(alg);
  80     if (rsa->pss == NULL)
  81         return 0;
  82     if (!rsa_sync_to_pss_params_30(rsa))
  83         return 0;
  84     return 1;
  85 }
  86
  87 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
  88 {
  89     unsigned char *penc = NULL;
  90     int penclen;
  91     ASN1_STRING *str;
  92     int strtype;
  93
  94     if (!rsa_param_encode(pkey, &str, &strtype))
  95         return 0;
  96     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
  97     if (penclen <= 0)
  98         return 0;
  99     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
 100                                strtype, str, penc, penclen))
 101         return 1;
 102
 103     OPENSSL_free(penc);
 104     return 0;
 105 }
 106
 107 static int rsa_pub_decode(EVP_PKEY *pkey, const X509_PUBKEY *pubkey)
 108 {
 109     const unsigned char *p;
 110     int pklen;
 111     X509_ALGOR *alg;
 112     RSA *rsa = NULL;
 113
 114     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
 115         return 0;
 116     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL)
 117         return 0;
 118     if (!rsa_param_decode(rsa, alg)) {
 119         RSA_free(rsa);
 120         return 0;
 121     }
 122
 123     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
 124     switch (pkey->ameth->pkey_id) {
 125     case EVP_PKEY_RSA:
 126         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
 127         break;
 128     case EVP_PKEY_RSA_PSS:
 129         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
 130         break;
 131     default:
 132         /* Leave the type bits zero */
 133         break;
 134     }
 135
 136     if (!EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa)) {
 137         RSA_free(rsa);
 138         return 0;
 139     }
 140     return 1;
 141 }
 142
 143 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
 144 {
 145     /*
 146      * Don't check the public/private key, this is mostly for smart
 147      * cards.
 148      */
 149     if (((RSA_flags(a->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK))
 150             || (RSA_flags(b->pkey.rsa) & RSA_METHOD_FLAG_NO_CHECK)) {
 151         return 1;
 152     }
 153
 154     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
 155         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
 156         return 0;
 157     return 1;
 158 }
 159
 160 static int old_rsa_priv_decode(EVP_PKEY *pkey,
 161                                const unsigned char **pder, int derlen)
 162 {
 163     RSA *rsa;
 164
 165     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL)
 166         return 0;
 167     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
 168     return 1;
 169 }
 170
 171 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
 172 {
 173     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
 174 }
 175
 176 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
 177 {
 178     unsigned char *rk = NULL;
 179     int rklen;
 180     ASN1_STRING *str;
 181     int strtype;
 182
 183     if (!rsa_param_encode(pkey, &str, &strtype))
 184         return 0;
 185     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
 186
 187     if (rklen <= 0) {
 188         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
 189         ASN1_STRING_free(str);
 190         return 0;
 191     }
 192
 193     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
 194                          strtype, str, rk, rklen)) {
 195         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
 196         ASN1_STRING_free(str);
 197         return 0;
 198     }
 199
 200     return 1;
 201 }
 202
 203 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
 204 {
 205     const unsigned char *p;
 206     RSA *rsa;
 207     int pklen;
 208     const X509_ALGOR *alg;
 209
 210     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
 211         return 0;
 212     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
 213     if (rsa == NULL) {
 214         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
 215         return 0;
 216     }
 217     if (!rsa_param_decode(rsa, alg)) {
 218         RSA_free(rsa);
 219         return 0;
 220     }
 221
 222     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
 223     switch (pkey->ameth->pkey_id) {
 224     case EVP_PKEY_RSA:
 225         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSA);
 226         break;
 227     case EVP_PKEY_RSA_PSS:
 228         RSA_set_flags(rsa, RSA_FLAG_TYPE_RSASSAPSS);
 229         break;
 230     default:
 231         /* Leave the type bits zero */
 232         break;
 233     }
 234
 235     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
 236     return 1;
 237 }
 238
 239 static int int_rsa_size(const EVP_PKEY *pkey)
 240 {
 241     return RSA_size(pkey->pkey.rsa);
 242 }
 243
 244 static int rsa_bits(const EVP_PKEY *pkey)
 245 {
 246     return BN_num_bits(pkey->pkey.rsa->n);
 247 }
 248
 249 static int rsa_security_bits(const EVP_PKEY *pkey)
 250 {
 251     return RSA_security_bits(pkey->pkey.rsa);
 252 }
 253
 254 static void int_rsa_free(EVP_PKEY *pkey)
 255 {
 256     RSA_free(pkey->pkey.rsa);
 257 }
 258
 259 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
 260 {
 261     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
 262         return NULL;
 263     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
 264                                      alg->parameter);
 265 }
 266
 267 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
 268                                int indent)
 269 {
 270     int rv = 0;
 271     X509_ALGOR *maskHash = NULL;
 272
 273     if (!BIO_indent(bp, indent, 128))
 274         goto err;
 275     if (pss_key) {
 276         if (pss == NULL) {
 277             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
 278                 return 0;
 279             return 1;
 280         } else {
 281             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
 282                 return 0;
 283         }
 284     } else if (pss == NULL) {
 285         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
 286             return 0;
 287         return 1;
 288     }
 289     if (BIO_puts(bp, "\n") <= 0)
 290         goto err;
 291     if (pss_key)
 292         indent += 2;
 293     if (!BIO_indent(bp, indent, 128))
 294         goto err;
 295     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
 296         goto err;
 297
 298     if (pss->hashAlgorithm) {
 299         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
 300             goto err;
 301     } else if (BIO_puts(bp, "sha1 (default)") <= 0) {
 302         goto err;
 303     }
 304
 305     if (BIO_puts(bp, "\n") <= 0)
 306         goto err;
 307
 308     if (!BIO_indent(bp, indent, 128))
 309         goto err;
 310
 311     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
 312         goto err;
 313     if (pss->maskGenAlgorithm) {
 314         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
 315             goto err;
 316         if (BIO_puts(bp, " with ") <= 0)
 317             goto err;
 318         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
 319         if (maskHash != NULL) {
 320             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
 321                 goto err;
 322         } else if (BIO_puts(bp, "INVALID") <= 0) {
 323             goto err;
 324         }
 325     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0) {
 326         goto err;
 327     }
 328     BIO_puts(bp, "\n");
 329
 330     if (!BIO_indent(bp, indent, 128))
 331         goto err;
 332     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
 333         goto err;
 334     if (pss->saltLength) {
 335         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
 336             goto err;
 337     } else if (BIO_puts(bp, "14 (default)") <= 0) {
 338         goto err;
 339     }
 340     BIO_puts(bp, "\n");
 341
 342     if (!BIO_indent(bp, indent, 128))
 343         goto err;
 344     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
 345         goto err;
 346     if (pss->trailerField) {
 347         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
 348             goto err;
 349     } else if (BIO_puts(bp, "BC (default)") <= 0) {
 350         goto err;
 351     }
 352     BIO_puts(bp, "\n");
 353
 354     rv = 1;
 355
 356  err:
 357     X509_ALGOR_free(maskHash);
 358     return rv;
 359
 360 }
 361
 362 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
 363 {
 364     const RSA *x = pkey->pkey.rsa;
 365     char *str;
 366     const char *s;
 367     int ret = 0, mod_len = 0, ex_primes;
 368
 369     if (x->n != NULL)
 370         mod_len = BN_num_bits(x->n);
 371     ex_primes = sk_RSA_PRIME_INFO_num(x->prime_infos);
 372
 373     if (!BIO_indent(bp, off, 128))
 374         goto err;
 375
 376     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
 377         goto err;
 378
 379     if (priv && x->d) {
 380         if (BIO_printf(bp, "Private-Key: (%d bit, %d primes)\n",
 381                        mod_len, ex_primes <= 0 ? 2 : ex_primes + 2) <= 0)
 382             goto err;
 383         str = "modulus:";
 384         s = "publicExponent:";
 385     } else {
 386         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
 387             goto err;
 388         str = "Modulus:";
 389         s = "Exponent:";
 390     }
 391     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
 392         goto err;
 393     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
 394         goto err;
 395     if (priv) {
 396         int i;
 397
 398         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
 399             goto err;
 400         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
 401             goto err;
 402         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
 403             goto err;
 404         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
 405             goto err;
 406         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
 407             goto err;
 408         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
 409             goto err;
 410         for (i = 0; i < sk_RSA_PRIME_INFO_num(x->prime_infos); i++) {
 411             /* print multi-prime info */
 412             BIGNUM *bn = NULL;
 413             RSA_PRIME_INFO *pinfo;
 414             int j;
 415
 416             pinfo = sk_RSA_PRIME_INFO_value(x->prime_infos, i);
 417             for (j = 0; j < 3; j++) {
 418                 if (!BIO_indent(bp, off, 128))
 419                     goto err;
 420                 switch (j) {
 421                 case 0:
 422                     if (BIO_printf(bp, "prime%d:", i + 3) <= 0)
 423                         goto err;
 424                     bn = pinfo->r;
 425                     break;
 426                 case 1:
 427                     if (BIO_printf(bp, "exponent%d:", i + 3) <= 0)
 428                         goto err;
 429                     bn = pinfo->d;
 430                     break;
 431                 case 2:
 432                     if (BIO_printf(bp, "coefficient%d:", i + 3) <= 0)
 433                         goto err;
 434                     bn = pinfo->t;
 435                     break;
 436                 default:
 437                     break;
 438                 }
 439                 if (!ASN1_bn_print(bp, "", bn, NULL, off))
 440                     goto err;
 441             }
 442         }
 443     }
 444     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
 445         goto err;
 446     ret = 1;
 447  err:
 448     return ret;
 449 }
 450
 451 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
 452                          ASN1_PCTX *ctx)
 453 {
 454     return pkey_rsa_print(bp, pkey, indent, 0);
 455 }
 456
 457 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
 458                           ASN1_PCTX *ctx)
 459 {
 460     return pkey_rsa_print(bp, pkey, indent, 1);
 461 }
 462
 463 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
 464 {
 465     RSA_PSS_PARAMS *pss;
 466
 467     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
 468                                     alg->parameter);
 469
 470     if (pss == NULL)
 471         return NULL;
 472
 473     if (pss->maskGenAlgorithm != NULL) {
 474         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
 475         if (pss->maskHash == NULL) {
 476             RSA_PSS_PARAMS_free(pss);
 477             return NULL;
 478         }
 479     }
 480
 481     return pss;
 482 }
 483
 484 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
 485                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
 486 {
 487     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
 488         int rv;
 489         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
 490
 491         rv = rsa_pss_param_print(bp, 0, pss, indent);
 492         RSA_PSS_PARAMS_free(pss);
 493         if (!rv)
 494             return 0;
 495     } else if (BIO_puts(bp, "\n") <= 0) {
 496         return 0;
 497     }
 498     if (sig)
 499         return X509_signature_dump(bp, sig, indent);
 500     return 1;
 501 }
 502
 503 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
 504 {
 505     X509_ALGOR *alg = NULL;
 506     const EVP_MD *md;
 507     const EVP_MD *mgf1md;
 508     int min_saltlen;
 509
 510     switch (op) {
 511
 512     case ASN1_PKEY_CTRL_PKCS7_SIGN:
 513         if (arg1 == 0)
 514             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
 515         break;
 516
 517     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
 518         if (pkey_is_pss(pkey))
 519             return -2;
 520         if (arg1 == 0)
 521             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
 522         break;
 523 #ifndef OPENSSL_NO_CMS
 524     case ASN1_PKEY_CTRL_CMS_SIGN:
 525         if (arg1 == 0)
 526             return rsa_cms_sign(arg2);
 527         else if (arg1 == 1)
 528             return rsa_cms_verify(arg2);
 529         break;
 530
 531     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
 532         if (pkey_is_pss(pkey))
 533             return -2;
 534         if (arg1 == 0)
 535             return rsa_cms_encrypt(arg2);
 536         else if (arg1 == 1)
 537             return rsa_cms_decrypt(arg2);
 538         break;
 539
 540     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
 541         if (pkey_is_pss(pkey))
 542             return -2;
 543         *(int *)arg2 = CMS_RECIPINFO_TRANS;
 544         return 1;
 545 #endif
 546
 547     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
 548         if (pkey->pkey.rsa->pss != NULL) {
 549             if (!rsa_pss_get_param(pkey->pkey.rsa->pss, &md, &mgf1md,
 550                                    &min_saltlen)) {
 551                 RSAerr(0, ERR_R_INTERNAL_ERROR);
 552                 return 0;
 553             }
 554             *(int *)arg2 = EVP_MD_type(md);
 555             /* Return of 2 indicates this MD is mandatory */
 556             return 2;
 557         }
 558         *(int *)arg2 = NID_sha256;
 559         return 1;
 560
 561     default:
 562         return -2;
 563
 564     }
 565
 566     if (alg)
 567         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
 568
 569     return 1;
 570
 571 }
 572
 573 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
 574 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
 575 {
 576     if (md == NULL || EVP_MD_type(md) == NID_sha1)
 577         return 1;
 578     *palg = X509_ALGOR_new();
 579     if (*palg == NULL)
 580         return 0;
 581     X509_ALGOR_set_md(*palg, md);
 582     return 1;
 583 }
 584
 585 /* Allocate and set MGF1 algorithm ID from EVP_MD */
 586 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
 587 {
 588     X509_ALGOR *algtmp = NULL;
 589     ASN1_STRING *stmp = NULL;
 590
 591     *palg = NULL;
 592     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
 593         return 1;
 594     /* need to embed algorithm ID inside another */
 595     if (!rsa_md_to_algor(&algtmp, mgf1md))
 596         goto err;
 597     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
 598          goto err;
 599     *palg = X509_ALGOR_new();
 600     if (*palg == NULL)
 601         goto err;
 602     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
 603     stmp = NULL;
 604  err:
 605     ASN1_STRING_free(stmp);
 606     X509_ALGOR_free(algtmp);
 607     if (*palg)
 608         return 1;
 609     return 0;
 610 }
 611
 612 /* convert algorithm ID to EVP_MD, default SHA1 */
 613 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
 614 {
 615     const EVP_MD *md;
 616
 617     if (!alg)
 618         return EVP_sha1();
 619     md = EVP_get_digestbyobj(alg->algorithm);
 620     if (md == NULL)
 621         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
 622     return md;
 623 }
 624
 625 /*
 626  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
 627  * suitable for setting an AlgorithmIdentifier.
 628  */
 629
 630 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
 631 {
 632     const EVP_MD *sigmd, *mgf1md;
 633     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
 634     RSA *rsa = EVP_PKEY_get0_RSA(pk);
 635     int saltlen;
 636
 637     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
 638         return NULL;
 639     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
 640         return NULL;
 641     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
 642         return NULL;
 643     if (saltlen == -1) {
 644         saltlen = EVP_MD_size(sigmd);
 645     } else if (saltlen == -2 || saltlen == -3) {
 646         saltlen = RSA_size(rsa) - EVP_MD_size(sigmd) - 2;
 647         if ((EVP_PKEY_bits(pk) & 0x7) == 1)
 648             saltlen--;
 649         if (saltlen < 0)
 650             return NULL;
 651     }
 652
 653     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
 654 }
 655
 656 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
 657                                       const EVP_MD *mgf1md, int saltlen)
 658 {
 659     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
 660
 661     if (pss == NULL)
 662         goto err;
 663     if (saltlen != 20) {
 664         pss->saltLength = ASN1_INTEGER_new();
 665         if (pss->saltLength == NULL)
 666             goto err;
 667         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
 668             goto err;
 669     }
 670     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
 671         goto err;
 672     if (mgf1md == NULL)
 673         mgf1md = sigmd;
 674     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
 675         goto err;
 676     if (!rsa_md_to_algor(&pss->maskHash, mgf1md))
 677         goto err;
 678     return pss;
 679  err:
 680     RSA_PSS_PARAMS_free(pss);
 681     return NULL;
 682 }
 683
 684 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
 685 {
 686     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
 687     ASN1_STRING *os;
 688
 689     if (pss == NULL)
 690         return NULL;
 691
 692     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
 693     RSA_PSS_PARAMS_free(pss);
 694     return os;
 695 }
 696
 697 /*
 698  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
 699  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
 700  * passed to pkctx instead.
 701  */
 702
 703 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
 704                           const X509_ALGOR *sigalg, EVP_PKEY *pkey)
 705 {
 706     int rv = -1;
 707     int saltlen;
 708     const EVP_MD *mgf1md = NULL, *md = NULL;
 709     RSA_PSS_PARAMS *pss;
 710
 711     /* Sanity check: make sure it is PSS */
 712     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
 713         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
 714         return -1;
 715     }
 716     /* Decode PSS parameters */
 717     pss = rsa_pss_decode(sigalg);
 718
 719     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
 720         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
 721         goto err;
 722     }
 723
 724     /* We have all parameters now set up context */
 725     if (pkey) {
 726         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
 727             goto err;
 728     } else {
 729         const EVP_MD *checkmd;
 730         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
 731             goto err;
 732         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
 733             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
 734             goto err;
 735         }
 736     }
 737
 738     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
 739         goto err;
 740
 741     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
 742         goto err;
 743
 744     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
 745         goto err;
 746     /* Carry on */
 747     rv = 1;
 748
 749  err:
 750     RSA_PSS_PARAMS_free(pss);
 751     return rv;
 752 }
 753
 754 static int rsa_pss_verify_param(const EVP_MD **pmd, const EVP_MD **pmgf1md,
 755                                 int *psaltlen, int *ptrailerField)
 756 {
 757     if (psaltlen != NULL && *psaltlen < 0) {
 758         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_SALT_LENGTH);
 759         return 0;
 760     }
 761     /*
 762      * low-level routines support only trailer field 0xbc (value 1) and
 763      * PKCS#1 says we should reject any other value anyway.
 764      */
 765     if (ptrailerField != NULL && *ptrailerField != 1) {
 766         ERR_raise(ERR_LIB_RSA, RSA_R_INVALID_TRAILER);
 767         return 0;
 768     }
 769     return 1;
 770 }
 771
 772 static int rsa_pss_get_param_unverified(const RSA_PSS_PARAMS *pss,
 773                                         const EVP_MD **pmd,
 774                                         const EVP_MD **pmgf1md,
 775                                         int *psaltlen, int *ptrailerField)
 776 {
 777     RSA_PSS_PARAMS_30 pss_params;
 778
 779     /* Get the defaults from the ONE place */
 780     (void)rsa_pss_params_30_set_defaults(&pss_params);
 781
 782     if (pss == NULL)
 783         return 0;
 784     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
 785     if (*pmd == NULL)
 786         return 0;
 787     *pmgf1md = rsa_algor_to_md(pss->maskHash);
 788     if (*pmgf1md == NULL)
 789         return 0;
 790     if (pss->saltLength)
 791         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
 792     else
 793         *psaltlen = rsa_pss_params_30_saltlen(&pss_params);
 794     if (pss->trailerField)
 795         *ptrailerField = ASN1_INTEGER_get(pss->trailerField);
 796     else
 797         *ptrailerField = rsa_pss_params_30_trailerfield(&pss_params);;
 798
 799     return 1;
 800 }
 801
 802 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
 803                       const EVP_MD **pmgf1md, int *psaltlen)
 804 {
 805     /*
 806      * Callers do not care about the trailer field, and yet, we must
 807      * pass it from get_param to verify_param, since the latter checks
 808      * its value.
 809      *
 810      * When callers start caring, it's a simple thing to add another
 811      * argument to this function.
 812      */
 813     int trailerField = 0;
 814
 815     return rsa_pss_get_param_unverified(pss, pmd, pmgf1md, psaltlen,
 816                                         &trailerField)
 817         && rsa_pss_verify_param(pmd, pmgf1md, psaltlen, &trailerField);
 818 }
 819
 820 static int rsa_sync_to_pss_params_30(RSA *rsa)
 821 {
 822     if (rsa != NULL && rsa->pss != NULL) {
 823         const EVP_MD *md = NULL, *mgf1md = NULL;
 824         int md_nid, mgf1md_nid, saltlen, trailerField;
 825         RSA_PSS_PARAMS_30 pss_params;
 826
 827         /*
 828          * We don't care about the validity of the fields here, we just
 829          * want to synchronise values.  Verifying here makes it impossible
 830          * to even read a key with invalid values, making it hard to test
 831          * a bad situation.
 832          *
 833          * Other routines use rsa_pss_get_param(), so the values will be
 834          * checked, eventually.
 835          */
 836         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
 837                                           &saltlen, &trailerField))
 838             return 0;
 839         md_nid = EVP_MD_type(md);
 840         mgf1md_nid = EVP_MD_type(mgf1md);
 841         if (!rsa_pss_params_30_set_defaults(&pss_params)
 842             || !rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
 843             || !rsa_pss_params_30_set_maskgenhashalg(&pss_params, mgf1md_nid)
 844             || !rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
 845             || !rsa_pss_params_30_set_trailerfield(&pss_params, trailerField))
 846             return 0;
 847         rsa->pss_params = pss_params;
 848     }
 849     return 1;
 850 }
 851
 852 #ifndef OPENSSL_NO_CMS
 853 static int rsa_cms_verify(CMS_SignerInfo *si)
 854 {
 855     int nid, nid2;
 856     X509_ALGOR *alg;
 857     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
 858
 859     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
 860     nid = OBJ_obj2nid(alg->algorithm);
 861     if (nid == EVP_PKEY_RSA_PSS)
 862         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
 863     /* Only PSS allowed for PSS keys */
 864     if (pkey_ctx_is_pss(pkctx)) {
 865         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
 866         return 0;
 867     }
 868     if (nid == NID_rsaEncryption)
 869         return 1;
 870     /* Workaround for some implementation that use a signature OID */
 871     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
 872         if (nid2 == NID_rsaEncryption)
 873             return 1;
 874     }
 875     return 0;
 876 }
 877 #endif
 878
 879 /*
 880  * Customised RSA item verification routine. This is called when a signature
 881  * is encountered requiring special handling. We currently only handle PSS.
 882  */
 883
 884 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it,
 885                            const void *asn, const X509_ALGOR *sigalg,
 886                            const ASN1_BIT_STRING *sig, EVP_PKEY *pkey)
 887 {
 888     /* Sanity check: make sure it is PSS */
 889     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
 890         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
 891         return -1;
 892     }
 893     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
 894         /* Carry on */
 895         return 2;
 896     }
 897     return -1;
 898 }
 899
 900 #ifndef OPENSSL_NO_CMS
 901 static int rsa_cms_sign(CMS_SignerInfo *si)
 902 {
 903     int pad_mode = RSA_PKCS1_PADDING;
 904     X509_ALGOR *alg;
 905     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
 906     ASN1_STRING *os = NULL;
 907
 908     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
 909     if (pkctx) {
 910         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
 911             return 0;
 912     }
 913     if (pad_mode == RSA_PKCS1_PADDING) {
 914         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
 915         return 1;
 916     }
 917     /* We don't support it */
 918     if (pad_mode != RSA_PKCS1_PSS_PADDING)
 919         return 0;
 920     os = rsa_ctx_to_pss_string(pkctx);
 921     if (!os)
 922         return 0;
 923     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
 924     return 1;
 925 }
 926 #endif
 927
 928 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, const void *asn,
 929                          X509_ALGOR *alg1, X509_ALGOR *alg2,
 930                          ASN1_BIT_STRING *sig)
 931 {
 932     int pad_mode;
 933     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
 934
 935     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
 936         return 0;
 937     if (pad_mode == RSA_PKCS1_PADDING)
 938         return 2;
 939     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
 940         ASN1_STRING *os1 = NULL;
 941         os1 = rsa_ctx_to_pss_string(pkctx);
 942         if (!os1)
 943             return 0;
 944         /* Duplicate parameters if we have to */
 945         if (alg2) {
 946             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
 947             if (!os2) {
 948                 ASN1_STRING_free(os1);
 949                 return 0;
 950             }
 951             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
 952                             V_ASN1_SEQUENCE, os2);
 953         }
 954         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
 955                         V_ASN1_SEQUENCE, os1);
 956         return 3;
 957     }
 958     return 2;
 959 }
 960
 961 static int rsa_sig_info_set(X509_SIG_INFO *siginf, const X509_ALGOR *sigalg,
 962                             const ASN1_STRING *sig)
 963 {
 964     int rv = 0;
 965     int mdnid, saltlen;
 966     uint32_t flags;
 967     const EVP_MD *mgf1md = NULL, *md = NULL;
 968     RSA_PSS_PARAMS *pss;
 969     int secbits;
 970
 971     /* Sanity check: make sure it is PSS */
 972     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS)
 973         return 0;
 974     /* Decode PSS parameters */
 975     pss = rsa_pss_decode(sigalg);
 976     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen))
 977         goto err;
 978     mdnid = EVP_MD_type(md);
 979     /*
 980      * For TLS need SHA256, SHA384 or SHA512, digest and MGF1 digest must
 981      * match and salt length must equal digest size
 982      */
 983     if ((mdnid == NID_sha256 || mdnid == NID_sha384 || mdnid == NID_sha512)
 984             && mdnid == EVP_MD_type(mgf1md) && saltlen == EVP_MD_size(md))
 985         flags = X509_SIG_INFO_TLS;
 986     else
 987         flags = 0;
 988     /* Note: security bits half number of digest bits */
 989     secbits = EVP_MD_size(md) * 4;
 990     /*
 991      * SHA1 and MD5 are known to be broken. Reduce security bits so that
 992      * they're no longer accepted at security level 1. The real values don't
 993      * really matter as long as they're lower than 80, which is our security
 994      * level 1.
 995      * https://eprint.iacr.org/2020/014 puts a chosen-prefix attack for SHA1 at
 996      * 2^63.4
 997      * https://documents.epfl.ch/users/l/le/lenstra/public/papers/lat.pdf
 998      * puts a chosen-prefix attack for MD5 at 2^39.
 999      */
1000     if (mdnid == NID_sha1)
1001         secbits = 64;
1002     else if (mdnid == NID_md5_sha1)
1003         secbits = 68;
1004     else if (mdnid == NID_md5)
1005         secbits = 39;
1006     X509_SIG_INFO_set(siginf, mdnid, EVP_PKEY_RSA_PSS, secbits,
1007                       flags);
1008     rv = 1;
1009     err:
1010     RSA_PSS_PARAMS_free(pss);
1011     return rv;
1012 }
1013
1014 #ifndef OPENSSL_NO_CMS
1015 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
1016 {
1017     RSA_OAEP_PARAMS *oaep;
1018
1019     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
1020                                      alg->parameter);
1021
1022     if (oaep == NULL)
1023         return NULL;
1024
1025     if (oaep->maskGenFunc != NULL) {
1026         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
1027         if (oaep->maskHash == NULL) {
1028             RSA_OAEP_PARAMS_free(oaep);
1029             return NULL;
1030         }
1031     }
1032     return oaep;
1033 }
1034
1035 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
1036 {
1037     EVP_PKEY_CTX *pkctx;
1038     X509_ALGOR *cmsalg;
1039     int nid;
1040     int rv = -1;
1041     unsigned char *label = NULL;
1042     int labellen = 0;
1043     const EVP_MD *mgf1md = NULL, *md = NULL;
1044     RSA_OAEP_PARAMS *oaep;
1045
1046     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1047     if (pkctx == NULL)
1048         return 0;
1049     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
1050         return -1;
1051     nid = OBJ_obj2nid(cmsalg->algorithm);
1052     if (nid == NID_rsaEncryption)
1053         return 1;
1054     if (nid != NID_rsaesOaep) {
1055         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
1056         return -1;
1057     }
1058     /* Decode OAEP parameters */
1059     oaep = rsa_oaep_decode(cmsalg);
1060
1061     if (oaep == NULL) {
1062         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
1063         goto err;
1064     }
1065
1066     mgf1md = rsa_algor_to_md(oaep->maskHash);
1067     if (mgf1md == NULL)
1068         goto err;
1069     md = rsa_algor_to_md(oaep->hashFunc);
1070     if (md == NULL)
1071         goto err;
1072
1073     if (oaep->pSourceFunc != NULL) {
1074         X509_ALGOR *plab = oaep->pSourceFunc;
1075
1076         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
1077             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
1078             goto err;
1079         }
1080         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
1081             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
1082             goto err;
1083         }
1084
1085         label = plab->parameter->value.octet_string->data;
1086         /* Stop label being freed when OAEP parameters are freed */
1087         plab->parameter->value.octet_string->data = NULL;
1088         labellen = plab->parameter->value.octet_string->length;
1089     }
1090
1091     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
1092         goto err;
1093     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
1094         goto err;
1095     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
1096         goto err;
1097     if (label != NULL
1098             && EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
1099         goto err;
1100     /* Carry on */
1101     rv = 1;
1102
1103  err:
1104     RSA_OAEP_PARAMS_free(oaep);
1105     return rv;
1106 }
1107
1108 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
1109 {
1110     const EVP_MD *md, *mgf1md;
1111     RSA_OAEP_PARAMS *oaep = NULL;
1112     ASN1_STRING *os = NULL;
1113     X509_ALGOR *alg;
1114     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
1115     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
1116     unsigned char *label;
1117
1118     if (CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg) <= 0)
1119         return 0;
1120     if (pkctx) {
1121         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
1122             return 0;
1123     }
1124     if (pad_mode == RSA_PKCS1_PADDING) {
1125         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
1126         return 1;
1127     }
1128     /* Not supported */
1129     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
1130         return 0;
1131     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
1132         goto err;
1133     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
1134         goto err;
1135     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
1136     if (labellen < 0)
1137         goto err;
1138     oaep = RSA_OAEP_PARAMS_new();
1139     if (oaep == NULL)
1140         goto err;
1141     if (!rsa_md_to_algor(&oaep->hashFunc, md))
1142         goto err;
1143     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
1144         goto err;
1145     if (labellen > 0) {
1146         ASN1_OCTET_STRING *los;
1147         oaep->pSourceFunc = X509_ALGOR_new();
1148         if (oaep->pSourceFunc == NULL)
1149             goto err;
1150         los = ASN1_OCTET_STRING_new();
1151         if (los == NULL)
1152             goto err;
1153         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
1154             ASN1_OCTET_STRING_free(los);
1155             goto err;
1156         }
1157         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
1158                         V_ASN1_OCTET_STRING, los);
1159     }
1160     /* create string with pss parameter encoding. */
1161     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
1162          goto err;
1163     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
1164     os = NULL;
1165     rv = 1;
1166  err:
1167     RSA_OAEP_PARAMS_free(oaep);
1168     ASN1_STRING_free(os);
1169     return rv;
1170 }
1171 #endif
1172
1173 static int rsa_pkey_check(const EVP_PKEY *pkey)
1174 {
1175     return RSA_check_key_ex(pkey->pkey.rsa, NULL);
1176 }
1177
1178 static size_t rsa_pkey_dirty_cnt(const EVP_PKEY *pkey)
1179 {
1180     return pkey->pkey.rsa->dirty_cnt;
1181 }
1182
1183 /*
1184  * For the moment, we trust the call path, where keys going through
1185  * rsa_pkey_export_to() match a KEYMGMT for the "RSA" keytype, while
1186  * keys going through rsa_pss_pkey_export_to() match a KEYMGMT for the
1187  * "RSA-PSS" keytype.
1188  * TODO(3.0) Investigate whether we should simply continue to trust the
1189  * call path, or if we should strengthen this function by checking that
1190  * |rsa_type| matches the RSA key subtype.  The latter requires ensuring
1191  * that the type flag for the RSA key is properly set by other functions
1192  * in this file.
1193  */
1194 static int rsa_int_export_to(const EVP_PKEY *from, int rsa_type,
1195                              void *to_keydata, EVP_KEYMGMT *to_keymgmt,
1196                              OPENSSL_CTX *libctx, const char *propq)
1197 {
1198     RSA *rsa = from->pkey.rsa;
1199     OSSL_PARAM_BLD *tmpl = OSSL_PARAM_BLD_new();
1200     OSSL_PARAM *params = NULL;
1201     int selection = 0;
1202     int rv = 0;
1203
1204     if (tmpl == NULL)
1205         return 0;
1206     /*
1207      * If the RSA method is foreign, then we can't be sure of anything, and
1208      * can therefore not export or pretend to export.
1209      */
1210     if (RSA_get_method(rsa) != RSA_PKCS1_OpenSSL())
1211         goto err;
1212
1213     /* Public parameters must always be present */
1214     if (RSA_get0_n(rsa) == NULL || RSA_get0_e(rsa) == NULL)
1215         goto err;
1216
1217     if (!rsa_todata(rsa, tmpl, NULL))
1218         goto err;
1219
1220     selection |= OSSL_KEYMGMT_SELECT_PUBLIC_KEY;
1221     if (RSA_get0_d(rsa) != NULL)
1222         selection |= OSSL_KEYMGMT_SELECT_PRIVATE_KEY;
1223
1224     if (rsa->pss != NULL) {
1225         const EVP_MD *md = NULL, *mgf1md = NULL;
1226         int md_nid, mgf1md_nid, saltlen, trailerfield;
1227         RSA_PSS_PARAMS_30 pss_params;
1228
1229         if (!rsa_pss_get_param_unverified(rsa->pss, &md, &mgf1md,
1230                                           &saltlen, &trailerfield))
1231             goto err;
1232         md_nid = EVP_MD_type(md);
1233         mgf1md_nid = EVP_MD_type(mgf1md);
1234         if (!rsa_pss_params_30_set_defaults(&pss_params)
1235             || !rsa_pss_params_30_set_hashalg(&pss_params, md_nid)
1236             || !rsa_pss_params_30_set_maskgenhashalg(&pss_params, mgf1md_nid)
1237             || !rsa_pss_params_30_set_saltlen(&pss_params, saltlen)
1238             || !rsa_pss_params_30_todata(&pss_params, tmpl, NULL))
1239             goto err;
1240         selection |= OSSL_KEYMGMT_SELECT_OTHER_PARAMETERS;
1241     }
1242
1243     if ((params = OSSL_PARAM_BLD_to_param(tmpl)) == NULL)
1244         goto err;
1245
1246     /* We export, the provider imports */
1247     rv = evp_keymgmt_import(to_keymgmt, to_keydata, selection, params);
1248
1249  err:
1250     OSSL_PARAM_BLD_free_params(params);
1251     OSSL_PARAM_BLD_free(tmpl);
1252     return rv;
1253 }
1254
1255 static int rsa_int_import_from(const OSSL_PARAM params[], void *vpctx,
1256                                int rsa_type)
1257 {
1258     EVP_PKEY_CTX *pctx = vpctx;
1259     EVP_PKEY *pkey = EVP_PKEY_CTX_get0_pkey(pctx);
1260     RSA *rsa = rsa_new_with_ctx(pctx->libctx);
1261     RSA_PSS_PARAMS_30 rsa_pss_params = { 0, };
1262     int ok = 0;
1263
1264     if (rsa == NULL) {
1265         ERR_raise(ERR_LIB_DH, ERR_R_MALLOC_FAILURE);
1266         return 0;
1267     }
1268
1269     RSA_clear_flags(rsa, RSA_FLAG_TYPE_MASK);
1270     RSA_set_flags(rsa, rsa_type);
1271
1272     if (!rsa_pss_params_30_fromdata(&rsa_pss_params, params, pctx->libctx))
1273         goto err;
1274
1275     switch (rsa_type) {
1276     case RSA_FLAG_TYPE_RSA:
1277         /*
1278          * Were PSS parameters filled in?
1279          * In that case, something's wrong
1280          */
1281         if (!rsa_pss_params_30_is_unrestricted(&rsa_pss_params))
1282             goto err;
1283         break;
1284     case RSA_FLAG_TYPE_RSASSAPSS:
1285         /*
1286          * Were PSS parameters filled in?  In that case, create the old
1287          * RSA_PSS_PARAMS structure.  Otherwise, this is an unrestricted key.
1288          */
1289         if (!rsa_pss_params_30_is_unrestricted(&rsa_pss_params)) {
1290             /* Create the older RSA_PSS_PARAMS from RSA_PSS_PARAMS_30 data */
1291             int mdnid = rsa_pss_params_30_hashalg(&rsa_pss_params);
1292             int mgf1mdnid = rsa_pss_params_30_maskgenhashalg(&rsa_pss_params);
1293             int saltlen = rsa_pss_params_30_saltlen(&rsa_pss_params);
1294             const EVP_MD *md = EVP_get_digestbynid(mdnid);
1295             const EVP_MD *mgf1md = EVP_get_digestbynid(mgf1mdnid);
1296
1297             if ((rsa->pss = rsa_pss_params_create(md, mgf1md, saltlen)) == NULL)
1298                 goto err;
1299         }
1300         break;
1301     default:
1302         /* RSA key sub-types we don't know how to handle yet */
1303         goto err;
1304     }
1305
1306     if (!rsa_fromdata(rsa, params))
1307         goto err;
1308
1309     switch (rsa_type) {
1310     case RSA_FLAG_TYPE_RSA:
1311         ok = EVP_PKEY_assign_RSA(pkey, rsa);
1312         break;
1313     case RSA_FLAG_TYPE_RSASSAPSS:
1314         ok = EVP_PKEY_assign(pkey, EVP_PKEY_RSA_PSS, rsa);
1315         break;
1316     }
1317
1318  err:
1319     if (!ok)
1320         RSA_free(rsa);
1321     return ok;
1322 }
1323
1324 static int rsa_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1325                               EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1326                               const char *propq)
1327 {
1328     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSA, to_keydata,
1329                              to_keymgmt, libctx, propq);
1330 }
1331
1332 static int rsa_pss_pkey_export_to(const EVP_PKEY *from, void *to_keydata,
1333                                   EVP_KEYMGMT *to_keymgmt, OPENSSL_CTX *libctx,
1334                                   const char *propq)
1335 {
1336     return rsa_int_export_to(from, RSA_FLAG_TYPE_RSASSAPSS, to_keydata,
1337                              to_keymgmt, libctx, propq);
1338 }
1339
1340 static int rsa_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1341 {
1342     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSA);
1343 }
1344
1345 static int rsa_pss_pkey_import_from(const OSSL_PARAM params[], void *vpctx)
1346 {
1347     return rsa_int_import_from(params, vpctx, RSA_FLAG_TYPE_RSASSAPSS);
1348 }
1349
1350 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
1351     {
1352      EVP_PKEY_RSA,
1353      EVP_PKEY_RSA,
1354      ASN1_PKEY_SIGPARAM_NULL,
1355
1356      "RSA",
1357      "OpenSSL RSA method",
1358
1359      rsa_pub_decode,
1360      rsa_pub_encode,
1361      rsa_pub_cmp,
1362      rsa_pub_print,
1363
1364      rsa_priv_decode,
1365      rsa_priv_encode,
1366      rsa_priv_print,
1367
1368      int_rsa_size,
1369      rsa_bits,
1370      rsa_security_bits,
1371
1372      0, 0, 0, 0, 0, 0,
1373
1374      rsa_sig_print,
1375      int_rsa_free,
1376      rsa_pkey_ctrl,
1377      old_rsa_priv_decode,
1378      old_rsa_priv_encode,
1379      rsa_item_verify,
1380      rsa_item_sign,
1381      rsa_sig_info_set,
1382      rsa_pkey_check,
1383
1384      0, 0,
1385      0, 0, 0, 0,
1386
1387      rsa_pkey_dirty_cnt,
1388      rsa_pkey_export_to,
1389      rsa_pkey_import_from
1390     },
1391
1392     {
1393      EVP_PKEY_RSA2,
1394      EVP_PKEY_RSA,
1395      ASN1_PKEY_ALIAS}
1396 };
1397
1398 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
1399      EVP_PKEY_RSA_PSS,
1400      EVP_PKEY_RSA_PSS,
1401      ASN1_PKEY_SIGPARAM_NULL,
1402
1403      "RSA-PSS",
1404      "OpenSSL RSA-PSS method",
1405
1406      rsa_pub_decode,
1407      rsa_pub_encode,
1408      rsa_pub_cmp,
1409      rsa_pub_print,
1410
1411      rsa_priv_decode,
1412      rsa_priv_encode,
1413      rsa_priv_print,
1414
1415      int_rsa_size,
1416      rsa_bits,
1417      rsa_security_bits,
1418
1419      0, 0, 0, 0, 0, 0,
1420
1421      rsa_sig_print,
1422      int_rsa_free,
1423      rsa_pkey_ctrl,
1424      0, 0,
1425      rsa_item_verify,
1426      rsa_item_sign,
1427      0,
1428      rsa_pkey_check,
1429
1430      0, 0,
1431      0, 0, 0, 0,
1432
1433      rsa_pkey_dirty_cnt,
1434      rsa_pss_pkey_export_to,
1435      rsa_pss_pkey_import_from
1436 };