libcrypto: Eliminate as much use of EVP_PKEY_size() as possible
[openssl.git] / crypto / rsa / rsa_ameth.c
1 /*
2  * Copyright 2006-2018 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/asn1t.h>
13 #include <openssl/x509.h>
14 #include <openssl/bn.h>
15 #include <openssl/cms.h>
16 #include <openssl/core_names.h>
17 #include "internal/param_build.h"
18 #include "crypto/asn1.h"
19 #include "crypto/evp.h"
20 #include "crypto/rsa.h"
21 #include "rsa_local.h"
22
23 #ifndef OPENSSL_NO_CMS
24 static int rsa_cms_sign(CMS_SignerInfo *si);
25 static int rsa_cms_verify(CMS_SignerInfo *si);
26 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
27 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
28 #endif
29
30 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
31
32 /* Set any parameters associated with pkey */
33 static int rsa_param_encode(const EVP_PKEY *pkey,
34                             ASN1_STRING **pstr, int *pstrtype)
35 {
36     const RSA *rsa = pkey->pkey.rsa;
37
38     *pstr = NULL;
39     /* If RSA it's just NULL type */
40     if (pkey->ameth->pkey_id != EVP_PKEY_RSA_PSS) {
41         *pstrtype = V_ASN1_NULL;
42         return 1;
43     }
44     /* If no PSS parameters we omit parameters entirely */
45     if (rsa->pss == NULL) {
46         *pstrtype = V_ASN1_UNDEF;
47         return 1;
48     }
49     /* Encode PSS parameters */
50     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
51         return 0;
52
53     *pstrtype = V_ASN1_SEQUENCE;
54     return 1;
55 }
56 /* Decode any parameters and set them in RSA structure */
57 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
58 {
59     const ASN1_OBJECT *algoid;
60     const void *algp;
61     int algptype;
62
63     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
64     if (OBJ_obj2nid(algoid) != EVP_PKEY_RSA_PSS)
65         return 1;
66     if (algptype == V_ASN1_UNDEF)
67         return 1;
68     if (algptype != V_ASN1_SEQUENCE) {
69         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
70         return 0;
71     }
72     rsa->pss = rsa_pss_decode(alg);
73     if (rsa->pss == NULL)
74         return 0;
75     return 1;
76 }
77
78 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
79 {
80     unsigned char *penc = NULL;
81     int penclen;
82     ASN1_STRING *str;
83     int strtype;
84
85     if (!rsa_param_encode(pkey, &str, &strtype))
86         return 0;
87     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
88     if (penclen <= 0)
89         return 0;
90     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
91                                strtype, str, penc, penclen))
92         return 1;
93
94     OPENSSL_free(penc);
95     return 0;
96 }
97
98 static int rsa_pub_decode(EVP_PKEY *pkey, X509_PUBKEY *pubkey)
99 {
100     const unsigned char *p;
101     int pklen;
102     X509_ALGOR *alg;
103     RSA *rsa = NULL;
104
105     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
106         return 0;
107     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL) {
108         RSAerr(RSA_F_RSA_PUB_DECODE, ERR_R_RSA_LIB);
109         return 0;
110     }
111     if (!rsa_param_decode(rsa, alg)) {
112         RSA_free(rsa);
113         return 0;
114     }
115     if (!EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa)) {
116         RSA_free(rsa);
117         return 0;
118     }
119     return 1;
120 }
121
122 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
123 {
124     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
125         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
126         return 0;
127     return 1;
128 }
129
130 static int old_rsa_priv_decode(EVP_PKEY *pkey,
131                                const unsigned char **pder, int derlen)
132 {
133     RSA *rsa;
134
135     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL) {
136         RSAerr(RSA_F_OLD_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
137         return 0;
138     }
139     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
140     return 1;
141 }
142
143 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
144 {
145     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
146 }
147
148 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
149 {
150     unsigned char *rk = NULL;
151     int rklen;
152     ASN1_STRING *str;
153     int strtype;
154
155     if (!rsa_param_encode(pkey, &str, &strtype))
156         return 0;
157     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
158
159     if (rklen <= 0) {
160         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
161         ASN1_STRING_free(str);
162         return 0;
163     }
164
165     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
166                          strtype, str, rk, rklen)) {
167         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
168         ASN1_STRING_free(str);
169         return 0;
170     }
171
172     return 1;
173 }
174
175 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
176 {
177     const unsigned char *p;
178     RSA *rsa;
179     int pklen;
180     const X509_ALGOR *alg;
181
182     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
183         return 0;
184     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
185     if (rsa == NULL) {
186         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
187         return 0;
188     }
189     if (!rsa_param_decode(rsa, alg)) {
190         RSA_free(rsa);
191         return 0;
192     }
193     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
194     return 1;
195 }
196
197 static int int_rsa_size(const EVP_PKEY *pkey)
198 {
199     return RSA_size(pkey->pkey.rsa);
200 }
201
202 static int rsa_bits(const EVP_PKEY *pkey)
203 {
204     return BN_num_bits(pkey->pkey.rsa->n);
205 }
206
207 static int rsa_security_bits(const EVP_PKEY *pkey)
208 {
209     return RSA_security_bits(pkey->pkey.rsa);
210 }
211
212 static void int_rsa_free(EVP_PKEY *pkey)
213 {
214     RSA_free(pkey->pkey.rsa);
215 }
216
217 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
218 {
219     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
220         return NULL;
221     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
222                                      alg->parameter);
223 }
224
225 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
226                                int indent)
227 {
228     int rv = 0;
229     X509_ALGOR *maskHash = NULL;
230
231     if (!BIO_indent(bp, indent, 128))
232         goto err;
233     if (pss_key) {
234         if (pss == NULL) {
235             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
236                 return 0;
237             return 1;
238         } else {
239             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
240                 return 0;
241         }
242     } else if (pss == NULL) {
243         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
244             return 0;
245         return 1;
246     }
247     if (BIO_puts(bp, "\n") <= 0)
248         goto err;
249     if (pss_key)
250         indent += 2;
251     if (!BIO_indent(bp, indent, 128))
252         goto err;
253     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
254         goto err;
255
256     if (pss->hashAlgorithm) {
257         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
258             goto err;
259     } else if (BIO_puts(bp, "sha1 (default)") <= 0) {
260         goto err;
261     }
262
263     if (BIO_puts(bp, "\n") <= 0)
264         goto err;
265
266     if (!BIO_indent(bp, indent, 128))
267         goto err;
268
269     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
270         goto err;
271     if (pss->maskGenAlgorithm) {
272         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
273             goto err;
274         if (BIO_puts(bp, " with ") <= 0)
275             goto err;
276         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
277         if (maskHash != NULL) {
278             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
279                 goto err;
280         } else if (BIO_puts(bp, "INVALID") <= 0) {
281             goto err;
282         }
283     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0) {
284         goto err;
285     }
286     BIO_puts(bp, "\n");
287
288     if (!BIO_indent(bp, indent, 128))
289         goto err;
290     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
291         goto err;
292     if (pss->saltLength) {
293         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
294             goto err;
295     } else if (BIO_puts(bp, "14 (default)") <= 0) {
296         goto err;
297     }
298     BIO_puts(bp, "\n");
299
300     if (!BIO_indent(bp, indent, 128))
301         goto err;
302     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
303         goto err;
304     if (pss->trailerField) {
305         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
306             goto err;
307     } else if (BIO_puts(bp, "BC (default)") <= 0) {
308         goto err;
309     }
310     BIO_puts(bp, "\n");
311
312     rv = 1;
313
314  err:
315     X509_ALGOR_free(maskHash);
316     return rv;
317
318 }
319
320 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
321 {
322     const RSA *x = pkey->pkey.rsa;
323     char *str;
324     const char *s;
325     int ret = 0, mod_len = 0, ex_primes;
326
327     if (x->n != NULL)
328         mod_len = BN_num_bits(x->n);
329     ex_primes = sk_RSA_PRIME_INFO_num(x->prime_infos);
330
331     if (!BIO_indent(bp, off, 128))
332         goto err;
333
334     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
335         goto err;
336
337     if (priv && x->d) {
338         if (BIO_printf(bp, "Private-Key: (%d bit, %d primes)\n",
339                        mod_len, ex_primes <= 0 ? 2 : ex_primes + 2) <= 0)
340             goto err;
341         str = "modulus:";
342         s = "publicExponent:";
343     } else {
344         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
345             goto err;
346         str = "Modulus:";
347         s = "Exponent:";
348     }
349     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
350         goto err;
351     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
352         goto err;
353     if (priv) {
354         int i;
355
356         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
357             goto err;
358         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
359             goto err;
360         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
361             goto err;
362         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
363             goto err;
364         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
365             goto err;
366         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
367             goto err;
368         for (i = 0; i < sk_RSA_PRIME_INFO_num(x->prime_infos); i++) {
369             /* print multi-prime info */
370             BIGNUM *bn = NULL;
371             RSA_PRIME_INFO *pinfo;
372             int j;
373
374             pinfo = sk_RSA_PRIME_INFO_value(x->prime_infos, i);
375             for (j = 0; j < 3; j++) {
376                 if (!BIO_indent(bp, off, 128))
377                     goto err;
378                 switch (j) {
379                 case 0:
380                     if (BIO_printf(bp, "prime%d:", i + 3) <= 0)
381                         goto err;
382                     bn = pinfo->r;
383                     break;
384                 case 1:
385                     if (BIO_printf(bp, "exponent%d:", i + 3) <= 0)
386                         goto err;
387                     bn = pinfo->d;
388                     break;
389                 case 2:
390                     if (BIO_printf(bp, "coefficient%d:", i + 3) <= 0)
391                         goto err;
392                     bn = pinfo->t;
393                     break;
394                 default:
395                     break;
396                 }
397                 if (!ASN1_bn_print(bp, "", bn, NULL, off))
398                     goto err;
399             }
400         }
401     }
402     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
403         goto err;
404     ret = 1;
405  err:
406     return ret;
407 }
408
409 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
410                          ASN1_PCTX *ctx)
411 {
412     return pkey_rsa_print(bp, pkey, indent, 0);
413 }
414
415 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
416                           ASN1_PCTX *ctx)
417 {
418     return pkey_rsa_print(bp, pkey, indent, 1);
419 }
420
421 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
422 {
423     RSA_PSS_PARAMS *pss;
424
425     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
426                                     alg->parameter);
427
428     if (pss == NULL)
429         return NULL;
430
431     if (pss->maskGenAlgorithm != NULL) {
432         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
433         if (pss->maskHash == NULL) {
434             RSA_PSS_PARAMS_free(pss);
435             return NULL;
436         }
437     }
438
439     return pss;
440 }
441
442 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
443                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
444 {
445     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
446         int rv;
447         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
448
449         rv = rsa_pss_param_print(bp, 0, pss, indent);
450         RSA_PSS_PARAMS_free(pss);
451         if (!rv)
452             return 0;
453     } else if (BIO_puts(bp, "\n") <= 0) {
454         return 0;
455     }
456     if (sig)
457         return X509_signature_dump(bp, sig, indent);
458     return 1;
459 }
460
461 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
462 {
463     X509_ALGOR *alg = NULL;
464     const EVP_MD *md;
465     const EVP_MD *mgf1md;
466     int min_saltlen;
467
468     switch (op) {
469
470     case ASN1_PKEY_CTRL_PKCS7_SIGN:
471         if (arg1 == 0)
472             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
473         break;
474
475     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
476         if (pkey_is_pss(pkey))
477             return -2;
478         if (arg1 == 0)
479             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
480         break;
481 #ifndef OPENSSL_NO_CMS
482     case ASN1_PKEY_CTRL_CMS_SIGN:
483         if (arg1 == 0)
484             return rsa_cms_sign(arg2);
485         else if (arg1 == 1)
486             return rsa_cms_verify(arg2);
487         break;
488
489     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
490         if (pkey_is_pss(pkey))
491             return -2;
492         if (arg1 == 0)
493             return rsa_cms_encrypt(arg2);
494         else if (arg1 == 1)
495             return rsa_cms_decrypt(arg2);
496         break;
497
498     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
499         if (pkey_is_pss(pkey))
500             return -2;
501         *(int *)arg2 = CMS_RECIPINFO_TRANS;
502         return 1;
503 #endif
504
505     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
506         if (pkey->pkey.rsa->pss != NULL) {
507             if (!rsa_pss_get_param(pkey->pkey.rsa->pss, &md, &mgf1md,
508                                    &min_saltlen)) {
509                 RSAerr(0, ERR_R_INTERNAL_ERROR);
510                 return 0;
511             }
512             *(int *)arg2 = EVP_MD_type(md);
513             /* Return of 2 indicates this MD is mandatory */
514             return 2;
515         }
516         *(int *)arg2 = NID_sha256;
517         return 1;
518
519     default:
520         return -2;
521
522     }
523
524     if (alg)
525         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
526
527     return 1;
528
529 }
530
531 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
532 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
533 {
534     if (md == NULL || EVP_MD_type(md) == NID_sha1)
535         return 1;
536     *palg = X509_ALGOR_new();
537     if (*palg == NULL)
538         return 0;
539     X509_ALGOR_set_md(*palg, md);
540     return 1;
541 }
542
543 /* Allocate and set MGF1 algorithm ID from EVP_MD */
544 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
545 {
546     X509_ALGOR *algtmp = NULL;
547     ASN1_STRING *stmp = NULL;
548
549     *palg = NULL;
550     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
551         return 1;
552     /* need to embed algorithm ID inside another */
553     if (!rsa_md_to_algor(&algtmp, mgf1md))
554         goto err;
555     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
556          goto err;
557     *palg = X509_ALGOR_new();
558     if (*palg == NULL)
559         goto err;
560     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
561     stmp = NULL;
562  err:
563     ASN1_STRING_free(stmp);
564     X509_ALGOR_free(algtmp);
565     if (*palg)
566         return 1;
567     return 0;
568 }
569
570 /* convert algorithm ID to EVP_MD, default SHA1 */
571 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
572 {
573     const EVP_MD *md;
574
575     if (!alg)
576         return EVP_sha1();
577     md = EVP_get_digestbyobj(alg->algorithm);
578     if (md == NULL)
579         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
580     return md;
581 }
582
583 /*
584  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
585  * suitable for setting an AlgorithmIdentifier.
586  */
587
588 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
589 {
590     const EVP_MD *sigmd, *mgf1md;
591     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
592     RSA *rsa = EVP_PKEY_get0_RSA(pk);
593     int saltlen;
594
595     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
596         return NULL;
597     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
598         return NULL;
599     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
600         return NULL;
601     if (saltlen == -1) {
602         saltlen = EVP_MD_size(sigmd);
603     } else if (saltlen == -2 || saltlen == -3) {
604         saltlen = RSA_size(rsa) - EVP_MD_size(sigmd) - 2;
605         if ((EVP_PKEY_bits(pk) & 0x7) == 1)
606             saltlen--;
607         if (saltlen < 0)
608             return NULL;
609     }
610
611     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
612 }
613
614 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
615                                       const EVP_MD *mgf1md, int saltlen)
616 {
617     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
618
619     if (pss == NULL)
620         goto err;
621     if (saltlen != 20) {
622         pss->saltLength = ASN1_INTEGER_new();
623         if (pss->saltLength == NULL)
624             goto err;
625         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
626             goto err;
627     }
628     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
629         goto err;
630     if (mgf1md == NULL)
631         mgf1md = sigmd;
632     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
633         goto err;
634     if (!rsa_md_to_algor(&pss->maskHash, mgf1md))
635         goto err;
636     return pss;
637  err:
638     RSA_PSS_PARAMS_free(pss);
639     return NULL;
640 }
641
642 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
643 {
644     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
645     ASN1_STRING *os;
646
647     if (pss == NULL)
648         return NULL;
649
650     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
651     RSA_PSS_PARAMS_free(pss);
652     return os;
653 }
654
655 /*
656  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
657  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
658  * passed to pkctx instead.
659  */
660
661 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
662                           X509_ALGOR *sigalg, EVP_PKEY *pkey)
663 {
664     int rv = -1;
665     int saltlen;
666     const EVP_MD *mgf1md = NULL, *md = NULL;
667     RSA_PSS_PARAMS *pss;
668
669     /* Sanity check: make sure it is PSS */
670     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
671         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
672         return -1;
673     }
674     /* Decode PSS parameters */
675     pss = rsa_pss_decode(sigalg);
676
677     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
678         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
679         goto err;
680     }
681
682     /* We have all parameters now set up context */
683     if (pkey) {
684         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
685             goto err;
686     } else {
687         const EVP_MD *checkmd;
688         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
689             goto err;
690         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
691             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
692             goto err;
693         }
694     }
695
696     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
697         goto err;
698
699     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
700         goto err;
701
702     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
703         goto err;
704     /* Carry on */
705     rv = 1;
706
707  err:
708     RSA_PSS_PARAMS_free(pss);
709     return rv;
710 }
711
712 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
713                       const EVP_MD **pmgf1md, int *psaltlen)
714 {
715     if (pss == NULL)
716         return 0;
717     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
718     if (*pmd == NULL)
719         return 0;
720     *pmgf1md = rsa_algor_to_md(pss->maskHash);
721     if (*pmgf1md == NULL)
722         return 0;
723     if (pss->saltLength) {
724         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
725         if (*psaltlen < 0) {
726             RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_SALT_LENGTH);
727             return 0;
728         }
729     } else {
730         *psaltlen = 20;
731     }
732
733     /*
734      * low-level routines support only trailer field 0xbc (value 1) and
735      * PKCS#1 says we should reject any other value anyway.
736      */
737     if (pss->trailerField && ASN1_INTEGER_get(pss->trailerField) != 1) {
738         RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_TRAILER);
739         return 0;
740     }
741
742     return 1;
743 }
744
745 #ifndef OPENSSL_NO_CMS
746 static int rsa_cms_verify(CMS_SignerInfo *si)
747 {
748     int nid, nid2;
749     X509_ALGOR *alg;
750     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
751
752     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
753     nid = OBJ_obj2nid(alg->algorithm);
754     if (nid == EVP_PKEY_RSA_PSS)
755         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
756     /* Only PSS allowed for PSS keys */
757     if (pkey_ctx_is_pss(pkctx)) {
758         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
759         return 0;
760     }
761     if (nid == NID_rsaEncryption)
762         return 1;
763     /* Workaround for some implementation that use a signature OID */
764     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
765         if (nid2 == NID_rsaEncryption)
766             return 1;
767     }
768     return 0;
769 }
770 #endif
771
772 /*
773  * Customised RSA item verification routine. This is called when a signature
774  * is encountered requiring special handling. We currently only handle PSS.
775  */
776
777 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
778                            X509_ALGOR *sigalg, ASN1_BIT_STRING *sig,
779                            EVP_PKEY *pkey)
780 {
781     /* Sanity check: make sure it is PSS */
782     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
783         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
784         return -1;
785     }
786     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
787         /* Carry on */
788         return 2;
789     }
790     return -1;
791 }
792
793 #ifndef OPENSSL_NO_CMS
794 static int rsa_cms_sign(CMS_SignerInfo *si)
795 {
796     int pad_mode = RSA_PKCS1_PADDING;
797     X509_ALGOR *alg;
798     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
799     ASN1_STRING *os = NULL;
800
801     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
802     if (pkctx) {
803         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
804             return 0;
805     }
806     if (pad_mode == RSA_PKCS1_PADDING) {
807         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
808         return 1;
809     }
810     /* We don't support it */
811     if (pad_mode != RSA_PKCS1_PSS_PADDING)
812         return 0;
813     os = rsa_ctx_to_pss_string(pkctx);
814     if (!os)
815         return 0;
816     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
817     return 1;
818 }
819 #endif
820
821 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
822                          X509_ALGOR *alg1, X509_ALGOR *alg2,
823                          ASN1_BIT_STRING *sig)
824 {
825     int pad_mode;
826     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
827
828     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
829         return 0;
830     if (pad_mode == RSA_PKCS1_PADDING)
831         return 2;
832     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
833         ASN1_STRING *os1 = NULL;
834         os1 = rsa_ctx_to_pss_string(pkctx);
835         if (!os1)
836             return 0;
837         /* Duplicate parameters if we have to */
838         if (alg2) {
839             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
840             if (!os2) {
841                 ASN1_STRING_free(os1);
842                 return 0;
843             }
844             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
845                             V_ASN1_SEQUENCE, os2);
846         }
847         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
848                         V_ASN1_SEQUENCE, os1);
849         return 3;
850     }
851     return 2;
852 }
853
854 static int rsa_sig_info_set(X509_SIG_INFO *siginf, const X509_ALGOR *sigalg,
855                             const ASN1_STRING *sig)
856 {
857     int rv = 0;
858     int mdnid, saltlen;
859     uint32_t flags;
860     const EVP_MD *mgf1md = NULL, *md = NULL;
861     RSA_PSS_PARAMS *pss;
862
863     /* Sanity check: make sure it is PSS */
864     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS)
865         return 0;
866     /* Decode PSS parameters */
867     pss = rsa_pss_decode(sigalg);
868     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen))
869         goto err;
870     mdnid = EVP_MD_type(md);
871     /*
872      * For TLS need SHA256, SHA384 or SHA512, digest and MGF1 digest must
873      * match and salt length must equal digest size
874      */
875     if ((mdnid == NID_sha256 || mdnid == NID_sha384 || mdnid == NID_sha512)
876             && mdnid == EVP_MD_type(mgf1md) && saltlen == EVP_MD_size(md))
877         flags = X509_SIG_INFO_TLS;
878     else
879         flags = 0;
880     /* Note: security bits half number of digest bits */
881     X509_SIG_INFO_set(siginf, mdnid, EVP_PKEY_RSA_PSS, EVP_MD_size(md) * 4,
882                       flags);
883     rv = 1;
884     err:
885     RSA_PSS_PARAMS_free(pss);
886     return rv;
887 }
888
889 #ifndef OPENSSL_NO_CMS
890 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
891 {
892     RSA_OAEP_PARAMS *oaep;
893
894     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
895                                      alg->parameter);
896
897     if (oaep == NULL)
898         return NULL;
899
900     if (oaep->maskGenFunc != NULL) {
901         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
902         if (oaep->maskHash == NULL) {
903             RSA_OAEP_PARAMS_free(oaep);
904             return NULL;
905         }
906     }
907     return oaep;
908 }
909
910 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
911 {
912     EVP_PKEY_CTX *pkctx;
913     X509_ALGOR *cmsalg;
914     int nid;
915     int rv = -1;
916     unsigned char *label = NULL;
917     int labellen = 0;
918     const EVP_MD *mgf1md = NULL, *md = NULL;
919     RSA_OAEP_PARAMS *oaep;
920
921     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
922     if (pkctx == NULL)
923         return 0;
924     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
925         return -1;
926     nid = OBJ_obj2nid(cmsalg->algorithm);
927     if (nid == NID_rsaEncryption)
928         return 1;
929     if (nid != NID_rsaesOaep) {
930         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
931         return -1;
932     }
933     /* Decode OAEP parameters */
934     oaep = rsa_oaep_decode(cmsalg);
935
936     if (oaep == NULL) {
937         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
938         goto err;
939     }
940
941     mgf1md = rsa_algor_to_md(oaep->maskHash);
942     if (mgf1md == NULL)
943         goto err;
944     md = rsa_algor_to_md(oaep->hashFunc);
945     if (md == NULL)
946         goto err;
947
948     if (oaep->pSourceFunc != NULL) {
949         X509_ALGOR *plab = oaep->pSourceFunc;
950
951         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
952             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
953             goto err;
954         }
955         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
956             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
957             goto err;
958         }
959
960         label = plab->parameter->value.octet_string->data;
961         /* Stop label being freed when OAEP parameters are freed */
962         plab->parameter->value.octet_string->data = NULL;
963         labellen = plab->parameter->value.octet_string->length;
964     }
965
966     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
967         goto err;
968     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
969         goto err;
970     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
971         goto err;
972     if (EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
973         goto err;
974     /* Carry on */
975     rv = 1;
976
977  err:
978     RSA_OAEP_PARAMS_free(oaep);
979     return rv;
980 }
981
982 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
983 {
984     const EVP_MD *md, *mgf1md;
985     RSA_OAEP_PARAMS *oaep = NULL;
986     ASN1_STRING *os = NULL;
987     X509_ALGOR *alg;
988     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
989     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
990     unsigned char *label;
991
992     if (CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg) <= 0)
993         return 0;
994     if (pkctx) {
995         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
996             return 0;
997     }
998     if (pad_mode == RSA_PKCS1_PADDING) {
999         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
1000         return 1;
1001     }
1002     /* Not supported */
1003     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
1004         return 0;
1005     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
1006         goto err;
1007     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
1008         goto err;
1009     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
1010     if (labellen < 0)
1011         goto err;
1012     oaep = RSA_OAEP_PARAMS_new();
1013     if (oaep == NULL)
1014         goto err;
1015     if (!rsa_md_to_algor(&oaep->hashFunc, md))
1016         goto err;
1017     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
1018         goto err;
1019     if (labellen > 0) {
1020         ASN1_OCTET_STRING *los;
1021         oaep->pSourceFunc = X509_ALGOR_new();
1022         if (oaep->pSourceFunc == NULL)
1023             goto err;
1024         los = ASN1_OCTET_STRING_new();
1025         if (los == NULL)
1026             goto err;
1027         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
1028             ASN1_OCTET_STRING_free(los);
1029             goto err;
1030         }
1031         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
1032                         V_ASN1_OCTET_STRING, los);
1033     }
1034     /* create string with pss parameter encoding. */
1035     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
1036          goto err;
1037     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
1038     os = NULL;
1039     rv = 1;
1040  err:
1041     RSA_OAEP_PARAMS_free(oaep);
1042     ASN1_STRING_free(os);
1043     return rv;
1044 }
1045 #endif
1046
1047 static int rsa_pkey_check(const EVP_PKEY *pkey)
1048 {
1049     return RSA_check_key_ex(pkey->pkey.rsa, NULL);
1050 }
1051
1052 static size_t rsa_pkey_dirty_cnt(const EVP_PKEY *pkey)
1053 {
1054     return pkey->pkey.rsa->dirty_cnt;
1055 }
1056
1057 DEFINE_SPECIAL_STACK_OF_CONST(BIGNUM_const, BIGNUM)
1058
1059 static void *rsa_pkey_export_to(const EVP_PKEY *pk, EVP_KEYMGMT *keymgmt,
1060                                 int want_domainparams)
1061 {
1062     RSA *rsa = pk->pkey.rsa;
1063     OSSL_PARAM_BLD tmpl;
1064     const BIGNUM *n = RSA_get0_n(rsa), *e = RSA_get0_e(rsa);
1065     const BIGNUM *d = RSA_get0_d(rsa);
1066     STACK_OF(BIGNUM_const) *primes = NULL, *exps = NULL, *coeffs = NULL;
1067     int numprimes = 0, numexps = 0, numcoeffs = 0;
1068     OSSL_PARAM *params = NULL;
1069     void *provkey = NULL;
1070
1071     /*
1072      * There are no domain parameters for RSA keys, or rather, they are
1073      * included in the key data itself.
1074      */
1075     if (want_domainparams)
1076         goto err;
1077
1078     /* Get all the primes and CRT params */
1079     if ((primes = sk_BIGNUM_const_new_null()) == NULL
1080         || (exps = sk_BIGNUM_const_new_null()) == NULL
1081         || (coeffs = sk_BIGNUM_const_new_null()) == NULL)
1082         goto err;
1083
1084     if (!rsa_get0_all_params(rsa, primes, exps, coeffs))
1085         goto err;
1086
1087     /* Public parameters must always be present */
1088     if (n == NULL || e == NULL)
1089         goto err;
1090
1091     if (d != NULL) {
1092         /* It's a private key, so we should have everything else too */
1093         numprimes = sk_BIGNUM_const_num(primes);
1094         numexps = sk_BIGNUM_const_num(exps);
1095         numcoeffs = sk_BIGNUM_const_num(coeffs);
1096
1097         if (numprimes < 2 || numexps < 2 || numcoeffs < 1)
1098             goto err;
1099
1100         /* assert that an OSSL_PARAM_BLD has enough space. */
1101         if (!ossl_assert(/* n, e */ 2 + /* d */ 1 + /* numprimes */ 1
1102                          + numprimes + numexps + numcoeffs
1103                          <= OSSL_PARAM_BLD_MAX))
1104             goto err;
1105     }
1106
1107     ossl_param_bld_init(&tmpl);
1108     if (!ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_N, n)
1109         || !ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_E, e))
1110         goto err;
1111
1112     if (d != NULL) {
1113         int i;
1114
1115         if (!ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_D, d))
1116             goto err;
1117
1118         for (i = 0; i < numprimes; i++) {
1119             const BIGNUM *num = sk_BIGNUM_const_value(primes, i);
1120
1121             if (!ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_FACTOR,
1122                                         num))
1123                 goto err;
1124         }
1125
1126         for (i = 0; i < numexps; i++) {
1127             const BIGNUM *num = sk_BIGNUM_const_value(exps, i);
1128
1129             if (!ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_EXPONENT,
1130                                         num))
1131                 goto err;
1132         }
1133
1134         for (i = 0; i < numcoeffs; i++) {
1135             const BIGNUM *num = sk_BIGNUM_const_value(coeffs, i);
1136
1137             if (!ossl_param_bld_push_BN(&tmpl, OSSL_PKEY_PARAM_RSA_COEFFICIENT,
1138                                         num))
1139                 goto err;
1140         }
1141     }
1142
1143     if ((params = ossl_param_bld_to_param(&tmpl)) == NULL)
1144         goto err;
1145
1146     /* We export, the provider imports */
1147     provkey = evp_keymgmt_importkey(keymgmt, params);
1148
1149  err:
1150     sk_BIGNUM_const_free(primes);
1151     sk_BIGNUM_const_free(exps);
1152     sk_BIGNUM_const_free(coeffs);
1153     ossl_param_bld_free(params);
1154     return provkey;
1155 }
1156
1157 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
1158     {
1159      EVP_PKEY_RSA,
1160      EVP_PKEY_RSA,
1161      ASN1_PKEY_SIGPARAM_NULL,
1162
1163      "RSA",
1164      "OpenSSL RSA method",
1165
1166      rsa_pub_decode,
1167      rsa_pub_encode,
1168      rsa_pub_cmp,
1169      rsa_pub_print,
1170
1171      rsa_priv_decode,
1172      rsa_priv_encode,
1173      rsa_priv_print,
1174
1175      int_rsa_size,
1176      rsa_bits,
1177      rsa_security_bits,
1178
1179      0, 0, 0, 0, 0, 0,
1180
1181      rsa_sig_print,
1182      int_rsa_free,
1183      rsa_pkey_ctrl,
1184      old_rsa_priv_decode,
1185      old_rsa_priv_encode,
1186      rsa_item_verify,
1187      rsa_item_sign,
1188      rsa_sig_info_set,
1189      rsa_pkey_check,
1190
1191      0, 0,
1192      0, 0, 0, 0,
1193
1194      rsa_pkey_dirty_cnt,
1195      rsa_pkey_export_to
1196     },
1197
1198     {
1199      EVP_PKEY_RSA2,
1200      EVP_PKEY_RSA,
1201      ASN1_PKEY_ALIAS}
1202 };
1203
1204 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
1205      EVP_PKEY_RSA_PSS,
1206      EVP_PKEY_RSA_PSS,
1207      ASN1_PKEY_SIGPARAM_NULL,
1208
1209      "RSA-PSS",
1210      "OpenSSL RSA-PSS method",
1211
1212      rsa_pub_decode,
1213      rsa_pub_encode,
1214      rsa_pub_cmp,
1215      rsa_pub_print,
1216
1217      rsa_priv_decode,
1218      rsa_priv_encode,
1219      rsa_priv_print,
1220
1221      int_rsa_size,
1222      rsa_bits,
1223      rsa_security_bits,
1224
1225      0, 0, 0, 0, 0, 0,
1226
1227      rsa_sig_print,
1228      int_rsa_free,
1229      rsa_pkey_ctrl,
1230      0, 0,
1231      rsa_item_verify,
1232      rsa_item_sign,
1233      0,
1234      rsa_pkey_check,
1235
1236      0, 0,
1237      0, 0, 0, 0,
1238
1239      rsa_pkey_dirty_cnt,
1240      rsa_pkey_export_to
1241 };