26033286e7119c138fa37dd2c0a9700e41102399
[openssl.git] / crypto / rsa / rsa_ameth.c
1 /*
2  * Copyright 2006-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/asn1t.h>
13 #include <openssl/x509.h>
14 #include <openssl/bn.h>
15 #include <openssl/cms.h>
16 #include "internal/asn1_int.h"
17 #include "internal/evp_int.h"
18 #include "rsa_locl.h"
19
20 #ifndef OPENSSL_NO_CMS
21 static int rsa_cms_sign(CMS_SignerInfo *si);
22 static int rsa_cms_verify(CMS_SignerInfo *si);
23 static int rsa_cms_decrypt(CMS_RecipientInfo *ri);
24 static int rsa_cms_encrypt(CMS_RecipientInfo *ri);
25 #endif
26
27 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg);
28
29 /* Set any parameters associated with pkey */
30 static int rsa_param_encode(const EVP_PKEY *pkey,
31                             ASN1_STRING **pstr, int *pstrtype)
32 {
33     const RSA *rsa = pkey->pkey.rsa;
34
35     *pstr = NULL;
36     /* If RSA it's just NULL type */
37     if (pkey->ameth->pkey_id == EVP_PKEY_RSA) {
38         *pstrtype = V_ASN1_NULL;
39         return 1;
40     }
41     /* If no PSS parameters we omit parameters entirely */
42     if (rsa->pss == NULL) {
43         *pstrtype = V_ASN1_UNDEF;
44         return 1;
45     }
46     /* Encode PSS parameters */
47     if (ASN1_item_pack(rsa->pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), pstr) == NULL)
48         return 0;
49
50     *pstrtype = V_ASN1_SEQUENCE;
51     return 1;
52 }
53 /* Decode any parameters and set them in RSA structure */
54 static int rsa_param_decode(RSA *rsa, const X509_ALGOR *alg)
55 {
56     const ASN1_OBJECT *algoid;
57     const void *algp;
58     int algptype;
59
60     X509_ALGOR_get0(&algoid, &algptype, &algp, alg);
61     if (OBJ_obj2nid(algoid) == EVP_PKEY_RSA)
62         return 1;
63     if (algptype == V_ASN1_UNDEF)
64         return 1;
65     if (algptype != V_ASN1_SEQUENCE) {
66         RSAerr(RSA_F_RSA_PARAM_DECODE, RSA_R_INVALID_PSS_PARAMETERS);
67         return 0;
68     }
69     rsa->pss = rsa_pss_decode(alg);
70     if (rsa->pss == NULL)
71         return 0;
72     return 1;
73 }
74
75 static int rsa_pub_encode(X509_PUBKEY *pk, const EVP_PKEY *pkey)
76 {
77     unsigned char *penc = NULL;
78     int penclen;
79     ASN1_STRING *str;
80     int strtype;
81
82     if (!rsa_param_encode(pkey, &str, &strtype))
83         return 0;
84     penclen = i2d_RSAPublicKey(pkey->pkey.rsa, &penc);
85     if (penclen <= 0)
86         return 0;
87     if (X509_PUBKEY_set0_param(pk, OBJ_nid2obj(pkey->ameth->pkey_id),
88                                strtype, str, penc, penclen))
89         return 1;
90
91     OPENSSL_free(penc);
92     return 0;
93 }
94
95 static int rsa_pub_decode(EVP_PKEY *pkey, X509_PUBKEY *pubkey)
96 {
97     const unsigned char *p;
98     int pklen;
99     X509_ALGOR *alg;
100     RSA *rsa = NULL;
101
102     if (!X509_PUBKEY_get0_param(NULL, &p, &pklen, &alg, pubkey))
103         return 0;
104     if ((rsa = d2i_RSAPublicKey(NULL, &p, pklen)) == NULL) {
105         RSAerr(RSA_F_RSA_PUB_DECODE, ERR_R_RSA_LIB);
106         return 0;
107     }
108     if (!rsa_param_decode(rsa, alg)) {
109         RSA_free(rsa);
110         return 0;
111     }
112     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
113     return 1;
114 }
115
116 static int rsa_pub_cmp(const EVP_PKEY *a, const EVP_PKEY *b)
117 {
118     if (BN_cmp(b->pkey.rsa->n, a->pkey.rsa->n) != 0
119         || BN_cmp(b->pkey.rsa->e, a->pkey.rsa->e) != 0)
120         return 0;
121     return 1;
122 }
123
124 static int old_rsa_priv_decode(EVP_PKEY *pkey,
125                                const unsigned char **pder, int derlen)
126 {
127     RSA *rsa;
128
129     if ((rsa = d2i_RSAPrivateKey(NULL, pder, derlen)) == NULL) {
130         RSAerr(RSA_F_OLD_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
131         return 0;
132     }
133     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
134     return 1;
135 }
136
137 static int old_rsa_priv_encode(const EVP_PKEY *pkey, unsigned char **pder)
138 {
139     return i2d_RSAPrivateKey(pkey->pkey.rsa, pder);
140 }
141
142 static int rsa_priv_encode(PKCS8_PRIV_KEY_INFO *p8, const EVP_PKEY *pkey)
143 {
144     unsigned char *rk = NULL;
145     int rklen;
146     ASN1_STRING *str;
147     int strtype;
148
149     if (!rsa_param_encode(pkey, &str, &strtype))
150         return 0;
151     rklen = i2d_RSAPrivateKey(pkey->pkey.rsa, &rk);
152
153     if (rklen <= 0) {
154         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
155         ASN1_STRING_free(str);
156         return 0;
157     }
158
159     if (!PKCS8_pkey_set0(p8, OBJ_nid2obj(pkey->ameth->pkey_id), 0,
160                          strtype, str, rk, rklen)) {
161         RSAerr(RSA_F_RSA_PRIV_ENCODE, ERR_R_MALLOC_FAILURE);
162         ASN1_STRING_free(str);
163         return 0;
164     }
165
166     return 1;
167 }
168
169 static int rsa_priv_decode(EVP_PKEY *pkey, const PKCS8_PRIV_KEY_INFO *p8)
170 {
171     const unsigned char *p;
172     RSA *rsa;
173     int pklen;
174     const X509_ALGOR *alg;
175
176     if (!PKCS8_pkey_get0(NULL, &p, &pklen, &alg, p8))
177         return 0;
178     rsa = d2i_RSAPrivateKey(NULL, &p, pklen);
179     if (rsa == NULL) {
180         RSAerr(RSA_F_RSA_PRIV_DECODE, ERR_R_RSA_LIB);
181         return 0;
182     }
183     if (!rsa_param_decode(rsa, alg)) {
184         RSA_free(rsa);
185         return 0;
186     }
187     EVP_PKEY_assign(pkey, pkey->ameth->pkey_id, rsa);
188     return 1;
189 }
190
191 static int int_rsa_size(const EVP_PKEY *pkey)
192 {
193     return RSA_size(pkey->pkey.rsa);
194 }
195
196 static int rsa_bits(const EVP_PKEY *pkey)
197 {
198     return BN_num_bits(pkey->pkey.rsa->n);
199 }
200
201 static int rsa_security_bits(const EVP_PKEY *pkey)
202 {
203     return RSA_security_bits(pkey->pkey.rsa);
204 }
205
206 static void int_rsa_free(EVP_PKEY *pkey)
207 {
208     RSA_free(pkey->pkey.rsa);
209 }
210
211 static X509_ALGOR *rsa_mgf1_decode(X509_ALGOR *alg)
212 {
213     if (OBJ_obj2nid(alg->algorithm) != NID_mgf1)
214         return NULL;
215     return ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(X509_ALGOR),
216                                      alg->parameter);
217 }
218
219 static int rsa_pss_param_print(BIO *bp, int pss_key, RSA_PSS_PARAMS *pss,
220                                int indent)
221 {
222     int rv = 0;
223     X509_ALGOR *maskHash = NULL;
224
225     if (!BIO_indent(bp, indent, 128))
226         goto err;
227     if (pss_key) {
228         if (pss == NULL) {
229             if (BIO_puts(bp, "No PSS parameter restrictions\n") <= 0)
230                 return 0;
231             return 1;
232         } else {
233             if (BIO_puts(bp, "PSS parameter restrictions:") <= 0)
234                 return 0;
235         }
236     } else if (pss == NULL) {
237         if (BIO_puts(bp,"(INVALID PSS PARAMETERS)\n") <= 0)
238             return 0;
239         return 1;
240     }
241     if (BIO_puts(bp, "\n") <= 0)
242         goto err;
243     if (pss_key)
244         indent += 2;
245     if (!BIO_indent(bp, indent, 128))
246         goto err;
247     if (BIO_puts(bp, "Hash Algorithm: ") <= 0)
248         goto err;
249
250     if (pss->hashAlgorithm) {
251         if (i2a_ASN1_OBJECT(bp, pss->hashAlgorithm->algorithm) <= 0)
252             goto err;
253     } else if (BIO_puts(bp, "sha1 (default)") <= 0)
254         goto err;
255
256     if (BIO_puts(bp, "\n") <= 0)
257         goto err;
258
259     if (!BIO_indent(bp, indent, 128))
260         goto err;
261
262     if (BIO_puts(bp, "Mask Algorithm: ") <= 0)
263         goto err;
264     if (pss->maskGenAlgorithm) {
265         if (i2a_ASN1_OBJECT(bp, pss->maskGenAlgorithm->algorithm) <= 0)
266             goto err;
267         if (BIO_puts(bp, " with ") <= 0)
268             goto err;
269         maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
270         if (maskHash != NULL) {
271             if (i2a_ASN1_OBJECT(bp, maskHash->algorithm) <= 0)
272                 goto err;
273         } else if (BIO_puts(bp, "INVALID") <= 0)
274             goto err;
275     } else if (BIO_puts(bp, "mgf1 with sha1 (default)") <= 0)
276         goto err;
277     BIO_puts(bp, "\n");
278
279     if (!BIO_indent(bp, indent, 128))
280         goto err;
281     if (BIO_printf(bp, "%s Salt Length: 0x", pss_key ? "Minimum" : "") <= 0)
282         goto err;
283     if (pss->saltLength) {
284         if (i2a_ASN1_INTEGER(bp, pss->saltLength) <= 0)
285             goto err;
286     } else if (BIO_puts(bp, "14 (default)") <= 0)
287         goto err;
288     BIO_puts(bp, "\n");
289
290     if (!BIO_indent(bp, indent, 128))
291         goto err;
292     if (BIO_puts(bp, "Trailer Field: 0x") <= 0)
293         goto err;
294     if (pss->trailerField) {
295         if (i2a_ASN1_INTEGER(bp, pss->trailerField) <= 0)
296             goto err;
297     } else if (BIO_puts(bp, "BC (default)") <= 0)
298         goto err;
299     BIO_puts(bp, "\n");
300
301     rv = 1;
302
303  err:
304     X509_ALGOR_free(maskHash);
305     return rv;
306
307 }
308
309 static int pkey_rsa_print(BIO *bp, const EVP_PKEY *pkey, int off, int priv)
310 {
311     const RSA *x = pkey->pkey.rsa;
312     char *str;
313     const char *s;
314     int ret = 0, mod_len = 0;
315
316     if (x->n != NULL)
317         mod_len = BN_num_bits(x->n);
318
319     if (!BIO_indent(bp, off, 128))
320         goto err;
321
322     if (BIO_printf(bp, "%s ", pkey_is_pss(pkey) ?  "RSA-PSS" : "RSA") <= 0)
323         goto err;
324
325     if (priv && x->d) {
326         if (BIO_printf(bp, "Private-Key: (%d bit)\n", mod_len) <= 0)
327             goto err;
328         str = "modulus:";
329         s = "publicExponent:";
330     } else {
331         if (BIO_printf(bp, "Public-Key: (%d bit)\n", mod_len) <= 0)
332             goto err;
333         str = "Modulus:";
334         s = "Exponent:";
335     }
336     if (!ASN1_bn_print(bp, str, x->n, NULL, off))
337         goto err;
338     if (!ASN1_bn_print(bp, s, x->e, NULL, off))
339         goto err;
340     if (priv) {
341         if (!ASN1_bn_print(bp, "privateExponent:", x->d, NULL, off))
342             goto err;
343         if (!ASN1_bn_print(bp, "prime1:", x->p, NULL, off))
344             goto err;
345         if (!ASN1_bn_print(bp, "prime2:", x->q, NULL, off))
346             goto err;
347         if (!ASN1_bn_print(bp, "exponent1:", x->dmp1, NULL, off))
348             goto err;
349         if (!ASN1_bn_print(bp, "exponent2:", x->dmq1, NULL, off))
350             goto err;
351         if (!ASN1_bn_print(bp, "coefficient:", x->iqmp, NULL, off))
352             goto err;
353     }
354     if (pkey_is_pss(pkey) && !rsa_pss_param_print(bp, 1, x->pss, off))
355         goto err;
356     ret = 1;
357  err:
358     return ret;
359 }
360
361 static int rsa_pub_print(BIO *bp, const EVP_PKEY *pkey, int indent,
362                          ASN1_PCTX *ctx)
363 {
364     return pkey_rsa_print(bp, pkey, indent, 0);
365 }
366
367 static int rsa_priv_print(BIO *bp, const EVP_PKEY *pkey, int indent,
368                           ASN1_PCTX *ctx)
369 {
370     return pkey_rsa_print(bp, pkey, indent, 1);
371 }
372
373 static RSA_PSS_PARAMS *rsa_pss_decode(const X509_ALGOR *alg)
374 {
375     RSA_PSS_PARAMS *pss;
376
377     pss = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_PSS_PARAMS),
378                                     alg->parameter);
379
380     if (pss == NULL)
381         return NULL;
382
383     if (pss->maskGenAlgorithm != NULL) {
384         pss->maskHash = rsa_mgf1_decode(pss->maskGenAlgorithm);
385         if (pss->maskHash == NULL) {
386             RSA_PSS_PARAMS_free(pss);
387             return NULL;
388         }
389     }
390
391     return pss;
392 }
393
394 static int rsa_sig_print(BIO *bp, const X509_ALGOR *sigalg,
395                          const ASN1_STRING *sig, int indent, ASN1_PCTX *pctx)
396 {
397     if (OBJ_obj2nid(sigalg->algorithm) == EVP_PKEY_RSA_PSS) {
398         int rv;
399         RSA_PSS_PARAMS *pss = rsa_pss_decode(sigalg);
400         rv = rsa_pss_param_print(bp, 0, pss, indent);
401         RSA_PSS_PARAMS_free(pss);
402         if (!rv)
403             return 0;
404     } else if (!sig && BIO_puts(bp, "\n") <= 0) {
405         return 0;
406     }
407     if (sig)
408         return X509_signature_dump(bp, sig, indent);
409     return 1;
410 }
411
412 static int rsa_pkey_ctrl(EVP_PKEY *pkey, int op, long arg1, void *arg2)
413 {
414     X509_ALGOR *alg = NULL;
415
416     switch (op) {
417
418     case ASN1_PKEY_CTRL_PKCS7_SIGN:
419         if (arg1 == 0)
420             PKCS7_SIGNER_INFO_get0_algs(arg2, NULL, NULL, &alg);
421         break;
422
423     case ASN1_PKEY_CTRL_PKCS7_ENCRYPT:
424         if (pkey_is_pss(pkey))
425             return -2;
426         if (arg1 == 0)
427             PKCS7_RECIP_INFO_get0_alg(arg2, &alg);
428         break;
429 #ifndef OPENSSL_NO_CMS
430     case ASN1_PKEY_CTRL_CMS_SIGN:
431         if (arg1 == 0)
432             return rsa_cms_sign(arg2);
433         else if (arg1 == 1)
434             return rsa_cms_verify(arg2);
435         break;
436
437     case ASN1_PKEY_CTRL_CMS_ENVELOPE:
438         if (pkey_is_pss(pkey))
439             return -2;
440         if (arg1 == 0)
441             return rsa_cms_encrypt(arg2);
442         else if (arg1 == 1)
443             return rsa_cms_decrypt(arg2);
444         break;
445
446     case ASN1_PKEY_CTRL_CMS_RI_TYPE:
447         if (pkey_is_pss(pkey))
448             return -2;
449         *(int *)arg2 = CMS_RECIPINFO_TRANS;
450         return 1;
451 #endif
452
453     case ASN1_PKEY_CTRL_DEFAULT_MD_NID:
454         *(int *)arg2 = NID_sha256;
455         return 1;
456
457     default:
458         return -2;
459
460     }
461
462     if (alg)
463         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
464
465     return 1;
466
467 }
468
469 /* allocate and set algorithm ID from EVP_MD, default SHA1 */
470 static int rsa_md_to_algor(X509_ALGOR **palg, const EVP_MD *md)
471 {
472     if (md == NULL || EVP_MD_type(md) == NID_sha1)
473         return 1;
474     *palg = X509_ALGOR_new();
475     if (*palg == NULL)
476         return 0;
477     X509_ALGOR_set_md(*palg, md);
478     return 1;
479 }
480
481 /* Allocate and set MGF1 algorithm ID from EVP_MD */
482 static int rsa_md_to_mgf1(X509_ALGOR **palg, const EVP_MD *mgf1md)
483 {
484     X509_ALGOR *algtmp = NULL;
485     ASN1_STRING *stmp = NULL;
486
487     *palg = NULL;
488     if (mgf1md == NULL || EVP_MD_type(mgf1md) == NID_sha1)
489         return 1;
490     /* need to embed algorithm ID inside another */
491     if (!rsa_md_to_algor(&algtmp, mgf1md))
492         goto err;
493     if (ASN1_item_pack(algtmp, ASN1_ITEM_rptr(X509_ALGOR), &stmp) == NULL)
494          goto err;
495     *palg = X509_ALGOR_new();
496     if (*palg == NULL)
497         goto err;
498     X509_ALGOR_set0(*palg, OBJ_nid2obj(NID_mgf1), V_ASN1_SEQUENCE, stmp);
499     stmp = NULL;
500  err:
501     ASN1_STRING_free(stmp);
502     X509_ALGOR_free(algtmp);
503     if (*palg)
504         return 1;
505     return 0;
506 }
507
508 /* convert algorithm ID to EVP_MD, default SHA1 */
509 static const EVP_MD *rsa_algor_to_md(X509_ALGOR *alg)
510 {
511     const EVP_MD *md;
512
513     if (!alg)
514         return EVP_sha1();
515     md = EVP_get_digestbyobj(alg->algorithm);
516     if (md == NULL)
517         RSAerr(RSA_F_RSA_ALGOR_TO_MD, RSA_R_UNKNOWN_DIGEST);
518     return md;
519 }
520
521 /*
522  * Convert EVP_PKEY_CTX in PSS mode into corresponding algorithm parameter,
523  * suitable for setting an AlgorithmIdentifier.
524  */
525
526 static RSA_PSS_PARAMS *rsa_ctx_to_pss(EVP_PKEY_CTX *pkctx)
527 {
528     const EVP_MD *sigmd, *mgf1md;
529     EVP_PKEY *pk = EVP_PKEY_CTX_get0_pkey(pkctx);
530     int saltlen;
531
532     if (EVP_PKEY_CTX_get_signature_md(pkctx, &sigmd) <= 0)
533         return NULL;
534     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
535         return NULL;
536     if (!EVP_PKEY_CTX_get_rsa_pss_saltlen(pkctx, &saltlen))
537         return NULL;
538     if (saltlen == -1)
539         saltlen = EVP_MD_size(sigmd);
540     else if (saltlen == -2) {
541         saltlen = EVP_PKEY_size(pk) - EVP_MD_size(sigmd) - 2;
542         if (((EVP_PKEY_bits(pk) - 1) & 0x7) == 0)
543             saltlen--;
544     }
545
546     return rsa_pss_params_create(sigmd, mgf1md, saltlen);
547 }
548
549 RSA_PSS_PARAMS *rsa_pss_params_create(const EVP_MD *sigmd,
550                                       const EVP_MD *mgf1md, int saltlen)
551 {
552     RSA_PSS_PARAMS *pss = RSA_PSS_PARAMS_new();
553
554     if (pss == NULL)
555         goto err;
556     if (saltlen != 20) {
557         pss->saltLength = ASN1_INTEGER_new();
558         if (pss->saltLength == NULL)
559             goto err;
560         if (!ASN1_INTEGER_set(pss->saltLength, saltlen))
561             goto err;
562     }
563     if (!rsa_md_to_algor(&pss->hashAlgorithm, sigmd))
564         goto err;
565     if (mgf1md == NULL)
566         mgf1md = sigmd;
567     if (!rsa_md_to_mgf1(&pss->maskGenAlgorithm, mgf1md))
568         goto err;
569     return pss;
570  err:
571     RSA_PSS_PARAMS_free(pss);
572     return NULL;
573 }
574
575 static ASN1_STRING *rsa_ctx_to_pss_string(EVP_PKEY_CTX *pkctx)
576 {
577     RSA_PSS_PARAMS *pss = rsa_ctx_to_pss(pkctx);
578     ASN1_STRING *os;
579
580     if (pss == NULL)
581         return NULL;
582
583     os = ASN1_item_pack(pss, ASN1_ITEM_rptr(RSA_PSS_PARAMS), NULL);
584     RSA_PSS_PARAMS_free(pss);
585     return os;
586 }
587
588 /*
589  * From PSS AlgorithmIdentifier set public key parameters. If pkey isn't NULL
590  * then the EVP_MD_CTX is setup and initialised. If it is NULL parameters are
591  * passed to pkctx instead.
592  */
593
594 static int rsa_pss_to_ctx(EVP_MD_CTX *ctx, EVP_PKEY_CTX *pkctx,
595                           X509_ALGOR *sigalg, EVP_PKEY *pkey)
596 {
597     int rv = -1;
598     int saltlen;
599     const EVP_MD *mgf1md = NULL, *md = NULL;
600     RSA_PSS_PARAMS *pss;
601
602     /* Sanity check: make sure it is PSS */
603     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
604         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
605         return -1;
606     }
607     /* Decode PSS parameters */
608     pss = rsa_pss_decode(sigalg);
609
610     if (!rsa_pss_get_param(pss, &md, &mgf1md, &saltlen)) {
611         RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_INVALID_PSS_PARAMETERS);
612         goto err;
613     }
614
615     /* We have all parameters now set up context */
616     if (pkey) {
617         if (!EVP_DigestVerifyInit(ctx, &pkctx, md, NULL, pkey))
618             goto err;
619     } else {
620         const EVP_MD *checkmd;
621         if (EVP_PKEY_CTX_get_signature_md(pkctx, &checkmd) <= 0)
622             goto err;
623         if (EVP_MD_type(md) != EVP_MD_type(checkmd)) {
624             RSAerr(RSA_F_RSA_PSS_TO_CTX, RSA_R_DIGEST_DOES_NOT_MATCH);
625             goto err;
626         }
627     }
628
629     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_PSS_PADDING) <= 0)
630         goto err;
631
632     if (EVP_PKEY_CTX_set_rsa_pss_saltlen(pkctx, saltlen) <= 0)
633         goto err;
634
635     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
636         goto err;
637     /* Carry on */
638     rv = 1;
639
640  err:
641     RSA_PSS_PARAMS_free(pss);
642     return rv;
643 }
644
645 int rsa_pss_get_param(const RSA_PSS_PARAMS *pss, const EVP_MD **pmd,
646                       const EVP_MD **pmgf1md, int *psaltlen)
647 {
648     if (pss == NULL)
649         return 0;
650     *pmd = rsa_algor_to_md(pss->hashAlgorithm);
651     if (*pmd == NULL)
652         return 0;
653     *pmgf1md = rsa_algor_to_md(pss->maskHash);
654     if (*pmgf1md == NULL)
655         return 0;
656     if (pss->saltLength) {
657         *psaltlen = ASN1_INTEGER_get(pss->saltLength);
658         if (*psaltlen < 0) {
659             RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_SALT_LENGTH);
660             return 0;
661         }
662     } else
663         *psaltlen = 20;
664
665     /*
666      * low-level routines support only trailer field 0xbc (value 1) and
667      * PKCS#1 says we should reject any other value anyway.
668      */
669     if (pss->trailerField && ASN1_INTEGER_get(pss->trailerField) != 1) {
670         RSAerr(RSA_F_RSA_PSS_GET_PARAM, RSA_R_INVALID_TRAILER);
671         return 0;
672     }
673
674     return 1;
675 }
676
677 #ifndef OPENSSL_NO_CMS
678 static int rsa_cms_verify(CMS_SignerInfo *si)
679 {
680     int nid, nid2;
681     X509_ALGOR *alg;
682     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
683
684     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
685     nid = OBJ_obj2nid(alg->algorithm);
686     if (nid == EVP_PKEY_RSA_PSS)
687         return rsa_pss_to_ctx(NULL, pkctx, alg, NULL);
688     /* Only PSS allowed for PSS keys */
689     if (pkey_ctx_is_pss(pkctx)) {
690         RSAerr(RSA_F_RSA_CMS_VERIFY, RSA_R_ILLEGAL_OR_UNSUPPORTED_PADDING_MODE);
691         return 0;
692     }
693     if (nid == NID_rsaEncryption)
694         return 1;
695     /* Workaround for some implementation that use a signature OID */
696     if (OBJ_find_sigid_algs(nid, NULL, &nid2)) {
697         if (nid2 == NID_rsaEncryption)
698             return 1;
699     }
700     return 0;
701 }
702 #endif
703
704 /*
705  * Customised RSA item verification routine. This is called when a signature
706  * is encountered requiring special handling. We currently only handle PSS.
707  */
708
709 static int rsa_item_verify(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
710                            X509_ALGOR *sigalg, ASN1_BIT_STRING *sig,
711                            EVP_PKEY *pkey)
712 {
713     /* Sanity check: make sure it is PSS */
714     if (OBJ_obj2nid(sigalg->algorithm) != EVP_PKEY_RSA_PSS) {
715         RSAerr(RSA_F_RSA_ITEM_VERIFY, RSA_R_UNSUPPORTED_SIGNATURE_TYPE);
716         return -1;
717     }
718     if (rsa_pss_to_ctx(ctx, NULL, sigalg, pkey) > 0) {
719         /* Carry on */
720         return 2;
721     }
722     return -1;
723 }
724
725 #ifndef OPENSSL_NO_CMS
726 static int rsa_cms_sign(CMS_SignerInfo *si)
727 {
728     int pad_mode = RSA_PKCS1_PADDING;
729     X509_ALGOR *alg;
730     EVP_PKEY_CTX *pkctx = CMS_SignerInfo_get0_pkey_ctx(si);
731     ASN1_STRING *os = NULL;
732
733     CMS_SignerInfo_get0_algs(si, NULL, NULL, NULL, &alg);
734     if (pkctx) {
735         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
736             return 0;
737     }
738     if (pad_mode == RSA_PKCS1_PADDING) {
739         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
740         return 1;
741     }
742     /* We don't support it */
743     if (pad_mode != RSA_PKCS1_PSS_PADDING)
744         return 0;
745     os = rsa_ctx_to_pss_string(pkctx);
746     if (!os)
747         return 0;
748     X509_ALGOR_set0(alg, OBJ_nid2obj(EVP_PKEY_RSA_PSS), V_ASN1_SEQUENCE, os);
749     return 1;
750 }
751 #endif
752
753 static int rsa_item_sign(EVP_MD_CTX *ctx, const ASN1_ITEM *it, void *asn,
754                          X509_ALGOR *alg1, X509_ALGOR *alg2,
755                          ASN1_BIT_STRING *sig)
756 {
757     int pad_mode;
758     EVP_PKEY_CTX *pkctx = EVP_MD_CTX_pkey_ctx(ctx);
759
760     if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
761         return 0;
762     if (pad_mode == RSA_PKCS1_PADDING)
763         return 2;
764     if (pad_mode == RSA_PKCS1_PSS_PADDING) {
765         ASN1_STRING *os1 = NULL;
766         os1 = rsa_ctx_to_pss_string(pkctx);
767         if (!os1)
768             return 0;
769         /* Duplicate parameters if we have to */
770         if (alg2) {
771             ASN1_STRING *os2 = ASN1_STRING_dup(os1);
772             if (!os2) {
773                 ASN1_STRING_free(os1);
774                 return 0;
775             }
776             X509_ALGOR_set0(alg2, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
777                             V_ASN1_SEQUENCE, os2);
778         }
779         X509_ALGOR_set0(alg1, OBJ_nid2obj(EVP_PKEY_RSA_PSS),
780                         V_ASN1_SEQUENCE, os1);
781         return 3;
782     }
783     return 2;
784 }
785
786 #ifndef OPENSSL_NO_CMS
787 static RSA_OAEP_PARAMS *rsa_oaep_decode(const X509_ALGOR *alg)
788 {
789     RSA_OAEP_PARAMS *oaep;
790
791     oaep = ASN1_TYPE_unpack_sequence(ASN1_ITEM_rptr(RSA_OAEP_PARAMS),
792                                      alg->parameter);
793
794     if (oaep == NULL)
795         return NULL;
796
797     if (oaep->maskGenFunc != NULL) {
798         oaep->maskHash = rsa_mgf1_decode(oaep->maskGenFunc);
799         if (oaep->maskHash == NULL) {
800             RSA_OAEP_PARAMS_free(oaep);
801             return NULL;
802         }
803     }
804     return oaep;
805 }
806
807 static int rsa_cms_decrypt(CMS_RecipientInfo *ri)
808 {
809     EVP_PKEY_CTX *pkctx;
810     X509_ALGOR *cmsalg;
811     int nid;
812     int rv = -1;
813     unsigned char *label = NULL;
814     int labellen = 0;
815     const EVP_MD *mgf1md = NULL, *md = NULL;
816     RSA_OAEP_PARAMS *oaep;
817
818     pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
819     if (pkctx == NULL)
820         return 0;
821     if (!CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &cmsalg))
822         return -1;
823     nid = OBJ_obj2nid(cmsalg->algorithm);
824     if (nid == NID_rsaEncryption)
825         return 1;
826     if (nid != NID_rsaesOaep) {
827         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_ENCRYPTION_TYPE);
828         return -1;
829     }
830     /* Decode OAEP parameters */
831     oaep = rsa_oaep_decode(cmsalg);
832
833     if (oaep == NULL) {
834         RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_OAEP_PARAMETERS);
835         goto err;
836     }
837
838     mgf1md = rsa_algor_to_md(oaep->maskHash);
839     if (mgf1md == NULL)
840         goto err;
841     md = rsa_algor_to_md(oaep->hashFunc);
842     if (md == NULL)
843         goto err;
844
845     if (oaep->pSourceFunc != NULL) {
846         X509_ALGOR *plab = oaep->pSourceFunc;
847
848         if (OBJ_obj2nid(plab->algorithm) != NID_pSpecified) {
849             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_UNSUPPORTED_LABEL_SOURCE);
850             goto err;
851         }
852         if (plab->parameter->type != V_ASN1_OCTET_STRING) {
853             RSAerr(RSA_F_RSA_CMS_DECRYPT, RSA_R_INVALID_LABEL);
854             goto err;
855         }
856
857         label = plab->parameter->value.octet_string->data;
858         /* Stop label being freed when OAEP parameters are freed */
859         plab->parameter->value.octet_string->data = NULL;
860         labellen = plab->parameter->value.octet_string->length;
861     }
862
863     if (EVP_PKEY_CTX_set_rsa_padding(pkctx, RSA_PKCS1_OAEP_PADDING) <= 0)
864         goto err;
865     if (EVP_PKEY_CTX_set_rsa_oaep_md(pkctx, md) <= 0)
866         goto err;
867     if (EVP_PKEY_CTX_set_rsa_mgf1_md(pkctx, mgf1md) <= 0)
868         goto err;
869     if (EVP_PKEY_CTX_set0_rsa_oaep_label(pkctx, label, labellen) <= 0)
870         goto err;
871     /* Carry on */
872     rv = 1;
873
874  err:
875     RSA_OAEP_PARAMS_free(oaep);
876     return rv;
877 }
878
879 static int rsa_cms_encrypt(CMS_RecipientInfo *ri)
880 {
881     const EVP_MD *md, *mgf1md;
882     RSA_OAEP_PARAMS *oaep = NULL;
883     ASN1_STRING *os = NULL;
884     X509_ALGOR *alg;
885     EVP_PKEY_CTX *pkctx = CMS_RecipientInfo_get0_pkey_ctx(ri);
886     int pad_mode = RSA_PKCS1_PADDING, rv = 0, labellen;
887     unsigned char *label;
888
889     CMS_RecipientInfo_ktri_get0_algs(ri, NULL, NULL, &alg);
890     if (pkctx) {
891         if (EVP_PKEY_CTX_get_rsa_padding(pkctx, &pad_mode) <= 0)
892             return 0;
893     }
894     if (pad_mode == RSA_PKCS1_PADDING) {
895         X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaEncryption), V_ASN1_NULL, 0);
896         return 1;
897     }
898     /* Not supported */
899     if (pad_mode != RSA_PKCS1_OAEP_PADDING)
900         return 0;
901     if (EVP_PKEY_CTX_get_rsa_oaep_md(pkctx, &md) <= 0)
902         goto err;
903     if (EVP_PKEY_CTX_get_rsa_mgf1_md(pkctx, &mgf1md) <= 0)
904         goto err;
905     labellen = EVP_PKEY_CTX_get0_rsa_oaep_label(pkctx, &label);
906     if (labellen < 0)
907         goto err;
908     oaep = RSA_OAEP_PARAMS_new();
909     if (oaep == NULL)
910         goto err;
911     if (!rsa_md_to_algor(&oaep->hashFunc, md))
912         goto err;
913     if (!rsa_md_to_mgf1(&oaep->maskGenFunc, mgf1md))
914         goto err;
915     if (labellen > 0) {
916         ASN1_OCTET_STRING *los;
917         oaep->pSourceFunc = X509_ALGOR_new();
918         if (oaep->pSourceFunc == NULL)
919             goto err;
920         los = ASN1_OCTET_STRING_new();
921         if (los == NULL)
922             goto err;
923         if (!ASN1_OCTET_STRING_set(los, label, labellen)) {
924             ASN1_OCTET_STRING_free(los);
925             goto err;
926         }
927         X509_ALGOR_set0(oaep->pSourceFunc, OBJ_nid2obj(NID_pSpecified),
928                         V_ASN1_OCTET_STRING, los);
929     }
930     /* create string with pss parameter encoding. */
931     if (!ASN1_item_pack(oaep, ASN1_ITEM_rptr(RSA_OAEP_PARAMS), &os))
932          goto err;
933     X509_ALGOR_set0(alg, OBJ_nid2obj(NID_rsaesOaep), V_ASN1_SEQUENCE, os);
934     os = NULL;
935     rv = 1;
936  err:
937     RSA_OAEP_PARAMS_free(oaep);
938     ASN1_STRING_free(os);
939     return rv;
940 }
941 #endif
942
943 const EVP_PKEY_ASN1_METHOD rsa_asn1_meths[2] = {
944     {
945      EVP_PKEY_RSA,
946      EVP_PKEY_RSA,
947      ASN1_PKEY_SIGPARAM_NULL,
948
949      "RSA",
950      "OpenSSL RSA method",
951
952      rsa_pub_decode,
953      rsa_pub_encode,
954      rsa_pub_cmp,
955      rsa_pub_print,
956
957      rsa_priv_decode,
958      rsa_priv_encode,
959      rsa_priv_print,
960
961      int_rsa_size,
962      rsa_bits,
963      rsa_security_bits,
964
965      0, 0, 0, 0, 0, 0,
966
967      rsa_sig_print,
968      int_rsa_free,
969      rsa_pkey_ctrl,
970      old_rsa_priv_decode,
971      old_rsa_priv_encode,
972      rsa_item_verify,
973      rsa_item_sign},
974
975     {
976      EVP_PKEY_RSA2,
977      EVP_PKEY_RSA,
978      ASN1_PKEY_ALIAS}
979 };
980
981 const EVP_PKEY_ASN1_METHOD rsa_pss_asn1_meth = {
982      EVP_PKEY_RSA_PSS,
983      EVP_PKEY_RSA_PSS,
984      ASN1_PKEY_SIGPARAM_NULL,
985
986      "RSA-PSS",
987      "OpenSSL RSA-PSS method",
988
989      rsa_pub_decode,
990      rsa_pub_encode,
991      rsa_pub_cmp,
992      rsa_pub_print,
993
994      rsa_priv_decode,
995      rsa_priv_encode,
996      rsa_priv_print,
997
998      int_rsa_size,
999      rsa_bits,
1000      rsa_security_bits,
1001
1002      0, 0, 0, 0, 0, 0,
1003
1004      rsa_sig_print,
1005      int_rsa_free,
1006      rsa_pkey_ctrl,
1007      0, 0,
1008      rsa_item_verify,
1009      rsa_item_sign,
1010 };