Stop raising ERR_R_MALLOC_FAILURE in most places
[openssl.git] / crypto / cms / cms_enc.c
1 /*
2  * Copyright 2008-2021 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "internal/cryptlib.h"
11 #include <openssl/asn1t.h>
12 #include <openssl/pem.h>
13 #include <openssl/x509v3.h>
14 #include <openssl/err.h>
15 #include <openssl/cms.h>
16 #include <openssl/rand.h>
17 #include "crypto/evp.h"
18 #include "cms_local.h"
19
20 /* CMS EncryptedData Utilities */
21
22 /* Return BIO based on EncryptedContentInfo and key */
23
24 BIO *ossl_cms_EncryptedContent_init_bio(CMS_EncryptedContentInfo *ec,
25                                         const CMS_CTX *cms_ctx)
26 {
27     BIO *b;
28     EVP_CIPHER_CTX *ctx;
29     EVP_CIPHER *fetched_ciph = NULL;
30     const EVP_CIPHER *cipher = NULL;
31     X509_ALGOR *calg = ec->contentEncryptionAlgorithm;
32     evp_cipher_aead_asn1_params aparams;
33     unsigned char iv[EVP_MAX_IV_LENGTH], *piv = NULL;
34     unsigned char *tkey = NULL;
35     int len;
36     int ivlen = 0;
37     size_t tkeylen = 0;
38     int ok = 0;
39     int enc, keep_key = 0;
40     OSSL_LIB_CTX *libctx = ossl_cms_ctx_get0_libctx(cms_ctx);
41     const char *propq = ossl_cms_ctx_get0_propq(cms_ctx);
42
43     enc = ec->cipher ? 1 : 0;
44
45     b = BIO_new(BIO_f_cipher());
46     if (b == NULL) {
47         ERR_raise(ERR_LIB_CMS, ERR_R_BIO_LIB);
48         return NULL;
49     }
50
51     BIO_get_cipher_ctx(b, &ctx);
52
53     (void)ERR_set_mark();
54     if (enc) {
55         cipher = ec->cipher;
56         /*
57          * If not keeping key set cipher to NULL so subsequent calls decrypt.
58          */
59         if (ec->key != NULL)
60             ec->cipher = NULL;
61     } else {
62         cipher = EVP_get_cipherbyobj(calg->algorithm);
63     }
64     if (cipher != NULL) {
65         fetched_ciph = EVP_CIPHER_fetch(libctx, EVP_CIPHER_get0_name(cipher),
66                                         propq);
67         if (fetched_ciph != NULL)
68             cipher = fetched_ciph;
69     }
70     if (cipher == NULL) {
71         (void)ERR_clear_last_mark();
72         ERR_raise(ERR_LIB_CMS, CMS_R_UNKNOWN_CIPHER);
73         goto err;
74     }
75     (void)ERR_pop_to_mark();
76
77     if (EVP_CipherInit_ex(ctx, cipher, NULL, NULL, NULL, enc) <= 0) {
78         ERR_raise(ERR_LIB_CMS, CMS_R_CIPHER_INITIALISATION_ERROR);
79         goto err;
80     }
81
82     if (enc) {
83         calg->algorithm = OBJ_nid2obj(EVP_CIPHER_CTX_get_type(ctx));
84         /* Generate a random IV if we need one */
85         ivlen = EVP_CIPHER_CTX_get_iv_length(ctx);
86         if (ivlen < 0) {
87             ERR_raise(ERR_LIB_CMS, ERR_R_EVP_LIB);
88             goto err;
89         }
90
91         if (ivlen > 0) {
92             if (RAND_bytes_ex(libctx, iv, ivlen, 0) <= 0)
93                 goto err;
94             piv = iv;
95         }
96     } else {
97         if (evp_cipher_asn1_to_param_ex(ctx, calg->parameter, &aparams) <= 0) {
98             ERR_raise(ERR_LIB_CMS, CMS_R_CIPHER_PARAMETER_INITIALISATION_ERROR);
99             goto err;
100         }
101         if ((EVP_CIPHER_get_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)) {
102             piv = aparams.iv;
103             if (ec->taglen > 0
104                     && EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
105                                            ec->taglen, ec->tag) <= 0) {
106                 ERR_raise(ERR_LIB_CMS, CMS_R_CIPHER_AEAD_SET_TAG_ERROR);
107                 goto err;
108             }
109         }
110     }
111     len = EVP_CIPHER_CTX_get_key_length(ctx);
112     if (len <= 0)
113         goto err;
114     tkeylen = (size_t)len;
115
116     /* Generate random session key */
117     if (!enc || !ec->key) {
118         tkey = OPENSSL_malloc(tkeylen);
119         if (tkey == NULL)
120             goto err;
121         if (EVP_CIPHER_CTX_rand_key(ctx, tkey) <= 0)
122             goto err;
123     }
124
125     if (!ec->key) {
126         ec->key = tkey;
127         ec->keylen = tkeylen;
128         tkey = NULL;
129         if (enc)
130             keep_key = 1;
131         else
132             ERR_clear_error();
133
134     }
135
136     if (ec->keylen != tkeylen) {
137         /* If necessary set key length */
138         if (EVP_CIPHER_CTX_set_key_length(ctx, ec->keylen) <= 0) {
139             /*
140              * Only reveal failure if debugging so we don't leak information
141              * which may be useful in MMA.
142              */
143             if (enc || ec->debug) {
144                 ERR_raise(ERR_LIB_CMS, CMS_R_INVALID_KEY_LENGTH);
145                 goto err;
146             } else {
147                 /* Use random key */
148                 OPENSSL_clear_free(ec->key, ec->keylen);
149                 ec->key = tkey;
150                 ec->keylen = tkeylen;
151                 tkey = NULL;
152                 ERR_clear_error();
153             }
154         }
155     }
156
157     if (EVP_CipherInit_ex(ctx, NULL, NULL, ec->key, piv, enc) <= 0) {
158         ERR_raise(ERR_LIB_CMS, CMS_R_CIPHER_INITIALISATION_ERROR);
159         goto err;
160     }
161     if (enc) {
162         calg->parameter = ASN1_TYPE_new();
163         if (calg->parameter == NULL) {
164             ERR_raise(ERR_LIB_CMS, ERR_R_ASN1_LIB);
165             goto err;
166         }
167         if ((EVP_CIPHER_get_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)) {
168             memcpy(aparams.iv, piv, ivlen);
169             aparams.iv_len = ivlen;
170             aparams.tag_len = EVP_CIPHER_CTX_get_tag_length(ctx);
171             if (aparams.tag_len <= 0)
172                 goto err;
173         }
174
175         if (evp_cipher_param_to_asn1_ex(ctx, calg->parameter, &aparams) <= 0) {
176             ERR_raise(ERR_LIB_CMS, CMS_R_CIPHER_PARAMETER_INITIALISATION_ERROR);
177             goto err;
178         }
179         /* If parameter type not set omit parameter */
180         if (calg->parameter->type == V_ASN1_UNDEF) {
181             ASN1_TYPE_free(calg->parameter);
182             calg->parameter = NULL;
183         }
184     }
185     ok = 1;
186
187  err:
188     EVP_CIPHER_free(fetched_ciph);
189     if (!keep_key || !ok) {
190         OPENSSL_clear_free(ec->key, ec->keylen);
191         ec->key = NULL;
192     }
193     OPENSSL_clear_free(tkey, tkeylen);
194     if (ok)
195         return b;
196     BIO_free(b);
197     return NULL;
198 }
199
200 int ossl_cms_EncryptedContent_init(CMS_EncryptedContentInfo *ec,
201                                    const EVP_CIPHER *cipher,
202                                    const unsigned char *key, size_t keylen,
203                                    const CMS_CTX *cms_ctx)
204 {
205     ec->cipher = cipher;
206     if (key) {
207         if ((ec->key = OPENSSL_malloc(keylen)) == NULL)
208             return 0;
209         memcpy(ec->key, key, keylen);
210     }
211     ec->keylen = keylen;
212     if (cipher != NULL)
213         ec->contentType = OBJ_nid2obj(NID_pkcs7_data);
214     return 1;
215 }
216
217 int CMS_EncryptedData_set1_key(CMS_ContentInfo *cms, const EVP_CIPHER *ciph,
218                                const unsigned char *key, size_t keylen)
219 {
220     CMS_EncryptedContentInfo *ec;
221
222     if (!key || !keylen) {
223         ERR_raise(ERR_LIB_CMS, CMS_R_NO_KEY);
224         return 0;
225     }
226     if (ciph) {
227         cms->d.encryptedData = M_ASN1_new_of(CMS_EncryptedData);
228         if (!cms->d.encryptedData) {
229             ERR_raise(ERR_LIB_CMS, ERR_R_ASN1_LIB);
230             return 0;
231         }
232         cms->contentType = OBJ_nid2obj(NID_pkcs7_encrypted);
233         cms->d.encryptedData->version = 0;
234     } else if (OBJ_obj2nid(cms->contentType) != NID_pkcs7_encrypted) {
235         ERR_raise(ERR_LIB_CMS, CMS_R_NOT_ENCRYPTED_DATA);
236         return 0;
237     }
238     ec = cms->d.encryptedData->encryptedContentInfo;
239     return ossl_cms_EncryptedContent_init(ec, ciph, key, keylen,
240                                           ossl_cms_get0_cmsctx(cms));
241 }
242
243 BIO *ossl_cms_EncryptedData_init_bio(const CMS_ContentInfo *cms)
244 {
245     CMS_EncryptedData *enc = cms->d.encryptedData;
246     if (enc->encryptedContentInfo->cipher && enc->unprotectedAttrs)
247         enc->version = 2;
248     return ossl_cms_EncryptedContent_init_bio(enc->encryptedContentInfo,
249                                               ossl_cms_get0_cmsctx(cms));
250 }