evp: fix coverity 1484885 negative integer to size_t conversion
[openssl.git] / crypto / evp / p_seal.c
1 /*
2  * Copyright 1995-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/rand.h>
13 #include <openssl/rsa.h>
14 #include <openssl/evp.h>
15 #include <openssl/objects.h>
16 #include <openssl/x509.h>
17
18 int EVP_SealInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *type,
19                  unsigned char **ek, int *ekl, unsigned char *iv,
20                  EVP_PKEY **pubk, int npubk)
21 {
22     unsigned char key[EVP_MAX_KEY_LENGTH];
23     int i, len;
24     int rv = 0;
25
26     if (type) {
27         EVP_CIPHER_CTX_reset(ctx);
28         if (!EVP_EncryptInit_ex(ctx, type, NULL, NULL, NULL))
29             return 0;
30     }
31     if ((npubk <= 0) || !pubk)
32         return 1;
33
34     if (EVP_CIPHER_CTX_rand_key(ctx, key) <= 0)
35         return 0;
36
37     len = EVP_CIPHER_CTX_iv_length(ctx);
38     if (len < 0 || RAND_bytes(iv, len) <= 0)
39         goto err;
40
41     len = EVP_CIPHER_CTX_key_length(ctx);
42     if (len < 0)
43         goto err;
44
45     if (!EVP_EncryptInit_ex(ctx, NULL, NULL, key, iv))
46         goto err;
47
48     for (i = 0; i < npubk; i++) {
49         size_t keylen = len;
50         EVP_PKEY_CTX *pctx = NULL;
51
52         if ((pctx = EVP_PKEY_CTX_new(pubk[i], NULL)) == NULL) {
53             ERR_raise(ERR_LIB_EVP, ERR_R_MALLOC_FAILURE);
54             goto err;
55         }
56
57         if (EVP_PKEY_encrypt_init(pctx) <= 0
58             || EVP_PKEY_encrypt(pctx, ek[i], &keylen, key, keylen) <= 0)
59             goto err;
60         ekl[i] = (int)keylen;
61         EVP_PKEY_CTX_free(pctx);
62     }
63     rv = npubk;
64 err:
65     OPENSSL_cleanse(key, sizeof(key));
66     return rv;
67 }
68
69 int EVP_SealFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
70 {
71     int i;
72     i = EVP_EncryptFinal_ex(ctx, out, outl);
73     if (i)
74         i = EVP_EncryptInit_ex(ctx, NULL, NULL, NULL, NULL);
75     return i;
76 }