Stop raising ERR_R_MALLOC_FAILURE in most places
[openssl.git] / ssl / s3_enc.c
1 /*
2  * Copyright 1995-2021 The OpenSSL Project Authors. All Rights Reserved.
3  * Copyright 2005 Nokia. All rights reserved.
4  *
5  * Licensed under the Apache License 2.0 (the "License").  You may not use
6  * this file except in compliance with the License.  You can obtain a copy
7  * in the file LICENSE in the source distribution or at
8  * https://www.openssl.org/source/license.html
9  */
10
11 #include <stdio.h>
12 #include "ssl_local.h"
13 #include <openssl/evp.h>
14 #include <openssl/md5.h>
15 #include <openssl/core_names.h>
16 #include "internal/cryptlib.h"
17
18 static int ssl3_generate_key_block(SSL_CONNECTION *s, unsigned char *km, int num)
19 {
20     const EVP_MD *md5 = NULL, *sha1 = NULL;
21     EVP_MD_CTX *m5;
22     EVP_MD_CTX *s1;
23     unsigned char buf[16], smd[SHA_DIGEST_LENGTH];
24     unsigned char c = 'A';
25     unsigned int i, k;
26     int ret = 0;
27     SSL_CTX *sctx = SSL_CONNECTION_GET_CTX(s);
28
29 #ifdef CHARSET_EBCDIC
30     c = os_toascii[c];          /* 'A' in ASCII */
31 #endif
32     k = 0;
33     md5 = ssl_evp_md_fetch(sctx->libctx, NID_md5, sctx->propq);
34     sha1 = ssl_evp_md_fetch(sctx->libctx, NID_sha1, sctx->propq);
35     m5 = EVP_MD_CTX_new();
36     s1 = EVP_MD_CTX_new();
37     if (md5 == NULL || sha1 == NULL || m5 == NULL || s1 == NULL) {
38         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_EVP_LIB);
39         goto err;
40     }
41     for (i = 0; (int)i < num; i += MD5_DIGEST_LENGTH) {
42         k++;
43         if (k > sizeof(buf)) {
44             /* bug: 'buf' is too small for this ciphersuite */
45             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
46             goto err;
47         }
48
49         memset(buf, c, k);
50         c++;
51         if (!EVP_DigestInit_ex(s1, sha1, NULL)
52             || !EVP_DigestUpdate(s1, buf, k)
53             || !EVP_DigestUpdate(s1, s->session->master_key,
54                                  s->session->master_key_length)
55             || !EVP_DigestUpdate(s1, s->s3.server_random, SSL3_RANDOM_SIZE)
56             || !EVP_DigestUpdate(s1, s->s3.client_random, SSL3_RANDOM_SIZE)
57             || !EVP_DigestFinal_ex(s1, smd, NULL)
58             || !EVP_DigestInit_ex(m5, md5, NULL)
59             || !EVP_DigestUpdate(m5, s->session->master_key,
60                                  s->session->master_key_length)
61             || !EVP_DigestUpdate(m5, smd, SHA_DIGEST_LENGTH)) {
62             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
63             goto err;
64         }
65         if ((int)(i + MD5_DIGEST_LENGTH) > num) {
66             if (!EVP_DigestFinal_ex(m5, smd, NULL)) {
67                 SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
68                 goto err;
69             }
70             memcpy(km, smd, (num - i));
71         } else {
72             if (!EVP_DigestFinal_ex(m5, km, NULL)) {
73                 SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
74                 goto err;
75             }
76         }
77
78         km += MD5_DIGEST_LENGTH;
79     }
80     OPENSSL_cleanse(smd, sizeof(smd));
81     ret = 1;
82  err:
83     EVP_MD_CTX_free(m5);
84     EVP_MD_CTX_free(s1);
85     ssl_evp_md_free(md5);
86     ssl_evp_md_free(sha1);
87     return ret;
88 }
89
90 int ssl3_change_cipher_state(SSL_CONNECTION *s, int which)
91 {
92     unsigned char *p, *mac_secret;
93     size_t md_len;
94     unsigned char *key, *iv;
95     EVP_CIPHER_CTX *dd;
96     const EVP_CIPHER *ciph;
97     const SSL_COMP *comp = NULL;
98     const EVP_MD *md;
99     int mdi;
100     size_t n, iv_len, key_len;
101     int reuse_dd = 0;
102     int direction = (which & SSL3_CC_READ) != 0 ? OSSL_RECORD_DIRECTION_READ
103                                                 : OSSL_RECORD_DIRECTION_WRITE;
104
105     ciph = s->s3.tmp.new_sym_enc;
106     md = s->s3.tmp.new_hash;
107     /* m == NULL will lead to a crash later */
108     if (!ossl_assert(md != NULL)) {
109         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
110         goto err;
111     }
112 #ifndef OPENSSL_NO_COMP
113     comp = s->s3.tmp.new_compression;
114 #endif
115
116     p = s->s3.tmp.key_block;
117     mdi = EVP_MD_get_size(md);
118     if (mdi < 0) {
119         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
120         goto err;
121     }
122     md_len = (size_t)mdi;
123     key_len = EVP_CIPHER_get_key_length(ciph);
124     iv_len = EVP_CIPHER_get_iv_length(ciph);
125     if ((which == SSL3_CHANGE_CIPHER_CLIENT_WRITE) ||
126         (which == SSL3_CHANGE_CIPHER_SERVER_READ)) {
127         mac_secret = &(p[0]);
128         n = md_len + md_len;
129         key = &(p[n]);
130         n += key_len + key_len;
131         iv = &(p[n]);
132         n += iv_len + iv_len;
133     } else {
134         n = md_len;
135         mac_secret = &(p[n]);
136         n += md_len + key_len;
137         key = &(p[n]);
138         n += key_len + iv_len;
139         iv = &(p[n]);
140         n += iv_len;
141     }
142
143     if (n > s->s3.tmp.key_block_length) {
144         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
145         goto err;
146     }
147
148     if (!ssl_set_new_record_layer(s, SSL3_VERSION,
149                                   direction,
150                                   OSSL_RECORD_PROTECTION_LEVEL_APPLICATION,
151                                   key, key_len, iv, iv_len, mac_secret,
152                                   md_len, ciph, 0, NID_undef, md, comp)) {
153         /* SSLfatal already called */
154         goto err;
155     }
156
157     if (which & SSL3_CC_READ) {
158         s->statem.enc_write_state = ENC_WRITE_STATE_VALID;
159         return 1;
160     }
161
162     s->statem.enc_write_state = ENC_WRITE_STATE_INVALID;
163     if (s->enc_write_ctx != NULL) {
164         reuse_dd = 1;
165     } else if ((s->enc_write_ctx = EVP_CIPHER_CTX_new()) == NULL) {
166         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_EVP_LIB);
167         goto err;
168     } else {
169         /*  make sure it's initialised in case we exit later with an error */
170         EVP_CIPHER_CTX_reset(s->enc_write_ctx);
171     }
172     dd = s->enc_write_ctx;
173     if (ssl_replace_hash(&s->write_hash, md) == NULL) {
174         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_SSL_LIB);
175         goto err;
176     }
177 #ifndef OPENSSL_NO_COMP
178     /* COMPRESS */
179     COMP_CTX_free(s->compress);
180     s->compress = NULL;
181     if (comp != NULL) {
182         s->compress = COMP_CTX_new(comp->method);
183         if (s->compress == NULL) {
184             SSLfatal(s, SSL_AD_INTERNAL_ERROR,
185                         SSL_R_COMPRESSION_LIBRARY_ERROR);
186             goto err;
187         }
188     }
189 #endif
190     RECORD_LAYER_reset_write_sequence(&s->rlayer);
191     memcpy(&(s->s3.write_mac_secret[0]), mac_secret, md_len);
192
193     if (reuse_dd)
194         EVP_CIPHER_CTX_reset(dd);
195
196     if (!EVP_CipherInit_ex(dd, ciph, NULL, key, iv, (which & SSL3_CC_WRITE))) {
197         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
198         goto err;
199     }
200
201     if (EVP_CIPHER_get0_provider(ciph) != NULL
202             && !tls_provider_set_tls_params(s, dd, ciph, md)) {
203         /* SSLfatal already called */
204         goto err;
205     }
206
207     s->statem.enc_write_state = ENC_WRITE_STATE_VALID;
208     return 1;
209  err:
210     return 0;
211 }
212
213 int ssl3_setup_key_block(SSL_CONNECTION *s)
214 {
215     unsigned char *p;
216     const EVP_CIPHER *c;
217     const EVP_MD *hash;
218     int num;
219     int ret = 0;
220     SSL_COMP *comp;
221
222     if (s->s3.tmp.key_block_length != 0)
223         return 1;
224
225     if (!ssl_cipher_get_evp(SSL_CONNECTION_GET_CTX(s), s->session, &c, &hash,
226                             NULL, NULL, &comp, 0)) {
227         /* Error is already recorded */
228         SSLfatal_alert(s, SSL_AD_INTERNAL_ERROR);
229         return 0;
230     }
231
232     ssl_evp_cipher_free(s->s3.tmp.new_sym_enc);
233     s->s3.tmp.new_sym_enc = c;
234     ssl_evp_md_free(s->s3.tmp.new_hash);
235     s->s3.tmp.new_hash = hash;
236 #ifdef OPENSSL_NO_COMP
237     s->s3.tmp.new_compression = NULL;
238 #else
239     s->s3.tmp.new_compression = comp;
240 #endif
241
242     num = EVP_MD_get_size(hash);
243     if (num < 0)
244         return 0;
245
246     num = EVP_CIPHER_get_key_length(c) + num + EVP_CIPHER_get_iv_length(c);
247     num *= 2;
248
249     ssl3_cleanup_key_block(s);
250
251     if ((p = OPENSSL_malloc(num)) == NULL) {
252         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_CRYPTO_LIB);
253         return 0;
254     }
255
256     s->s3.tmp.key_block_length = num;
257     s->s3.tmp.key_block = p;
258
259     /* Calls SSLfatal() as required */
260     ret = ssl3_generate_key_block(s, p, num);
261
262     return ret;
263 }
264
265 void ssl3_cleanup_key_block(SSL_CONNECTION *s)
266 {
267     OPENSSL_clear_free(s->s3.tmp.key_block, s->s3.tmp.key_block_length);
268     s->s3.tmp.key_block = NULL;
269     s->s3.tmp.key_block_length = 0;
270 }
271
272 int ssl3_init_finished_mac(SSL_CONNECTION *s)
273 {
274     BIO *buf = BIO_new(BIO_s_mem());
275
276     if (buf == NULL) {
277         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_BIO_LIB);
278         return 0;
279     }
280     ssl3_free_digest_list(s);
281     s->s3.handshake_buffer = buf;
282     (void)BIO_set_close(s->s3.handshake_buffer, BIO_CLOSE);
283     return 1;
284 }
285
286 /*
287  * Free digest list. Also frees handshake buffer since they are always freed
288  * together.
289  */
290
291 void ssl3_free_digest_list(SSL_CONNECTION *s)
292 {
293     BIO_free(s->s3.handshake_buffer);
294     s->s3.handshake_buffer = NULL;
295     EVP_MD_CTX_free(s->s3.handshake_dgst);
296     s->s3.handshake_dgst = NULL;
297 }
298
299 int ssl3_finish_mac(SSL_CONNECTION *s, const unsigned char *buf, size_t len)
300 {
301     int ret;
302
303     if (s->s3.handshake_dgst == NULL) {
304         /* Note: this writes to a memory BIO so a failure is a fatal error */
305         if (len > INT_MAX) {
306             SSLfatal(s, SSL_AD_INTERNAL_ERROR, SSL_R_OVERFLOW_ERROR);
307             return 0;
308         }
309         ret = BIO_write(s->s3.handshake_buffer, (void *)buf, (int)len);
310         if (ret <= 0 || ret != (int)len) {
311             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
312             return 0;
313         }
314     } else {
315         ret = EVP_DigestUpdate(s->s3.handshake_dgst, buf, len);
316         if (!ret) {
317             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
318             return 0;
319         }
320     }
321     return 1;
322 }
323
324 int ssl3_digest_cached_records(SSL_CONNECTION *s, int keep)
325 {
326     const EVP_MD *md;
327     long hdatalen;
328     void *hdata;
329
330     if (s->s3.handshake_dgst == NULL) {
331         hdatalen = BIO_get_mem_data(s->s3.handshake_buffer, &hdata);
332         if (hdatalen <= 0) {
333             SSLfatal(s, SSL_AD_INTERNAL_ERROR, SSL_R_BAD_HANDSHAKE_LENGTH);
334             return 0;
335         }
336
337         s->s3.handshake_dgst = EVP_MD_CTX_new();
338         if (s->s3.handshake_dgst == NULL) {
339             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_EVP_LIB);
340             return 0;
341         }
342
343         md = ssl_handshake_md(s);
344         if (md == NULL) {
345             SSLfatal(s, SSL_AD_INTERNAL_ERROR,
346                      SSL_R_NO_SUITABLE_DIGEST_ALGORITHM);
347             return 0;
348         }
349         if (!EVP_DigestInit_ex(s->s3.handshake_dgst, md, NULL)
350             || !EVP_DigestUpdate(s->s3.handshake_dgst, hdata, hdatalen)) {
351             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
352             return 0;
353         }
354     }
355     if (keep == 0) {
356         BIO_free(s->s3.handshake_buffer);
357         s->s3.handshake_buffer = NULL;
358     }
359
360     return 1;
361 }
362
363 void ssl3_digest_master_key_set_params(const SSL_SESSION *session,
364                                        OSSL_PARAM params[])
365 {
366     int n = 0;
367     params[n++] = OSSL_PARAM_construct_octet_string(OSSL_DIGEST_PARAM_SSL3_MS,
368                                                     (void *)session->master_key,
369                                                     session->master_key_length);
370     params[n++] = OSSL_PARAM_construct_end();
371 }
372
373 size_t ssl3_final_finish_mac(SSL_CONNECTION *s, const char *sender, size_t len,
374                              unsigned char *p)
375 {
376     int ret;
377     EVP_MD_CTX *ctx = NULL;
378
379     if (!ssl3_digest_cached_records(s, 0)) {
380         /* SSLfatal() already called */
381         return 0;
382     }
383
384     if (EVP_MD_CTX_get_type(s->s3.handshake_dgst) != NID_md5_sha1) {
385         SSLfatal(s, SSL_AD_INTERNAL_ERROR, SSL_R_NO_REQUIRED_DIGEST);
386         return 0;
387     }
388
389     ctx = EVP_MD_CTX_new();
390     if (ctx == NULL) {
391         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_EVP_LIB);
392         return 0;
393     }
394     if (!EVP_MD_CTX_copy_ex(ctx, s->s3.handshake_dgst)) {
395         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
396         ret = 0;
397         goto err;
398     }
399
400     ret = EVP_MD_CTX_get_size(ctx);
401     if (ret < 0) {
402         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
403         ret = 0;
404         goto err;
405     }
406
407     if (sender != NULL) {
408         OSSL_PARAM digest_cmd_params[3];
409
410         ssl3_digest_master_key_set_params(s->session, digest_cmd_params);
411
412         if (EVP_DigestUpdate(ctx, sender, len) <= 0
413             || EVP_MD_CTX_set_params(ctx, digest_cmd_params) <= 0
414             || EVP_DigestFinal_ex(ctx, p, NULL) <= 0) {
415                 SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
416                 ret = 0;
417         }
418     }
419
420  err:
421     EVP_MD_CTX_free(ctx);
422
423     return ret;
424 }
425
426 int ssl3_generate_master_secret(SSL_CONNECTION *s, unsigned char *out,
427                                 unsigned char *p,
428                                 size_t len, size_t *secret_size)
429 {
430     static const unsigned char *salt[3] = {
431 #ifndef CHARSET_EBCDIC
432         (const unsigned char *)"A",
433         (const unsigned char *)"BB",
434         (const unsigned char *)"CCC",
435 #else
436         (const unsigned char *)"\x41",
437         (const unsigned char *)"\x42\x42",
438         (const unsigned char *)"\x43\x43\x43",
439 #endif
440     };
441     unsigned char buf[EVP_MAX_MD_SIZE];
442     EVP_MD_CTX *ctx = EVP_MD_CTX_new();
443     int i, ret = 1;
444     unsigned int n;
445     size_t ret_secret_size = 0;
446
447     if (ctx == NULL) {
448         SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_EVP_LIB);
449         return 0;
450     }
451     for (i = 0; i < 3; i++) {
452         if (EVP_DigestInit_ex(ctx, SSL_CONNECTION_GET_CTX(s)->sha1, NULL) <= 0
453             || EVP_DigestUpdate(ctx, salt[i],
454                                 strlen((const char *)salt[i])) <= 0
455             || EVP_DigestUpdate(ctx, p, len) <= 0
456             || EVP_DigestUpdate(ctx, &(s->s3.client_random[0]),
457                                 SSL3_RANDOM_SIZE) <= 0
458             || EVP_DigestUpdate(ctx, &(s->s3.server_random[0]),
459                                 SSL3_RANDOM_SIZE) <= 0
460             || EVP_DigestFinal_ex(ctx, buf, &n) <= 0
461             || EVP_DigestInit_ex(ctx, SSL_CONNECTION_GET_CTX(s)->md5, NULL) <= 0
462             || EVP_DigestUpdate(ctx, p, len) <= 0
463             || EVP_DigestUpdate(ctx, buf, n) <= 0
464             || EVP_DigestFinal_ex(ctx, out, &n) <= 0) {
465             SSLfatal(s, SSL_AD_INTERNAL_ERROR, ERR_R_INTERNAL_ERROR);
466             ret = 0;
467             break;
468         }
469         out += n;
470         ret_secret_size += n;
471     }
472     EVP_MD_CTX_free(ctx);
473
474     OPENSSL_cleanse(buf, sizeof(buf));
475     if (ret)
476         *secret_size = ret_secret_size;
477     return ret;
478 }
479
480 int ssl3_alert_code(int code)
481 {
482     switch (code) {
483     case SSL_AD_CLOSE_NOTIFY:
484         return SSL3_AD_CLOSE_NOTIFY;
485     case SSL_AD_UNEXPECTED_MESSAGE:
486         return SSL3_AD_UNEXPECTED_MESSAGE;
487     case SSL_AD_BAD_RECORD_MAC:
488         return SSL3_AD_BAD_RECORD_MAC;
489     case SSL_AD_DECRYPTION_FAILED:
490         return SSL3_AD_BAD_RECORD_MAC;
491     case SSL_AD_RECORD_OVERFLOW:
492         return SSL3_AD_BAD_RECORD_MAC;
493     case SSL_AD_DECOMPRESSION_FAILURE:
494         return SSL3_AD_DECOMPRESSION_FAILURE;
495     case SSL_AD_HANDSHAKE_FAILURE:
496         return SSL3_AD_HANDSHAKE_FAILURE;
497     case SSL_AD_NO_CERTIFICATE:
498         return SSL3_AD_NO_CERTIFICATE;
499     case SSL_AD_BAD_CERTIFICATE:
500         return SSL3_AD_BAD_CERTIFICATE;
501     case SSL_AD_UNSUPPORTED_CERTIFICATE:
502         return SSL3_AD_UNSUPPORTED_CERTIFICATE;
503     case SSL_AD_CERTIFICATE_REVOKED:
504         return SSL3_AD_CERTIFICATE_REVOKED;
505     case SSL_AD_CERTIFICATE_EXPIRED:
506         return SSL3_AD_CERTIFICATE_EXPIRED;
507     case SSL_AD_CERTIFICATE_UNKNOWN:
508         return SSL3_AD_CERTIFICATE_UNKNOWN;
509     case SSL_AD_ILLEGAL_PARAMETER:
510         return SSL3_AD_ILLEGAL_PARAMETER;
511     case SSL_AD_UNKNOWN_CA:
512         return SSL3_AD_BAD_CERTIFICATE;
513     case SSL_AD_ACCESS_DENIED:
514         return SSL3_AD_HANDSHAKE_FAILURE;
515     case SSL_AD_DECODE_ERROR:
516         return SSL3_AD_HANDSHAKE_FAILURE;
517     case SSL_AD_DECRYPT_ERROR:
518         return SSL3_AD_HANDSHAKE_FAILURE;
519     case SSL_AD_EXPORT_RESTRICTION:
520         return SSL3_AD_HANDSHAKE_FAILURE;
521     case SSL_AD_PROTOCOL_VERSION:
522         return SSL3_AD_HANDSHAKE_FAILURE;
523     case SSL_AD_INSUFFICIENT_SECURITY:
524         return SSL3_AD_HANDSHAKE_FAILURE;
525     case SSL_AD_INTERNAL_ERROR:
526         return SSL3_AD_HANDSHAKE_FAILURE;
527     case SSL_AD_USER_CANCELLED:
528         return SSL3_AD_HANDSHAKE_FAILURE;
529     case SSL_AD_NO_RENEGOTIATION:
530         return -1;            /* Don't send it :-) */
531     case SSL_AD_UNSUPPORTED_EXTENSION:
532         return SSL3_AD_HANDSHAKE_FAILURE;
533     case SSL_AD_CERTIFICATE_UNOBTAINABLE:
534         return SSL3_AD_HANDSHAKE_FAILURE;
535     case SSL_AD_UNRECOGNIZED_NAME:
536         return SSL3_AD_HANDSHAKE_FAILURE;
537     case SSL_AD_BAD_CERTIFICATE_STATUS_RESPONSE:
538         return SSL3_AD_HANDSHAKE_FAILURE;
539     case SSL_AD_BAD_CERTIFICATE_HASH_VALUE:
540         return SSL3_AD_HANDSHAKE_FAILURE;
541     case SSL_AD_UNKNOWN_PSK_IDENTITY:
542         return TLS1_AD_UNKNOWN_PSK_IDENTITY;
543     case SSL_AD_INAPPROPRIATE_FALLBACK:
544         return TLS1_AD_INAPPROPRIATE_FALLBACK;
545     case SSL_AD_NO_APPLICATION_PROTOCOL:
546         return TLS1_AD_NO_APPLICATION_PROTOCOL;
547     case SSL_AD_CERTIFICATE_REQUIRED:
548         return SSL_AD_HANDSHAKE_FAILURE;
549     case TLS13_AD_MISSING_EXTENSION:
550         return SSL_AD_HANDSHAKE_FAILURE;
551     default:
552         return -1;
553     }
554 }