ssl/statem: Replace size_t with int and add the checks
[openssl.git] / ssl / record / ssl3_buffer.c
1 /*
2  * Copyright 1995-2021 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "../ssl_local.h"
11 #include "record_local.h"
12
13 void SSL3_BUFFER_set_data(SSL3_BUFFER *b, const unsigned char *d, size_t n)
14 {
15     if (d != NULL)
16         memcpy(b->buf, d, n);
17     b->left = n;
18     b->offset = 0;
19 }
20
21 /*
22  * Clear the contents of an SSL3_BUFFER but retain any memory allocated. Also
23  * retains the default_len setting
24  */
25 void SSL3_BUFFER_clear(SSL3_BUFFER *b)
26 {
27     b->offset = 0;
28     b->left = 0;
29 }
30
31 void SSL3_BUFFER_release(SSL3_BUFFER *b)
32 {
33     OPENSSL_free(b->buf);
34     b->buf = NULL;
35 }
36
37 int ssl3_setup_read_buffer(SSL *s)
38 {
39     unsigned char *p;
40     size_t len, align = 0, headerlen;
41     SSL3_BUFFER *b;
42
43     b = RECORD_LAYER_get_rbuf(&s->rlayer);
44
45     if (SSL_IS_DTLS(s))
46         headerlen = DTLS1_RT_HEADER_LENGTH;
47     else
48         headerlen = SSL3_RT_HEADER_LENGTH;
49
50 #if defined(SSL3_ALIGN_PAYLOAD) && SSL3_ALIGN_PAYLOAD!=0
51     align = (-SSL3_RT_HEADER_LENGTH) & (SSL3_ALIGN_PAYLOAD - 1);
52 #endif
53
54     if (b->buf == NULL) {
55         len = SSL3_RT_MAX_PLAIN_LENGTH
56             + SSL3_RT_MAX_ENCRYPTED_OVERHEAD + headerlen + align;
57 #ifndef OPENSSL_NO_COMP
58         if (ssl_allow_compression(s))
59             len += SSL3_RT_MAX_COMPRESSED_OVERHEAD;
60 #endif
61         if (b->default_len > len)
62             len = b->default_len;
63         if ((p = OPENSSL_malloc(len)) == NULL) {
64             /*
65              * We've got a malloc failure, and we're still initialising buffers.
66              * We assume we're so doomed that we won't even be able to send an
67              * alert.
68              */
69             SSLfatal(s, SSL_AD_NO_ALERT, ERR_R_MALLOC_FAILURE);
70             return 0;
71         }
72         b->buf = p;
73         b->len = len;
74     }
75
76     return 1;
77 }
78
79 int ssl3_setup_write_buffer(SSL *s, size_t numwpipes, size_t len)
80 {
81     unsigned char *p;
82     size_t align = 0, headerlen;
83     SSL3_BUFFER *wb;
84     size_t currpipe;
85
86     s->rlayer.numwpipes = numwpipes;
87
88     if (len == 0) {
89         if (SSL_IS_DTLS(s))
90             headerlen = DTLS1_RT_HEADER_LENGTH + 1;
91         else
92             headerlen = SSL3_RT_HEADER_LENGTH;
93
94 #if defined(SSL3_ALIGN_PAYLOAD) && SSL3_ALIGN_PAYLOAD!=0
95         align = SSL3_ALIGN_PAYLOAD - 1;
96 #endif
97
98         len = ssl_get_max_send_fragment(s)
99             + SSL3_RT_SEND_MAX_ENCRYPTED_OVERHEAD + headerlen + align;
100 #ifndef OPENSSL_NO_COMP
101         if (ssl_allow_compression(s))
102             len += SSL3_RT_MAX_COMPRESSED_OVERHEAD;
103 #endif
104         if (!(s->options & SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS))
105             len += headerlen + align + SSL3_RT_SEND_MAX_ENCRYPTED_OVERHEAD;
106     }
107
108     wb = RECORD_LAYER_get_wbuf(&s->rlayer);
109     for (currpipe = 0; currpipe < numwpipes; currpipe++) {
110         SSL3_BUFFER *thiswb = &wb[currpipe];
111
112         if (thiswb->len != len) {
113             OPENSSL_free(thiswb->buf);
114             thiswb->buf = NULL;         /* force reallocation */
115         }
116
117         if (thiswb->buf == NULL) {
118             if (s->wbio == NULL || !BIO_get_ktls_send(s->wbio)) {
119                 p = OPENSSL_malloc(len);
120                 if (p == NULL) {
121                     s->rlayer.numwpipes = currpipe;
122                     /*
123                      * We've got a malloc failure, and we're still initialising
124                      * buffers. We assume we're so doomed that we won't even be able
125                      * to send an alert.
126                      */
127                     SSLfatal(s, SSL_AD_NO_ALERT, ERR_R_MALLOC_FAILURE);
128                     return 0;
129                 }
130             } else {
131                 p = NULL;
132             }
133             memset(thiswb, 0, sizeof(SSL3_BUFFER));
134             thiswb->buf = p;
135             thiswb->len = len;
136         }
137     }
138
139     return 1;
140 }
141
142 int ssl3_setup_buffers(SSL *s)
143 {
144     if (!ssl3_setup_read_buffer(s)) {
145         /* SSLfatal() already called */
146         return 0;
147     }
148     if (!ssl3_setup_write_buffer(s, 1, 0)) {
149         /* SSLfatal() already called */
150         return 0;
151     }
152     return 1;
153 }
154
155 int ssl3_release_write_buffer(SSL *s)
156 {
157     SSL3_BUFFER *wb;
158     size_t pipes;
159
160     pipes = s->rlayer.numwpipes;
161     while (pipes > 0) {
162         wb = &RECORD_LAYER_get_wbuf(&s->rlayer)[pipes - 1];
163
164         if (SSL3_BUFFER_is_app_buffer(wb))
165             SSL3_BUFFER_set_app_buffer(wb, 0);
166         else
167             OPENSSL_free(wb->buf);
168         wb->buf = NULL;
169         pipes--;
170     }
171     s->rlayer.numwpipes = 0;
172     return 1;
173 }
174
175 int ssl3_release_read_buffer(SSL *s)
176 {
177     SSL3_BUFFER *b;
178
179     b = RECORD_LAYER_get_rbuf(&s->rlayer);
180     if (s->options & SSL_OP_CLEANSE_PLAINTEXT)
181         OPENSSL_cleanse(b->buf, b->len);
182     OPENSSL_free(b->buf);
183     b->buf = NULL;
184     return 1;
185 }