Set error if EVP_CipherUpdate fails.
[openssl.git] / crypto / evp / bio_enc.c
1 /*
2  * Copyright 1995-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <errno.h>
12 #include "internal/cryptlib.h"
13 #include <openssl/buffer.h>
14 #include <openssl/evp.h>
15 #include "internal/bio.h"
16
17 static int enc_write(BIO *h, const char *buf, int num);
18 static int enc_read(BIO *h, char *buf, int size);
19 /*
20  * static int enc_puts(BIO *h, const char *str);
21  */
22 /*
23  * static int enc_gets(BIO *h, char *str, int size);
24  */
25 static long enc_ctrl(BIO *h, int cmd, long arg1, void *arg2);
26 static int enc_new(BIO *h);
27 static int enc_free(BIO *data);
28 static long enc_callback_ctrl(BIO *h, int cmd, bio_info_cb *fps);
29 #define ENC_BLOCK_SIZE  (1024*4)
30 #define BUF_OFFSET      (EVP_MAX_BLOCK_LENGTH*2)
31
32 typedef struct enc_struct {
33     int buf_len;
34     int buf_off;
35     int cont;                   /* <= 0 when finished */
36     int finished;
37     int ok;                     /* bad decrypt */
38     EVP_CIPHER_CTX *cipher;
39     /*
40      * buf is larger than ENC_BLOCK_SIZE because EVP_DecryptUpdate can return
41      * up to a block more data than is presented to it
42      */
43     char buf[ENC_BLOCK_SIZE + BUF_OFFSET + 2];
44 } BIO_ENC_CTX;
45
46 static const BIO_METHOD methods_enc = {
47     BIO_TYPE_CIPHER, "cipher",
48     enc_write,
49     enc_read,
50     NULL,                       /* enc_puts, */
51     NULL,                       /* enc_gets, */
52     enc_ctrl,
53     enc_new,
54     enc_free,
55     enc_callback_ctrl,
56 };
57
58 const BIO_METHOD *BIO_f_cipher(void)
59 {
60     return (&methods_enc);
61 }
62
63 static int enc_new(BIO *bi)
64 {
65     BIO_ENC_CTX *ctx;
66
67     ctx = OPENSSL_zalloc(sizeof(*ctx));
68     if (ctx == NULL)
69         return 0;
70
71     ctx->cipher = EVP_CIPHER_CTX_new();
72     if (ctx->cipher == NULL) {
73         OPENSSL_free(ctx);
74         return 0;
75     }
76     ctx->cont = 1;
77     ctx->ok = 1;
78     BIO_set_data(bi, ctx);
79     BIO_set_init(bi, 1);
80
81     return 1;
82 }
83
84 static int enc_free(BIO *a)
85 {
86     BIO_ENC_CTX *b;
87
88     if (a == NULL)
89         return 0;
90
91     b = BIO_get_data(a);
92     if (b == NULL)
93         return 0;
94
95     EVP_CIPHER_CTX_free(b->cipher);
96     OPENSSL_clear_free(b, sizeof(BIO_ENC_CTX));
97     BIO_set_data(a, NULL);
98     BIO_set_init(a, 0);
99
100     return 1;
101 }
102
103 static int enc_read(BIO *b, char *out, int outl)
104 {
105     int ret = 0, i;
106     BIO_ENC_CTX *ctx;
107     BIO *next;
108
109     if (out == NULL)
110         return (0);
111     ctx = BIO_get_data(b);
112
113     next = BIO_next(b);
114     if ((ctx == NULL) || (next == NULL))
115         return 0;
116
117     /* First check if there are bytes decoded/encoded */
118     if (ctx->buf_len > 0) {
119         i = ctx->buf_len - ctx->buf_off;
120         if (i > outl)
121             i = outl;
122         memcpy(out, &(ctx->buf[ctx->buf_off]), i);
123         ret = i;
124         out += i;
125         outl -= i;
126         ctx->buf_off += i;
127         if (ctx->buf_len == ctx->buf_off) {
128             ctx->buf_len = 0;
129             ctx->buf_off = 0;
130         }
131     }
132
133     /*
134      * At this point, we have room of outl bytes and an empty buffer, so we
135      * should read in some more.
136      */
137
138     while (outl > 0) {
139         if (ctx->cont <= 0)
140             break;
141
142         /*
143          * read in at IV offset, read the EVP_Cipher documentation about why
144          */
145         i = BIO_read(next, &(ctx->buf[BUF_OFFSET]), ENC_BLOCK_SIZE);
146
147         if (i <= 0) {
148             /* Should be continue next time we are called? */
149             if (!BIO_should_retry(next)) {
150                 ctx->cont = i;
151                 i = EVP_CipherFinal_ex(ctx->cipher,
152                                        (unsigned char *)ctx->buf,
153                                        &(ctx->buf_len));
154                 ctx->ok = i;
155                 ctx->buf_off = 0;
156             } else {
157                 ret = (ret == 0) ? i : ret;
158                 break;
159             }
160         } else {
161             if (!EVP_CipherUpdate(ctx->cipher,
162                                   (unsigned char *)ctx->buf, &ctx->buf_len,
163                                   (unsigned char *)&(ctx->buf[BUF_OFFSET]),
164                                   i)) {
165                 BIO_clear_retry_flags(b);
166                 ctx->ok = 0;
167                 return 0;
168             }
169             ctx->cont = 1;
170             /*
171              * Note: it is possible for EVP_CipherUpdate to decrypt zero
172              * bytes because this is or looks like the final block: if this
173              * happens we should retry and either read more data or decrypt
174              * the final block
175              */
176             if (ctx->buf_len == 0)
177                 continue;
178         }
179
180         if (ctx->buf_len <= outl)
181             i = ctx->buf_len;
182         else
183             i = outl;
184         if (i <= 0)
185             break;
186         memcpy(out, ctx->buf, i);
187         ret += i;
188         ctx->buf_off = i;
189         outl -= i;
190         out += i;
191     }
192
193     BIO_clear_retry_flags(b);
194     BIO_copy_next_retry(b);
195     return ((ret == 0) ? ctx->cont : ret);
196 }
197
198 static int enc_write(BIO *b, const char *in, int inl)
199 {
200     int ret = 0, n, i;
201     BIO_ENC_CTX *ctx;
202     BIO *next;
203
204     ctx = BIO_get_data(b);
205     next = BIO_next(b);
206     if ((ctx == NULL) || (next == NULL))
207         return 0;
208
209     ret = inl;
210
211     BIO_clear_retry_flags(b);
212     n = ctx->buf_len - ctx->buf_off;
213     while (n > 0) {
214         i = BIO_write(next, &(ctx->buf[ctx->buf_off]), n);
215         if (i <= 0) {
216             BIO_copy_next_retry(b);
217             return (i);
218         }
219         ctx->buf_off += i;
220         n -= i;
221     }
222     /* at this point all pending data has been written */
223
224     if ((in == NULL) || (inl <= 0))
225         return (0);
226
227     ctx->buf_off = 0;
228     while (inl > 0) {
229         n = (inl > ENC_BLOCK_SIZE) ? ENC_BLOCK_SIZE : inl;
230         if (!EVP_CipherUpdate(ctx->cipher,
231                               (unsigned char *)ctx->buf, &ctx->buf_len,
232                               (unsigned char *)in, n)) {
233             BIO_clear_retry_flags(b);
234             return 0;
235         }
236         inl -= n;
237         in += n;
238
239         ctx->buf_off = 0;
240         n = ctx->buf_len;
241         while (n > 0) {
242             i = BIO_write(next, &(ctx->buf[ctx->buf_off]), n);
243             if (i <= 0) {
244                 BIO_copy_next_retry(b);
245                 return (ret == inl) ? i : ret - inl;
246             }
247             n -= i;
248             ctx->buf_off += i;
249         }
250         ctx->buf_len = 0;
251         ctx->buf_off = 0;
252     }
253     BIO_copy_next_retry(b);
254     return (ret);
255 }
256
257 static long enc_ctrl(BIO *b, int cmd, long num, void *ptr)
258 {
259     BIO *dbio;
260     BIO_ENC_CTX *ctx, *dctx;
261     long ret = 1;
262     int i;
263     EVP_CIPHER_CTX **c_ctx;
264     BIO *next;
265
266     ctx = BIO_get_data(b);
267     next = BIO_next(b);
268     if (ctx == NULL)
269         return 0;
270
271     switch (cmd) {
272     case BIO_CTRL_RESET:
273         ctx->ok = 1;
274         ctx->finished = 0;
275         if (!EVP_CipherInit_ex(ctx->cipher, NULL, NULL, NULL, NULL,
276                                EVP_CIPHER_CTX_encrypting(ctx->cipher)))
277             return 0;
278         ret = BIO_ctrl(next, cmd, num, ptr);
279         break;
280     case BIO_CTRL_EOF:         /* More to read */
281         if (ctx->cont <= 0)
282             ret = 1;
283         else
284             ret = BIO_ctrl(next, cmd, num, ptr);
285         break;
286     case BIO_CTRL_WPENDING:
287         ret = ctx->buf_len - ctx->buf_off;
288         if (ret <= 0)
289             ret = BIO_ctrl(next, cmd, num, ptr);
290         break;
291     case BIO_CTRL_PENDING:     /* More to read in buffer */
292         ret = ctx->buf_len - ctx->buf_off;
293         if (ret <= 0)
294             ret = BIO_ctrl(next, cmd, num, ptr);
295         break;
296     case BIO_CTRL_FLUSH:
297         /* do a final write */
298  again:
299         while (ctx->buf_len != ctx->buf_off) {
300             i = enc_write(b, NULL, 0);
301             if (i < 0)
302                 return i;
303         }
304
305         if (!ctx->finished) {
306             ctx->finished = 1;
307             ctx->buf_off = 0;
308             ret = EVP_CipherFinal_ex(ctx->cipher,
309                                      (unsigned char *)ctx->buf,
310                                      &(ctx->buf_len));
311             ctx->ok = (int)ret;
312             if (ret <= 0)
313                 break;
314
315             /* push out the bytes */
316             goto again;
317         }
318
319         /* Finally flush the underlying BIO */
320         ret = BIO_ctrl(next, cmd, num, ptr);
321         break;
322     case BIO_C_GET_CIPHER_STATUS:
323         ret = (long)ctx->ok;
324         break;
325     case BIO_C_DO_STATE_MACHINE:
326         BIO_clear_retry_flags(b);
327         ret = BIO_ctrl(next, cmd, num, ptr);
328         BIO_copy_next_retry(b);
329         break;
330     case BIO_C_GET_CIPHER_CTX:
331         c_ctx = (EVP_CIPHER_CTX **)ptr;
332         *c_ctx = ctx->cipher;
333         BIO_set_init(b, 1);
334         break;
335     case BIO_CTRL_DUP:
336         dbio = (BIO *)ptr;
337         dctx = BIO_get_data(dbio);
338         dctx->cipher = EVP_CIPHER_CTX_new();
339         if (dctx->cipher == NULL)
340             return 0;
341         ret = EVP_CIPHER_CTX_copy(dctx->cipher, ctx->cipher);
342         if (ret)
343             BIO_set_init(dbio, 1);
344         break;
345     default:
346         ret = BIO_ctrl(next, cmd, num, ptr);
347         break;
348     }
349     return (ret);
350 }
351
352 static long enc_callback_ctrl(BIO *b, int cmd, bio_info_cb *fp)
353 {
354     long ret = 1;
355     BIO *next = BIO_next(b);
356
357     if (next == NULL)
358         return (0);
359     switch (cmd) {
360     default:
361         ret = BIO_callback_ctrl(next, cmd, fp);
362         break;
363     }
364     return (ret);
365 }
366
367 /*-
368 void BIO_set_cipher_ctx(b,c)
369 BIO *b;
370 EVP_CIPHER_ctx *c;
371         {
372         if (b == NULL) return;
373
374         if ((b->callback != NULL) &&
375                 (b->callback(b,BIO_CB_CTRL,(char *)c,BIO_CTRL_SET,e,0L) <= 0))
376                 return;
377
378         b->init=1;
379         ctx=(BIO_ENC_CTX *)b->ptr;
380         memcpy(ctx->cipher,c,sizeof(EVP_CIPHER_CTX));
381
382         if (b->callback != NULL)
383                 b->callback(b,BIO_CB_CTRL,(char *)c,BIO_CTRL_SET,e,1L);
384         }
385 */
386
387 int BIO_set_cipher(BIO *b, const EVP_CIPHER *c, const unsigned char *k,
388                    const unsigned char *i, int e)
389 {
390     BIO_ENC_CTX *ctx;
391     long (*callback) (struct bio_st *, int, const char *, int, long, long);
392
393     ctx = BIO_get_data(b);
394     if (ctx == NULL)
395         return 0;
396
397     callback = BIO_get_callback(b);
398
399     if ((callback != NULL) &&
400             (callback(b, BIO_CB_CTRL, (const char *)c, BIO_CTRL_SET, e,
401                       0L) <= 0))
402         return 0;
403
404     BIO_set_init(b, 1);
405
406     if (!EVP_CipherInit_ex(ctx->cipher, c, NULL, k, i, e))
407         return 0;
408
409     if (callback != NULL)
410         return callback(b, BIO_CB_CTRL, (const char *)c, BIO_CTRL_SET, e, 1L);
411     return 1;
412 }