evp/bio_enc.c: refine non-overlapping logic.
[openssl.git] / crypto / evp / evp_enc.c
1 /*
2  * Copyright 1995-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <assert.h>
12 #include "internal/cryptlib.h"
13 #include <openssl/evp.h>
14 #include <openssl/err.h>
15 #include <openssl/rand.h>
16 #include <openssl/engine.h>
17 #include "internal/evp_int.h"
18 #include "evp_locl.h"
19
20 int EVP_CIPHER_CTX_reset(EVP_CIPHER_CTX *c)
21 {
22     if (c == NULL)
23         return 1;
24     if (c->cipher != NULL) {
25         if (c->cipher->cleanup && !c->cipher->cleanup(c))
26             return 0;
27         /* Cleanse cipher context data */
28         if (c->cipher_data && c->cipher->ctx_size)
29             OPENSSL_cleanse(c->cipher_data, c->cipher->ctx_size);
30     }
31     OPENSSL_free(c->cipher_data);
32 #ifndef OPENSSL_NO_ENGINE
33     ENGINE_finish(c->engine);
34 #endif
35     memset(c, 0, sizeof(*c));
36     return 1;
37 }
38
39 EVP_CIPHER_CTX *EVP_CIPHER_CTX_new(void)
40 {
41     return OPENSSL_zalloc(sizeof(EVP_CIPHER_CTX));
42 }
43
44 void EVP_CIPHER_CTX_free(EVP_CIPHER_CTX *ctx)
45 {
46     EVP_CIPHER_CTX_reset(ctx);
47     OPENSSL_free(ctx);
48 }
49
50 int EVP_CipherInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
51                    const unsigned char *key, const unsigned char *iv, int enc)
52 {
53     EVP_CIPHER_CTX_reset(ctx);
54     return EVP_CipherInit_ex(ctx, cipher, NULL, key, iv, enc);
55 }
56
57 int EVP_CipherInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
58                       ENGINE *impl, const unsigned char *key,
59                       const unsigned char *iv, int enc)
60 {
61     if (enc == -1)
62         enc = ctx->encrypt;
63     else {
64         if (enc)
65             enc = 1;
66         ctx->encrypt = enc;
67     }
68 #ifndef OPENSSL_NO_ENGINE
69     /*
70      * Whether it's nice or not, "Inits" can be used on "Final"'d contexts so
71      * this context may already have an ENGINE! Try to avoid releasing the
72      * previous handle, re-querying for an ENGINE, and having a
73      * reinitialisation, when it may all be unnecessary.
74      */
75     if (ctx->engine && ctx->cipher
76         && (cipher == NULL || cipher->nid == ctx->cipher->nid))
77         goto skip_to_init;
78 #endif
79     if (cipher) {
80         /*
81          * Ensure a context left lying around from last time is cleared (the
82          * previous check attempted to avoid this if the same ENGINE and
83          * EVP_CIPHER could be used).
84          */
85         if (ctx->cipher) {
86             unsigned long flags = ctx->flags;
87             EVP_CIPHER_CTX_reset(ctx);
88             /* Restore encrypt and flags */
89             ctx->encrypt = enc;
90             ctx->flags = flags;
91         }
92 #ifndef OPENSSL_NO_ENGINE
93         if (impl) {
94             if (!ENGINE_init(impl)) {
95                 EVPerr(EVP_F_EVP_CIPHERINIT_EX, EVP_R_INITIALIZATION_ERROR);
96                 return 0;
97             }
98         } else
99             /* Ask if an ENGINE is reserved for this job */
100             impl = ENGINE_get_cipher_engine(cipher->nid);
101         if (impl) {
102             /* There's an ENGINE for this job ... (apparently) */
103             const EVP_CIPHER *c = ENGINE_get_cipher(impl, cipher->nid);
104             if (!c) {
105                 /*
106                  * One positive side-effect of US's export control history,
107                  * is that we should at least be able to avoid using US
108                  * misspellings of "initialisation"?
109                  */
110                 EVPerr(EVP_F_EVP_CIPHERINIT_EX, EVP_R_INITIALIZATION_ERROR);
111                 return 0;
112             }
113             /* We'll use the ENGINE's private cipher definition */
114             cipher = c;
115             /*
116              * Store the ENGINE functional reference so we know 'cipher' came
117              * from an ENGINE and we need to release it when done.
118              */
119             ctx->engine = impl;
120         } else
121             ctx->engine = NULL;
122 #endif
123
124         ctx->cipher = cipher;
125         if (ctx->cipher->ctx_size) {
126             ctx->cipher_data = OPENSSL_zalloc(ctx->cipher->ctx_size);
127             if (ctx->cipher_data == NULL) {
128                 EVPerr(EVP_F_EVP_CIPHERINIT_EX, ERR_R_MALLOC_FAILURE);
129                 return 0;
130             }
131         } else {
132             ctx->cipher_data = NULL;
133         }
134         ctx->key_len = cipher->key_len;
135         /* Preserve wrap enable flag, zero everything else */
136         ctx->flags &= EVP_CIPHER_CTX_FLAG_WRAP_ALLOW;
137         if (ctx->cipher->flags & EVP_CIPH_CTRL_INIT) {
138             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_INIT, 0, NULL)) {
139                 EVPerr(EVP_F_EVP_CIPHERINIT_EX, EVP_R_INITIALIZATION_ERROR);
140                 return 0;
141             }
142         }
143     } else if (!ctx->cipher) {
144         EVPerr(EVP_F_EVP_CIPHERINIT_EX, EVP_R_NO_CIPHER_SET);
145         return 0;
146     }
147 #ifndef OPENSSL_NO_ENGINE
148  skip_to_init:
149 #endif
150     /* we assume block size is a power of 2 in *cryptUpdate */
151     OPENSSL_assert(ctx->cipher->block_size == 1
152                    || ctx->cipher->block_size == 8
153                    || ctx->cipher->block_size == 16);
154
155     if (!(ctx->flags & EVP_CIPHER_CTX_FLAG_WRAP_ALLOW)
156         && EVP_CIPHER_CTX_mode(ctx) == EVP_CIPH_WRAP_MODE) {
157         EVPerr(EVP_F_EVP_CIPHERINIT_EX, EVP_R_WRAP_MODE_NOT_ALLOWED);
158         return 0;
159     }
160
161     if (!(EVP_CIPHER_flags(EVP_CIPHER_CTX_cipher(ctx)) & EVP_CIPH_CUSTOM_IV)) {
162         switch (EVP_CIPHER_CTX_mode(ctx)) {
163
164         case EVP_CIPH_STREAM_CIPHER:
165         case EVP_CIPH_ECB_MODE:
166             break;
167
168         case EVP_CIPH_CFB_MODE:
169         case EVP_CIPH_OFB_MODE:
170
171             ctx->num = 0;
172             /* fall-through */
173
174         case EVP_CIPH_CBC_MODE:
175
176             OPENSSL_assert(EVP_CIPHER_CTX_iv_length(ctx) <=
177                            (int)sizeof(ctx->iv));
178             if (iv)
179                 memcpy(ctx->oiv, iv, EVP_CIPHER_CTX_iv_length(ctx));
180             memcpy(ctx->iv, ctx->oiv, EVP_CIPHER_CTX_iv_length(ctx));
181             break;
182
183         case EVP_CIPH_CTR_MODE:
184             ctx->num = 0;
185             /* Don't reuse IV for CTR mode */
186             if (iv)
187                 memcpy(ctx->iv, iv, EVP_CIPHER_CTX_iv_length(ctx));
188             break;
189
190         default:
191             return 0;
192         }
193     }
194
195     if (key || (ctx->cipher->flags & EVP_CIPH_ALWAYS_CALL_INIT)) {
196         if (!ctx->cipher->init(ctx, key, iv, enc))
197             return 0;
198     }
199     ctx->buf_len = 0;
200     ctx->final_used = 0;
201     ctx->block_mask = ctx->cipher->block_size - 1;
202     return 1;
203 }
204
205 int EVP_CipherUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
206                      const unsigned char *in, int inl)
207 {
208     if (ctx->encrypt)
209         return EVP_EncryptUpdate(ctx, out, outl, in, inl);
210     else
211         return EVP_DecryptUpdate(ctx, out, outl, in, inl);
212 }
213
214 int EVP_CipherFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
215 {
216     if (ctx->encrypt)
217         return EVP_EncryptFinal_ex(ctx, out, outl);
218     else
219         return EVP_DecryptFinal_ex(ctx, out, outl);
220 }
221
222 int EVP_CipherFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
223 {
224     if (ctx->encrypt)
225         return EVP_EncryptFinal(ctx, out, outl);
226     else
227         return EVP_DecryptFinal(ctx, out, outl);
228 }
229
230 int EVP_EncryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
231                     const unsigned char *key, const unsigned char *iv)
232 {
233     return EVP_CipherInit(ctx, cipher, key, iv, 1);
234 }
235
236 int EVP_EncryptInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
237                        ENGINE *impl, const unsigned char *key,
238                        const unsigned char *iv)
239 {
240     return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 1);
241 }
242
243 int EVP_DecryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
244                     const unsigned char *key, const unsigned char *iv)
245 {
246     return EVP_CipherInit(ctx, cipher, key, iv, 0);
247 }
248
249 int EVP_DecryptInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
250                        ENGINE *impl, const unsigned char *key,
251                        const unsigned char *iv)
252 {
253     return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 0);
254 }
255
256 /*
257  * According to the letter of standard difference between pointers
258  * is specified to be valid only within same object. This makes
259  * it formally challenging to determine if input and output buffers
260  * are not partially overlapping with standard pointer arithmetic.
261  */
262 #ifdef PTRDIFF_T
263 # undef PTRDIFF_T
264 #endif
265 #if defined(OPENSSL_SYS_VMS) && __INITIAL_POINTER_SIZE==64
266 /*
267  * Then we have VMS that distinguishes itself by adhering to
268  * sizeof(size_t)==4 even in 64-bit builds, which means that
269  * difference between two pointers might be truncated to 32 bits.
270  * In the context one can even wonder how comparison for
271  * equality is implemented. To be on the safe side we adhere to
272  * PTRDIFF_T even for comparison for equality.
273  */
274 # define PTRDIFF_T uint64_t
275 #else
276 # define PTRDIFF_T size_t
277 #endif
278
279 static int is_partially_overlapping(const void *ptr1, const void *ptr2,
280                                     int len)
281 {
282     PTRDIFF_T diff = (PTRDIFF_T)ptr1-(PTRDIFF_T)ptr2;
283     /*
284      * Check for partially overlapping buffers. [Binary logical
285      * operations are used instead of boolean to minimize number
286      * of conditional branches.]
287      */
288     int overlapped = (len > 0) & (diff != 0) & ((diff < (PTRDIFF_T)len) |
289                                                 (diff > (0 - (PTRDIFF_T)len)));
290     assert(!overlapped);
291     return overlapped;
292 }
293
294 int EVP_EncryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
295                       const unsigned char *in, int inl)
296 {
297     int i, j, bl;
298
299     if (ctx->cipher->flags & EVP_CIPH_FLAG_CUSTOM_CIPHER) {
300         if (is_partially_overlapping(out, in, inl)) {
301             EVPerr(EVP_F_EVP_ENCRYPTUPDATE, EVP_R_PARTIALLY_OVERLAPPING);
302             return 0;
303         }
304
305         i = ctx->cipher->do_cipher(ctx, out, in, inl);
306         if (i < 0)
307             return 0;
308         else
309             *outl = i;
310         return 1;
311     }
312
313     if (inl <= 0) {
314         *outl = 0;
315         return inl == 0;
316     }
317     if (is_partially_overlapping(out, in, inl)) {
318         EVPerr(EVP_F_EVP_ENCRYPTUPDATE, EVP_R_PARTIALLY_OVERLAPPING);
319         return 0;
320     }
321
322     if (ctx->buf_len == 0 && (inl & (ctx->block_mask)) == 0) {
323         if (ctx->cipher->do_cipher(ctx, out, in, inl)) {
324             *outl = inl;
325             return 1;
326         } else {
327             *outl = 0;
328             return 0;
329         }
330     }
331     i = ctx->buf_len;
332     bl = ctx->cipher->block_size;
333     OPENSSL_assert(bl <= (int)sizeof(ctx->buf));
334     if (i != 0) {
335         if (bl - i > inl) {
336             memcpy(&(ctx->buf[i]), in, inl);
337             ctx->buf_len += inl;
338             *outl = 0;
339             return 1;
340         } else {
341             j = bl - i;
342             memcpy(&(ctx->buf[i]), in, j);
343             inl -= j;
344             in += j;
345             if (is_partially_overlapping(out, in, bl)) {
346                 EVPerr(EVP_F_EVP_ENCRYPTUPDATE, EVP_R_PARTIALLY_OVERLAPPING);
347                 return 0;
348             }
349             if (!ctx->cipher->do_cipher(ctx, out, ctx->buf, bl))
350                 return 0;
351             out += bl;
352             *outl = bl;
353         }
354     } else
355         *outl = 0;
356     i = inl & (bl - 1);
357     inl -= i;
358     if (inl > 0) {
359         if (!ctx->cipher->do_cipher(ctx, out, in, inl))
360             return 0;
361         *outl += inl;
362     }
363
364     if (i != 0)
365         memcpy(ctx->buf, &(in[inl]), i);
366     ctx->buf_len = i;
367     return 1;
368 }
369
370 int EVP_EncryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
371 {
372     int ret;
373     ret = EVP_EncryptFinal_ex(ctx, out, outl);
374     return ret;
375 }
376
377 int EVP_EncryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
378 {
379     int n, ret;
380     unsigned int i, b, bl;
381
382     if (ctx->cipher->flags & EVP_CIPH_FLAG_CUSTOM_CIPHER) {
383         ret = ctx->cipher->do_cipher(ctx, out, NULL, 0);
384         if (ret < 0)
385             return 0;
386         else
387             *outl = ret;
388         return 1;
389     }
390
391     b = ctx->cipher->block_size;
392     OPENSSL_assert(b <= sizeof ctx->buf);
393     if (b == 1) {
394         *outl = 0;
395         return 1;
396     }
397     bl = ctx->buf_len;
398     if (ctx->flags & EVP_CIPH_NO_PADDING) {
399         if (bl) {
400             EVPerr(EVP_F_EVP_ENCRYPTFINAL_EX,
401                    EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
402             return 0;
403         }
404         *outl = 0;
405         return 1;
406     }
407
408     n = b - bl;
409     for (i = bl; i < b; i++)
410         ctx->buf[i] = n;
411     ret = ctx->cipher->do_cipher(ctx, out, ctx->buf, b);
412
413     if (ret)
414         *outl = b;
415
416     return ret;
417 }
418
419 int EVP_DecryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
420                       const unsigned char *in, int inl)
421 {
422     int fix_len;
423     unsigned int b;
424
425     if (ctx->cipher->flags & EVP_CIPH_FLAG_CUSTOM_CIPHER) {
426         if (is_partially_overlapping(out, in, inl)) {
427             EVPerr(EVP_F_EVP_DECRYPTUPDATE, EVP_R_PARTIALLY_OVERLAPPING);
428             return 0;
429         }
430
431         fix_len = ctx->cipher->do_cipher(ctx, out, in, inl);
432         if (fix_len < 0) {
433             *outl = 0;
434             return 0;
435         } else
436             *outl = fix_len;
437         return 1;
438     }
439
440     if (inl <= 0) {
441         *outl = 0;
442         return inl == 0;
443     }
444
445     if (ctx->flags & EVP_CIPH_NO_PADDING)
446         return EVP_EncryptUpdate(ctx, out, outl, in, inl);
447
448     b = ctx->cipher->block_size;
449     OPENSSL_assert(b <= sizeof ctx->final);
450
451     if (ctx->final_used) {
452         /* see comment about PTRDIFF_T comparison above */
453         if (((PTRDIFF_T)out == (PTRDIFF_T)in)
454             || is_partially_overlapping(out, in, b)) {
455             EVPerr(EVP_F_EVP_DECRYPTUPDATE, EVP_R_PARTIALLY_OVERLAPPING);
456             return 0;
457         }
458         memcpy(out, ctx->final, b);
459         out += b;
460         fix_len = 1;
461     } else
462         fix_len = 0;
463
464     if (!EVP_EncryptUpdate(ctx, out, outl, in, inl))
465         return 0;
466
467     /*
468      * if we have 'decrypted' a multiple of block size, make sure we have a
469      * copy of this last block
470      */
471     if (b > 1 && !ctx->buf_len) {
472         *outl -= b;
473         ctx->final_used = 1;
474         memcpy(ctx->final, &out[*outl], b);
475     } else
476         ctx->final_used = 0;
477
478     if (fix_len)
479         *outl += b;
480
481     return 1;
482 }
483
484 int EVP_DecryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
485 {
486     int ret;
487     ret = EVP_DecryptFinal_ex(ctx, out, outl);
488     return ret;
489 }
490
491 int EVP_DecryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
492 {
493     int i, n;
494     unsigned int b;
495     *outl = 0;
496
497     if (ctx->cipher->flags & EVP_CIPH_FLAG_CUSTOM_CIPHER) {
498         i = ctx->cipher->do_cipher(ctx, out, NULL, 0);
499         if (i < 0)
500             return 0;
501         else
502             *outl = i;
503         return 1;
504     }
505
506     b = ctx->cipher->block_size;
507     if (ctx->flags & EVP_CIPH_NO_PADDING) {
508         if (ctx->buf_len) {
509             EVPerr(EVP_F_EVP_DECRYPTFINAL_EX,
510                    EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
511             return 0;
512         }
513         *outl = 0;
514         return 1;
515     }
516     if (b > 1) {
517         if (ctx->buf_len || !ctx->final_used) {
518             EVPerr(EVP_F_EVP_DECRYPTFINAL_EX, EVP_R_WRONG_FINAL_BLOCK_LENGTH);
519             return (0);
520         }
521         OPENSSL_assert(b <= sizeof ctx->final);
522
523         /*
524          * The following assumes that the ciphertext has been authenticated.
525          * Otherwise it provides a padding oracle.
526          */
527         n = ctx->final[b - 1];
528         if (n == 0 || n > (int)b) {
529             EVPerr(EVP_F_EVP_DECRYPTFINAL_EX, EVP_R_BAD_DECRYPT);
530             return (0);
531         }
532         for (i = 0; i < n; i++) {
533             if (ctx->final[--b] != n) {
534                 EVPerr(EVP_F_EVP_DECRYPTFINAL_EX, EVP_R_BAD_DECRYPT);
535                 return (0);
536             }
537         }
538         n = ctx->cipher->block_size - n;
539         for (i = 0; i < n; i++)
540             out[i] = ctx->final[i];
541         *outl = n;
542     } else
543         *outl = 0;
544     return (1);
545 }
546
547 int EVP_CIPHER_CTX_set_key_length(EVP_CIPHER_CTX *c, int keylen)
548 {
549     if (c->cipher->flags & EVP_CIPH_CUSTOM_KEY_LENGTH)
550         return EVP_CIPHER_CTX_ctrl(c, EVP_CTRL_SET_KEY_LENGTH, keylen, NULL);
551     if (c->key_len == keylen)
552         return 1;
553     if ((keylen > 0) && (c->cipher->flags & EVP_CIPH_VARIABLE_LENGTH)) {
554         c->key_len = keylen;
555         return 1;
556     }
557     EVPerr(EVP_F_EVP_CIPHER_CTX_SET_KEY_LENGTH, EVP_R_INVALID_KEY_LENGTH);
558     return 0;
559 }
560
561 int EVP_CIPHER_CTX_set_padding(EVP_CIPHER_CTX *ctx, int pad)
562 {
563     if (pad)
564         ctx->flags &= ~EVP_CIPH_NO_PADDING;
565     else
566         ctx->flags |= EVP_CIPH_NO_PADDING;
567     return 1;
568 }
569
570 int EVP_CIPHER_CTX_ctrl(EVP_CIPHER_CTX *ctx, int type, int arg, void *ptr)
571 {
572     int ret;
573     if (!ctx->cipher) {
574         EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_NO_CIPHER_SET);
575         return 0;
576     }
577
578     if (!ctx->cipher->ctrl) {
579         EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_CTRL_NOT_IMPLEMENTED);
580         return 0;
581     }
582
583     ret = ctx->cipher->ctrl(ctx, type, arg, ptr);
584     if (ret == -1) {
585         EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL,
586                EVP_R_CTRL_OPERATION_NOT_IMPLEMENTED);
587         return 0;
588     }
589     return ret;
590 }
591
592 int EVP_CIPHER_CTX_rand_key(EVP_CIPHER_CTX *ctx, unsigned char *key)
593 {
594     if (ctx->cipher->flags & EVP_CIPH_RAND_KEY)
595         return EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_RAND_KEY, 0, key);
596     if (RAND_bytes(key, ctx->key_len) <= 0)
597         return 0;
598     return 1;
599 }
600
601 int EVP_CIPHER_CTX_copy(EVP_CIPHER_CTX *out, const EVP_CIPHER_CTX *in)
602 {
603     if ((in == NULL) || (in->cipher == NULL)) {
604         EVPerr(EVP_F_EVP_CIPHER_CTX_COPY, EVP_R_INPUT_NOT_INITIALIZED);
605         return 0;
606     }
607 #ifndef OPENSSL_NO_ENGINE
608     /* Make sure it's safe to copy a cipher context using an ENGINE */
609     if (in->engine && !ENGINE_init(in->engine)) {
610         EVPerr(EVP_F_EVP_CIPHER_CTX_COPY, ERR_R_ENGINE_LIB);
611         return 0;
612     }
613 #endif
614
615     EVP_CIPHER_CTX_reset(out);
616     memcpy(out, in, sizeof(*out));
617
618     if (in->cipher_data && in->cipher->ctx_size) {
619         out->cipher_data = OPENSSL_malloc(in->cipher->ctx_size);
620         if (out->cipher_data == NULL) {
621             EVPerr(EVP_F_EVP_CIPHER_CTX_COPY, ERR_R_MALLOC_FAILURE);
622             return 0;
623         }
624         memcpy(out->cipher_data, in->cipher_data, in->cipher->ctx_size);
625     }
626
627     if (in->cipher->flags & EVP_CIPH_CUSTOM_COPY)
628         return in->cipher->ctrl((EVP_CIPHER_CTX *)in, EVP_CTRL_COPY, 0, out);
629     return 1;
630 }