Check that OPENSSL_malloc() really returned some memory.
[openssl.git] / crypto / evp / evp_enc.c
1 /* crypto/evp/evp_enc.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include "cryptlib.h"
61 #include <openssl/evp.h>
62 #include <openssl/err.h>
63 #ifndef OPENSSL_NO_ENGINE
64 #include <openssl/engine.h>
65 #endif
66 #include "evp_locl.h"
67
68 const char *EVP_version="EVP" OPENSSL_VERSION_PTEXT;
69
70 void EVP_CIPHER_CTX_init(EVP_CIPHER_CTX *ctx)
71         {
72         memset(ctx,0,sizeof(EVP_CIPHER_CTX));
73         /* ctx->cipher=NULL; */
74         }
75
76
77 int EVP_CipherInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
78              const unsigned char *key, const unsigned char *iv, int enc)
79         {
80         if (cipher)
81                 EVP_CIPHER_CTX_init(ctx);
82         return EVP_CipherInit_ex(ctx,cipher,NULL,key,iv,enc);
83         }
84
85 int EVP_CipherInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher, ENGINE *impl,
86              const unsigned char *key, const unsigned char *iv, int enc)
87         {
88         if (enc == -1)
89                 enc = ctx->encrypt;
90         else
91                 {
92                 if (enc)
93                         enc = 1;
94                 ctx->encrypt = enc;
95                 }
96 #ifndef OPENSSL_NO_ENGINE
97         /* Whether it's nice or not, "Inits" can be used on "Final"'d contexts
98          * so this context may already have an ENGINE! Try to avoid releasing
99          * the previous handle, re-querying for an ENGINE, and having a
100          * reinitialisation, when it may all be unecessary. */
101         if (ctx->engine && ctx->cipher && (!cipher ||
102                         (cipher && (cipher->nid == ctx->cipher->nid))))
103                 goto skip_to_init;
104 #endif
105         if (cipher)
106                 {
107                 /* Ensure a context left lying around from last time is cleared
108                  * (the previous check attempted to avoid this if the same
109                  * ENGINE and EVP_CIPHER could be used). */
110                 EVP_CIPHER_CTX_cleanup(ctx);
111
112                 /* Restore encrypt field: it is zeroed by cleanup */
113                 ctx->encrypt = enc;
114 #ifndef OPENSSL_NO_ENGINE
115                 if(impl)
116                         {
117                         if (!ENGINE_init(impl))
118                                 {
119                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
120                                 return 0;
121                                 }
122                         }
123                 else
124                         /* Ask if an ENGINE is reserved for this job */
125                         impl = ENGINE_get_cipher_engine(cipher->nid);
126                 if(impl)
127                         {
128                         /* There's an ENGINE for this job ... (apparently) */
129                         const EVP_CIPHER *c = ENGINE_get_cipher(impl, cipher->nid);
130                         if(!c)
131                                 {
132                                 /* One positive side-effect of US's export
133                                  * control history, is that we should at least
134                                  * be able to avoid using US mispellings of
135                                  * "initialisation"? */
136                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
137                                 return 0;
138                                 }
139                         /* We'll use the ENGINE's private cipher definition */
140                         cipher = c;
141                         /* Store the ENGINE functional reference so we know
142                          * 'cipher' came from an ENGINE and we need to release
143                          * it when done. */
144                         ctx->engine = impl;
145                         }
146                 else
147                         ctx->engine = NULL;
148 #endif
149
150                 ctx->cipher=cipher;
151                 ctx->cipher_data=OPENSSL_malloc(ctx->cipher->ctx_size);
152                 if (!ctx->cipher_data)
153                         {
154                         EVPerr(EVP_F_EVP_CIPHERINIT, ERR_R_MALLOC_FAILURE);
155                         return 0;
156                         }
157                 ctx->key_len = cipher->key_len;
158                 ctx->flags = 0;
159                 if(ctx->cipher->flags & EVP_CIPH_CTRL_INIT)
160                         {
161                         if(!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_INIT, 0, NULL))
162                                 {
163                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
164                                 return 0;
165                                 }
166                         }
167                 }
168         else if(!ctx->cipher)
169                 {
170                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_NO_CIPHER_SET);
171                 return 0;
172                 }
173 #ifndef OPENSSL_NO_ENGINE
174 skip_to_init:
175 #endif
176         /* we assume block size is a power of 2 in *cryptUpdate */
177         OPENSSL_assert(ctx->cipher->block_size == 1
178             || ctx->cipher->block_size == 8
179             || ctx->cipher->block_size == 16);
180
181         if(!(EVP_CIPHER_CTX_flags(ctx) & EVP_CIPH_CUSTOM_IV)) {
182                 switch(EVP_CIPHER_CTX_mode(ctx)) {
183
184                         case EVP_CIPH_STREAM_CIPHER:
185                         case EVP_CIPH_ECB_MODE:
186                         break;
187
188                         case EVP_CIPH_CFB_MODE:
189                         case EVP_CIPH_OFB_MODE:
190
191                         ctx->num = 0;
192
193                         case EVP_CIPH_CBC_MODE:
194
195                         OPENSSL_assert(EVP_CIPHER_CTX_iv_length(ctx) <=
196                                         (int)sizeof(ctx->iv));
197                         if(iv) memcpy(ctx->oiv, iv, EVP_CIPHER_CTX_iv_length(ctx));
198                         memcpy(ctx->iv, ctx->oiv, EVP_CIPHER_CTX_iv_length(ctx));
199                         break;
200
201                         default:
202                         return 0;
203                         break;
204                 }
205         }
206
207         if(key || (ctx->cipher->flags & EVP_CIPH_ALWAYS_CALL_INIT)) {
208                 if(!ctx->cipher->init(ctx,key,iv,enc)) return 0;
209         }
210         ctx->buf_len=0;
211         ctx->final_used=0;
212         ctx->block_mask=ctx->cipher->block_size-1;
213         return 1;
214         }
215
216 int EVP_CipherUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
217              const unsigned char *in, int inl)
218         {
219         if (ctx->encrypt)
220                 return EVP_EncryptUpdate(ctx,out,outl,in,inl);
221         else    return EVP_DecryptUpdate(ctx,out,outl,in,inl);
222         }
223
224 int EVP_CipherFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
225         {
226         if (ctx->encrypt)
227                 return EVP_EncryptFinal_ex(ctx,out,outl);
228         else    return EVP_DecryptFinal_ex(ctx,out,outl);
229         }
230
231 int EVP_CipherFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
232         {
233         if (ctx->encrypt)
234                 return EVP_EncryptFinal(ctx,out,outl);
235         else    return EVP_DecryptFinal(ctx,out,outl);
236         }
237
238 int EVP_EncryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
239              const unsigned char *key, const unsigned char *iv)
240         {
241         return EVP_CipherInit(ctx, cipher, key, iv, 1);
242         }
243
244 int EVP_EncryptInit_ex(EVP_CIPHER_CTX *ctx,const EVP_CIPHER *cipher, ENGINE *impl,
245                 const unsigned char *key, const unsigned char *iv)
246         {
247         return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 1);
248         }
249
250 int EVP_DecryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
251              const unsigned char *key, const unsigned char *iv)
252         {
253         return EVP_CipherInit(ctx, cipher, key, iv, 0);
254         }
255
256 int EVP_DecryptInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher, ENGINE *impl,
257              const unsigned char *key, const unsigned char *iv)
258         {
259         return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 0);
260         }
261
262 int EVP_EncryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
263              const unsigned char *in, int inl)
264         {
265         int i,j,bl;
266
267         OPENSSL_assert(inl > 0);
268         if(ctx->buf_len == 0 && (inl&(ctx->block_mask)) == 0)
269                 {
270                 if(ctx->cipher->do_cipher(ctx,out,in,inl))
271                         {
272                         *outl=inl;
273                         return 1;
274                         }
275                 else
276                         {
277                         *outl=0;
278                         return 0;
279                         }
280                 }
281         i=ctx->buf_len;
282         bl=ctx->cipher->block_size;
283         OPENSSL_assert(bl <= (int)sizeof(ctx->buf));
284         if (i != 0)
285                 {
286                 if (i+inl < bl)
287                         {
288                         memcpy(&(ctx->buf[i]),in,inl);
289                         ctx->buf_len+=inl;
290                         *outl=0;
291                         return 1;
292                         }
293                 else
294                         {
295                         j=bl-i;
296                         memcpy(&(ctx->buf[i]),in,j);
297                         if(!ctx->cipher->do_cipher(ctx,out,ctx->buf,bl)) return 0;
298                         inl-=j;
299                         in+=j;
300                         out+=bl;
301                         *outl=bl;
302                         }
303                 }
304         else
305                 *outl = 0;
306         i=inl&(bl-1);
307         inl-=i;
308         if (inl > 0)
309                 {
310                 if(!ctx->cipher->do_cipher(ctx,out,in,inl)) return 0;
311                 *outl+=inl;
312                 }
313
314         if (i != 0)
315                 memcpy(ctx->buf,&(in[inl]),i);
316         ctx->buf_len=i;
317         return 1;
318         }
319
320 int EVP_EncryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
321         {
322         int ret;
323         ret = EVP_EncryptFinal_ex(ctx, out, outl);
324         return ret;
325         }
326
327 int EVP_EncryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
328         {
329         int n,ret;
330         unsigned int i, b, bl;
331
332         b=ctx->cipher->block_size;
333         OPENSSL_assert(b <= sizeof ctx->buf);
334         if (b == 1)
335                 {
336                 *outl=0;
337                 return 1;
338                 }
339         bl=ctx->buf_len;
340         if (ctx->flags & EVP_CIPH_NO_PADDING)
341                 {
342                 if(bl)
343                         {
344                         EVPerr(EVP_F_EVP_ENCRYPTFINAL,EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
345                         return 0;
346                         }
347                 *outl = 0;
348                 return 1;
349                 }
350
351         n=b-bl;
352         for (i=bl; i<b; i++)
353                 ctx->buf[i]=n;
354         ret=ctx->cipher->do_cipher(ctx,out,ctx->buf,b);
355
356
357         if(ret)
358                 *outl=b;
359
360         return ret;
361         }
362
363 int EVP_DecryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
364              const unsigned char *in, int inl)
365         {
366         int fix_len;
367         unsigned int b;
368
369         if (inl == 0)
370                 {
371                 *outl=0;
372                 return 1;
373                 }
374
375         if (ctx->flags & EVP_CIPH_NO_PADDING)
376                 return EVP_EncryptUpdate(ctx, out, outl, in, inl);
377
378         b=ctx->cipher->block_size;
379         OPENSSL_assert(b <= sizeof ctx->final);
380
381         if(ctx->final_used)
382                 {
383                 memcpy(out,ctx->final,b);
384                 out+=b;
385                 fix_len = 1;
386                 }
387         else
388                 fix_len = 0;
389
390
391         if(!EVP_EncryptUpdate(ctx,out,outl,in,inl))
392                 return 0;
393
394         /* if we have 'decrypted' a multiple of block size, make sure
395          * we have a copy of this last block */
396         if (b > 1 && !ctx->buf_len)
397                 {
398                 *outl-=b;
399                 ctx->final_used=1;
400                 memcpy(ctx->final,&out[*outl],b);
401                 }
402         else
403                 ctx->final_used = 0;
404
405         if (fix_len)
406                 *outl += b;
407                 
408         return 1;
409         }
410
411 int EVP_DecryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
412         {
413         int ret;
414         ret = EVP_DecryptFinal_ex(ctx, out, outl);
415         return ret;
416         }
417
418 int EVP_DecryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
419         {
420         int i,n;
421         unsigned int b;
422
423         *outl=0;
424         b=ctx->cipher->block_size;
425         if (ctx->flags & EVP_CIPH_NO_PADDING)
426                 {
427                 if(ctx->buf_len)
428                         {
429                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
430                         return 0;
431                         }
432                 *outl = 0;
433                 return 1;
434                 }
435         if (b > 1)
436                 {
437                 if (ctx->buf_len || !ctx->final_used)
438                         {
439                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_WRONG_FINAL_BLOCK_LENGTH);
440                         return(0);
441                         }
442                 OPENSSL_assert(b <= sizeof ctx->final);
443                 n=ctx->final[b-1];
444                 if (n > (int)b)
445                         {
446                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_BAD_DECRYPT);
447                         return(0);
448                         }
449                 for (i=0; i<n; i++)
450                         {
451                         if (ctx->final[--b] != n)
452                                 {
453                                 EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_BAD_DECRYPT);
454                                 return(0);
455                                 }
456                         }
457                 n=ctx->cipher->block_size-n;
458                 for (i=0; i<n; i++)
459                         out[i]=ctx->final[i];
460                 *outl=n;
461                 }
462         else
463                 *outl=0;
464         return(1);
465         }
466
467 int EVP_CIPHER_CTX_cleanup(EVP_CIPHER_CTX *c)
468         {
469         if (c->cipher != NULL)
470                 {
471                 if(c->cipher->cleanup && !c->cipher->cleanup(c))
472                         return 0;
473                 /* Cleanse cipher context data */
474                 if (c->cipher_data)
475                         OPENSSL_cleanse(c->cipher_data, c->cipher->ctx_size);
476                 }
477         if (c->cipher_data)
478                 OPENSSL_free(c->cipher_data);
479 #ifndef OPENSSL_NO_ENGINE
480         if (c->engine)
481                 /* The EVP_CIPHER we used belongs to an ENGINE, release the
482                  * functional reference we held for this reason. */
483                 ENGINE_finish(c->engine);
484 #endif
485         memset(c,0,sizeof(EVP_CIPHER_CTX));
486         return 1;
487         }
488
489 int EVP_CIPHER_CTX_set_key_length(EVP_CIPHER_CTX *c, int keylen)
490         {
491         if(c->cipher->flags & EVP_CIPH_CUSTOM_KEY_LENGTH) 
492                 return EVP_CIPHER_CTX_ctrl(c, EVP_CTRL_SET_KEY_LENGTH, keylen, NULL);
493         if(c->key_len == keylen) return 1;
494         if((keylen > 0) && (c->cipher->flags & EVP_CIPH_VARIABLE_LENGTH))
495                 {
496                 c->key_len = keylen;
497                 return 1;
498                 }
499         EVPerr(EVP_F_EVP_CIPHER_CTX_SET_KEY_LENGTH,EVP_R_INVALID_KEY_LENGTH);
500         return 0;
501         }
502
503 int EVP_CIPHER_CTX_set_padding(EVP_CIPHER_CTX *ctx, int pad)
504         {
505         if (pad) ctx->flags &= ~EVP_CIPH_NO_PADDING;
506         else ctx->flags |= EVP_CIPH_NO_PADDING;
507         return 1;
508         }
509
510 int EVP_CIPHER_CTX_ctrl(EVP_CIPHER_CTX *ctx, int type, int arg, void *ptr)
511 {
512         int ret;
513         if(!ctx->cipher) {
514                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_NO_CIPHER_SET);
515                 return 0;
516         }
517
518         if(!ctx->cipher->ctrl) {
519                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_CTRL_NOT_IMPLEMENTED);
520                 return 0;
521         }
522
523         ret = ctx->cipher->ctrl(ctx, type, arg, ptr);
524         if(ret == -1) {
525                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_CTRL_OPERATION_NOT_IMPLEMENTED);
526                 return 0;
527         }
528         return ret;
529 }