A general spring-cleaning (in autumn) to fix up signed/unsigned warnings.
[openssl.git] / crypto / evp / evp_enc.c
1 /* crypto/evp/evp_enc.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include "cryptlib.h"
61 #include <openssl/evp.h>
62 #include <openssl/err.h>
63 #ifndef OPENSSL_NO_ENGINE
64 #include <openssl/engine.h>
65 #endif
66 #include "evp_locl.h"
67
68 const char *EVP_version="EVP" OPENSSL_VERSION_PTEXT;
69
70 void EVP_CIPHER_CTX_init(EVP_CIPHER_CTX *ctx)
71         {
72         memset(ctx,0,sizeof(EVP_CIPHER_CTX));
73         /* ctx->cipher=NULL; */
74         }
75
76
77 int EVP_CipherInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
78              const unsigned char *key, const unsigned char *iv, int enc)
79         {
80         if (cipher)
81                 EVP_CIPHER_CTX_init(ctx);
82         return EVP_CipherInit_ex(ctx,cipher,NULL,key,iv,enc);
83         }
84
85 int EVP_CipherInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher, ENGINE *impl,
86              const unsigned char *key, const unsigned char *iv, int enc)
87         {
88         if (enc == -1)
89                 enc = ctx->encrypt;
90         else
91                 {
92                 if (enc)
93                         enc = 1;
94                 ctx->encrypt = enc;
95                 }
96 #ifndef OPENSSL_NO_ENGINE
97         /* Whether it's nice or not, "Inits" can be used on "Final"'d contexts
98          * so this context may already have an ENGINE! Try to avoid releasing
99          * the previous handle, re-querying for an ENGINE, and having a
100          * reinitialisation, when it may all be unecessary. */
101         if (ctx->engine && ctx->cipher && (!cipher ||
102                         (cipher && (cipher->nid == ctx->cipher->nid))))
103                 goto skip_to_init;
104 #endif
105         if (cipher)
106                 {
107                 /* Ensure a context left lying around from last time is cleared
108                  * (the previous check attempted to avoid this if the same
109                  * ENGINE and EVP_CIPHER could be used). */
110                 EVP_CIPHER_CTX_cleanup(ctx);
111
112                 /* Restore encrypt field: it is zeroed by cleanup */
113                 ctx->encrypt = enc;
114 #ifndef OPENSSL_NO_ENGINE
115                 if(impl)
116                         {
117                         if (!ENGINE_init(impl))
118                                 {
119                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
120                                 return 0;
121                                 }
122                         }
123                 else
124                         /* Ask if an ENGINE is reserved for this job */
125                         impl = ENGINE_get_cipher_engine(cipher->nid);
126                 if(impl)
127                         {
128                         /* There's an ENGINE for this job ... (apparently) */
129                         const EVP_CIPHER *c = ENGINE_get_cipher(impl, cipher->nid);
130                         if(!c)
131                                 {
132                                 /* One positive side-effect of US's export
133                                  * control history, is that we should at least
134                                  * be able to avoid using US mispellings of
135                                  * "initialisation"? */
136                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
137                                 return 0;
138                                 }
139                         /* We'll use the ENGINE's private cipher definition */
140                         cipher = c;
141                         /* Store the ENGINE functional reference so we know
142                          * 'cipher' came from an ENGINE and we need to release
143                          * it when done. */
144                         ctx->engine = impl;
145                         }
146                 else
147                         ctx->engine = NULL;
148 #endif
149
150                 ctx->cipher=cipher;
151                 ctx->cipher_data=OPENSSL_malloc(ctx->cipher->ctx_size);
152                 ctx->key_len = cipher->key_len;
153                 ctx->flags = 0;
154                 if(ctx->cipher->flags & EVP_CIPH_CTRL_INIT)
155                         {
156                         if(!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_INIT, 0, NULL))
157                                 {
158                                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_INITIALIZATION_ERROR);
159                                 return 0;
160                                 }
161                         }
162                 }
163         else if(!ctx->cipher)
164                 {
165                 EVPerr(EVP_F_EVP_CIPHERINIT, EVP_R_NO_CIPHER_SET);
166                 return 0;
167                 }
168 #ifndef OPENSSL_NO_ENGINE
169 skip_to_init:
170 #endif
171         /* we assume block size is a power of 2 in *cryptUpdate */
172         OPENSSL_assert(ctx->cipher->block_size == 1
173             || ctx->cipher->block_size == 8
174             || ctx->cipher->block_size == 16);
175
176         if(!(EVP_CIPHER_CTX_flags(ctx) & EVP_CIPH_CUSTOM_IV)) {
177                 switch(EVP_CIPHER_CTX_mode(ctx)) {
178
179                         case EVP_CIPH_STREAM_CIPHER:
180                         case EVP_CIPH_ECB_MODE:
181                         break;
182
183                         case EVP_CIPH_CFB_MODE:
184                         case EVP_CIPH_OFB_MODE:
185
186                         ctx->num = 0;
187
188                         case EVP_CIPH_CBC_MODE:
189
190                         OPENSSL_assert(EVP_CIPHER_CTX_iv_length(ctx) <=
191                                         (int)sizeof(ctx->iv));
192                         if(iv) memcpy(ctx->oiv, iv, EVP_CIPHER_CTX_iv_length(ctx));
193                         memcpy(ctx->iv, ctx->oiv, EVP_CIPHER_CTX_iv_length(ctx));
194                         break;
195
196                         default:
197                         return 0;
198                         break;
199                 }
200         }
201
202         if(key || (ctx->cipher->flags & EVP_CIPH_ALWAYS_CALL_INIT)) {
203                 if(!ctx->cipher->init(ctx,key,iv,enc)) return 0;
204         }
205         ctx->buf_len=0;
206         ctx->final_used=0;
207         ctx->block_mask=ctx->cipher->block_size-1;
208         return 1;
209         }
210
211 int EVP_CipherUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
212              const unsigned char *in, int inl)
213         {
214         if (ctx->encrypt)
215                 return EVP_EncryptUpdate(ctx,out,outl,in,inl);
216         else    return EVP_DecryptUpdate(ctx,out,outl,in,inl);
217         }
218
219 int EVP_CipherFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
220         {
221         if (ctx->encrypt)
222                 return EVP_EncryptFinal_ex(ctx,out,outl);
223         else    return EVP_DecryptFinal_ex(ctx,out,outl);
224         }
225
226 int EVP_CipherFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
227         {
228         if (ctx->encrypt)
229                 return EVP_EncryptFinal(ctx,out,outl);
230         else    return EVP_DecryptFinal(ctx,out,outl);
231         }
232
233 int EVP_EncryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
234              const unsigned char *key, const unsigned char *iv)
235         {
236         return EVP_CipherInit(ctx, cipher, key, iv, 1);
237         }
238
239 int EVP_EncryptInit_ex(EVP_CIPHER_CTX *ctx,const EVP_CIPHER *cipher, ENGINE *impl,
240                 const unsigned char *key, const unsigned char *iv)
241         {
242         return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 1);
243         }
244
245 int EVP_DecryptInit(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher,
246              const unsigned char *key, const unsigned char *iv)
247         {
248         return EVP_CipherInit(ctx, cipher, key, iv, 0);
249         }
250
251 int EVP_DecryptInit_ex(EVP_CIPHER_CTX *ctx, const EVP_CIPHER *cipher, ENGINE *impl,
252              const unsigned char *key, const unsigned char *iv)
253         {
254         return EVP_CipherInit_ex(ctx, cipher, impl, key, iv, 0);
255         }
256
257 int EVP_EncryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
258              const unsigned char *in, int inl)
259         {
260         int i,j,bl;
261
262         OPENSSL_assert(inl > 0);
263         if(ctx->buf_len == 0 && (inl&(ctx->block_mask)) == 0)
264                 {
265                 if(ctx->cipher->do_cipher(ctx,out,in,inl))
266                         {
267                         *outl=inl;
268                         return 1;
269                         }
270                 else
271                         {
272                         *outl=0;
273                         return 0;
274                         }
275                 }
276         i=ctx->buf_len;
277         bl=ctx->cipher->block_size;
278         OPENSSL_assert(bl <= (int)sizeof(ctx->buf));
279         if (i != 0)
280                 {
281                 if (i+inl < bl)
282                         {
283                         memcpy(&(ctx->buf[i]),in,inl);
284                         ctx->buf_len+=inl;
285                         *outl=0;
286                         return 1;
287                         }
288                 else
289                         {
290                         j=bl-i;
291                         memcpy(&(ctx->buf[i]),in,j);
292                         if(!ctx->cipher->do_cipher(ctx,out,ctx->buf,bl)) return 0;
293                         inl-=j;
294                         in+=j;
295                         out+=bl;
296                         *outl=bl;
297                         }
298                 }
299         else
300                 *outl = 0;
301         i=inl&(bl-1);
302         inl-=i;
303         if (inl > 0)
304                 {
305                 if(!ctx->cipher->do_cipher(ctx,out,in,inl)) return 0;
306                 *outl+=inl;
307                 }
308
309         if (i != 0)
310                 memcpy(ctx->buf,&(in[inl]),i);
311         ctx->buf_len=i;
312         return 1;
313         }
314
315 int EVP_EncryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
316         {
317         int ret;
318         ret = EVP_EncryptFinal_ex(ctx, out, outl);
319         return ret;
320         }
321
322 int EVP_EncryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
323         {
324         int n,ret;
325         unsigned int i, b, bl;
326
327         b=ctx->cipher->block_size;
328         OPENSSL_assert(b <= sizeof ctx->buf);
329         if (b == 1)
330                 {
331                 *outl=0;
332                 return 1;
333                 }
334         bl=ctx->buf_len;
335         if (ctx->flags & EVP_CIPH_NO_PADDING)
336                 {
337                 if(bl)
338                         {
339                         EVPerr(EVP_F_EVP_ENCRYPTFINAL,EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
340                         return 0;
341                         }
342                 *outl = 0;
343                 return 1;
344                 }
345
346         n=b-bl;
347         for (i=bl; i<b; i++)
348                 ctx->buf[i]=n;
349         ret=ctx->cipher->do_cipher(ctx,out,ctx->buf,b);
350
351
352         if(ret)
353                 *outl=b;
354
355         return ret;
356         }
357
358 int EVP_DecryptUpdate(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl,
359              const unsigned char *in, int inl)
360         {
361         int fix_len;
362         unsigned int b;
363
364         if (inl == 0)
365                 {
366                 *outl=0;
367                 return 1;
368                 }
369
370         if (ctx->flags & EVP_CIPH_NO_PADDING)
371                 return EVP_EncryptUpdate(ctx, out, outl, in, inl);
372
373         b=ctx->cipher->block_size;
374         OPENSSL_assert(b <= sizeof ctx->final);
375
376         if(ctx->final_used)
377                 {
378                 memcpy(out,ctx->final,b);
379                 out+=b;
380                 fix_len = 1;
381                 }
382         else
383                 fix_len = 0;
384
385
386         if(!EVP_EncryptUpdate(ctx,out,outl,in,inl))
387                 return 0;
388
389         /* if we have 'decrypted' a multiple of block size, make sure
390          * we have a copy of this last block */
391         if (b > 1 && !ctx->buf_len)
392                 {
393                 *outl-=b;
394                 ctx->final_used=1;
395                 memcpy(ctx->final,&out[*outl],b);
396                 }
397         else
398                 ctx->final_used = 0;
399
400         if (fix_len)
401                 *outl += b;
402                 
403         return 1;
404         }
405
406 int EVP_DecryptFinal(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
407         {
408         int ret;
409         ret = EVP_DecryptFinal_ex(ctx, out, outl);
410         return ret;
411         }
412
413 int EVP_DecryptFinal_ex(EVP_CIPHER_CTX *ctx, unsigned char *out, int *outl)
414         {
415         int i,n;
416         unsigned int b;
417
418         *outl=0;
419         b=ctx->cipher->block_size;
420         if (ctx->flags & EVP_CIPH_NO_PADDING)
421                 {
422                 if(ctx->buf_len)
423                         {
424                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_DATA_NOT_MULTIPLE_OF_BLOCK_LENGTH);
425                         return 0;
426                         }
427                 *outl = 0;
428                 return 1;
429                 }
430         if (b > 1)
431                 {
432                 if (ctx->buf_len || !ctx->final_used)
433                         {
434                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_WRONG_FINAL_BLOCK_LENGTH);
435                         return(0);
436                         }
437                 OPENSSL_assert(b <= sizeof ctx->final);
438                 n=ctx->final[b-1];
439                 if (n > (int)b)
440                         {
441                         EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_BAD_DECRYPT);
442                         return(0);
443                         }
444                 for (i=0; i<n; i++)
445                         {
446                         if (ctx->final[--b] != n)
447                                 {
448                                 EVPerr(EVP_F_EVP_DECRYPTFINAL,EVP_R_BAD_DECRYPT);
449                                 return(0);
450                                 }
451                         }
452                 n=ctx->cipher->block_size-n;
453                 for (i=0; i<n; i++)
454                         out[i]=ctx->final[i];
455                 *outl=n;
456                 }
457         else
458                 *outl=0;
459         return(1);
460         }
461
462 int EVP_CIPHER_CTX_cleanup(EVP_CIPHER_CTX *c)
463         {
464         if (c->cipher != NULL)
465                 {
466                 if(c->cipher->cleanup && !c->cipher->cleanup(c))
467                         return 0;
468                 /* Cleanse cipher context data */
469                 if (c->cipher_data)
470                         OPENSSL_cleanse(c->cipher_data, c->cipher->ctx_size);
471                 }
472         if (c->cipher_data)
473                 OPENSSL_free(c->cipher_data);
474 #ifndef OPENSSL_NO_ENGINE
475         if (c->engine)
476                 /* The EVP_CIPHER we used belongs to an ENGINE, release the
477                  * functional reference we held for this reason. */
478                 ENGINE_finish(c->engine);
479 #endif
480         memset(c,0,sizeof(EVP_CIPHER_CTX));
481         return 1;
482         }
483
484 int EVP_CIPHER_CTX_set_key_length(EVP_CIPHER_CTX *c, int keylen)
485         {
486         if(c->cipher->flags & EVP_CIPH_CUSTOM_KEY_LENGTH) 
487                 return EVP_CIPHER_CTX_ctrl(c, EVP_CTRL_SET_KEY_LENGTH, keylen, NULL);
488         if(c->key_len == keylen) return 1;
489         if((keylen > 0) && (c->cipher->flags & EVP_CIPH_VARIABLE_LENGTH))
490                 {
491                 c->key_len = keylen;
492                 return 1;
493                 }
494         EVPerr(EVP_F_EVP_CIPHER_CTX_SET_KEY_LENGTH,EVP_R_INVALID_KEY_LENGTH);
495         return 0;
496         }
497
498 int EVP_CIPHER_CTX_set_padding(EVP_CIPHER_CTX *ctx, int pad)
499         {
500         if (pad) ctx->flags &= ~EVP_CIPH_NO_PADDING;
501         else ctx->flags |= EVP_CIPH_NO_PADDING;
502         return 1;
503         }
504
505 int EVP_CIPHER_CTX_ctrl(EVP_CIPHER_CTX *ctx, int type, int arg, void *ptr)
506 {
507         int ret;
508         if(!ctx->cipher) {
509                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_NO_CIPHER_SET);
510                 return 0;
511         }
512
513         if(!ctx->cipher->ctrl) {
514                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_CTRL_NOT_IMPLEMENTED);
515                 return 0;
516         }
517
518         ret = ctx->cipher->ctrl(ctx, type, arg, ptr);
519         if(ret == -1) {
520                 EVPerr(EVP_F_EVP_CIPHER_CTX_CTRL, EVP_R_CTRL_OPERATION_NOT_IMPLEMENTED);
521                 return 0;
522         }
523         return ret;
524 }