evp/e_des[3].c: address compiler warnings, fix formatting.
[openssl.git] / crypto / evp / e_des3.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include "internal/cryptlib.h"
60 #ifndef OPENSSL_NO_DES
61 # include <openssl/evp.h>
62 # include <openssl/objects.h>
63 # include "internal/evp_int.h"
64 # include <openssl/des.h>
65 # include <openssl/rand.h>
66
67 typedef struct {
68     union {
69         double align;
70         DES_key_schedule ks[3];
71     } ks;
72     union {
73         void (*cbc) (const void *, void *, size_t,
74                      const DES_key_schedule *, unsigned char *);
75     } stream;
76 } DES_EDE_KEY;
77 # define ks1 ks.ks[0]
78 # define ks2 ks.ks[1]
79 # define ks3 ks.ks[2]
80
81 # if defined(AES_ASM) && (defined(__sparc) || defined(__sparc__))
82 /* ---------^^^ this is not a typo, just a way to detect that
83  * assembler support was in general requested... */
84 #  include "sparc_arch.h"
85
86 extern unsigned int OPENSSL_sparcv9cap_P[];
87
88 #  define SPARC_DES_CAPABLE       (OPENSSL_sparcv9cap_P[1] & CFR_DES)
89
90 void des_t4_key_expand(const void *key, DES_key_schedule *ks);
91 void des_t4_ede3_cbc_encrypt(const void *inp, void *out, size_t len,
92                              const DES_key_schedule ks[3], unsigned char iv[8]);
93 void des_t4_ede3_cbc_decrypt(const void *inp, void *out, size_t len,
94                              const DES_key_schedule ks[3], unsigned char iv[8]);
95 # endif
96
97 static int des_ede_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
98                             const unsigned char *iv, int enc);
99
100 static int des_ede3_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
101                              const unsigned char *iv, int enc);
102
103 static int des3_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr);
104
105 # define data(ctx) EVP_C_DATA(DES_EDE_KEY,ctx)
106
107 /*
108  * Because of various casts and different args can't use
109  * IMPLEMENT_BLOCK_CIPHER
110  */
111
112 static int des_ede_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
113                               const unsigned char *in, size_t inl)
114 {
115     BLOCK_CIPHER_ecb_loop()
116         DES_ecb3_encrypt((const_DES_cblock *)(in + i),
117                          (DES_cblock *)(out + i),
118                          &data(ctx)->ks1, &data(ctx)->ks2,
119                          &data(ctx)->ks3, EVP_CIPHER_CTX_encrypting(ctx));
120     return 1;
121 }
122
123 static int des_ede_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
124                               const unsigned char *in, size_t inl)
125 {
126     while (inl >= EVP_MAXCHUNK) {
127         int num = EVP_CIPHER_CTX_num(ctx);
128         DES_ede3_ofb64_encrypt(in, out, (long)EVP_MAXCHUNK,
129                                &data(ctx)->ks1, &data(ctx)->ks2,
130                                &data(ctx)->ks3,
131                                (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
132                                &num);
133         EVP_CIPHER_CTX_set_num(ctx, num);
134         inl -= EVP_MAXCHUNK;
135         in += EVP_MAXCHUNK;
136         out += EVP_MAXCHUNK;
137     }
138     if (inl) {
139         int num = EVP_CIPHER_CTX_num(ctx);
140         DES_ede3_ofb64_encrypt(in, out, (long)inl,
141                                &data(ctx)->ks1, &data(ctx)->ks2,
142                                &data(ctx)->ks3,
143                                (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
144                                &num);
145         EVP_CIPHER_CTX_set_num(ctx, num);
146     }
147     return 1;
148 }
149
150 static int des_ede_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
151                               const unsigned char *in, size_t inl)
152 {
153     DES_EDE_KEY *dat = data(ctx);
154
155     if (dat->stream.cbc != NULL) {
156         (*dat->stream.cbc) (in, out, inl, dat->ks.ks,
157                             EVP_CIPHER_CTX_iv_noconst(ctx));
158         return 1;
159     }
160
161     while (inl >= EVP_MAXCHUNK) {
162         DES_ede3_cbc_encrypt(in, out, (long)EVP_MAXCHUNK,
163                              &dat->ks1, &dat->ks2, &dat->ks3,
164                              (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
165                              EVP_CIPHER_CTX_encrypting(ctx));
166         inl -= EVP_MAXCHUNK;
167         in += EVP_MAXCHUNK;
168         out += EVP_MAXCHUNK;
169     }
170     if (inl)
171         DES_ede3_cbc_encrypt(in, out, (long)inl,
172                              &dat->ks1, &dat->ks2, &dat->ks3,
173                              (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
174                              EVP_CIPHER_CTX_encrypting(ctx));
175     return 1;
176 }
177
178 static int des_ede_cfb64_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
179                                 const unsigned char *in, size_t inl)
180 {
181     while (inl >= EVP_MAXCHUNK) {
182         int num = EVP_CIPHER_CTX_num(ctx);
183         DES_ede3_cfb64_encrypt(in, out, (long)EVP_MAXCHUNK,
184                                &data(ctx)->ks1, &data(ctx)->ks2,
185                                &data(ctx)->ks3,
186                                (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
187                                &num, EVP_CIPHER_CTX_encrypting(ctx));
188         EVP_CIPHER_CTX_set_num(ctx, num);
189         inl -= EVP_MAXCHUNK;
190         in += EVP_MAXCHUNK;
191         out += EVP_MAXCHUNK;
192     }
193     if (inl) {
194         int num = EVP_CIPHER_CTX_num(ctx);
195         DES_ede3_cfb64_encrypt(in, out, (long)inl,
196                                &data(ctx)->ks1, &data(ctx)->ks2,
197                                &data(ctx)->ks3,
198                                (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
199                                &num, EVP_CIPHER_CTX_encrypting(ctx));
200         EVP_CIPHER_CTX_set_num(ctx, num);
201     }
202     return 1;
203 }
204
205 /*
206  * Although we have a CFB-r implementation for 3-DES, it doesn't pack the
207  * right way, so wrap it here
208  */
209 static int des_ede3_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
210                                 const unsigned char *in, size_t inl)
211 {
212     size_t n;
213     unsigned char c[1], d[1];
214
215     for (n = 0; n < inl; ++n) {
216         c[0] = (in[n / 8] & (1 << (7 - n % 8))) ? 0x80 : 0;
217         DES_ede3_cfb_encrypt(c, d, 1, 1,
218                              &data(ctx)->ks1, &data(ctx)->ks2,
219                              &data(ctx)->ks3,
220                              (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
221                              EVP_CIPHER_CTX_encrypting(ctx));
222         out[n / 8] = (out[n / 8] & ~(0x80 >> (unsigned int)(n % 8)))
223             | ((d[0] & 0x80) >> (unsigned int)(n % 8));
224     }
225
226     return 1;
227 }
228
229 static int des_ede3_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
230                                 const unsigned char *in, size_t inl)
231 {
232     while (inl >= EVP_MAXCHUNK) {
233         DES_ede3_cfb_encrypt(in, out, 8, (long)EVP_MAXCHUNK,
234                              &data(ctx)->ks1, &data(ctx)->ks2,
235                              &data(ctx)->ks3,
236                              (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
237                              EVP_CIPHER_CTX_encrypting(ctx));
238         inl -= EVP_MAXCHUNK;
239         in += EVP_MAXCHUNK;
240         out += EVP_MAXCHUNK;
241     }
242     if (inl)
243         DES_ede3_cfb_encrypt(in, out, 8, (long)inl,
244                              &data(ctx)->ks1, &data(ctx)->ks2,
245                              &data(ctx)->ks3,
246                              (DES_cblock *)EVP_CIPHER_CTX_iv_noconst(ctx),
247                              EVP_CIPHER_CTX_encrypting(ctx));
248     return 1;
249 }
250
251 BLOCK_CIPHER_defs(des_ede, DES_EDE_KEY, NID_des_ede, 8, 16, 8, 64,
252                   EVP_CIPH_RAND_KEY | EVP_CIPH_FLAG_DEFAULT_ASN1,
253                   des_ede_init_key, NULL, NULL, NULL, des3_ctrl)
254 # define des_ede3_cfb64_cipher des_ede_cfb64_cipher
255 # define des_ede3_ofb_cipher des_ede_ofb_cipher
256 # define des_ede3_cbc_cipher des_ede_cbc_cipher
257 # define des_ede3_ecb_cipher des_ede_ecb_cipher
258     BLOCK_CIPHER_defs(des_ede3, DES_EDE_KEY, NID_des_ede3, 8, 24, 8, 64,
259                   EVP_CIPH_RAND_KEY | EVP_CIPH_FLAG_DEFAULT_ASN1,
260                   des_ede3_init_key, NULL, NULL, NULL, des3_ctrl)
261
262     BLOCK_CIPHER_def_cfb(des_ede3, DES_EDE_KEY, NID_des_ede3, 24, 8, 1,
263                      EVP_CIPH_RAND_KEY | EVP_CIPH_FLAG_DEFAULT_ASN1,
264                      des_ede3_init_key, NULL, NULL, NULL, des3_ctrl)
265
266     BLOCK_CIPHER_def_cfb(des_ede3, DES_EDE_KEY, NID_des_ede3, 24, 8, 8,
267                      EVP_CIPH_RAND_KEY | EVP_CIPH_FLAG_DEFAULT_ASN1,
268                      des_ede3_init_key, NULL, NULL, NULL, des3_ctrl)
269
270 static int des_ede_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
271                             const unsigned char *iv, int enc)
272 {
273     DES_cblock *deskey = (DES_cblock *)key;
274     DES_EDE_KEY *dat = data(ctx);
275
276     dat->stream.cbc = NULL;
277 # if defined(SPARC_DES_CAPABLE)
278     if (SPARC_DES_CAPABLE) {
279         int mode = EVP_CIPHER_CTX_mode(ctx);
280
281         if (mode == EVP_CIPH_CBC_MODE) {
282             des_t4_key_expand(&deskey[0], &dat->ks1);
283             des_t4_key_expand(&deskey[1], &dat->ks2);
284             memcpy(&dat->ks3, &dat->ks1, sizeof(dat->ks1));
285             dat->stream.cbc = enc ? des_t4_ede3_cbc_encrypt :
286                 des_t4_ede3_cbc_decrypt;
287             return 1;
288         }
289     }
290 # endif
291     DES_set_key_unchecked(&deskey[0], &dat->ks1);
292     DES_set_key_unchecked(&deskey[1], &dat->ks2);
293     memcpy(&dat->ks3, &dat->ks1, sizeof(dat->ks1));
294     return 1;
295 }
296
297 static int des_ede3_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
298                              const unsigned char *iv, int enc)
299 {
300     DES_cblock *deskey = (DES_cblock *)key;
301     DES_EDE_KEY *dat = data(ctx);
302
303     dat->stream.cbc = NULL;
304 # if defined(SPARC_DES_CAPABLE)
305     if (SPARC_DES_CAPABLE) {
306         int mode = EVP_CIPHER_CTX_mode(ctx);
307
308         if (mode == EVP_CIPH_CBC_MODE) {
309             des_t4_key_expand(&deskey[0], &dat->ks1);
310             des_t4_key_expand(&deskey[1], &dat->ks2);
311             des_t4_key_expand(&deskey[2], &dat->ks3);
312             dat->stream.cbc = enc ? des_t4_ede3_cbc_encrypt :
313                 des_t4_ede3_cbc_decrypt;
314             return 1;
315         }
316     }
317 # endif
318     DES_set_key_unchecked(&deskey[0], &dat->ks1);
319     DES_set_key_unchecked(&deskey[1], &dat->ks2);
320     DES_set_key_unchecked(&deskey[2], &dat->ks3);
321     return 1;
322 }
323
324 static int des3_ctrl(EVP_CIPHER_CTX *ctx, int type, int arg, void *ptr)
325 {
326
327     DES_cblock *deskey = ptr;
328
329     switch (type) {
330     case EVP_CTRL_RAND_KEY:
331         if (RAND_bytes(ptr, EVP_CIPHER_CTX_key_length(ctx)) <= 0)
332             return 0;
333         DES_set_odd_parity(deskey);
334         if (EVP_CIPHER_CTX_key_length(ctx) >= 16)
335             DES_set_odd_parity(deskey + 1);
336         if (EVP_CIPHER_CTX_key_length(ctx) >= 24)
337             DES_set_odd_parity(deskey + 2);
338         return 1;
339
340     default:
341         return -1;
342     }
343 }
344
345 const EVP_CIPHER *EVP_des_ede(void)
346 {
347     return &des_ede_ecb;
348 }
349
350 const EVP_CIPHER *EVP_des_ede3(void)
351 {
352     return &des_ede3_ecb;
353 }
354
355
356 # include <openssl/sha.h>
357
358 static const unsigned char wrap_iv[8] =
359     { 0x4a, 0xdd, 0xa2, 0x2c, 0x79, 0xe8, 0x21, 0x05 };
360
361 static int des_ede3_unwrap(EVP_CIPHER_CTX *ctx, unsigned char *out,
362                            const unsigned char *in, size_t inl)
363 {
364     unsigned char icv[8], iv[8], sha1tmp[SHA_DIGEST_LENGTH];
365     int rv = -1;
366     if (inl < 24)
367         return -1;
368     if (out == NULL)
369         return inl - 16;
370     memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), wrap_iv, 8);
371     /* Decrypt first block which will end up as icv */
372     des_ede_cbc_cipher(ctx, icv, in, 8);
373     /* Decrypt central blocks */
374     /*
375      * If decrypting in place move whole output along a block so the next
376      * des_ede_cbc_cipher is in place.
377      */
378     if (out == in) {
379         memmove(out, out + 8, inl - 8);
380         in -= 8;
381     }
382     des_ede_cbc_cipher(ctx, out, in + 8, inl - 16);
383     /* Decrypt final block which will be IV */
384     des_ede_cbc_cipher(ctx, iv, in + inl - 8, 8);
385     /* Reverse order of everything */
386     BUF_reverse(icv, NULL, 8);
387     BUF_reverse(out, NULL, inl - 16);
388     BUF_reverse(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 8);
389     /* Decrypt again using new IV */
390     des_ede_cbc_cipher(ctx, out, out, inl - 16);
391     des_ede_cbc_cipher(ctx, icv, icv, 8);
392     /* Work out SHA1 hash of first portion */
393     SHA1(out, inl - 16, sha1tmp);
394
395     if (!CRYPTO_memcmp(sha1tmp, icv, 8))
396         rv = inl - 16;
397     OPENSSL_cleanse(icv, 8);
398     OPENSSL_cleanse(sha1tmp, SHA_DIGEST_LENGTH);
399     OPENSSL_cleanse(iv, 8);
400     OPENSSL_cleanse(EVP_CIPHER_CTX_iv_noconst(ctx), 8);
401     if (rv == -1)
402         OPENSSL_cleanse(out, inl - 16);
403
404     return rv;
405 }
406
407 static int des_ede3_wrap(EVP_CIPHER_CTX *ctx, unsigned char *out,
408                          const unsigned char *in, size_t inl)
409 {
410     unsigned char sha1tmp[SHA_DIGEST_LENGTH];
411     if (out == NULL)
412         return inl + 16;
413     /* Copy input to output buffer + 8 so we have space for IV */
414     memmove(out + 8, in, inl);
415     /* Work out ICV */
416     SHA1(in, inl, sha1tmp);
417     memcpy(out + inl + 8, sha1tmp, 8);
418     OPENSSL_cleanse(sha1tmp, SHA_DIGEST_LENGTH);
419     /* Generate random IV */
420     if (RAND_bytes(EVP_CIPHER_CTX_iv_noconst(ctx), 8) <= 0)
421         return -1;
422     memcpy(out, EVP_CIPHER_CTX_iv_noconst(ctx), 8);
423     /* Encrypt everything after IV in place */
424     des_ede_cbc_cipher(ctx, out + 8, out + 8, inl + 8);
425     BUF_reverse(out, NULL, inl + 16);
426     memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), wrap_iv, 8);
427     des_ede_cbc_cipher(ctx, out, out, inl + 16);
428     return inl + 16;
429 }
430
431 static int des_ede3_wrap_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
432                                 const unsigned char *in, size_t inl)
433 {
434     /*
435      * Sanity check input length: we typically only wrap keys so EVP_MAXCHUNK
436      * is more than will ever be needed. Also input length must be a multiple
437      * of 8 bits.
438      */
439     if (inl >= EVP_MAXCHUNK || inl % 8)
440         return -1;
441     if (EVP_CIPHER_CTX_encrypting(ctx))
442         return des_ede3_wrap(ctx, out, in, inl);
443     else
444         return des_ede3_unwrap(ctx, out, in, inl);
445 }
446
447 static const EVP_CIPHER des3_wrap = {
448     NID_id_smime_alg_CMS3DESwrap,
449     8, 24, 0,
450     EVP_CIPH_WRAP_MODE | EVP_CIPH_CUSTOM_IV | EVP_CIPH_FLAG_CUSTOM_CIPHER
451         | EVP_CIPH_FLAG_DEFAULT_ASN1,
452     des_ede3_init_key, des_ede3_wrap_cipher,
453     NULL,
454     sizeof(DES_EDE_KEY),
455     NULL, NULL, NULL, NULL
456 };
457
458 const EVP_CIPHER *EVP_des_ede3_wrap(void)
459 {
460     return &des3_wrap;
461 }
462
463 #endif