Error if memory limit exceeded.
[openssl.git] / apps / enc.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include <stdlib.h>
60 #include <string.h>
61 #include "apps.h"
62 #include <openssl/bio.h>
63 #include <openssl/err.h>
64 #include <openssl/evp.h>
65 #include <openssl/objects.h>
66 #include <openssl/x509.h>
67 #include <openssl/rand.h>
68 #include <openssl/pem.h>
69 #ifndef OPENSSL_NO_COMP
70 # include <openssl/comp.h>
71 #endif
72 #include <ctype.h>
73
74 #undef SIZE
75 #undef BSIZE
76 #define SIZE    (512)
77 #define BSIZE   (8*1024)
78
79 static int set_hex(char *in, unsigned char *out, int size);
80 static void show_ciphers(const OBJ_NAME *name, void *bio_);
81
82 typedef enum OPTION_choice {
83     OPT_ERR = -1, OPT_EOF = 0, OPT_HELP,
84     OPT_E, OPT_IN, OPT_OUT, OPT_PASS, OPT_ENGINE, OPT_D, OPT_P, OPT_V,
85     OPT_NOPAD, OPT_SALT, OPT_NOSALT, OPT_DEBUG, OPT_UPPER_P, OPT_UPPER_A,
86     OPT_A, OPT_Z, OPT_BUFSIZE, OPT_K, OPT_KFILE, OPT_UPPER_K, OPT_NONE,
87     OPT_UPPER_S, OPT_IV, OPT_MD, OPT_NON_FIPS_ALLOW, OPT_CIPHER
88 } OPTION_CHOICE;
89
90 OPTIONS enc_options[] = {
91     {"help", OPT_HELP, '-', "Display this summary"},
92     {"in", OPT_IN, '<', "Input file"},
93     {"out", OPT_OUT, '>', "Output file"},
94     {"pass", OPT_PASS, 's', "Passphrase source"},
95 #ifndef OPENSSL_NO_ENGINE
96     {"engine", OPT_ENGINE, 's', "Use engine, possibly a hardware device"},
97 #endif
98     {"e", OPT_E, '-', "Encrypt"},
99     {"d", OPT_D, '-', "Decrypt"},
100     {"p", OPT_P, '-', "Print the iv/key"},
101     {"P", OPT_UPPER_P, '-', "Print the iv/key and exit"},
102     {"v", OPT_V, '-'},
103     {"nopad", OPT_NOPAD, '-', "Disable standard block padding"},
104     {"salt", OPT_SALT, '-'},
105     {"nosalt", OPT_NOSALT, '-'},
106     {"debug", OPT_DEBUG, '-'},
107     {"A", OPT_UPPER_A, '-'},
108     {"a", OPT_A, '-', "base64 encode/decode, depending on encryption flag"},
109     {"base64", OPT_A, '-', "Base64 output as a single line"},
110 #ifdef ZLIB
111     {"z", OPT_Z, '-', "Use zlib as the 'encryption'"},
112 #endif
113     {"bufsize", OPT_BUFSIZE, 's', "Buffer size"},
114     {"k", OPT_K, 's', "Passphrase"},
115     {"kfile", OPT_KFILE, '<', "Fead passphrase from file"},
116     {"K", OPT_UPPER_K, 's', "Raw key, in hex"},
117     {"S", OPT_UPPER_S, 's', "Salt, in hex"},
118     {"iv", OPT_IV, 's', "IV in hex"},
119     {"md", OPT_MD, 's', "Use specified digest to create key from passphrase"},
120     {"non-fips-allow", OPT_NON_FIPS_ALLOW, '-'},
121     {"none", OPT_NONE, '-', "Don't encrypt"},
122     {"", OPT_CIPHER, '-', "Any supported cipher"},
123     {NULL}
124 };
125
126 int enc_main(int argc, char **argv)
127 {
128     static char buf[128];
129     static const char magic[] = "Salted__";
130     BIO *in = NULL, *out = NULL, *b64 = NULL, *benc = NULL, *rbio =
131         NULL, *wbio = NULL;
132     EVP_CIPHER_CTX *ctx = NULL;
133     const EVP_CIPHER *cipher = NULL, *c;
134     const EVP_MD *dgst = NULL;
135     char *hkey = NULL, *hiv = NULL, *hsalt = NULL, *p;
136     char *infile = NULL, *outfile = NULL, *prog;
137     char *str = NULL, *passarg = NULL, *pass = NULL, *strbuf = NULL;
138     char mbuf[sizeof magic - 1];
139     OPTION_CHOICE o;
140     int bsize = BSIZE, verbose = 0, debug = 0, olb64 = 0, nosalt = 0;
141     int enc = 1, printkey = 0, i, k, base64 = 0;
142     int ret = 1, inl, nopad = 0, non_fips_allow = 0;
143     unsigned char key[EVP_MAX_KEY_LENGTH], iv[EVP_MAX_IV_LENGTH];
144     unsigned char *buff = NULL, salt[PKCS5_SALT_LEN];
145     unsigned long n;
146 #ifdef ZLIB
147     int do_zlib = 0;
148     BIO *bzl = NULL;
149 #endif
150
151     /* first check the program name */
152     prog = opt_progname(argv[0]);
153     if (strcmp(prog, "base64") == 0)
154         base64 = 1;
155 #ifdef ZLIB
156     else if (strcmp(prog, "zlib") == 0)
157         do_zlib = 1;
158 #endif
159     else {
160         cipher = EVP_get_cipherbyname(prog);
161         if (cipher == NULL && strcmp(prog, "enc") != 0) {
162             BIO_printf(bio_err, "%s is not a known cipher\n", prog);
163             goto end;
164         }
165     }
166
167     prog = opt_init(argc, argv, enc_options);
168     while ((o = opt_next()) != OPT_EOF) {
169         switch (o) {
170         case OPT_EOF:
171         case OPT_ERR:
172  opthelp:
173             BIO_printf(bio_err, "%s: Use -help for summary.\n", prog);
174             goto end;
175         case OPT_HELP:
176             opt_help(enc_options);
177             ret = 0;
178             BIO_printf(bio_err, "Cipher Types\n");
179             OBJ_NAME_do_all_sorted(OBJ_NAME_TYPE_CIPHER_METH,
180                                    show_ciphers, bio_err);
181             BIO_printf(bio_err, "\n");
182             goto end;
183         case OPT_E:
184             enc = 1;
185             break;
186         case OPT_IN:
187             infile = opt_arg();
188             break;
189         case OPT_OUT:
190             outfile = opt_arg();
191             break;
192         case OPT_PASS:
193             passarg = opt_arg();
194             break;
195         case OPT_ENGINE:
196             (void)setup_engine(opt_arg(), 0);
197             break;
198         case OPT_D:
199             enc = 0;
200             break;
201         case OPT_P:
202             printkey = 1;
203             break;
204         case OPT_V:
205             verbose = 1;
206             break;
207         case OPT_NOPAD:
208             nopad = 1;
209             break;
210         case OPT_SALT:
211             nosalt = 0;
212             break;
213         case OPT_NOSALT:
214             nosalt = 1;
215             break;
216         case OPT_DEBUG:
217             debug = 1;
218             break;
219         case OPT_UPPER_P:
220             printkey = 2;
221             break;
222         case OPT_UPPER_A:
223             olb64 = 1;
224             break;
225         case OPT_A:
226             base64 = 1;
227             break;
228         case OPT_Z:
229 #ifdef ZLIB
230             do_zlib = 1;
231 #endif
232             break;
233         case OPT_BUFSIZE:
234             p = opt_arg();
235             i = (int)strlen(p) - 1;
236             k = i >= 1 && p[i] == 'k';
237             if (k)
238                 p[i] = '\0';
239             if (!opt_ulong(opt_arg(), &n))
240                 goto opthelp;
241             if (k)
242                 n *= 1024;
243             bsize = (int)n;
244             break;
245         case OPT_K:
246             str = opt_arg();
247             break;
248         case OPT_KFILE:
249             in = bio_open_default(opt_arg(), "r");
250             if (in == NULL)
251                 goto opthelp;
252             i = BIO_gets(in, buf, sizeof buf);
253             BIO_free(in);
254             in = NULL;
255             if (i <= 0) {
256                 BIO_printf(bio_err,
257                            "%s Can't read key from %s\n", prog, opt_arg());
258                 goto opthelp;
259             }
260             while (--i > 0 && (buf[i] == '\r' || buf[i] == '\n'))
261                 buf[i] = '\0';
262             if (i <= 0) {
263                 BIO_printf(bio_err, "%s: zero length password\n", prog);
264                 goto opthelp;
265             }
266             str = buf;
267             break;
268         case OPT_UPPER_K:
269             hkey = opt_arg();
270             break;
271         case OPT_UPPER_S:
272             hsalt = opt_arg();
273             break;
274         case OPT_IV:
275             hiv = opt_arg();
276             break;
277         case OPT_MD:
278             if (!opt_md(opt_arg(), &dgst))
279                 goto opthelp;
280             break;
281         case OPT_NON_FIPS_ALLOW:
282             non_fips_allow = 1;
283             break;
284         case OPT_CIPHER:
285             if (!opt_cipher(opt_unknown(), &c))
286                 goto opthelp;
287             cipher = c;
288             break;
289         case OPT_NONE:
290             cipher = NULL;
291             break;
292         }
293     }
294     argc = opt_num_rest();
295     argv = opt_rest();
296
297     if (cipher && EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER) {
298         BIO_printf(bio_err, "%s: AEAD ciphers not supported\n", prog);
299         goto end;
300     }
301
302     if (cipher && (EVP_CIPHER_mode(cipher) == EVP_CIPH_XTS_MODE)) {
303         BIO_printf(bio_err, "%s XTS ciphers not supported\n", prog);
304         goto end;
305     }
306
307     if (dgst == NULL)
308         dgst = EVP_md5();
309
310     /* It must be large enough for a base64 encoded line */
311     if (base64 && bsize < 80)
312         bsize = 80;
313     if (verbose)
314         BIO_printf(bio_err, "bufsize=%d\n", bsize);
315
316     strbuf = app_malloc(SIZE, "strbuf");
317     buff = app_malloc(EVP_ENCODE_LENGTH(bsize), "evp buffer");
318
319     if (debug) {
320         BIO_set_callback(in, BIO_debug_callback);
321         BIO_set_callback(out, BIO_debug_callback);
322         BIO_set_callback_arg(in, (char *)bio_err);
323         BIO_set_callback_arg(out, (char *)bio_err);
324     }
325
326     if (infile == NULL) {
327         unbuffer(stdin);
328         in = dup_bio_in();
329     } else
330         in = bio_open_default(infile, "r");
331     if (in == NULL)
332         goto end;
333
334     if (!str && passarg) {
335         if (!app_passwd(passarg, NULL, &pass, NULL)) {
336             BIO_printf(bio_err, "Error getting password\n");
337             goto end;
338         }
339         str = pass;
340     }
341
342     if ((str == NULL) && (cipher != NULL) && (hkey == NULL)) {
343         for (;;) {
344             char prompt[200];
345
346             BIO_snprintf(prompt, sizeof prompt, "enter %s %s password:",
347                          OBJ_nid2ln(EVP_CIPHER_nid(cipher)),
348                          (enc) ? "encryption" : "decryption");
349             strbuf[0] = '\0';
350             i = EVP_read_pw_string((char *)strbuf, SIZE, prompt, enc);
351             if (i == 0) {
352                 if (strbuf[0] == '\0') {
353                     ret = 1;
354                     goto end;
355                 }
356                 str = strbuf;
357                 break;
358             }
359             if (i < 0) {
360                 BIO_printf(bio_err, "bad password read\n");
361                 goto end;
362             }
363         }
364     }
365
366     out = bio_open_default(outfile, "w");
367     if (out == NULL)
368         goto end;
369
370     rbio = in;
371     wbio = out;
372
373 #ifdef ZLIB
374     if (do_zlib) {
375         if ((bzl = BIO_new(BIO_f_zlib())) == NULL)
376             goto end;
377         if (enc)
378             wbio = BIO_push(bzl, wbio);
379         else
380             rbio = BIO_push(bzl, rbio);
381     }
382 #endif
383
384     if (base64) {
385         if ((b64 = BIO_new(BIO_f_base64())) == NULL)
386             goto end;
387         if (debug) {
388             BIO_set_callback(b64, BIO_debug_callback);
389             BIO_set_callback_arg(b64, (char *)bio_err);
390         }
391         if (olb64)
392             BIO_set_flags(b64, BIO_FLAGS_BASE64_NO_NL);
393         if (enc)
394             wbio = BIO_push(b64, wbio);
395         else
396             rbio = BIO_push(b64, rbio);
397     }
398
399     if (cipher != NULL) {
400         /*
401          * Note that str is NULL if a key was passed on the command line, so
402          * we get no salt in that case. Is this a bug?
403          */
404         if (str != NULL) {
405             /*
406              * Salt handling: if encrypting generate a salt and write to
407              * output BIO. If decrypting read salt from input BIO.
408              */
409             unsigned char *sptr;
410             if (nosalt)
411                 sptr = NULL;
412             else {
413                 if (enc) {
414                     if (hsalt) {
415                         if (!set_hex(hsalt, salt, sizeof salt)) {
416                             BIO_printf(bio_err, "invalid hex salt value\n");
417                             goto end;
418                         }
419                     } else if (RAND_bytes(salt, sizeof salt) <= 0)
420                         goto end;
421                     /*
422                      * If -P option then don't bother writing
423                      */
424                     if ((printkey != 2)
425                         && (BIO_write(wbio, magic,
426                                       sizeof magic - 1) != sizeof magic - 1
427                             || BIO_write(wbio,
428                                          (char *)salt,
429                                          sizeof salt) != sizeof salt)) {
430                         BIO_printf(bio_err, "error writing output file\n");
431                         goto end;
432                     }
433                 } else if (BIO_read(rbio, mbuf, sizeof mbuf) != sizeof mbuf
434                            || BIO_read(rbio,
435                                        (unsigned char *)salt,
436                                        sizeof salt) != sizeof salt) {
437                     BIO_printf(bio_err, "error reading input file\n");
438                     goto end;
439                 } else if (memcmp(mbuf, magic, sizeof magic - 1)) {
440                     BIO_printf(bio_err, "bad magic number\n");
441                     goto end;
442                 }
443
444                 sptr = salt;
445             }
446
447             if (!EVP_BytesToKey(cipher, dgst, sptr,
448                                 (unsigned char *)str,
449                                 strlen(str), 1, key, iv)) {
450                 BIO_printf(bio_err, "EVP_BytesToKey failed\n");
451                 goto end;
452             }
453             /*
454              * zero the complete buffer or the string passed from the command
455              * line bug picked up by Larry J. Hughes Jr. <hughes@indiana.edu>
456              */
457             if (str == strbuf)
458                 OPENSSL_cleanse(str, SIZE);
459             else
460                 OPENSSL_cleanse(str, strlen(str));
461         }
462         if (hiv != NULL) {
463             int siz = EVP_CIPHER_iv_length(cipher);
464             if (siz == 0) {
465                 BIO_printf(bio_err, "warning: iv not use by this cipher\n");
466             } else if (!set_hex(hiv, iv, sizeof iv)) {
467                 BIO_printf(bio_err, "invalid hex iv value\n");
468                 goto end;
469             }
470         }
471         if ((hiv == NULL) && (str == NULL)
472             && EVP_CIPHER_iv_length(cipher) != 0) {
473             /*
474              * No IV was explicitly set and no IV was generated during
475              * EVP_BytesToKey. Hence the IV is undefined, making correct
476              * decryption impossible.
477              */
478             BIO_printf(bio_err, "iv undefined\n");
479             goto end;
480         }
481         if ((hkey != NULL) && !set_hex(hkey, key, EVP_CIPHER_key_length(cipher))) {
482             BIO_printf(bio_err, "invalid hex key value\n");
483             goto end;
484         }
485
486         if ((benc = BIO_new(BIO_f_cipher())) == NULL)
487             goto end;
488
489         /*
490          * Since we may be changing parameters work on the encryption context
491          * rather than calling BIO_set_cipher().
492          */
493
494         BIO_get_cipher_ctx(benc, &ctx);
495
496         if (non_fips_allow)
497             EVP_CIPHER_CTX_set_flags(ctx, EVP_CIPH_FLAG_NON_FIPS_ALLOW);
498
499         if (!EVP_CipherInit_ex(ctx, cipher, NULL, NULL, NULL, enc)) {
500             BIO_printf(bio_err, "Error setting cipher %s\n",
501                        EVP_CIPHER_name(cipher));
502             ERR_print_errors(bio_err);
503             goto end;
504         }
505
506         if (nopad)
507             EVP_CIPHER_CTX_set_padding(ctx, 0);
508
509         if (!EVP_CipherInit_ex(ctx, NULL, NULL, key, iv, enc)) {
510             BIO_printf(bio_err, "Error setting cipher %s\n",
511                        EVP_CIPHER_name(cipher));
512             ERR_print_errors(bio_err);
513             goto end;
514         }
515
516         if (debug) {
517             BIO_set_callback(benc, BIO_debug_callback);
518             BIO_set_callback_arg(benc, (char *)bio_err);
519         }
520
521         if (printkey) {
522             if (!nosalt) {
523                 printf("salt=");
524                 for (i = 0; i < (int)sizeof(salt); i++)
525                     printf("%02X", salt[i]);
526                 printf("\n");
527             }
528             if (cipher->key_len > 0) {
529                 printf("key=");
530                 for (i = 0; i < cipher->key_len; i++)
531                     printf("%02X", key[i]);
532                 printf("\n");
533             }
534             if (cipher->iv_len > 0) {
535                 printf("iv =");
536                 for (i = 0; i < cipher->iv_len; i++)
537                     printf("%02X", iv[i]);
538                 printf("\n");
539             }
540             if (printkey == 2) {
541                 ret = 0;
542                 goto end;
543             }
544         }
545     }
546
547     /* Only encrypt/decrypt as we write the file */
548     if (benc != NULL)
549         wbio = BIO_push(benc, wbio);
550
551     for (;;) {
552         inl = BIO_read(rbio, (char *)buff, bsize);
553         if (inl <= 0)
554             break;
555         if (BIO_write(wbio, (char *)buff, inl) != inl) {
556             BIO_printf(bio_err, "error writing output file\n");
557             goto end;
558         }
559     }
560     if (!BIO_flush(wbio)) {
561         BIO_printf(bio_err, "bad decrypt\n");
562         goto end;
563     }
564
565     ret = 0;
566     if (verbose) {
567         BIO_printf(bio_err, "bytes read   :%8ld\n", BIO_number_read(in));
568         BIO_printf(bio_err, "bytes written:%8ld\n", BIO_number_written(out));
569     }
570  end:
571     ERR_print_errors(bio_err);
572     OPENSSL_free(strbuf);
573     OPENSSL_free(buff);
574     BIO_free(in);
575     BIO_free_all(out);
576     BIO_free(benc);
577     BIO_free(b64);
578 #ifdef ZLIB
579     BIO_free(bzl);
580 #endif
581     OPENSSL_free(pass);
582     return (ret);
583 }
584
585 static void show_ciphers(const OBJ_NAME *name, void *bio_)
586 {
587     BIO *bio = bio_;
588     static int n;
589
590     if (!islower((unsigned char)*name->name))
591         return;
592
593     BIO_printf(bio, "-%-25s", name->name);
594     if (++n == 3) {
595         BIO_printf(bio, "\n");
596         n = 0;
597     } else
598         BIO_printf(bio, " ");
599 }
600
601 static int set_hex(char *in, unsigned char *out, int size)
602 {
603     int i, n;
604     unsigned char j;
605
606     n = strlen(in);
607     if (n > (size * 2)) {
608         BIO_printf(bio_err, "hex string is too long\n");
609         return (0);
610     }
611     memset(out, 0, size);
612     for (i = 0; i < n; i++) {
613         j = (unsigned char)*in;
614         *(in++) = '\0';
615         if (j == 0)
616             break;
617         if (!isxdigit(j)) {
618             BIO_printf(bio_err, "non-hex digit\n");
619             return (0);
620         }
621         j = (unsigned char)app_hex(j);
622         if (i & 1)
623             out[i / 2] |= j;
624         else
625             out[i / 2] = (j << 4);
626     }
627     return (1);
628 }