Add testing for updated cipher IV
[openssl.git] / apps / dgst.c
1 /*
2  * Copyright 1995-2021 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12 #include <stdlib.h>
13 #include "apps.h"
14 #include "progs.h"
15 #include <openssl/bio.h>
16 #include <openssl/err.h>
17 #include <openssl/evp.h>
18 #include <openssl/objects.h>
19 #include <openssl/x509.h>
20 #include <openssl/pem.h>
21 #include <openssl/hmac.h>
22 #include <ctype.h>
23
24 #undef BUFSIZE
25 #define BUFSIZE 1024*8
26
27 int do_fp(BIO *out, unsigned char *buf, BIO *bp, int sep, int binout, int xoflen,
28           EVP_PKEY *key, unsigned char *sigin, int siglen,
29           const char *sig_name, const char *md_name,
30           const char *file);
31 static void show_digests(const OBJ_NAME *name, void *bio_);
32
33 struct doall_dgst_digests {
34     BIO *bio;
35     int n;
36 };
37
38 typedef enum OPTION_choice {
39     OPT_ERR = -1, OPT_EOF = 0, OPT_HELP, OPT_LIST,
40     OPT_C, OPT_R, OPT_OUT, OPT_SIGN, OPT_PASSIN, OPT_VERIFY,
41     OPT_PRVERIFY, OPT_SIGNATURE, OPT_KEYFORM, OPT_ENGINE, OPT_ENGINE_IMPL,
42     OPT_HEX, OPT_BINARY, OPT_DEBUG, OPT_FIPS_FINGERPRINT,
43     OPT_HMAC, OPT_MAC, OPT_SIGOPT, OPT_MACOPT, OPT_XOFLEN,
44     OPT_DIGEST,
45     OPT_R_ENUM, OPT_PROV_ENUM
46 } OPTION_CHOICE;
47
48 const OPTIONS dgst_options[] = {
49     {OPT_HELP_STR, 1, '-', "Usage: %s [options] [file...]\n"},
50
51     OPT_SECTION("General"),
52     {"help", OPT_HELP, '-', "Display this summary"},
53     {"list", OPT_LIST, '-', "List digests"},
54 #ifndef OPENSSL_NO_ENGINE
55     {"engine", OPT_ENGINE, 's', "Use engine e, possibly a hardware device"},
56     {"engine_impl", OPT_ENGINE_IMPL, '-',
57      "Also use engine given by -engine for digest operations"},
58 #endif
59     {"passin", OPT_PASSIN, 's', "Input file pass phrase source"},
60
61     OPT_SECTION("Output"),
62     {"c", OPT_C, '-', "Print the digest with separating colons"},
63     {"r", OPT_R, '-', "Print the digest in coreutils format"},
64     {"out", OPT_OUT, '>', "Output to filename rather than stdout"},
65     {"keyform", OPT_KEYFORM, 'f', "Key file format (ENGINE, other values ignored)"},
66     {"hex", OPT_HEX, '-', "Print as hex dump"},
67     {"binary", OPT_BINARY, '-', "Print in binary form"},
68     {"xoflen", OPT_XOFLEN, 'p', "Output length for XOF algorithms"},
69     {"d", OPT_DEBUG, '-', "Print debug info"},
70     {"debug", OPT_DEBUG, '-', "Print debug info"},
71
72     OPT_SECTION("Signing"),
73     {"sign", OPT_SIGN, 's', "Sign digest using private key"},
74     {"verify", OPT_VERIFY, 's', "Verify a signature using public key"},
75     {"prverify", OPT_PRVERIFY, 's', "Verify a signature using private key"},
76     {"sigopt", OPT_SIGOPT, 's', "Signature parameter in n:v form"},
77     {"signature", OPT_SIGNATURE, '<', "File with signature to verify"},
78     {"hmac", OPT_HMAC, 's', "Create hashed MAC with key"},
79     {"mac", OPT_MAC, 's', "Create MAC (not necessarily HMAC)"},
80     {"macopt", OPT_MACOPT, 's', "MAC algorithm parameters in n:v form or key"},
81     {"", OPT_DIGEST, '-', "Any supported digest"},
82     {"fips-fingerprint", OPT_FIPS_FINGERPRINT, '-',
83      "Compute HMAC with the key used in OpenSSL-FIPS fingerprint"},
84
85     OPT_R_OPTIONS,
86     OPT_PROV_OPTIONS,
87
88     OPT_PARAMETERS(),
89     {"file", 0, 0, "Files to digest (optional; default is stdin)"},
90     {NULL}
91 };
92
93 int dgst_main(int argc, char **argv)
94 {
95     BIO *in = NULL, *inp, *bmd = NULL, *out = NULL;
96     ENGINE *e = NULL, *impl = NULL;
97     EVP_PKEY *sigkey = NULL;
98     STACK_OF(OPENSSL_STRING) *sigopts = NULL, *macopts = NULL;
99     char *hmac_key = NULL;
100     char *mac_name = NULL, *digestname = NULL;
101     char *passinarg = NULL, *passin = NULL;
102     EVP_MD *md = NULL;
103     const char *outfile = NULL, *keyfile = NULL, *prog = NULL;
104     const char *sigfile = NULL;
105     const char *md_name = NULL;
106     OPTION_CHOICE o;
107     int separator = 0, debug = 0, keyform = FORMAT_PEM, siglen = 0;
108     int i, ret = 1, out_bin = -1, want_pub = 0, do_verify = 0;
109     int xoflen = 0;
110     unsigned char *buf = NULL, *sigbuf = NULL;
111     int engine_impl = 0;
112     struct doall_dgst_digests dec;
113
114     buf = app_malloc(BUFSIZE, "I/O buffer");
115     md = (EVP_MD *)EVP_get_digestbyname(argv[0]);
116
117     prog = opt_init(argc, argv, dgst_options);
118     while ((o = opt_next()) != OPT_EOF) {
119         switch (o) {
120         case OPT_EOF:
121         case OPT_ERR:
122  opthelp:
123             BIO_printf(bio_err, "%s: Use -help for summary.\n", prog);
124             goto end;
125         case OPT_HELP:
126             opt_help(dgst_options);
127             ret = 0;
128             goto end;
129         case OPT_LIST:
130             BIO_printf(bio_out, "Supported digests:\n");
131             dec.bio = bio_out;
132             dec.n = 0;
133             OBJ_NAME_do_all_sorted(OBJ_NAME_TYPE_MD_METH,
134                                    show_digests, &dec);
135             BIO_printf(bio_out, "\n");
136             ret = 0;
137             goto end;
138         case OPT_C:
139             separator = 1;
140             break;
141         case OPT_R:
142             separator = 2;
143             break;
144         case OPT_R_CASES:
145             if (!opt_rand(o))
146                 goto end;
147             break;
148         case OPT_OUT:
149             outfile = opt_arg();
150             break;
151         case OPT_SIGN:
152             keyfile = opt_arg();
153             break;
154         case OPT_PASSIN:
155             passinarg = opt_arg();
156             break;
157         case OPT_VERIFY:
158             keyfile = opt_arg();
159             want_pub = do_verify = 1;
160             break;
161         case OPT_PRVERIFY:
162             keyfile = opt_arg();
163             do_verify = 1;
164             break;
165         case OPT_SIGNATURE:
166             sigfile = opt_arg();
167             break;
168         case OPT_KEYFORM:
169             if (!opt_format(opt_arg(), OPT_FMT_ANY, &keyform))
170                 goto opthelp;
171             break;
172         case OPT_ENGINE:
173             e = setup_engine(opt_arg(), 0);
174             break;
175         case OPT_ENGINE_IMPL:
176             engine_impl = 1;
177             break;
178         case OPT_HEX:
179             out_bin = 0;
180             break;
181         case OPT_BINARY:
182             out_bin = 1;
183             break;
184         case OPT_XOFLEN:
185             xoflen = atoi(opt_arg());
186             break;
187         case OPT_DEBUG:
188             debug = 1;
189             break;
190         case OPT_FIPS_FINGERPRINT:
191             hmac_key = "etaonrishdlcupfm";
192             break;
193         case OPT_HMAC:
194             hmac_key = opt_arg();
195             break;
196         case OPT_MAC:
197             mac_name = opt_arg();
198             break;
199         case OPT_SIGOPT:
200             if (!sigopts)
201                 sigopts = sk_OPENSSL_STRING_new_null();
202             if (!sigopts || !sk_OPENSSL_STRING_push(sigopts, opt_arg()))
203                 goto opthelp;
204             break;
205         case OPT_MACOPT:
206             if (!macopts)
207                 macopts = sk_OPENSSL_STRING_new_null();
208             if (!macopts || !sk_OPENSSL_STRING_push(macopts, opt_arg()))
209                 goto opthelp;
210             break;
211         case OPT_DIGEST:
212             digestname = opt_unknown();
213             break;
214         case OPT_PROV_CASES:
215             if (!opt_provider(o))
216                 goto end;
217             break;
218         }
219     }
220
221     /* Remaining args are files to digest. */
222     argc = opt_num_rest();
223     argv = opt_rest();
224     if (keyfile != NULL && argc > 1) {
225         BIO_printf(bio_err, "%s: Can only sign or verify one file.\n", prog);
226         goto end;
227     }
228     if (!app_RAND_load())
229         goto end;
230
231     if (digestname != NULL) {
232         if (!opt_md(digestname, &md))
233             goto opthelp;
234     }
235
236     if (do_verify && sigfile == NULL) {
237         BIO_printf(bio_err,
238                    "No signature to verify: use the -signature option\n");
239         goto end;
240     }
241     if (engine_impl)
242         impl = e;
243
244     in = BIO_new(BIO_s_file());
245     bmd = BIO_new(BIO_f_md());
246     if ((in == NULL) || (bmd == NULL)) {
247         ERR_print_errors(bio_err);
248         goto end;
249     }
250
251     if (debug) {
252         BIO_set_callback(in, BIO_debug_callback);
253         /* needed for windows 3.1 */
254         BIO_set_callback_arg(in, (char *)bio_err);
255     }
256
257     if (!app_passwd(passinarg, NULL, &passin, NULL)) {
258         BIO_printf(bio_err, "Error getting password\n");
259         goto end;
260     }
261
262     if (out_bin == -1) {
263         if (keyfile != NULL)
264             out_bin = 1;
265         else
266             out_bin = 0;
267     }
268
269     out = bio_open_default(outfile, 'w', out_bin ? FORMAT_BINARY : FORMAT_TEXT);
270     if (out == NULL)
271         goto end;
272
273     if ((!(mac_name == NULL) + !(keyfile == NULL) + !(hmac_key == NULL)) > 1) {
274         BIO_printf(bio_err, "MAC and Signing key cannot both be specified\n");
275         goto end;
276     }
277
278     if (keyfile != NULL) {
279         int type;
280
281         if (want_pub)
282             sigkey = load_pubkey(keyfile, keyform, 0, NULL, e, "public key");
283         else
284             sigkey = load_key(keyfile, keyform, 0, passin, e, "private key");
285         if (sigkey == NULL) {
286             /*
287              * load_[pub]key() has already printed an appropriate message
288              */
289             goto end;
290         }
291         type = EVP_PKEY_id(sigkey);
292         if (type == EVP_PKEY_ED25519 || type == EVP_PKEY_ED448) {
293             /*
294              * We implement PureEdDSA for these which doesn't have a separate
295              * digest, and only supports one shot.
296              */
297             BIO_printf(bio_err, "Key type not supported for this operation\n");
298             goto end;
299         }
300     }
301
302     if (mac_name != NULL) {
303         EVP_PKEY_CTX *mac_ctx = NULL;
304         int r = 0;
305         if (!init_gen_str(&mac_ctx, mac_name, impl, 0, NULL, NULL))
306             goto mac_end;
307         if (macopts != NULL) {
308             char *macopt;
309             for (i = 0; i < sk_OPENSSL_STRING_num(macopts); i++) {
310                 macopt = sk_OPENSSL_STRING_value(macopts, i);
311                 if (pkey_ctrl_string(mac_ctx, macopt) <= 0) {
312                     BIO_printf(bio_err,
313                                "MAC parameter error \"%s\"\n", macopt);
314                     ERR_print_errors(bio_err);
315                     goto mac_end;
316                 }
317             }
318         }
319         if (EVP_PKEY_keygen(mac_ctx, &sigkey) <= 0) {
320             BIO_puts(bio_err, "Error generating key\n");
321             ERR_print_errors(bio_err);
322             goto mac_end;
323         }
324         r = 1;
325  mac_end:
326         EVP_PKEY_CTX_free(mac_ctx);
327         if (r == 0)
328             goto end;
329     }
330
331     if (hmac_key != NULL) {
332         sigkey = EVP_PKEY_new_raw_private_key(EVP_PKEY_HMAC, impl,
333                                               (unsigned char *)hmac_key,
334                                               strlen(hmac_key));
335         if (sigkey == NULL)
336             goto end;
337     }
338
339     if (sigkey != NULL) {
340         EVP_MD_CTX *mctx = NULL;
341         EVP_PKEY_CTX *pctx = NULL;
342         int r;
343         if (!BIO_get_md_ctx(bmd, &mctx)) {
344             BIO_printf(bio_err, "Error getting context\n");
345             ERR_print_errors(bio_err);
346             goto end;
347         }
348         if (do_verify)
349             r = EVP_DigestVerifyInit(mctx, &pctx, md, impl, sigkey);
350         else
351             r = EVP_DigestSignInit(mctx, &pctx, md, impl, sigkey);
352         if (!r) {
353             BIO_printf(bio_err, "Error setting context\n");
354             ERR_print_errors(bio_err);
355             goto end;
356         }
357         if (sigopts != NULL) {
358             char *sigopt;
359             for (i = 0; i < sk_OPENSSL_STRING_num(sigopts); i++) {
360                 sigopt = sk_OPENSSL_STRING_value(sigopts, i);
361                 if (pkey_ctrl_string(pctx, sigopt) <= 0) {
362                     BIO_printf(bio_err, "parameter error \"%s\"\n", sigopt);
363                     ERR_print_errors(bio_err);
364                     goto end;
365                 }
366             }
367         }
368     }
369     /* we use md as a filter, reading from 'in' */
370     else {
371         EVP_MD_CTX *mctx = NULL;
372         if (!BIO_get_md_ctx(bmd, &mctx)) {
373             BIO_printf(bio_err, "Error getting context\n");
374             ERR_print_errors(bio_err);
375             goto end;
376         }
377         if (md == NULL)
378             md = (EVP_MD *)EVP_sha256();
379         if (!EVP_DigestInit_ex(mctx, md, impl)) {
380             BIO_printf(bio_err, "Error setting digest\n");
381             ERR_print_errors(bio_err);
382             goto end;
383         }
384     }
385
386     if (sigfile != NULL && sigkey != NULL) {
387         BIO *sigbio = BIO_new_file(sigfile, "rb");
388         if (sigbio == NULL) {
389             BIO_printf(bio_err, "Error opening signature file %s\n", sigfile);
390             ERR_print_errors(bio_err);
391             goto end;
392         }
393         siglen = EVP_PKEY_size(sigkey);
394         sigbuf = app_malloc(siglen, "signature buffer");
395         siglen = BIO_read(sigbio, sigbuf, siglen);
396         BIO_free(sigbio);
397         if (siglen <= 0) {
398             BIO_printf(bio_err, "Error reading signature file %s\n", sigfile);
399             ERR_print_errors(bio_err);
400             goto end;
401         }
402     }
403     inp = BIO_push(bmd, in);
404
405     if (md == NULL) {
406         EVP_MD_CTX *tctx;
407
408         BIO_get_md_ctx(bmd, &tctx);
409         md = EVP_MD_CTX_get1_md(tctx);
410     }
411     if (md != NULL)
412         md_name = EVP_MD_name(md);
413
414     if (xoflen > 0) {
415         if (!(EVP_MD_flags(md) & EVP_MD_FLAG_XOF)) {
416             BIO_printf(bio_err, "Length can only be specified for XOF\n");
417             goto end;
418         }
419         if (sigkey != NULL) {
420             BIO_printf(bio_err, "Signing key cannot be specified for XOF\n");
421             goto end;
422         }
423     }
424
425     if (argc == 0) {
426         BIO_set_fp(in, stdin, BIO_NOCLOSE);
427         ret = do_fp(out, buf, inp, separator, out_bin, xoflen, sigkey, sigbuf,
428                     siglen, NULL, md_name, "stdin");
429     } else {
430         const char *sig_name = NULL;
431         if (!out_bin) {
432             if (sigkey != NULL)
433                 sig_name = EVP_PKEY_get0_type_name(sigkey);
434         }
435         ret = 0;
436         for (i = 0; i < argc; i++) {
437             int r;
438             if (BIO_read_filename(in, argv[i]) <= 0) {
439                 perror(argv[i]);
440                 ret++;
441                 continue;
442             } else {
443                 r = do_fp(out, buf, inp, separator, out_bin, xoflen,
444                           sigkey, sigbuf, siglen, sig_name, md_name, argv[i]);
445             }
446             if (r)
447                 ret = r;
448             (void)BIO_reset(bmd);
449         }
450     }
451  end:
452     OPENSSL_clear_free(buf, BUFSIZE);
453     BIO_free(in);
454     OPENSSL_free(passin);
455     BIO_free_all(out);
456     EVP_MD_free(md);
457     EVP_PKEY_free(sigkey);
458     sk_OPENSSL_STRING_free(sigopts);
459     sk_OPENSSL_STRING_free(macopts);
460     OPENSSL_free(sigbuf);
461     BIO_free(bmd);
462     release_engine(e);
463     return ret;
464 }
465
466 static void show_digests(const OBJ_NAME *name, void *arg)
467 {
468     struct doall_dgst_digests *dec = (struct doall_dgst_digests *)arg;
469     const EVP_MD *md = NULL;
470
471     /* Filter out signed digests (a.k.a signature algorithms) */
472     if (strstr(name->name, "rsa") != NULL || strstr(name->name, "RSA") != NULL)
473         return;
474
475     if (!islower((unsigned char)*name->name))
476         return;
477
478     /* Filter out message digests that we cannot use */
479     md = EVP_get_digestbyname(name->name);
480     if (md == NULL)
481         return;
482
483     BIO_printf(dec->bio, "-%-25s", name->name);
484     if (++dec->n == 3) {
485         BIO_printf(dec->bio, "\n");
486         dec->n = 0;
487     } else {
488         BIO_printf(dec->bio, " ");
489     }
490 }
491
492 /*
493  * The newline_escape_filename function performs newline escaping for any
494  * filename that contains a newline.  This function also takes a pointer
495  * to backslash. The backslash pointer is a flag to indicating whether a newline
496  * is present in the filename.  If a newline is present, the backslash flag is
497  * set and the output format will contain a backslash at the beginning of the
498  * digest output. This output format is to replicate the output format found
499  * in the '*sum' checksum programs. This aims to preserve backward
500  * compatibility.
501  */
502 static const char *newline_escape_filename(const char *file, int * backslash)
503 {
504     size_t i, e = 0, length = strlen(file), newline_count = 0, mem_len = 0;
505     char *file_cpy = NULL;
506
507     for (i = 0; i < length; i++)
508         if (file[i] == '\n')
509             newline_count++;
510
511     mem_len = length + newline_count + 1;
512     file_cpy = app_malloc(mem_len, file);
513     i = 0;
514
515     while(e < length) {
516         const char c = file[e];
517         if (c == '\n') {
518             file_cpy[i++] = '\\';
519             file_cpy[i++] = 'n';
520             *backslash = 1;
521         } else {
522             file_cpy[i++] = c;
523         }
524         e++;
525     }
526     file_cpy[i] = '\0';
527     return (const char*)file_cpy;
528 }
529
530
531 int do_fp(BIO *out, unsigned char *buf, BIO *bp, int sep, int binout, int xoflen,
532           EVP_PKEY *key, unsigned char *sigin, int siglen,
533           const char *sig_name, const char *md_name,
534           const char *file)
535 {
536     size_t len = BUFSIZE;
537     int i, backslash = 0, ret = 1;
538     unsigned char *allocated_buf = NULL;
539
540     while (BIO_pending(bp) || !BIO_eof(bp)) {
541         i = BIO_read(bp, (char *)buf, BUFSIZE);
542         if (i < 0) {
543             BIO_printf(bio_err, "Read Error in %s\n", file);
544             ERR_print_errors(bio_err);
545             goto end;
546         }
547         if (i == 0)
548             break;
549     }
550     if (sigin != NULL) {
551         EVP_MD_CTX *ctx;
552         BIO_get_md_ctx(bp, &ctx);
553         i = EVP_DigestVerifyFinal(ctx, sigin, (unsigned int)siglen);
554         if (i > 0) {
555             BIO_printf(out, "Verified OK\n");
556         } else if (i == 0) {
557             BIO_printf(out, "Verification Failure\n");
558             goto end;
559         } else {
560             BIO_printf(bio_err, "Error Verifying Data\n");
561             ERR_print_errors(bio_err);
562             goto end;
563         }
564         ret = 0;
565         goto end;
566     }
567     if (key != NULL) {
568         EVP_MD_CTX *ctx;
569         size_t tmplen;
570
571         BIO_get_md_ctx(bp, &ctx);
572         if (!EVP_DigestSignFinal(ctx, NULL, &tmplen)) {
573             BIO_printf(bio_err, "Error Signing Data\n");
574             ERR_print_errors(bio_err);
575             goto end;
576         }
577         if (tmplen > BUFSIZE) {
578             len = tmplen;
579             allocated_buf = app_malloc(len, "Signature buffer");
580             buf = allocated_buf;
581         }
582         if (!EVP_DigestSignFinal(ctx, buf, &len)) {
583             BIO_printf(bio_err, "Error Signing Data\n");
584             ERR_print_errors(bio_err);
585             goto end;
586         }
587     } else if (xoflen > 0) {
588         EVP_MD_CTX *ctx;
589
590         len = xoflen;
591         if (len > BUFSIZE) {
592             allocated_buf = app_malloc(len, "Digest buffer");
593             buf = allocated_buf;
594         }
595
596         BIO_get_md_ctx(bp, &ctx);
597
598         if (!EVP_DigestFinalXOF(ctx, buf, len)) {
599             BIO_printf(bio_err, "Error Digesting Data\n");
600             ERR_print_errors(bio_err);
601             goto end;
602         }
603     } else {
604         len = BIO_gets(bp, (char *)buf, BUFSIZE);
605         if ((int)len < 0) {
606             ERR_print_errors(bio_err);
607             goto end;
608         }
609     }
610
611     if (binout) {
612         BIO_write(out, buf, len);
613     } else if (sep == 2) {
614         file = newline_escape_filename(file, &backslash);
615
616         if (backslash == 1)
617             BIO_puts(out, "\\");
618
619         for (i = 0; i < (int)len; i++)
620             BIO_printf(out, "%02x", buf[i]);
621
622         BIO_printf(out, " *%s\n", file);
623         OPENSSL_free((char *)file);
624     } else {
625         if (sig_name != NULL) {
626             BIO_puts(out, sig_name);
627             if (md_name != NULL)
628                 BIO_printf(out, "-%s", md_name);
629             BIO_printf(out, "(%s)= ", file);
630         } else if (md_name != NULL) {
631             BIO_printf(out, "%s(%s)= ", md_name, file);
632         } else {
633             BIO_printf(out, "(%s)= ", file);
634         }
635         for (i = 0; i < (int)len; i++) {
636             if (sep && (i != 0))
637                 BIO_printf(out, ":");
638             BIO_printf(out, "%02x", buf[i]);
639         }
640         BIO_printf(out, "\n");
641     }
642
643     ret = 0;
644  end:
645     if (allocated_buf != NULL)
646         OPENSSL_clear_free(allocated_buf, len);
647
648     return ret;
649 }