Don't ignore return value of EVP_DigestInit_ex() in md BIOs and dgst utility.
[openssl.git] / apps / dgst.c
1 /* apps/dgst.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include <string.h>
61 #include <stdlib.h>
62 #include "apps.h"
63 #include <openssl/bio.h>
64 #include <openssl/err.h>
65 #include <openssl/evp.h>
66 #include <openssl/objects.h>
67 #include <openssl/x509.h>
68 #include <openssl/pem.h>
69
70 #undef BUFSIZE
71 #define BUFSIZE 1024*8
72
73 #undef PROG
74 #define PROG    dgst_main
75
76 int do_fp(BIO *out, unsigned char *buf, BIO *bp, int sep, int binout,
77           EVP_PKEY *key, unsigned char *sigin, int siglen, const char *title,
78           const char *file);
79
80 int MAIN(int, char **);
81
82 int MAIN(int argc, char **argv)
83         {
84         ENGINE *e = NULL;
85         unsigned char *buf=NULL;
86         int i,err=0;
87         const EVP_MD *md=NULL,*m;
88         BIO *in=NULL,*inp;
89         BIO *bmd=NULL;
90         BIO *out = NULL;
91         const char *name;
92 #define PROG_NAME_SIZE  39
93         char pname[PROG_NAME_SIZE+1];
94         int separator=0;
95         int debug=0;
96         int keyform=FORMAT_PEM;
97         const char *outfile = NULL, *keyfile = NULL;
98         const char *sigfile = NULL, *randfile = NULL;
99         int out_bin = -1, want_pub = 0, do_verify = 0;
100         EVP_PKEY *sigkey = NULL;
101         unsigned char *sigbuf = NULL;
102         int siglen = 0;
103 #ifndef OPENSSL_NO_ENGINE
104         char *engine=NULL;
105 #endif
106
107         apps_startup();
108
109         if ((buf=(unsigned char *)OPENSSL_malloc(BUFSIZE)) == NULL)
110                 {
111                 BIO_printf(bio_err,"out of memory\n");
112                 goto end;
113                 }
114         if (bio_err == NULL)
115                 if ((bio_err=BIO_new(BIO_s_file())) != NULL)
116                         BIO_set_fp(bio_err,stderr,BIO_NOCLOSE|BIO_FP_TEXT);
117
118         if (!load_config(bio_err, NULL))
119                 goto end;
120
121         /* first check the program name */
122         program_name(argv[0],pname,sizeof pname);
123
124         md=EVP_get_digestbyname(pname);
125
126         argc--;
127         argv++;
128         while (argc > 0)
129                 {
130                 if ((*argv)[0] != '-') break;
131                 if (strcmp(*argv,"-c") == 0)
132                         separator=1;
133                 else if (strcmp(*argv,"-rand") == 0)
134                         {
135                         if (--argc < 1) break;
136                         randfile=*(++argv);
137                         }
138                 else if (strcmp(*argv,"-out") == 0)
139                         {
140                         if (--argc < 1) break;
141                         outfile=*(++argv);
142                         }
143                 else if (strcmp(*argv,"-sign") == 0)
144                         {
145                         if (--argc < 1) break;
146                         keyfile=*(++argv);
147                         }
148                 else if (strcmp(*argv,"-verify") == 0)
149                         {
150                         if (--argc < 1) break;
151                         keyfile=*(++argv);
152                         want_pub = 1;
153                         do_verify = 1;
154                         }
155                 else if (strcmp(*argv,"-prverify") == 0)
156                         {
157                         if (--argc < 1) break;
158                         keyfile=*(++argv);
159                         do_verify = 1;
160                         }
161                 else if (strcmp(*argv,"-signature") == 0)
162                         {
163                         if (--argc < 1) break;
164                         sigfile=*(++argv);
165                         }
166                 else if (strcmp(*argv,"-keyform") == 0)
167                         {
168                         if (--argc < 1) break;
169                         keyform=str2fmt(*(++argv));
170                         }
171 #ifndef OPENSSL_NO_ENGINE
172                 else if (strcmp(*argv,"-engine") == 0)
173                         {
174                         if (--argc < 1) break;
175                         engine= *(++argv);
176                         }
177 #endif
178                 else if (strcmp(*argv,"-hex") == 0)
179                         out_bin = 0;
180                 else if (strcmp(*argv,"-binary") == 0)
181                         out_bin = 1;
182                 else if (strcmp(*argv,"-d") == 0)
183                         debug=1;
184                 else if ((m=EVP_get_digestbyname(&((*argv)[1]))) != NULL)
185                         md=m;
186                 else
187                         break;
188                 argc--;
189                 argv++;
190                 }
191
192         if (md == NULL)
193                 md=EVP_md5();
194
195         if(do_verify && !sigfile) {
196                 BIO_printf(bio_err, "No signature to verify: use the -signature option\n");
197                 err = 1; 
198                 goto end;
199         }
200
201         if ((argc > 0) && (argv[0][0] == '-')) /* bad option */
202                 {
203                 BIO_printf(bio_err,"unknown option '%s'\n",*argv);
204                 BIO_printf(bio_err,"options are\n");
205                 BIO_printf(bio_err,"-c              to output the digest with separating colons\n");
206                 BIO_printf(bio_err,"-d              to output debug info\n");
207                 BIO_printf(bio_err,"-hex            output as hex dump\n");
208                 BIO_printf(bio_err,"-binary         output in binary form\n");
209                 BIO_printf(bio_err,"-sign   file    sign digest using private key in file\n");
210                 BIO_printf(bio_err,"-verify file    verify a signature using public key in file\n");
211                 BIO_printf(bio_err,"-prverify file  verify a signature using private key in file\n");
212                 BIO_printf(bio_err,"-keyform arg    key file format (PEM or ENGINE)\n");
213                 BIO_printf(bio_err,"-signature file signature to verify\n");
214                 BIO_printf(bio_err,"-binary         output in binary form\n");
215 #ifndef OPENSSL_NO_ENGINE
216                 BIO_printf(bio_err,"-engine e       use engine e, possibly a hardware device.\n");
217 #endif
218
219                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm (default)\n",
220                         LN_md5,LN_md5);
221                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
222                         LN_md4,LN_md4);
223                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
224                         LN_md2,LN_md2);
225 #ifndef OPENSSL_NO_SHA
226                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
227                         LN_sha1,LN_sha1);
228                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
229                         LN_sha,LN_sha);
230 #ifndef OPENSSL_NO_SHA256
231                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
232                         LN_sha256,LN_sha256);
233 #endif
234 #ifndef OPENSSL_NO_SHA512
235                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
236                         LN_sha512,LN_sha512);
237 #endif
238 #endif
239                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
240                         LN_mdc2,LN_mdc2);
241                 BIO_printf(bio_err,"-%3s to use the %s message digest algorithm\n",
242                         LN_ripemd160,LN_ripemd160);
243                 err=1;
244                 goto end;
245                 }
246
247 #ifndef OPENSSL_NO_ENGINE
248         e = setup_engine(bio_err, engine, 0);
249 #endif
250
251         in=BIO_new(BIO_s_file());
252         bmd=BIO_new(BIO_f_md());
253         if (debug)
254                 {
255                 BIO_set_callback(in,BIO_debug_callback);
256                 /* needed for windows 3.1 */
257                 BIO_set_callback_arg(in,bio_err);
258                 }
259
260         if ((in == NULL) || (bmd == NULL))
261                 {
262                 ERR_print_errors(bio_err);
263                 goto end;
264                 }
265
266         if(out_bin == -1) {
267                 if(keyfile) out_bin = 1;
268                 else out_bin = 0;
269         }
270
271         if(randfile)
272                 app_RAND_load_file(randfile, bio_err, 0);
273
274         if(outfile) {
275                 if(out_bin)
276                         out = BIO_new_file(outfile, "wb");
277                 else    out = BIO_new_file(outfile, "w");
278         } else {
279                 out = BIO_new_fp(stdout, BIO_NOCLOSE);
280 #ifdef OPENSSL_SYS_VMS
281                 {
282                 BIO *tmpbio = BIO_new(BIO_f_linebuffer());
283                 out = BIO_push(tmpbio, out);
284                 }
285 #endif
286         }
287
288         if(!out) {
289                 BIO_printf(bio_err, "Error opening output file %s\n", 
290                                         outfile ? outfile : "(stdout)");
291                 ERR_print_errors(bio_err);
292                 goto end;
293         }
294
295         if(keyfile)
296                 {
297                 if (want_pub)
298                         sigkey = load_pubkey(bio_err, keyfile, keyform, 0, NULL,
299                                 e, "key file");
300                 else
301                         sigkey = load_key(bio_err, keyfile, keyform, 0, NULL,
302                                 e, "key file");
303                 if (!sigkey)
304                         {
305                         /* load_[pub]key() has already printed an appropriate
306                            message */
307                         goto end;
308                         }
309                 }
310
311         if(sigfile && sigkey) {
312                 BIO *sigbio;
313                 sigbio = BIO_new_file(sigfile, "rb");
314                 siglen = EVP_PKEY_size(sigkey);
315                 sigbuf = OPENSSL_malloc(siglen);
316                 if(!sigbio) {
317                         BIO_printf(bio_err, "Error opening signature file %s\n",
318                                                                 sigfile);
319                         ERR_print_errors(bio_err);
320                         goto end;
321                 }
322                 siglen = BIO_read(sigbio, sigbuf, siglen);
323                 BIO_free(sigbio);
324                 if(siglen <= 0) {
325                         BIO_printf(bio_err, "Error reading signature file %s\n",
326                                                                 sigfile);
327                         ERR_print_errors(bio_err);
328                         goto end;
329                 }
330         }
331                 
332
333
334         /* we use md as a filter, reading from 'in' */
335         if (!BIO_set_md(bmd,md))
336                 {
337                 BIO_printf(bio_err, "Error setting digest %s\n", pname);
338                 ERR_print_errors(bio_err);
339                 goto end;
340                 }
341                 
342         inp=BIO_push(bmd,in);
343
344         if (argc == 0)
345                 {
346                 BIO_set_fp(in,stdin,BIO_NOCLOSE);
347                 err=do_fp(out, buf,inp,separator, out_bin, sigkey, sigbuf,
348                           siglen,"","(stdin)");
349                 }
350         else
351                 {
352                 name=OBJ_nid2sn(md->type);
353                 for (i=0; i<argc; i++)
354                         {
355                         char *tmp,*tofree=NULL;
356                         int r;
357
358                         if (BIO_read_filename(in,argv[i]) <= 0)
359                                 {
360                                 perror(argv[i]);
361                                 err++;
362                                 continue;
363                                 }
364                         if(!out_bin)
365                                 {
366                                 size_t len = strlen(name)+strlen(argv[i])+5;
367                                 tmp=tofree=OPENSSL_malloc(len);
368                                 BIO_snprintf(tmp,len,"%s(%s)= ",name,argv[i]);
369                                 }
370                         else
371                                 tmp="";
372                         r=do_fp(out,buf,inp,separator,out_bin,sigkey,sigbuf,
373                                 siglen,tmp,argv[i]);
374                         if(r)
375                             err=r;
376                         if(tofree)
377                                 OPENSSL_free(tofree);
378                         (void)BIO_reset(bmd);
379                         }
380                 }
381 end:
382         if (buf != NULL)
383                 {
384                 OPENSSL_cleanse(buf,BUFSIZE);
385                 OPENSSL_free(buf);
386                 }
387         if (in != NULL) BIO_free(in);
388         BIO_free_all(out);
389         EVP_PKEY_free(sigkey);
390         if(sigbuf) OPENSSL_free(sigbuf);
391         if (bmd != NULL) BIO_free(bmd);
392         apps_shutdown();
393         OPENSSL_EXIT(err);
394         }
395
396 int do_fp(BIO *out, unsigned char *buf, BIO *bp, int sep, int binout,
397           EVP_PKEY *key, unsigned char *sigin, int siglen, const char *title,
398           const char *file)
399         {
400         int len;
401         int i;
402
403         for (;;)
404                 {
405                 i=BIO_read(bp,(char *)buf,BUFSIZE);
406                 if(i < 0)
407                         {
408                         BIO_printf(bio_err, "Read Error in %s\n",file);
409                         ERR_print_errors(bio_err);
410                         return 1;
411                         }
412                 if (i == 0) break;
413                 }
414         if(sigin)
415                 {
416                 EVP_MD_CTX *ctx;
417                 BIO_get_md_ctx(bp, &ctx);
418                 i = EVP_VerifyFinal(ctx, sigin, (unsigned int)siglen, key); 
419                 if(i > 0)
420                         BIO_printf(out, "Verified OK\n");
421                 else if(i == 0)
422                         {
423                         BIO_printf(out, "Verification Failure\n");
424                         return 1;
425                         }
426                 else
427                         {
428                         BIO_printf(bio_err, "Error Verifying Data\n");
429                         ERR_print_errors(bio_err);
430                         return 1;
431                         }
432                 return 0;
433                 }
434         if(key)
435                 {
436                 EVP_MD_CTX *ctx;
437                 BIO_get_md_ctx(bp, &ctx);
438                 if(!EVP_SignFinal(ctx, buf, (unsigned int *)&len, key)) 
439                         {
440                         BIO_printf(bio_err, "Error Signing Data\n");
441                         ERR_print_errors(bio_err);
442                         return 1;
443                         }
444                 }
445         else
446                 len=BIO_gets(bp,(char *)buf,BUFSIZE);
447
448         if(binout) BIO_write(out, buf, len);
449         else 
450                 {
451                 BIO_write(out,title,strlen(title));
452                 for (i=0; i<len; i++)
453                         {
454                         if (sep && (i != 0))
455                                 BIO_printf(out, ":");
456                         BIO_printf(out, "%02x",buf[i]);
457                         }
458                 BIO_printf(out, "\n");
459                 }
460         return 0;
461         }
462