Fix error handling in ssltest
[openssl.git] / crypto / evp / digest.c
1 /* crypto/evp/digest.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58 /* ====================================================================
59  * Copyright (c) 1998-2001 The OpenSSL Project.  All rights reserved.
60  *
61  * Redistribution and use in source and binary forms, with or without
62  * modification, are permitted provided that the following conditions
63  * are met:
64  *
65  * 1. Redistributions of source code must retain the above copyright
66  *    notice, this list of conditions and the following disclaimer.
67  *
68  * 2. Redistributions in binary form must reproduce the above copyright
69  *    notice, this list of conditions and the following disclaimer in
70  *    the documentation and/or other materials provided with the
71  *    distribution.
72  *
73  * 3. All advertising materials mentioning features or use of this
74  *    software must display the following acknowledgment:
75  *    "This product includes software developed by the OpenSSL Project
76  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
77  *
78  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
79  *    endorse or promote products derived from this software without
80  *    prior written permission. For written permission, please contact
81  *    openssl-core@openssl.org.
82  *
83  * 5. Products derived from this software may not be called "OpenSSL"
84  *    nor may "OpenSSL" appear in their names without prior written
85  *    permission of the OpenSSL Project.
86  *
87  * 6. Redistributions of any form whatsoever must retain the following
88  *    acknowledgment:
89  *    "This product includes software developed by the OpenSSL Project
90  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
91  *
92  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
93  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
94  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
95  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
96  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
97  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
98  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
99  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
100  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
101  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
102  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
103  * OF THE POSSIBILITY OF SUCH DAMAGE.
104  * ====================================================================
105  *
106  * This product includes cryptographic software written by Eric Young
107  * (eay@cryptsoft.com).  This product includes software written by Tim
108  * Hudson (tjh@cryptsoft.com).
109  *
110  */
111
112 #include <stdio.h>
113 #include "cryptlib.h"
114 #include <openssl/objects.h>
115 #include <openssl/evp.h>
116 #ifndef OPENSSL_NO_ENGINE
117 # include <openssl/engine.h>
118 #endif
119
120 #ifdef OPENSSL_FIPS
121 # include <openssl/fips.h>
122 # include "evp_locl.h"
123 #endif
124
125 void EVP_MD_CTX_init(EVP_MD_CTX *ctx)
126 {
127     memset(ctx, '\0', sizeof *ctx);
128 }
129
130 EVP_MD_CTX *EVP_MD_CTX_create(void)
131 {
132     EVP_MD_CTX *ctx = OPENSSL_malloc(sizeof *ctx);
133
134     if (ctx)
135         EVP_MD_CTX_init(ctx);
136
137     return ctx;
138 }
139
140 int EVP_DigestInit(EVP_MD_CTX *ctx, const EVP_MD *type)
141 {
142     EVP_MD_CTX_init(ctx);
143     return EVP_DigestInit_ex(ctx, type, NULL);
144 }
145
146 int EVP_DigestInit_ex(EVP_MD_CTX *ctx, const EVP_MD *type, ENGINE *impl)
147 {
148     EVP_MD_CTX_clear_flags(ctx, EVP_MD_CTX_FLAG_CLEANED);
149 #ifdef OPENSSL_FIPS
150     /* If FIPS mode switch to approved implementation if possible */
151     if (FIPS_mode()) {
152         const EVP_MD *fipsmd;
153         if (type) {
154             fipsmd = evp_get_fips_md(type);
155             if (fipsmd)
156                 type = fipsmd;
157         }
158     }
159 #endif
160 #ifndef OPENSSL_NO_ENGINE
161     /*
162      * Whether it's nice or not, "Inits" can be used on "Final"'d contexts so
163      * this context may already have an ENGINE! Try to avoid releasing the
164      * previous handle, re-querying for an ENGINE, and having a
165      * reinitialisation, when it may all be unecessary.
166      */
167     if (ctx->engine && ctx->digest && (!type ||
168                                        (type
169                                         && (type->type ==
170                                             ctx->digest->type))))
171         goto skip_to_init;
172     if (type) {
173         /*
174          * Ensure an ENGINE left lying around from last time is cleared (the
175          * previous check attempted to avoid this if the same ENGINE and
176          * EVP_MD could be used).
177          */
178         if (ctx->engine)
179             ENGINE_finish(ctx->engine);
180         if (impl) {
181             if (!ENGINE_init(impl)) {
182                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_INITIALIZATION_ERROR);
183                 return 0;
184             }
185         } else
186             /* Ask if an ENGINE is reserved for this job */
187             impl = ENGINE_get_digest_engine(type->type);
188         if (impl) {
189             /* There's an ENGINE for this job ... (apparently) */
190             const EVP_MD *d = ENGINE_get_digest(impl, type->type);
191             if (!d) {
192                 /* Same comment from evp_enc.c */
193                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_INITIALIZATION_ERROR);
194                 ENGINE_finish(impl);
195                 return 0;
196             }
197             /* We'll use the ENGINE's private digest definition */
198             type = d;
199             /*
200              * Store the ENGINE functional reference so we know 'type' came
201              * from an ENGINE and we need to release it when done.
202              */
203             ctx->engine = impl;
204         } else
205             ctx->engine = NULL;
206     } else if (!ctx->digest) {
207         EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_NO_DIGEST_SET);
208         return 0;
209     }
210 #endif
211     if (ctx->digest != type) {
212         if (ctx->digest && ctx->digest->ctx_size)
213             OPENSSL_free(ctx->md_data);
214         ctx->digest = type;
215         if (!(ctx->flags & EVP_MD_CTX_FLAG_NO_INIT) && type->ctx_size) {
216             ctx->update = type->update;
217             ctx->md_data = OPENSSL_malloc(type->ctx_size);
218             if (ctx->md_data == NULL) {
219                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, ERR_R_MALLOC_FAILURE);
220                 return 0;
221             }
222         }
223     }
224 #ifndef OPENSSL_NO_ENGINE
225  skip_to_init:
226 #endif
227     if (ctx->pctx) {
228         int r;
229         r = EVP_PKEY_CTX_ctrl(ctx->pctx, -1, EVP_PKEY_OP_TYPE_SIG,
230                               EVP_PKEY_CTRL_DIGESTINIT, 0, ctx);
231         if (r <= 0 && (r != -2))
232             return 0;
233     }
234     if (ctx->flags & EVP_MD_CTX_FLAG_NO_INIT)
235         return 1;
236 #ifdef OPENSSL_FIPS
237     if (FIPS_mode()) {
238         if (FIPS_digestinit(ctx, type))
239             return 1;
240         OPENSSL_free(ctx->md_data);
241         ctx->md_data = NULL;
242         return 0;
243     }
244 #endif
245     return ctx->digest->init(ctx);
246 }
247
248 int EVP_DigestUpdate(EVP_MD_CTX *ctx, const void *data, size_t count)
249 {
250 #ifdef OPENSSL_FIPS
251     return FIPS_digestupdate(ctx, data, count);
252 #else
253     return ctx->update(ctx, data, count);
254 #endif
255 }
256
257 /* The caller can assume that this removes any secret data from the context */
258 int EVP_DigestFinal(EVP_MD_CTX *ctx, unsigned char *md, unsigned int *size)
259 {
260     int ret;
261     ret = EVP_DigestFinal_ex(ctx, md, size);
262     EVP_MD_CTX_cleanup(ctx);
263     return ret;
264 }
265
266 /* The caller can assume that this removes any secret data from the context */
267 int EVP_DigestFinal_ex(EVP_MD_CTX *ctx, unsigned char *md, unsigned int *size)
268 {
269 #ifdef OPENSSL_FIPS
270     return FIPS_digestfinal(ctx, md, size);
271 #else
272     int ret;
273
274     OPENSSL_assert(ctx->digest->md_size <= EVP_MAX_MD_SIZE);
275     ret = ctx->digest->final(ctx, md);
276     if (size != NULL)
277         *size = ctx->digest->md_size;
278     if (ctx->digest->cleanup) {
279         ctx->digest->cleanup(ctx);
280         EVP_MD_CTX_set_flags(ctx, EVP_MD_CTX_FLAG_CLEANED);
281     }
282     memset(ctx->md_data, 0, ctx->digest->ctx_size);
283     return ret;
284 #endif
285 }
286
287 int EVP_MD_CTX_copy(EVP_MD_CTX *out, const EVP_MD_CTX *in)
288 {
289     EVP_MD_CTX_init(out);
290     return EVP_MD_CTX_copy_ex(out, in);
291 }
292
293 int EVP_MD_CTX_copy_ex(EVP_MD_CTX *out, const EVP_MD_CTX *in)
294 {
295     unsigned char *tmp_buf;
296     if ((in == NULL) || (in->digest == NULL)) {
297         EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, EVP_R_INPUT_NOT_INITIALIZED);
298         return 0;
299     }
300 #ifndef OPENSSL_NO_ENGINE
301     /* Make sure it's safe to copy a digest context using an ENGINE */
302     if (in->engine && !ENGINE_init(in->engine)) {
303         EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, ERR_R_ENGINE_LIB);
304         return 0;
305     }
306 #endif
307
308     if (out->digest == in->digest) {
309         tmp_buf = out->md_data;
310         EVP_MD_CTX_set_flags(out, EVP_MD_CTX_FLAG_REUSE);
311     } else
312         tmp_buf = NULL;
313     EVP_MD_CTX_cleanup(out);
314     memcpy(out, in, sizeof *out);
315
316     if (in->md_data && out->digest->ctx_size) {
317         if (tmp_buf)
318             out->md_data = tmp_buf;
319         else {
320             out->md_data = OPENSSL_malloc(out->digest->ctx_size);
321             if (!out->md_data) {
322                 EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, ERR_R_MALLOC_FAILURE);
323                 return 0;
324             }
325         }
326         memcpy(out->md_data, in->md_data, out->digest->ctx_size);
327     }
328
329     out->update = in->update;
330
331     if (in->pctx) {
332         out->pctx = EVP_PKEY_CTX_dup(in->pctx);
333         if (!out->pctx) {
334             EVP_MD_CTX_cleanup(out);
335             return 0;
336         }
337     }
338
339     if (out->digest->copy)
340         return out->digest->copy(out, in);
341
342     return 1;
343 }
344
345 int EVP_Digest(const void *data, size_t count,
346                unsigned char *md, unsigned int *size, const EVP_MD *type,
347                ENGINE *impl)
348 {
349     EVP_MD_CTX ctx;
350     int ret;
351
352     EVP_MD_CTX_init(&ctx);
353     EVP_MD_CTX_set_flags(&ctx, EVP_MD_CTX_FLAG_ONESHOT);
354     ret = EVP_DigestInit_ex(&ctx, type, impl)
355         && EVP_DigestUpdate(&ctx, data, count)
356         && EVP_DigestFinal_ex(&ctx, md, size);
357     EVP_MD_CTX_cleanup(&ctx);
358
359     return ret;
360 }
361
362 void EVP_MD_CTX_destroy(EVP_MD_CTX *ctx)
363 {
364     if (ctx) {
365         EVP_MD_CTX_cleanup(ctx);
366         OPENSSL_free(ctx);
367     }
368 }
369
370 /* This call frees resources associated with the context */
371 int EVP_MD_CTX_cleanup(EVP_MD_CTX *ctx)
372 {
373 #ifndef OPENSSL_FIPS
374     /*
375      * Don't assume ctx->md_data was cleaned in EVP_Digest_Final, because
376      * sometimes only copies of the context are ever finalised.
377      */
378     if (ctx->digest && ctx->digest->cleanup
379         && !EVP_MD_CTX_test_flags(ctx, EVP_MD_CTX_FLAG_CLEANED))
380         ctx->digest->cleanup(ctx);
381     if (ctx->digest && ctx->digest->ctx_size && ctx->md_data
382         && !EVP_MD_CTX_test_flags(ctx, EVP_MD_CTX_FLAG_REUSE)) {
383         OPENSSL_cleanse(ctx->md_data, ctx->digest->ctx_size);
384         OPENSSL_free(ctx->md_data);
385     }
386 #endif
387     if (ctx->pctx)
388         EVP_PKEY_CTX_free(ctx->pctx);
389 #ifndef OPENSSL_NO_ENGINE
390     if (ctx->engine)
391         /*
392          * The EVP_MD we used belongs to an ENGINE, release the functional
393          * reference we held for this reason.
394          */
395         ENGINE_finish(ctx->engine);
396 #endif
397 #ifdef OPENSSL_FIPS
398     FIPS_md_ctx_cleanup(ctx);
399 #endif
400     memset(ctx, '\0', sizeof *ctx);
401
402     return 1;
403 }