Fix a potential double free in EVP_DigestInit_ex
[openssl.git] / crypto / evp / digest.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57 /* ====================================================================
58  * Copyright (c) 1998-2001 The OpenSSL Project.  All rights reserved.
59  *
60  * Redistribution and use in source and binary forms, with or without
61  * modification, are permitted provided that the following conditions
62  * are met:
63  *
64  * 1. Redistributions of source code must retain the above copyright
65  *    notice, this list of conditions and the following disclaimer.
66  *
67  * 2. Redistributions in binary form must reproduce the above copyright
68  *    notice, this list of conditions and the following disclaimer in
69  *    the documentation and/or other materials provided with the
70  *    distribution.
71  *
72  * 3. All advertising materials mentioning features or use of this
73  *    software must display the following acknowledgment:
74  *    "This product includes software developed by the OpenSSL Project
75  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
76  *
77  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
78  *    endorse or promote products derived from this software without
79  *    prior written permission. For written permission, please contact
80  *    openssl-core@openssl.org.
81  *
82  * 5. Products derived from this software may not be called "OpenSSL"
83  *    nor may "OpenSSL" appear in their names without prior written
84  *    permission of the OpenSSL Project.
85  *
86  * 6. Redistributions of any form whatsoever must retain the following
87  *    acknowledgment:
88  *    "This product includes software developed by the OpenSSL Project
89  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
90  *
91  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
92  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
93  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
94  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
95  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
96  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
97  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
98  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
99  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
100  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
101  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
102  * OF THE POSSIBILITY OF SUCH DAMAGE.
103  * ====================================================================
104  *
105  * This product includes cryptographic software written by Eric Young
106  * (eay@cryptsoft.com).  This product includes software written by Tim
107  * Hudson (tjh@cryptsoft.com).
108  *
109  */
110
111 #include <stdio.h>
112 #include "internal/cryptlib.h"
113 #include <openssl/objects.h>
114 #include <openssl/evp.h>
115 #ifndef OPENSSL_NO_ENGINE
116 # include <openssl/engine.h>
117 #endif
118 #include "internal/evp_int.h"
119 #include "evp_locl.h"
120
121 /* This call frees resources associated with the context */
122 int EVP_MD_CTX_reset(EVP_MD_CTX *ctx)
123 {
124     if (ctx == NULL)
125         return 1;
126
127     /*
128      * Don't assume ctx->md_data was cleaned in EVP_Digest_Final, because
129      * sometimes only copies of the context are ever finalised.
130      */
131     if (ctx->digest && ctx->digest->cleanup
132         && !EVP_MD_CTX_test_flags(ctx, EVP_MD_CTX_FLAG_CLEANED))
133         ctx->digest->cleanup(ctx);
134     if (ctx->digest && ctx->digest->ctx_size && ctx->md_data
135         && !EVP_MD_CTX_test_flags(ctx, EVP_MD_CTX_FLAG_REUSE)) {
136         OPENSSL_clear_free(ctx->md_data, ctx->digest->ctx_size);
137     }
138     EVP_PKEY_CTX_free(ctx->pctx);
139 #ifndef OPENSSL_NO_ENGINE
140     ENGINE_finish(ctx->engine);
141 #endif
142     memset(ctx, 0, sizeof(*ctx));
143
144     return 1;
145 }
146
147 EVP_MD_CTX *EVP_MD_CTX_new(void)
148 {
149     return OPENSSL_zalloc(sizeof(EVP_MD_CTX));
150 }
151
152 void EVP_MD_CTX_free(EVP_MD_CTX *ctx)
153 {
154     EVP_MD_CTX_reset(ctx);
155     OPENSSL_free(ctx);
156 }
157
158 int EVP_DigestInit(EVP_MD_CTX *ctx, const EVP_MD *type)
159 {
160     EVP_MD_CTX_reset(ctx);
161     return EVP_DigestInit_ex(ctx, type, NULL);
162 }
163
164 int EVP_DigestInit_ex(EVP_MD_CTX *ctx, const EVP_MD *type, ENGINE *impl)
165 {
166     EVP_MD_CTX_clear_flags(ctx, EVP_MD_CTX_FLAG_CLEANED);
167 #ifndef OPENSSL_NO_ENGINE
168     /*
169      * Whether it's nice or not, "Inits" can be used on "Final"'d contexts so
170      * this context may already have an ENGINE! Try to avoid releasing the
171      * previous handle, re-querying for an ENGINE, and having a
172      * reinitialisation, when it may all be unnecessary.
173      */
174     if (ctx->engine && ctx->digest && (!type ||
175                                        (type
176                                         && (type->type ==
177                                             ctx->digest->type))))
178         goto skip_to_init;
179     if (type) {
180         /*
181          * Ensure an ENGINE left lying around from last time is cleared (the
182          * previous check attempted to avoid this if the same ENGINE and
183          * EVP_MD could be used).
184          */
185         ENGINE_finish(ctx->engine);
186         if (impl != NULL) {
187             if (!ENGINE_init(impl)) {
188                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_INITIALIZATION_ERROR);
189                 return 0;
190             }
191         } else {
192             /* Ask if an ENGINE is reserved for this job */
193             impl = ENGINE_get_digest_engine(type->type);
194         }
195         if (impl != NULL) {
196             /* There's an ENGINE for this job ... (apparently) */
197             const EVP_MD *d = ENGINE_get_digest(impl, type->type);
198
199             if (d == NULL) {
200                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_INITIALIZATION_ERROR);
201                 ENGINE_finish(impl);
202                 return 0;
203             }
204             /* We'll use the ENGINE's private digest definition */
205             type = d;
206             /*
207              * Store the ENGINE functional reference so we know 'type' came
208              * from an ENGINE and we need to release it when done.
209              */
210             ctx->engine = impl;
211         } else
212             ctx->engine = NULL;
213     } else {
214         if (!ctx->digest) {
215             EVPerr(EVP_F_EVP_DIGESTINIT_EX, EVP_R_NO_DIGEST_SET);
216             return 0;
217         }
218         type = ctx->digest;
219     }
220 #endif
221     if (ctx->digest != type) {
222         if (ctx->digest && ctx->digest->ctx_size) {
223             OPENSSL_free(ctx->md_data);
224             ctx->md_data = NULL;
225         }
226         ctx->digest = type;
227         if (!(ctx->flags & EVP_MD_CTX_FLAG_NO_INIT) && type->ctx_size) {
228             ctx->update = type->update;
229             ctx->md_data = OPENSSL_zalloc(type->ctx_size);
230             if (ctx->md_data == NULL) {
231                 EVPerr(EVP_F_EVP_DIGESTINIT_EX, ERR_R_MALLOC_FAILURE);
232                 return 0;
233             }
234         }
235     }
236 #ifndef OPENSSL_NO_ENGINE
237  skip_to_init:
238 #endif
239     if (ctx->pctx) {
240         int r;
241         r = EVP_PKEY_CTX_ctrl(ctx->pctx, -1, EVP_PKEY_OP_TYPE_SIG,
242                               EVP_PKEY_CTRL_DIGESTINIT, 0, ctx);
243         if (r <= 0 && (r != -2))
244             return 0;
245     }
246     if (ctx->flags & EVP_MD_CTX_FLAG_NO_INIT)
247         return 1;
248     return ctx->digest->init(ctx);
249 }
250
251 int EVP_DigestUpdate(EVP_MD_CTX *ctx, const void *data, size_t count)
252 {
253     return ctx->update(ctx, data, count);
254 }
255
256 /* The caller can assume that this removes any secret data from the context */
257 int EVP_DigestFinal(EVP_MD_CTX *ctx, unsigned char *md, unsigned int *size)
258 {
259     int ret;
260     ret = EVP_DigestFinal_ex(ctx, md, size);
261     EVP_MD_CTX_reset(ctx);
262     return ret;
263 }
264
265 /* The caller can assume that this removes any secret data from the context */
266 int EVP_DigestFinal_ex(EVP_MD_CTX *ctx, unsigned char *md, unsigned int *size)
267 {
268     int ret;
269
270     OPENSSL_assert(ctx->digest->md_size <= EVP_MAX_MD_SIZE);
271     ret = ctx->digest->final(ctx, md);
272     if (size != NULL)
273         *size = ctx->digest->md_size;
274     if (ctx->digest->cleanup) {
275         ctx->digest->cleanup(ctx);
276         EVP_MD_CTX_set_flags(ctx, EVP_MD_CTX_FLAG_CLEANED);
277     }
278     memset(ctx->md_data, 0, ctx->digest->ctx_size);
279     return ret;
280 }
281
282 int EVP_MD_CTX_copy(EVP_MD_CTX *out, const EVP_MD_CTX *in)
283 {
284     EVP_MD_CTX_reset(out);
285     return EVP_MD_CTX_copy_ex(out, in);
286 }
287
288 int EVP_MD_CTX_copy_ex(EVP_MD_CTX *out, const EVP_MD_CTX *in)
289 {
290     unsigned char *tmp_buf;
291     if ((in == NULL) || (in->digest == NULL)) {
292         EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, EVP_R_INPUT_NOT_INITIALIZED);
293         return 0;
294     }
295 #ifndef OPENSSL_NO_ENGINE
296     /* Make sure it's safe to copy a digest context using an ENGINE */
297     if (in->engine && !ENGINE_init(in->engine)) {
298         EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, ERR_R_ENGINE_LIB);
299         return 0;
300     }
301 #endif
302
303     if (out->digest == in->digest) {
304         tmp_buf = out->md_data;
305         EVP_MD_CTX_set_flags(out, EVP_MD_CTX_FLAG_REUSE);
306     } else
307         tmp_buf = NULL;
308     EVP_MD_CTX_reset(out);
309     memcpy(out, in, sizeof(*out));
310
311     /* Null these variables, since they are getting fixed up
312      * properly below.  Anything else may cause a memleak and/or
313      * double free if any of the memory allocations below fail
314      */
315     out->md_data = NULL;
316     out->pctx = NULL;
317
318     if (in->md_data && out->digest->ctx_size) {
319         if (tmp_buf)
320             out->md_data = tmp_buf;
321         else {
322             out->md_data = OPENSSL_malloc(out->digest->ctx_size);
323             if (out->md_data == NULL) {
324                 EVPerr(EVP_F_EVP_MD_CTX_COPY_EX, ERR_R_MALLOC_FAILURE);
325                 return 0;
326             }
327         }
328         memcpy(out->md_data, in->md_data, out->digest->ctx_size);
329     }
330
331     out->update = in->update;
332
333     if (in->pctx) {
334         out->pctx = EVP_PKEY_CTX_dup(in->pctx);
335         if (!out->pctx) {
336             EVP_MD_CTX_reset(out);
337             return 0;
338         }
339     }
340
341     if (out->digest->copy)
342         return out->digest->copy(out, in);
343
344     return 1;
345 }
346
347 int EVP_Digest(const void *data, size_t count,
348                unsigned char *md, unsigned int *size, const EVP_MD *type,
349                ENGINE *impl)
350 {
351     EVP_MD_CTX *ctx = EVP_MD_CTX_new();
352     int ret;
353
354     if (ctx == NULL)
355         return 0;
356     EVP_MD_CTX_set_flags(ctx, EVP_MD_CTX_FLAG_ONESHOT);
357     ret = EVP_DigestInit_ex(ctx, type, impl)
358         && EVP_DigestUpdate(ctx, data, count)
359         && EVP_DigestFinal_ex(ctx, md, size);
360     EVP_MD_CTX_free(ctx);
361
362     return ret;
363 }
364
365 int EVP_MD_CTX_ctrl(EVP_MD_CTX *ctx, int cmd, int p1, void *p2)
366 {
367     if (ctx->digest && ctx->digest->md_ctrl) {
368         int ret = ctx->digest->md_ctrl(ctx, cmd, p1, p2);
369         if (ret <= 0)
370             return 0;
371         return 1;
372     }
373     return 0;
374 }