Change returned -2 to 0 in EVP_Digest{Sign,Verify}Init()
[openssl.git] / crypto / evp / m_sigver.c
1 /*
2  * Copyright 2006-2018 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/evp.h>
13 #include <openssl/objects.h>
14 #include <openssl/x509.h>
15 #include "crypto/evp.h"
16 #include "internal/provider.h"
17 #include "evp_local.h"
18
19 #ifndef FIPS_MODE
20
21 static int update(EVP_MD_CTX *ctx, const void *data, size_t datalen)
22 {
23     EVPerr(EVP_F_UPDATE, EVP_R_ONLY_ONESHOT_SUPPORTED);
24     return 0;
25 }
26
27 static int do_sigver_init(EVP_MD_CTX *ctx, EVP_PKEY_CTX **pctx,
28                           const EVP_MD *type, const char *mdname,
29                           const char *props, ENGINE *e, EVP_PKEY *pkey,
30                           int ver)
31 {
32     EVP_PKEY_CTX *locpctx = NULL;
33     EVP_SIGNATURE *signature = NULL;
34     void *provkey = NULL;
35     int ret;
36
37     if (ctx->provctx != NULL) {
38         if (!ossl_assert(ctx->digest != NULL)) {
39             ERR_raise(ERR_LIB_EVP, EVP_R_INITIALIZATION_ERROR);
40             return 0;
41         }
42         if (ctx->digest->freectx != NULL)
43             ctx->digest->freectx(ctx->provctx);
44         ctx->provctx = NULL;
45     }
46
47     if (ctx->pctx == NULL)
48         ctx->pctx = EVP_PKEY_CTX_new(pkey, e);
49     if (ctx->pctx == NULL)
50         return 0;
51
52     locpctx = ctx->pctx;
53     evp_pkey_ctx_free_old_ops(locpctx);
54
55     if (locpctx->keytype == NULL)
56         goto legacy;
57
58     if (mdname == NULL) {
59         if (type != NULL) {
60             mdname = EVP_MD_name(type);
61         } else if (pkey != NULL) {
62             /*
63              * TODO(v3.0) work out a better way for EVP_PKEYs with no legacy
64              * component.
65              */
66             if (pkey->pkey.ptr != NULL) {
67                 int def_nid;
68                 if (EVP_PKEY_get_default_digest_nid(pkey, &def_nid) > 0)
69                     mdname = OBJ_nid2sn(def_nid);
70             }
71         }
72     }
73
74     if (locpctx->keymgmt == NULL)
75         locpctx->keymgmt = EVP_KEYMGMT_fetch(locpctx->libctx, locpctx->keytype,
76                                              locpctx->propquery);
77     if (locpctx->keymgmt != NULL) {
78         const char *supported_sig = NULL;
79
80         if (locpctx->keymgmt->query_operation_name != NULL)
81             supported_sig =
82                 locpctx->keymgmt->query_operation_name(OSSL_OP_SIGNATURE);
83
84         /*
85          * If we didn't get a supported sig, assume there is one with the
86          * same name as the key type.
87          */
88         if (supported_sig == NULL)
89             supported_sig = locpctx->keytype;
90
91         /*
92          * Because we cleared out old ops, we shouldn't need to worry about
93          * checking if signature is already there.
94          */
95         signature = EVP_SIGNATURE_fetch(locpctx->libctx, supported_sig,
96                                         locpctx->propquery);
97     }
98
99     if (locpctx->keymgmt == NULL
100         || signature == NULL
101         || (EVP_KEYMGMT_provider(locpctx->keymgmt)
102             != EVP_SIGNATURE_provider(signature))) {
103         /*
104          * We don't have the full support we need with provided methods,
105          * let's go see if legacy does.  Also, we don't need to free
106          * ctx->keymgmt here, as it's not necessarily tied to this
107          * operation.  It will be freed by EVP_PKEY_CTX_free().
108          */
109         EVP_SIGNATURE_free(signature);
110         goto legacy;
111     }
112
113     /* No more legacy from here down to legacy: */
114
115     locpctx->op.sig.signature = signature;
116
117     provkey =
118         evp_keymgmt_export_to_provider(locpctx->pkey, locpctx->keymgmt, 0);
119     /* If export failed, legacy may be able to pick it up */
120     if (provkey == NULL)
121         goto legacy;
122
123     locpctx->operation = ver ? EVP_PKEY_OP_VERIFYCTX
124                              : EVP_PKEY_OP_SIGNCTX;
125
126     locpctx->op.sig.sigprovctx
127         = signature->newctx(ossl_provider_ctx(signature->prov));
128     if (locpctx->op.sig.sigprovctx == NULL) {
129         ERR_raise(ERR_LIB_EVP,  EVP_R_INITIALIZATION_ERROR);
130         goto err;
131     }
132     if (type != NULL) {
133         ctx->reqdigest = type;
134     } else {
135         /*
136          * This might be requested by a later call to EVP_MD_CTX_md(). In that
137          * case the "explicit fetch" rules apply for that function (as per
138          * man pages), i.e. the ref count is not updated so the EVP_MD should
139          * not be used beyound the lifetime of the EVP_MD_CTX.
140          */
141         ctx->reqdigest = ctx->fetched_digest =
142             EVP_MD_fetch(locpctx->libctx, mdname, props);
143     }
144
145     if (ver) {
146         if (signature->digest_verify_init == NULL) {
147             ERR_raise(ERR_LIB_EVP, EVP_R_INITIALIZATION_ERROR);
148             goto err;
149         }
150         ret = signature->digest_verify_init(locpctx->op.sig.sigprovctx,
151                                             mdname, props, provkey);
152     } else {
153         if (signature->digest_sign_init == NULL) {
154             ERR_raise(ERR_LIB_EVP, EVP_R_INITIALIZATION_ERROR);
155             goto err;
156         }
157         ret = signature->digest_sign_init(locpctx->op.sig.sigprovctx,
158                                           mdname, props, provkey);
159     }
160
161     return ret ? 1 : 0;
162  err:
163     evp_pkey_ctx_free_old_ops(locpctx);
164     locpctx->operation = EVP_PKEY_OP_UNDEFINED;
165     return 0;
166
167  legacy:
168     if (ctx->pctx->pmeth == NULL) {
169         EVPerr(0, EVP_R_OPERATION_NOT_SUPPORTED_FOR_THIS_KEYTYPE);
170         return 0;
171     }
172
173     if (!(ctx->pctx->pmeth->flags & EVP_PKEY_FLAG_SIGCTX_CUSTOM)) {
174
175         if (type == NULL) {
176             int def_nid;
177             if (EVP_PKEY_get_default_digest_nid(pkey, &def_nid) > 0)
178                 type = EVP_get_digestbynid(def_nid);
179         }
180
181         if (type == NULL) {
182             EVPerr(EVP_F_DO_SIGVER_INIT, EVP_R_NO_DEFAULT_DIGEST);
183             return 0;
184         }
185     }
186
187     if (ver) {
188         if (ctx->pctx->pmeth->verifyctx_init) {
189             if (ctx->pctx->pmeth->verifyctx_init(ctx->pctx, ctx) <= 0)
190                 return 0;
191             ctx->pctx->operation = EVP_PKEY_OP_VERIFYCTX;
192         } else if (ctx->pctx->pmeth->digestverify != 0) {
193             ctx->pctx->operation = EVP_PKEY_OP_VERIFY;
194             ctx->update = update;
195         } else if (EVP_PKEY_verify_init(ctx->pctx) <= 0) {
196             return 0;
197         }
198     } else {
199         if (ctx->pctx->pmeth->signctx_init) {
200             if (ctx->pctx->pmeth->signctx_init(ctx->pctx, ctx) <= 0)
201                 return 0;
202             ctx->pctx->operation = EVP_PKEY_OP_SIGNCTX;
203         } else if (ctx->pctx->pmeth->digestsign != 0) {
204             ctx->pctx->operation = EVP_PKEY_OP_SIGN;
205             ctx->update = update;
206         } else if (EVP_PKEY_sign_init(ctx->pctx) <= 0) {
207             return 0;
208         }
209     }
210     if (EVP_PKEY_CTX_set_signature_md(ctx->pctx, type) <= 0)
211         return 0;
212     if (pctx)
213         *pctx = ctx->pctx;
214     if (ctx->pctx->pmeth->flags & EVP_PKEY_FLAG_SIGCTX_CUSTOM)
215         return 1;
216     if (!EVP_DigestInit_ex(ctx, type, e))
217         return 0;
218     /*
219      * This indicates the current algorithm requires
220      * special treatment before hashing the tbs-message.
221      */
222     if (ctx->pctx->pmeth->digest_custom != NULL)
223         return ctx->pctx->pmeth->digest_custom(ctx->pctx, ctx);
224
225     return 1;
226 }
227
228 int EVP_DigestSignInit_ex(EVP_MD_CTX *ctx, EVP_PKEY_CTX **pctx,
229                           const char *mdname, const char *props, EVP_PKEY *pkey)
230 {
231     return do_sigver_init(ctx, pctx, NULL, mdname, props, NULL, pkey, 0);
232 }
233
234 int EVP_DigestSignInit(EVP_MD_CTX *ctx, EVP_PKEY_CTX **pctx,
235                        const EVP_MD *type, ENGINE *e, EVP_PKEY *pkey)
236 {
237     return do_sigver_init(ctx, pctx, type, NULL, NULL, e, pkey, 0);
238 }
239
240 int EVP_DigestVerifyInit_ex(EVP_MD_CTX *ctx, EVP_PKEY_CTX **pctx,
241                             const char *mdname, const char *props,
242                             EVP_PKEY *pkey)
243 {
244     return do_sigver_init(ctx, pctx, NULL, mdname, props, NULL, pkey, 1);
245 }
246
247 int EVP_DigestVerifyInit(EVP_MD_CTX *ctx, EVP_PKEY_CTX **pctx,
248                          const EVP_MD *type, ENGINE *e, EVP_PKEY *pkey)
249 {
250     return do_sigver_init(ctx, pctx, type, NULL, NULL, e, pkey, 1);
251 }
252 #endif /* FIPS_MDOE */
253
254 int EVP_DigestSignUpdate(EVP_MD_CTX *ctx, const void *data, size_t dsize)
255 {
256     EVP_PKEY_CTX *pctx = ctx->pctx;
257
258     if (pctx == NULL
259             || pctx->operation != EVP_PKEY_OP_SIGNCTX
260             || pctx->op.sig.sigprovctx == NULL
261             || pctx->op.sig.signature == NULL)
262         goto legacy;
263
264     return pctx->op.sig.signature->digest_sign_update(pctx->op.sig.sigprovctx,
265                                                       data, dsize);
266
267  legacy:
268     return EVP_DigestUpdate(ctx, data, dsize);
269 }
270
271 int EVP_DigestVerifyUpdate(EVP_MD_CTX *ctx, const void *data, size_t dsize)
272 {
273     EVP_PKEY_CTX *pctx = ctx->pctx;
274
275     if (pctx == NULL
276             || pctx->operation != EVP_PKEY_OP_VERIFYCTX
277             || pctx->op.sig.sigprovctx == NULL
278             || pctx->op.sig.signature == NULL)
279         goto legacy;
280
281     return pctx->op.sig.signature->digest_verify_update(pctx->op.sig.sigprovctx,
282                                                         data, dsize);
283
284  legacy:
285     return EVP_DigestUpdate(ctx, data, dsize);
286 }
287
288 #ifndef FIPS_MODE
289 int EVP_DigestSignFinal(EVP_MD_CTX *ctx, unsigned char *sigret,
290                         size_t *siglen)
291 {
292     int sctx = 0, r = 0;
293     EVP_PKEY_CTX *pctx = ctx->pctx;
294
295     if (pctx == NULL
296             || pctx->operation != EVP_PKEY_OP_SIGNCTX
297             || pctx->op.sig.sigprovctx == NULL
298             || pctx->op.sig.signature == NULL)
299         goto legacy;
300
301     return pctx->op.sig.signature->digest_sign_final(pctx->op.sig.sigprovctx,
302                                                      sigret, siglen, SIZE_MAX);
303
304  legacy:
305     if (pctx == NULL || pctx->pmeth == NULL) {
306         ERR_raise(ERR_LIB_EVP, EVP_R_INITIALIZATION_ERROR);
307         return 0;
308     }
309
310     if (pctx->pmeth->flags & EVP_PKEY_FLAG_SIGCTX_CUSTOM) {
311         if (sigret == NULL)
312             return pctx->pmeth->signctx(pctx, sigret, siglen, ctx);
313         if (ctx->flags & EVP_MD_CTX_FLAG_FINALISE)
314             r = pctx->pmeth->signctx(pctx, sigret, siglen, ctx);
315         else {
316             EVP_PKEY_CTX *dctx = EVP_PKEY_CTX_dup(pctx);
317
318             if (dctx == NULL)
319                 return 0;
320             r = dctx->pmeth->signctx(dctx, sigret, siglen, ctx);
321             EVP_PKEY_CTX_free(dctx);
322         }
323         return r;
324     }
325     if (pctx->pmeth->signctx != NULL)
326         sctx = 1;
327     else
328         sctx = 0;
329     if (sigret != NULL) {
330         unsigned char md[EVP_MAX_MD_SIZE];
331         unsigned int mdlen = 0;
332
333         if (ctx->flags & EVP_MD_CTX_FLAG_FINALISE) {
334             if (sctx)
335                 r = pctx->pmeth->signctx(pctx, sigret, siglen, ctx);
336             else
337                 r = EVP_DigestFinal_ex(ctx, md, &mdlen);
338         } else {
339             EVP_MD_CTX *tmp_ctx = EVP_MD_CTX_new();
340
341             if (tmp_ctx == NULL)
342                 return 0;
343             if (!EVP_MD_CTX_copy_ex(tmp_ctx, ctx)) {
344                 EVP_MD_CTX_free(tmp_ctx);
345                 return 0;
346             }
347             if (sctx)
348                 r = tmp_ctx->pctx->pmeth->signctx(tmp_ctx->pctx,
349                                                   sigret, siglen, tmp_ctx);
350             else
351                 r = EVP_DigestFinal_ex(tmp_ctx, md, &mdlen);
352             EVP_MD_CTX_free(tmp_ctx);
353         }
354         if (sctx || !r)
355             return r;
356         if (EVP_PKEY_sign(pctx, sigret, siglen, md, mdlen) <= 0)
357             return 0;
358     } else {
359         if (sctx) {
360             if (pctx->pmeth->signctx(pctx, sigret, siglen, ctx) <= 0)
361                 return 0;
362         } else {
363             int s = EVP_MD_size(ctx->digest);
364
365             if (s < 0 || EVP_PKEY_sign(pctx, sigret, siglen, NULL, s) <= 0)
366                 return 0;
367         }
368     }
369     return 1;
370 }
371
372 int EVP_DigestSign(EVP_MD_CTX *ctx, unsigned char *sigret, size_t *siglen,
373                    const unsigned char *tbs, size_t tbslen)
374 {
375     if (ctx->pctx->pmeth != NULL && ctx->pctx->pmeth->digestsign != NULL)
376         return ctx->pctx->pmeth->digestsign(ctx, sigret, siglen, tbs, tbslen);
377     if (sigret != NULL && EVP_DigestSignUpdate(ctx, tbs, tbslen) <= 0)
378         return 0;
379     return EVP_DigestSignFinal(ctx, sigret, siglen);
380 }
381
382 int EVP_DigestVerifyFinal(EVP_MD_CTX *ctx, const unsigned char *sig,
383                           size_t siglen)
384 {
385     unsigned char md[EVP_MAX_MD_SIZE];
386     int r = 0;
387     unsigned int mdlen = 0;
388     int vctx = 0;
389     EVP_PKEY_CTX *pctx = ctx->pctx;
390
391     if (pctx == NULL
392             || pctx->operation != EVP_PKEY_OP_VERIFYCTX
393             || pctx->op.sig.sigprovctx == NULL
394             || pctx->op.sig.signature == NULL)
395         goto legacy;
396
397     return pctx->op.sig.signature->digest_verify_final(pctx->op.sig.sigprovctx,
398                                                        sig, siglen);
399
400  legacy:
401     if (pctx == NULL || pctx->pmeth == NULL) {
402         ERR_raise(ERR_LIB_EVP, EVP_R_INITIALIZATION_ERROR);
403         return 0;
404     }
405
406     if (pctx->pmeth->verifyctx != NULL)
407         vctx = 1;
408     else
409         vctx = 0;
410     if (ctx->flags & EVP_MD_CTX_FLAG_FINALISE) {
411         if (vctx)
412             r = pctx->pmeth->verifyctx(pctx, sig, siglen, ctx);
413         else
414             r = EVP_DigestFinal_ex(ctx, md, &mdlen);
415     } else {
416         EVP_MD_CTX *tmp_ctx = EVP_MD_CTX_new();
417         if (tmp_ctx == NULL)
418             return -1;
419         if (!EVP_MD_CTX_copy_ex(tmp_ctx, ctx)) {
420             EVP_MD_CTX_free(tmp_ctx);
421             return -1;
422         }
423         if (vctx)
424             r = tmp_ctx->pctx->pmeth->verifyctx(tmp_ctx->pctx,
425                                                 sig, siglen, tmp_ctx);
426         else
427             r = EVP_DigestFinal_ex(tmp_ctx, md, &mdlen);
428         EVP_MD_CTX_free(tmp_ctx);
429     }
430     if (vctx || !r)
431         return r;
432     return EVP_PKEY_verify(pctx, sig, siglen, md, mdlen);
433 }
434
435 int EVP_DigestVerify(EVP_MD_CTX *ctx, const unsigned char *sigret,
436                      size_t siglen, const unsigned char *tbs, size_t tbslen)
437 {
438     if (ctx->pctx->pmeth != NULL && ctx->pctx->pmeth->digestverify != NULL)
439         return ctx->pctx->pmeth->digestverify(ctx, sigret, siglen, tbs, tbslen);
440     if (EVP_DigestVerifyUpdate(ctx, tbs, tbslen) <= 0)
441         return -1;
442     return EVP_DigestVerifyFinal(ctx, sigret, siglen);
443 }
444 #endif /* FIPS_MODE */