PKCS#7: avoid NULL pointer dereferences with missing content
[openssl.git] / crypto / dsa / dsa_ossl.c
1 /* crypto/dsa/dsa_ossl.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 /* Original version from Steven Schoch <schoch@sheba.arc.nasa.gov> */
60
61 #include <stdio.h>
62 #include "cryptlib.h"
63 #include <openssl/bn.h>
64 #include <openssl/sha.h>
65 #include <openssl/dsa.h>
66 #include <openssl/rand.h>
67 #include <openssl/asn1.h>
68
69 static DSA_SIG *dsa_do_sign(const unsigned char *dgst, int dlen, DSA *dsa);
70 static int dsa_sign_setup(DSA *dsa, BN_CTX *ctx_in, BIGNUM **kinvp,
71                           BIGNUM **rp);
72 static int dsa_do_verify(const unsigned char *dgst, int dgst_len,
73                          DSA_SIG *sig, DSA *dsa);
74 static int dsa_init(DSA *dsa);
75 static int dsa_finish(DSA *dsa);
76
77 static DSA_METHOD openssl_dsa_meth = {
78     "OpenSSL DSA method",
79     dsa_do_sign,
80     dsa_sign_setup,
81     dsa_do_verify,
82     NULL,                       /* dsa_mod_exp, */
83     NULL,                       /* dsa_bn_mod_exp, */
84     dsa_init,
85     dsa_finish,
86     0,
87     NULL,
88     NULL,
89     NULL
90 };
91
92 /*-
93  * These macro wrappers replace attempts to use the dsa_mod_exp() and
94  * bn_mod_exp() handlers in the DSA_METHOD structure. We avoid the problem of
95  * having a the macro work as an expression by bundling an "err_instr". So;
96  *
97  *     if (!dsa->meth->bn_mod_exp(dsa, r,dsa->g,&k,dsa->p,ctx,
98  *                 dsa->method_mont_p)) goto err;
99  *
100  * can be replaced by;
101  *
102  *     DSA_BN_MOD_EXP(goto err, dsa, r, dsa->g, &k, dsa->p, ctx,
103  *                 dsa->method_mont_p);
104  */
105
106 #define DSA_MOD_EXP(err_instr,dsa,rr,a1,p1,a2,p2,m,ctx,in_mont) \
107         do { \
108         int _tmp_res53; \
109         if((dsa)->meth->dsa_mod_exp) \
110                 _tmp_res53 = (dsa)->meth->dsa_mod_exp((dsa), (rr), (a1), (p1), \
111                                 (a2), (p2), (m), (ctx), (in_mont)); \
112         else \
113                 _tmp_res53 = BN_mod_exp2_mont((rr), (a1), (p1), (a2), (p2), \
114                                 (m), (ctx), (in_mont)); \
115         if(!_tmp_res53) err_instr; \
116         } while(0)
117 #define DSA_BN_MOD_EXP(err_instr,dsa,r,a,p,m,ctx,m_ctx) \
118         do { \
119         int _tmp_res53; \
120         if((dsa)->meth->bn_mod_exp) \
121                 _tmp_res53 = (dsa)->meth->bn_mod_exp((dsa), (r), (a), (p), \
122                                 (m), (ctx), (m_ctx)); \
123         else \
124                 _tmp_res53 = BN_mod_exp_mont((r), (a), (p), (m), (ctx), (m_ctx)); \
125         if(!_tmp_res53) err_instr; \
126         } while(0)
127
128 const DSA_METHOD *DSA_OpenSSL(void)
129 {
130     return &openssl_dsa_meth;
131 }
132
133 static DSA_SIG *dsa_do_sign(const unsigned char *dgst, int dlen, DSA *dsa)
134 {
135     BIGNUM *kinv = NULL, *r = NULL, *s = NULL;
136     BIGNUM m;
137     BIGNUM xr;
138     BN_CTX *ctx = NULL;
139     int reason = ERR_R_BN_LIB;
140     DSA_SIG *ret = NULL;
141
142     BN_init(&m);
143     BN_init(&xr);
144
145     if (!dsa->p || !dsa->q || !dsa->g) {
146         reason = DSA_R_MISSING_PARAMETERS;
147         goto err;
148     }
149
150     s = BN_new();
151     if (s == NULL)
152         goto err;
153     ctx = BN_CTX_new();
154     if (ctx == NULL)
155         goto err;
156
157     if ((dsa->kinv == NULL) || (dsa->r == NULL)) {
158         if (!DSA_sign_setup(dsa, ctx, &kinv, &r))
159             goto err;
160     } else {
161         kinv = dsa->kinv;
162         dsa->kinv = NULL;
163         r = dsa->r;
164         dsa->r = NULL;
165     }
166
167     if (dlen > BN_num_bytes(dsa->q))
168         /*
169          * if the digest length is greater than the size of q use the
170          * BN_num_bits(dsa->q) leftmost bits of the digest, see fips 186-3,
171          * 4.2
172          */
173         dlen = BN_num_bytes(dsa->q);
174     if (BN_bin2bn(dgst, dlen, &m) == NULL)
175         goto err;
176
177     /* Compute  s = inv(k) (m + xr) mod q */
178     if (!BN_mod_mul(&xr, dsa->priv_key, r, dsa->q, ctx))
179         goto err;               /* s = xr */
180     if (!BN_add(s, &xr, &m))
181         goto err;               /* s = m + xr */
182     if (BN_cmp(s, dsa->q) > 0)
183         if (!BN_sub(s, s, dsa->q))
184             goto err;
185     if (!BN_mod_mul(s, s, kinv, dsa->q, ctx))
186         goto err;
187
188     ret = DSA_SIG_new();
189     if (ret == NULL)
190         goto err;
191     ret->r = r;
192     ret->s = s;
193
194  err:
195     if (!ret) {
196         DSAerr(DSA_F_DSA_DO_SIGN, reason);
197         BN_free(r);
198         BN_free(s);
199     }
200     if (ctx != NULL)
201         BN_CTX_free(ctx);
202     BN_clear_free(&m);
203     BN_clear_free(&xr);
204     if (kinv != NULL)           /* dsa->kinv is NULL now if we used it */
205         BN_clear_free(kinv);
206     return (ret);
207 }
208
209 static int dsa_sign_setup(DSA *dsa, BN_CTX *ctx_in, BIGNUM **kinvp,
210                           BIGNUM **rp)
211 {
212     BN_CTX *ctx;
213     BIGNUM k, kq, *K, *kinv = NULL, *r = NULL;
214     int ret = 0;
215
216     if (!dsa->p || !dsa->q || !dsa->g) {
217         DSAerr(DSA_F_DSA_SIGN_SETUP, DSA_R_MISSING_PARAMETERS);
218         return 0;
219     }
220
221     BN_init(&k);
222     BN_init(&kq);
223
224     if (ctx_in == NULL) {
225         if ((ctx = BN_CTX_new()) == NULL)
226             goto err;
227     } else
228         ctx = ctx_in;
229
230     if ((r = BN_new()) == NULL)
231         goto err;
232
233     /* Get random k */
234     do
235         if (!BN_rand_range(&k, dsa->q))
236             goto err;
237     while (BN_is_zero(&k)) ;
238     if ((dsa->flags & DSA_FLAG_NO_EXP_CONSTTIME) == 0) {
239         BN_set_flags(&k, BN_FLG_CONSTTIME);
240     }
241
242     if (dsa->flags & DSA_FLAG_CACHE_MONT_P) {
243         if (!BN_MONT_CTX_set_locked(&dsa->method_mont_p,
244                                     CRYPTO_LOCK_DSA, dsa->p, ctx))
245             goto err;
246     }
247
248     /* Compute r = (g^k mod p) mod q */
249
250     if ((dsa->flags & DSA_FLAG_NO_EXP_CONSTTIME) == 0) {
251         if (!BN_copy(&kq, &k))
252             goto err;
253
254         /*
255          * We do not want timing information to leak the length of k, so we
256          * compute g^k using an equivalent exponent of fixed length. (This
257          * is a kludge that we need because the BN_mod_exp_mont() does not
258          * let us specify the desired timing behaviour.)
259          */
260
261         if (!BN_add(&kq, &kq, dsa->q))
262             goto err;
263         if (BN_num_bits(&kq) <= BN_num_bits(dsa->q)) {
264             if (!BN_add(&kq, &kq, dsa->q))
265                 goto err;
266         }
267
268         K = &kq;
269     } else {
270         K = &k;
271     }
272     DSA_BN_MOD_EXP(goto err, dsa, r, dsa->g, K, dsa->p, ctx,
273                    dsa->method_mont_p);
274     if (!BN_mod(r, r, dsa->q, ctx))
275         goto err;
276
277     /* Compute  part of 's = inv(k) (m + xr) mod q' */
278     if ((kinv = BN_mod_inverse(NULL, &k, dsa->q, ctx)) == NULL)
279         goto err;
280
281     if (*kinvp != NULL)
282         BN_clear_free(*kinvp);
283     *kinvp = kinv;
284     kinv = NULL;
285     if (*rp != NULL)
286         BN_clear_free(*rp);
287     *rp = r;
288     ret = 1;
289  err:
290     if (!ret) {
291         DSAerr(DSA_F_DSA_SIGN_SETUP, ERR_R_BN_LIB);
292         if (r != NULL)
293             BN_clear_free(r);
294     }
295     if (ctx_in == NULL)
296         BN_CTX_free(ctx);
297     BN_clear_free(&k);
298     BN_clear_free(&kq);
299     return (ret);
300 }
301
302 static int dsa_do_verify(const unsigned char *dgst, int dgst_len,
303                          DSA_SIG *sig, DSA *dsa)
304 {
305     BN_CTX *ctx;
306     BIGNUM u1, u2, t1;
307     BN_MONT_CTX *mont = NULL;
308     int ret = -1, i;
309     if (!dsa->p || !dsa->q || !dsa->g) {
310         DSAerr(DSA_F_DSA_DO_VERIFY, DSA_R_MISSING_PARAMETERS);
311         return -1;
312     }
313
314     i = BN_num_bits(dsa->q);
315     /* fips 186-3 allows only different sizes for q */
316     if (i != 160 && i != 224 && i != 256) {
317         DSAerr(DSA_F_DSA_DO_VERIFY, DSA_R_BAD_Q_VALUE);
318         return -1;
319     }
320
321     if (BN_num_bits(dsa->p) > OPENSSL_DSA_MAX_MODULUS_BITS) {
322         DSAerr(DSA_F_DSA_DO_VERIFY, DSA_R_MODULUS_TOO_LARGE);
323         return -1;
324     }
325     BN_init(&u1);
326     BN_init(&u2);
327     BN_init(&t1);
328
329     if ((ctx = BN_CTX_new()) == NULL)
330         goto err;
331
332     if (BN_is_zero(sig->r) || BN_is_negative(sig->r) ||
333         BN_ucmp(sig->r, dsa->q) >= 0) {
334         ret = 0;
335         goto err;
336     }
337     if (BN_is_zero(sig->s) || BN_is_negative(sig->s) ||
338         BN_ucmp(sig->s, dsa->q) >= 0) {
339         ret = 0;
340         goto err;
341     }
342
343     /*
344      * Calculate W = inv(S) mod Q save W in u2
345      */
346     if ((BN_mod_inverse(&u2, sig->s, dsa->q, ctx)) == NULL)
347         goto err;
348
349     /* save M in u1 */
350     if (dgst_len > (i >> 3))
351         /*
352          * if the digest length is greater than the size of q use the
353          * BN_num_bits(dsa->q) leftmost bits of the digest, see fips 186-3,
354          * 4.2
355          */
356         dgst_len = (i >> 3);
357     if (BN_bin2bn(dgst, dgst_len, &u1) == NULL)
358         goto err;
359
360     /* u1 = M * w mod q */
361     if (!BN_mod_mul(&u1, &u1, &u2, dsa->q, ctx))
362         goto err;
363
364     /* u2 = r * w mod q */
365     if (!BN_mod_mul(&u2, sig->r, &u2, dsa->q, ctx))
366         goto err;
367
368     if (dsa->flags & DSA_FLAG_CACHE_MONT_P) {
369         mont = BN_MONT_CTX_set_locked(&dsa->method_mont_p,
370                                       CRYPTO_LOCK_DSA, dsa->p, ctx);
371         if (!mont)
372             goto err;
373     }
374
375     DSA_MOD_EXP(goto err, dsa, &t1, dsa->g, &u1, dsa->pub_key, &u2, dsa->p,
376                 ctx, mont);
377     /* BN_copy(&u1,&t1); */
378     /* let u1 = u1 mod q */
379     if (!BN_mod(&u1, &t1, dsa->q, ctx))
380         goto err;
381
382     /*
383      * V is now in u1.  If the signature is correct, it will be equal to R.
384      */
385     ret = (BN_ucmp(&u1, sig->r) == 0);
386
387  err:
388     /*
389      * XXX: surely this is wrong - if ret is 0, it just didn't verify; there
390      * is no error in BN. Test should be ret == -1 (Ben)
391      */
392     if (ret != 1)
393         DSAerr(DSA_F_DSA_DO_VERIFY, ERR_R_BN_LIB);
394     if (ctx != NULL)
395         BN_CTX_free(ctx);
396     BN_free(&u1);
397     BN_free(&u2);
398     BN_free(&t1);
399     return (ret);
400 }
401
402 static int dsa_init(DSA *dsa)
403 {
404     dsa->flags |= DSA_FLAG_CACHE_MONT_P;
405     return (1);
406 }
407
408 static int dsa_finish(DSA *dsa)
409 {
410     if (dsa->method_mont_p)
411         BN_MONT_CTX_free(dsa->method_mont_p);
412     return (1);
413 }