Avoid some memory holes, one of which was pointed out by
[openssl.git] / crypto / dsa / dsa_sign.c
1 /* crypto/dsa/dsa_sign.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 /* Original version from Steven Schoch <schoch@sheba.arc.nasa.gov> */
60
61 #include <stdio.h>
62 #include "cryptlib.h"
63 #include <openssl/bn.h>
64 #include <openssl/dsa.h>
65 #include <openssl/rand.h>
66 #include <openssl/asn1.h>
67
68 DSA_SIG * DSA_do_sign(const unsigned char *dgst, int dlen, DSA *dsa)
69         {
70         BIGNUM *kinv=NULL,*r=NULL,*s=NULL;
71         BIGNUM m;
72         BIGNUM xr;
73         BN_CTX *ctx=NULL;
74         int i,reason=ERR_R_BN_LIB;
75         DSA_SIG *ret=NULL;
76
77         BN_init(&m);
78         BN_init(&xr);
79         s=BN_new();
80         if (s == NULL) goto err;
81
82         i=BN_num_bytes(dsa->q); /* should be 20 */
83         if ((dlen > i) || (dlen > 50))
84                 {
85                 reason=DSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE;
86                 goto err;
87                 }
88
89         ctx=BN_CTX_new();
90         if (ctx == NULL) goto err;
91
92         if ((dsa->kinv == NULL) || (dsa->r == NULL))
93                 {
94                 if (!DSA_sign_setup(dsa,ctx,&kinv,&r)) goto err;
95                 }
96         else
97                 {
98                 kinv=dsa->kinv;
99                 dsa->kinv=NULL;
100                 r=dsa->r;
101                 dsa->r=NULL;
102                 }
103
104         if (BN_bin2bn(dgst,dlen,&m) == NULL) goto err;
105
106         /* Compute  s = inv(k) (m + xr) mod q */
107         if (!BN_mod_mul(&xr,dsa->priv_key,r,dsa->q,ctx)) goto err;/* s = xr */
108         if (!BN_add(s, &xr, &m)) goto err;              /* s = m + xr */
109         if (BN_cmp(s,dsa->q) > 0)
110                 BN_sub(s,s,dsa->q);
111         if (!BN_mod_mul(s,s,kinv,dsa->q,ctx)) goto err;
112
113         ret=DSA_SIG_new();
114         if (ret == NULL) goto err;
115         ret->r = r;
116         ret->s = s;
117         
118 err:
119         if (!ret)
120                 {
121                 DSAerr(DSA_F_DSA_DO_SIGN,reason);
122                 BN_free(r);
123                 BN_free(s);
124                 }
125         if (ctx != NULL) BN_CTX_free(ctx);
126         BN_clear_free(&m);
127         BN_clear_free(&xr);
128         if (kinv != NULL) /* dsa->kinv is NULL now if we used it */
129             BN_clear_free(kinv);
130         return(ret);
131         }
132
133 /* data has already been hashed (probably with SHA or SHA-1). */
134
135 /* unsigned char *sig:  out    */
136 /* unsigned int *siglen:  out    */
137 int DSA_sign(int type, const unsigned char *dgst, int dlen, unsigned char *sig,
138              unsigned int *siglen, DSA *dsa)
139         {
140         DSA_SIG *s;
141         s=DSA_do_sign(dgst,dlen,dsa);
142         if (s == NULL)
143                 {
144                 *siglen=0;
145                 return(0);
146                 }
147         *siglen=i2d_DSA_SIG(s,&sig);
148         DSA_SIG_free(s);
149         return(1);
150         }
151
152 int DSA_sign_setup(DSA *dsa, BN_CTX *ctx_in, BIGNUM **kinvp, BIGNUM **rp)
153         {
154         BN_CTX *ctx;
155         BIGNUM k,*kinv=NULL,*r=NULL;
156         int ret=0;
157
158         if (ctx_in == NULL)
159                 {
160                 if ((ctx=BN_CTX_new()) == NULL) goto err;
161                 }
162         else
163                 ctx=ctx_in;
164
165         BN_init(&k);
166         if ((r=BN_new()) == NULL) goto err;
167         kinv=NULL;
168
169         /* Get random k */
170         for (;;)
171                 {
172                 if (!BN_rand(&k, BN_num_bits(dsa->q), 1, 0)) goto err;
173                 if (BN_cmp(&k,dsa->q) >= 0)
174                         BN_sub(&k,&k,dsa->q);
175                 if (!BN_is_zero(&k)) break;
176                 }
177
178         if ((dsa->method_mont_p == NULL) && (dsa->flags & DSA_FLAG_CACHE_MONT_P))
179                 {
180                 if ((dsa->method_mont_p=(char *)BN_MONT_CTX_new()) != NULL)
181                         if (!BN_MONT_CTX_set((BN_MONT_CTX *)dsa->method_mont_p,
182                                 dsa->p,ctx)) goto err;
183                 }
184
185         /* Compute r = (g^k mod p) mod q */
186         if (!BN_mod_exp_mont(r,dsa->g,&k,dsa->p,ctx,
187                 (BN_MONT_CTX *)dsa->method_mont_p)) goto err;
188         if (!BN_mod(r,r,dsa->q,ctx)) goto err;
189
190         /* Compute  part of 's = inv(k) (m + xr) mod q' */
191         if ((kinv=BN_mod_inverse(NULL,&k,dsa->q,ctx)) == NULL) goto err;
192
193         if (*kinvp != NULL) BN_clear_free(*kinvp);
194         *kinvp=kinv;
195         kinv=NULL;
196         if (*rp != NULL) BN_clear_free(*rp);
197         *rp=r;
198         ret=1;
199 err:
200         if (!ret)
201                 {
202                 DSAerr(DSA_F_DSA_SIGN_SETUP,ERR_R_BN_LIB);
203                 if (kinv != NULL) BN_clear_free(kinv);
204                 if (r != NULL) BN_clear_free(r);
205                 }
206         if (ctx_in == NULL) BN_CTX_free(ctx);
207         if (kinv != NULL) BN_clear_free(kinv);
208         BN_clear_free(&k);
209         return(ret);
210         }
211