Remove /* foo.c */ comments
[openssl.git] / crypto / rsa / rsa_sign.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include "internal/cryptlib.h"
60 #include <openssl/bn.h>
61 #include <openssl/rsa.h>
62 #include <openssl/objects.h>
63 #include <openssl/x509.h>
64 #include "rsa_locl.h"
65
66 /* Size of an SSL signature: MD5+SHA1 */
67 #define SSL_SIG_LENGTH  36
68
69 int RSA_sign(int type, const unsigned char *m, unsigned int m_len,
70              unsigned char *sigret, unsigned int *siglen, RSA *rsa)
71 {
72     X509_SIG sig;
73     ASN1_TYPE parameter;
74     int i, j, ret = 1;
75     unsigned char *p, *tmps = NULL;
76     const unsigned char *s = NULL;
77     X509_ALGOR algor;
78     ASN1_OCTET_STRING digest;
79     if (rsa->meth->rsa_sign) {
80         return rsa->meth->rsa_sign(type, m, m_len, sigret, siglen, rsa);
81     }
82     /* Special case: SSL signature, just check the length */
83     if (type == NID_md5_sha1) {
84         if (m_len != SSL_SIG_LENGTH) {
85             RSAerr(RSA_F_RSA_SIGN, RSA_R_INVALID_MESSAGE_LENGTH);
86             return (0);
87         }
88         i = SSL_SIG_LENGTH;
89         s = m;
90     } else {
91         sig.algor = &algor;
92         sig.algor->algorithm = OBJ_nid2obj(type);
93         if (sig.algor->algorithm == NULL) {
94             RSAerr(RSA_F_RSA_SIGN, RSA_R_UNKNOWN_ALGORITHM_TYPE);
95             return (0);
96         }
97         if (OBJ_length(sig.algor->algorithm) == 0) {
98             RSAerr(RSA_F_RSA_SIGN,
99                    RSA_R_THE_ASN1_OBJECT_IDENTIFIER_IS_NOT_KNOWN_FOR_THIS_MD);
100             return (0);
101         }
102         parameter.type = V_ASN1_NULL;
103         parameter.value.ptr = NULL;
104         sig.algor->parameter = &parameter;
105
106         sig.digest = &digest;
107         sig.digest->data = (unsigned char *)m; /* TMP UGLY CAST */
108         sig.digest->length = m_len;
109
110         i = i2d_X509_SIG(&sig, NULL);
111     }
112     j = RSA_size(rsa);
113     if (i > (j - RSA_PKCS1_PADDING_SIZE)) {
114         RSAerr(RSA_F_RSA_SIGN, RSA_R_DIGEST_TOO_BIG_FOR_RSA_KEY);
115         return (0);
116     }
117     if (type != NID_md5_sha1) {
118         tmps = OPENSSL_malloc((unsigned int)j + 1);
119         if (tmps == NULL) {
120             RSAerr(RSA_F_RSA_SIGN, ERR_R_MALLOC_FAILURE);
121             return (0);
122         }
123         p = tmps;
124         i2d_X509_SIG(&sig, &p);
125         s = tmps;
126     }
127     i = RSA_private_encrypt(i, s, sigret, rsa, RSA_PKCS1_PADDING);
128     if (i <= 0)
129         ret = 0;
130     else
131         *siglen = i;
132
133     if (type != NID_md5_sha1)
134         OPENSSL_clear_free(tmps, (unsigned int)j + 1);
135     return (ret);
136 }
137
138 /*
139  * Check DigestInfo structure does not contain extraneous data by reencoding
140  * using DER and checking encoding against original.
141  */
142 static int rsa_check_digestinfo(X509_SIG *sig, const unsigned char *dinfo,
143                                 int dinfolen)
144 {
145     unsigned char *der = NULL;
146     int derlen;
147     int ret = 0;
148     derlen = i2d_X509_SIG(sig, &der);
149     if (derlen <= 0)
150         return 0;
151     if (derlen == dinfolen && !memcmp(dinfo, der, derlen))
152         ret = 1;
153     OPENSSL_clear_free(der, derlen);
154     return ret;
155 }
156
157 int int_rsa_verify(int dtype, const unsigned char *m,
158                    unsigned int m_len,
159                    unsigned char *rm, size_t *prm_len,
160                    const unsigned char *sigbuf, size_t siglen, RSA *rsa)
161 {
162     int i, ret = 0, sigtype;
163     unsigned char *s;
164     X509_SIG *sig = NULL;
165
166     if (siglen != (unsigned int)RSA_size(rsa)) {
167         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_WRONG_SIGNATURE_LENGTH);
168         return (0);
169     }
170
171     if ((dtype == NID_md5_sha1) && rm) {
172         i = RSA_public_decrypt((int)siglen,
173                                sigbuf, rm, rsa, RSA_PKCS1_PADDING);
174         if (i <= 0)
175             return 0;
176         *prm_len = i;
177         return 1;
178     }
179
180     s = OPENSSL_malloc((unsigned int)siglen);
181     if (s == NULL) {
182         RSAerr(RSA_F_INT_RSA_VERIFY, ERR_R_MALLOC_FAILURE);
183         goto err;
184     }
185     if ((dtype == NID_md5_sha1) && (m_len != SSL_SIG_LENGTH)) {
186         RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_INVALID_MESSAGE_LENGTH);
187         goto err;
188     }
189     i = RSA_public_decrypt((int)siglen, sigbuf, s, rsa, RSA_PKCS1_PADDING);
190
191     if (i <= 0)
192         goto err;
193     /*
194      * Oddball MDC2 case: signature can be OCTET STRING. check for correct
195      * tag and length octets.
196      */
197     if (dtype == NID_mdc2 && i == 18 && s[0] == 0x04 && s[1] == 0x10) {
198         if (rm) {
199             memcpy(rm, s + 2, 16);
200             *prm_len = 16;
201             ret = 1;
202         } else if (memcmp(m, s + 2, 16)) {
203             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
204         } else {
205             ret = 1;
206         }
207     } else if (dtype == NID_md5_sha1) {
208         /* Special case: SSL signature */
209         if ((i != SSL_SIG_LENGTH) || memcmp(s, m, SSL_SIG_LENGTH))
210             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
211         else
212             ret = 1;
213     } else {
214         const unsigned char *p = s;
215         sig = d2i_X509_SIG(NULL, &p, (long)i);
216
217         if (sig == NULL)
218             goto err;
219
220         /* Excess data can be used to create forgeries */
221         if (p != s + i || !rsa_check_digestinfo(sig, s, i)) {
222             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
223             goto err;
224         }
225
226         /*
227          * Parameters to the signature algorithm can also be used to create
228          * forgeries
229          */
230         if (sig->algor->parameter
231             && ASN1_TYPE_get(sig->algor->parameter) != V_ASN1_NULL) {
232             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
233             goto err;
234         }
235
236         sigtype = OBJ_obj2nid(sig->algor->algorithm);
237
238 #ifdef RSA_DEBUG
239         /* put a backward compatibility flag in EAY */
240         fprintf(stderr, "in(%s) expect(%s)\n", OBJ_nid2ln(sigtype),
241                 OBJ_nid2ln(dtype));
242 #endif
243         if (sigtype != dtype) {
244             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_ALGORITHM_MISMATCH);
245             goto err;
246         }
247         if (rm) {
248             const EVP_MD *md;
249             md = EVP_get_digestbynid(dtype);
250             if (md && (EVP_MD_size(md) != sig->digest->length))
251                 RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_INVALID_DIGEST_LENGTH);
252             else {
253                 memcpy(rm, sig->digest->data, sig->digest->length);
254                 *prm_len = sig->digest->length;
255                 ret = 1;
256             }
257         } else if (((unsigned int)sig->digest->length != m_len) ||
258                    (memcmp(m, sig->digest->data, m_len) != 0)) {
259             RSAerr(RSA_F_INT_RSA_VERIFY, RSA_R_BAD_SIGNATURE);
260         } else
261             ret = 1;
262     }
263  err:
264     X509_SIG_free(sig);
265     OPENSSL_clear_free(s, (unsigned int)siglen);
266     return (ret);
267 }
268
269 int RSA_verify(int dtype, const unsigned char *m, unsigned int m_len,
270                const unsigned char *sigbuf, unsigned int siglen, RSA *rsa)
271 {
272
273     if (rsa->meth->rsa_verify) {
274         return rsa->meth->rsa_verify(dtype, m, m_len, sigbuf, siglen, rsa);
275     }
276
277     return int_rsa_verify(dtype, m, m_len, NULL, NULL, sigbuf, siglen, rsa);
278 }