Avoid overflow issues in X509_cmp.
[openssl.git] / crypto / x509 / x509_cmp.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include <ctype.h>
60 #include "internal/cryptlib.h"
61 #include <openssl/asn1.h>
62 #include <openssl/objects.h>
63 #include <openssl/x509.h>
64 #include <openssl/x509v3.h>
65 #include "internal/x509_int.h"
66
67 int X509_issuer_and_serial_cmp(const X509 *a, const X509 *b)
68 {
69     int i;
70     const X509_CINF *ai, *bi;
71
72     ai = &a->cert_info;
73     bi = &b->cert_info;
74     i = ASN1_INTEGER_cmp(&ai->serialNumber, &bi->serialNumber);
75     if (i)
76         return (i);
77     return (X509_NAME_cmp(ai->issuer, bi->issuer));
78 }
79
80 #ifndef OPENSSL_NO_MD5
81 unsigned long X509_issuer_and_serial_hash(X509 *a)
82 {
83     unsigned long ret = 0;
84     EVP_MD_CTX *ctx = EVP_MD_CTX_new();
85     unsigned char md[16];
86     char *f;
87
88     if (ctx == NULL)
89         goto err;
90     f = X509_NAME_oneline(a->cert_info.issuer, NULL, 0);
91     if (!EVP_DigestInit_ex(ctx, EVP_md5(), NULL))
92         goto err;
93     if (!EVP_DigestUpdate(ctx, (unsigned char *)f, strlen(f)))
94         goto err;
95     OPENSSL_free(f);
96     if (!EVP_DigestUpdate
97         (ctx, (unsigned char *)a->cert_info.serialNumber.data,
98          (unsigned long)a->cert_info.serialNumber.length))
99         goto err;
100     if (!EVP_DigestFinal_ex(ctx, &(md[0]), NULL))
101         goto err;
102     ret = (((unsigned long)md[0]) | ((unsigned long)md[1] << 8L) |
103            ((unsigned long)md[2] << 16L) | ((unsigned long)md[3] << 24L)
104         ) & 0xffffffffL;
105  err:
106     EVP_MD_CTX_free(ctx);
107     return (ret);
108 }
109 #endif
110
111 int X509_issuer_name_cmp(const X509 *a, const X509 *b)
112 {
113     return (X509_NAME_cmp(a->cert_info.issuer, b->cert_info.issuer));
114 }
115
116 int X509_subject_name_cmp(const X509 *a, const X509 *b)
117 {
118     return (X509_NAME_cmp(a->cert_info.subject, b->cert_info.subject));
119 }
120
121 int X509_CRL_cmp(const X509_CRL *a, const X509_CRL *b)
122 {
123     return (X509_NAME_cmp(a->crl.issuer, b->crl.issuer));
124 }
125
126 int X509_CRL_match(const X509_CRL *a, const X509_CRL *b)
127 {
128     return memcmp(a->sha1_hash, b->sha1_hash, 20);
129 }
130
131 X509_NAME *X509_get_issuer_name(X509 *a)
132 {
133     return (a->cert_info.issuer);
134 }
135
136 unsigned long X509_issuer_name_hash(X509 *x)
137 {
138     return (X509_NAME_hash(x->cert_info.issuer));
139 }
140
141 #ifndef OPENSSL_NO_MD5
142 unsigned long X509_issuer_name_hash_old(X509 *x)
143 {
144     return (X509_NAME_hash_old(x->cert_info.issuer));
145 }
146 #endif
147
148 X509_NAME *X509_get_subject_name(X509 *a)
149 {
150     return (a->cert_info.subject);
151 }
152
153 ASN1_INTEGER *X509_get_serialNumber(X509 *a)
154 {
155     return &a->cert_info.serialNumber;
156 }
157
158 unsigned long X509_subject_name_hash(X509 *x)
159 {
160     return (X509_NAME_hash(x->cert_info.subject));
161 }
162
163 #ifndef OPENSSL_NO_MD5
164 unsigned long X509_subject_name_hash_old(X509 *x)
165 {
166     return (X509_NAME_hash_old(x->cert_info.subject));
167 }
168 #endif
169
170 /*
171  * Compare two certificates: they must be identical for this to work. NB:
172  * Although "cmp" operations are generally prototyped to take "const"
173  * arguments (eg. for use in STACKs), the way X509 handling is - these
174  * operations may involve ensuring the hashes are up-to-date and ensuring
175  * certain cert information is cached. So this is the point where the
176  * "depth-first" constification tree has to halt with an evil cast.
177  */
178 int X509_cmp(const X509 *a, const X509 *b)
179 {
180     int rv;
181     /* ensure hash is valid */
182     X509_check_purpose((X509 *)a, -1, 0);
183     X509_check_purpose((X509 *)b, -1, 0);
184
185     rv = memcmp(a->sha1_hash, b->sha1_hash, SHA_DIGEST_LENGTH);
186     if (rv)
187         return rv;
188     /* Check for match against stored encoding too */
189     if (!a->cert_info.enc.modified && !b->cert_info.enc.modified) {
190         if (a->cert_info.enc.len < b->cert_info.enc.len)
191             return -1;
192         if (a->cert_info.enc.len > b->cert_info.enc.len)
193             return 1;
194         return memcmp(a->cert_info.enc.enc, b->cert_info.enc.enc,
195                       a->cert_info.enc.len);
196     }
197     return rv;
198 }
199
200 int X509_NAME_cmp(const X509_NAME *a, const X509_NAME *b)
201 {
202     int ret;
203
204     /* Ensure canonical encoding is present and up to date */
205
206     if (!a->canon_enc || a->modified) {
207         ret = i2d_X509_NAME((X509_NAME *)a, NULL);
208         if (ret < 0)
209             return -2;
210     }
211
212     if (!b->canon_enc || b->modified) {
213         ret = i2d_X509_NAME((X509_NAME *)b, NULL);
214         if (ret < 0)
215             return -2;
216     }
217
218     ret = a->canon_enclen - b->canon_enclen;
219
220     if (ret)
221         return ret;
222
223     return memcmp(a->canon_enc, b->canon_enc, a->canon_enclen);
224
225 }
226
227 unsigned long X509_NAME_hash(X509_NAME *x)
228 {
229     unsigned long ret = 0;
230     unsigned char md[SHA_DIGEST_LENGTH];
231
232     /* Make sure X509_NAME structure contains valid cached encoding */
233     i2d_X509_NAME(x, NULL);
234     if (!EVP_Digest(x->canon_enc, x->canon_enclen, md, NULL, EVP_sha1(),
235                     NULL))
236         return 0;
237
238     ret = (((unsigned long)md[0]) | ((unsigned long)md[1] << 8L) |
239            ((unsigned long)md[2] << 16L) | ((unsigned long)md[3] << 24L)
240         ) & 0xffffffffL;
241     return (ret);
242 }
243
244 #ifndef OPENSSL_NO_MD5
245 /*
246  * I now DER encode the name and hash it.  Since I cache the DER encoding,
247  * this is reasonably efficient.
248  */
249
250 unsigned long X509_NAME_hash_old(X509_NAME *x)
251 {
252     EVP_MD_CTX *md_ctx = EVP_MD_CTX_new();
253     unsigned long ret = 0;
254     unsigned char md[16];
255
256     if (md_ctx == NULL)
257         return ret;
258
259     /* Make sure X509_NAME structure contains valid cached encoding */
260     i2d_X509_NAME(x, NULL);
261     EVP_MD_CTX_set_flags(md_ctx, EVP_MD_CTX_FLAG_NON_FIPS_ALLOW);
262     if (EVP_DigestInit_ex(md_ctx, EVP_md5(), NULL)
263         && EVP_DigestUpdate(md_ctx, x->bytes->data, x->bytes->length)
264         && EVP_DigestFinal_ex(md_ctx, md, NULL))
265         ret = (((unsigned long)md[0]) | ((unsigned long)md[1] << 8L) |
266                ((unsigned long)md[2] << 16L) | ((unsigned long)md[3] << 24L)
267             ) & 0xffffffffL;
268     EVP_MD_CTX_free(md_ctx);
269
270     return (ret);
271 }
272 #endif
273
274 /* Search a stack of X509 for a match */
275 X509 *X509_find_by_issuer_and_serial(STACK_OF(X509) *sk, X509_NAME *name,
276                                      ASN1_INTEGER *serial)
277 {
278     int i;
279     X509 x, *x509 = NULL;
280
281     if (!sk)
282         return NULL;
283
284     x.cert_info.serialNumber = *serial;
285     x.cert_info.issuer = name;
286
287     for (i = 0; i < sk_X509_num(sk); i++) {
288         x509 = sk_X509_value(sk, i);
289         if (X509_issuer_and_serial_cmp(x509, &x) == 0)
290             return (x509);
291     }
292     return (NULL);
293 }
294
295 X509 *X509_find_by_subject(STACK_OF(X509) *sk, X509_NAME *name)
296 {
297     X509 *x509;
298     int i;
299
300     for (i = 0; i < sk_X509_num(sk); i++) {
301         x509 = sk_X509_value(sk, i);
302         if (X509_NAME_cmp(X509_get_subject_name(x509), name) == 0)
303             return (x509);
304     }
305     return (NULL);
306 }
307
308 EVP_PKEY *X509_get0_pubkey(X509 *x)
309 {
310     if (x == NULL)
311         return NULL;
312     return X509_PUBKEY_get0(x->cert_info.key);
313 }
314
315 EVP_PKEY *X509_get_pubkey(X509 *x)
316 {
317     if (x == NULL)
318         return NULL;
319     return X509_PUBKEY_get(x->cert_info.key);
320 }
321
322 int X509_check_private_key(X509 *x, EVP_PKEY *k)
323 {
324     EVP_PKEY *xk;
325     int ret;
326
327     xk = X509_get0_pubkey(x);
328
329     if (xk)
330         ret = EVP_PKEY_cmp(xk, k);
331     else
332         ret = -2;
333
334     switch (ret) {
335     case 1:
336         break;
337     case 0:
338         X509err(X509_F_X509_CHECK_PRIVATE_KEY, X509_R_KEY_VALUES_MISMATCH);
339         break;
340     case -1:
341         X509err(X509_F_X509_CHECK_PRIVATE_KEY, X509_R_KEY_TYPE_MISMATCH);
342         break;
343     case -2:
344         X509err(X509_F_X509_CHECK_PRIVATE_KEY, X509_R_UNKNOWN_KEY_TYPE);
345     }
346     if (ret > 0)
347         return 1;
348     return 0;
349 }
350
351 /*
352  * Check a suite B algorithm is permitted: pass in a public key and the NID
353  * of its signature (or 0 if no signature). The pflags is a pointer to a
354  * flags field which must contain the suite B verification flags.
355  */
356
357 #ifndef OPENSSL_NO_EC
358
359 static int check_suite_b(EVP_PKEY *pkey, int sign_nid, unsigned long *pflags)
360 {
361     const EC_GROUP *grp = NULL;
362     int curve_nid;
363     if (pkey && EVP_PKEY_id(pkey) == EVP_PKEY_EC)
364         grp = EC_KEY_get0_group(EVP_PKEY_get0_EC_KEY(pkey));
365     if (!grp)
366         return X509_V_ERR_SUITE_B_INVALID_ALGORITHM;
367     curve_nid = EC_GROUP_get_curve_name(grp);
368     /* Check curve is consistent with LOS */
369     if (curve_nid == NID_secp384r1) { /* P-384 */
370         /*
371          * Check signature algorithm is consistent with curve.
372          */
373         if (sign_nid != -1 && sign_nid != NID_ecdsa_with_SHA384)
374             return X509_V_ERR_SUITE_B_INVALID_SIGNATURE_ALGORITHM;
375         if (!(*pflags & X509_V_FLAG_SUITEB_192_LOS))
376             return X509_V_ERR_SUITE_B_LOS_NOT_ALLOWED;
377         /* If we encounter P-384 we cannot use P-256 later */
378         *pflags &= ~X509_V_FLAG_SUITEB_128_LOS_ONLY;
379     } else if (curve_nid == NID_X9_62_prime256v1) { /* P-256 */
380         if (sign_nid != -1 && sign_nid != NID_ecdsa_with_SHA256)
381             return X509_V_ERR_SUITE_B_INVALID_SIGNATURE_ALGORITHM;
382         if (!(*pflags & X509_V_FLAG_SUITEB_128_LOS_ONLY))
383             return X509_V_ERR_SUITE_B_LOS_NOT_ALLOWED;
384     } else
385         return X509_V_ERR_SUITE_B_INVALID_CURVE;
386
387     return X509_V_OK;
388 }
389
390 int X509_chain_check_suiteb(int *perror_depth, X509 *x, STACK_OF(X509) *chain,
391                             unsigned long flags)
392 {
393     int rv, i, sign_nid;
394     EVP_PKEY *pk;
395     unsigned long tflags = flags;
396
397     if (!(flags & X509_V_FLAG_SUITEB_128_LOS))
398         return X509_V_OK;
399
400     /* If no EE certificate passed in must be first in chain */
401     if (x == NULL) {
402         x = sk_X509_value(chain, 0);
403         i = 1;
404     } else
405         i = 0;
406
407     pk = X509_get0_pubkey(x);
408
409     /*
410      * With DANE-EE(3) success, or DANE-EE(3)/PKIX-EE(1) failure we don't build
411      * a chain all, just report trust success or failure, but must also report
412      * Suite-B errors if applicable.  This is indicated via a NULL chain
413      * pointer.  All we need to do is check the leaf key algorithm.
414      */
415     if (chain == NULL)
416         return check_suite_b(pk, -1, &tflags);
417
418     if (X509_get_version(x) != 2) {
419         rv = X509_V_ERR_SUITE_B_INVALID_VERSION;
420         /* Correct error depth */
421         i = 0;
422         goto end;
423     }
424
425     /* Check EE key only */
426     rv = check_suite_b(pk, -1, &tflags);
427     if (rv != X509_V_OK) {
428         /* Correct error depth */
429         i = 0;
430         goto end;
431     }
432     for (; i < sk_X509_num(chain); i++) {
433         sign_nid = X509_get_signature_nid(x);
434         x = sk_X509_value(chain, i);
435         if (X509_get_version(x) != 2) {
436             rv = X509_V_ERR_SUITE_B_INVALID_VERSION;
437             goto end;
438         }
439         pk = X509_get0_pubkey(x);
440         rv = check_suite_b(pk, sign_nid, &tflags);
441         if (rv != X509_V_OK)
442             goto end;
443     }
444
445     /* Final check: root CA signature */
446     rv = check_suite_b(pk, X509_get_signature_nid(x), &tflags);
447  end:
448     if (rv != X509_V_OK) {
449         /* Invalid signature or LOS errors are for previous cert */
450         if ((rv == X509_V_ERR_SUITE_B_INVALID_SIGNATURE_ALGORITHM
451              || rv == X509_V_ERR_SUITE_B_LOS_NOT_ALLOWED) && i)
452             i--;
453         /*
454          * If we have LOS error and flags changed then we are signing P-384
455          * with P-256. Use more meaningful error.
456          */
457         if (rv == X509_V_ERR_SUITE_B_LOS_NOT_ALLOWED && flags != tflags)
458             rv = X509_V_ERR_SUITE_B_CANNOT_SIGN_P_384_WITH_P_256;
459         if (perror_depth)
460             *perror_depth = i;
461     }
462     return rv;
463 }
464
465 int X509_CRL_check_suiteb(X509_CRL *crl, EVP_PKEY *pk, unsigned long flags)
466 {
467     int sign_nid;
468     if (!(flags & X509_V_FLAG_SUITEB_128_LOS))
469         return X509_V_OK;
470     sign_nid = OBJ_obj2nid(crl->crl.sig_alg.algorithm);
471     return check_suite_b(pk, sign_nid, &flags);
472 }
473
474 #else
475 int X509_chain_check_suiteb(int *perror_depth, X509 *x, STACK_OF(X509) *chain,
476                             unsigned long flags)
477 {
478     return 0;
479 }
480
481 int X509_CRL_check_suiteb(X509_CRL *crl, EVP_PKEY *pk, unsigned long flags)
482 {
483     return 0;
484 }
485
486 #endif
487 /*
488  * Not strictly speaking an "up_ref" as a STACK doesn't have a reference
489  * count but it has the same effect by duping the STACK and upping the ref of
490  * each X509 structure.
491  */
492 STACK_OF(X509) *X509_chain_up_ref(STACK_OF(X509) *chain)
493 {
494     STACK_OF(X509) *ret;
495     int i;
496     ret = sk_X509_dup(chain);
497     for (i = 0; i < sk_X509_num(ret); i++) {
498         X509 *x = sk_X509_value(ret, i);
499         X509_up_ref(x);
500     }
501     return ret;
502 }