Fix faulty check of padding in x_long.c
[openssl.git] / crypto / asn1 / x_long.c
1 /*
2  * Copyright 2000-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/asn1t.h>
13 #include <openssl/bn.h>
14
15 /*
16  * Custom primitive type for long handling. This converts between an
17  * ASN1_INTEGER and a long directly.
18  */
19
20 static int long_new(ASN1_VALUE **pval, const ASN1_ITEM *it);
21 static void long_free(ASN1_VALUE **pval, const ASN1_ITEM *it);
22
23 static int long_i2c(ASN1_VALUE **pval, unsigned char *cont, int *putype,
24                     const ASN1_ITEM *it);
25 static int long_c2i(ASN1_VALUE **pval, const unsigned char *cont, int len,
26                     int utype, char *free_cont, const ASN1_ITEM *it);
27 static int long_print(BIO *out, ASN1_VALUE **pval, const ASN1_ITEM *it,
28                       int indent, const ASN1_PCTX *pctx);
29
30 static ASN1_PRIMITIVE_FUNCS long_pf = {
31     NULL, 0,
32     long_new,
33     long_free,
34     long_free,                  /* Clear should set to initial value */
35     long_c2i,
36     long_i2c,
37     long_print
38 };
39
40 ASN1_ITEM_start(LONG)
41         ASN1_ITYPE_PRIMITIVE, V_ASN1_INTEGER, NULL, 0, &long_pf, ASN1_LONG_UNDEF, "LONG"
42 ASN1_ITEM_end(LONG)
43
44 ASN1_ITEM_start(ZLONG)
45         ASN1_ITYPE_PRIMITIVE, V_ASN1_INTEGER, NULL, 0, &long_pf, 0, "ZLONG"
46 ASN1_ITEM_end(ZLONG)
47
48 static int long_new(ASN1_VALUE **pval, const ASN1_ITEM *it)
49 {
50     *(long *)pval = it->size;
51     return 1;
52 }
53
54 static void long_free(ASN1_VALUE **pval, const ASN1_ITEM *it)
55 {
56     *(long *)pval = it->size;
57 }
58
59 static int long_i2c(ASN1_VALUE **pval, unsigned char *cont, int *putype,
60                     const ASN1_ITEM *it)
61 {
62     long ltmp;
63     unsigned long utmp;
64     int clen, pad, i;
65     /* this exists to bypass broken gcc optimization */
66     char *cp = (char *)pval;
67
68     /* use memcpy, because we may not be long aligned */
69     memcpy(&ltmp, cp, sizeof(long));
70
71     if (ltmp == it->size)
72         return -1;
73     /*
74      * Convert the long to positive: we subtract one if negative so we can
75      * cleanly handle the padding if only the MSB of the leading octet is
76      * set.
77      */
78     if (ltmp < 0)
79         utmp = 0 - (unsigned long)ltmp - 1;
80     else
81         utmp = ltmp;
82     clen = BN_num_bits_word(utmp);
83     /* If MSB of leading octet set we need to pad */
84     if (!(clen & 0x7))
85         pad = 1;
86     else
87         pad = 0;
88
89     /* Convert number of bits to number of octets */
90     clen = (clen + 7) >> 3;
91
92     if (cont) {
93         if (pad)
94             *cont++ = (ltmp < 0) ? 0xff : 0;
95         for (i = clen - 1; i >= 0; i--) {
96             cont[i] = (unsigned char)(utmp & 0xff);
97             if (ltmp < 0)
98                 cont[i] ^= 0xff;
99             utmp >>= 8;
100         }
101     }
102     return clen + pad;
103 }
104
105 static int long_c2i(ASN1_VALUE **pval, const unsigned char *cont, int len,
106                     int utype, char *free_cont, const ASN1_ITEM *it)
107 {
108     int neg = -1, i;
109     long ltmp;
110     unsigned long utmp = 0;
111     char *cp = (char *)pval;
112
113     if (len > 1) {
114         /*
115          * Check possible pad byte.  Worst case, we're skipping past actual
116          * content, but since that's only with 0x00 and 0xff and we set neg
117          * accordingly, the result will be correct in the end anyway.
118          */
119         switch (cont[0]) {
120         case 0xff:
121             cont++;
122             len--;
123             neg = 0x80;
124             break;
125         case 0:
126             cont++;
127             len--;
128             neg = 0;
129             break;
130         }
131     }
132     if (len > (int)sizeof(long)) {
133         ASN1err(ASN1_F_LONG_C2I, ASN1_R_INTEGER_TOO_LARGE_FOR_LONG);
134         return 0;
135     }
136     if (neg == -1) {
137         /* Is it negative? */
138         if (len && (cont[0] & 0x80))
139             neg = 1;
140         else
141             neg = 0;
142     } else if (neg == (cont[0] & 0x80)) {
143         ASN1err(ASN1_F_LONG_C2I, ASN1_R_ILLEGAL_PADDING);
144         return 0;
145     }
146     utmp = 0;
147     for (i = 0; i < len; i++) {
148         utmp <<= 8;
149         if (neg)
150             utmp |= cont[i] ^ 0xff;
151         else
152             utmp |= cont[i];
153     }
154     ltmp = (long)utmp;
155     if (ltmp < 0) {
156         ASN1err(ASN1_F_LONG_C2I, ASN1_R_INTEGER_TOO_LARGE_FOR_LONG);
157         return 0;
158     }
159     if (neg) {
160         ltmp = -ltmp;
161         ltmp--;
162     }
163     if (ltmp == it->size) {
164         ASN1err(ASN1_F_LONG_C2I, ASN1_R_INTEGER_TOO_LARGE_FOR_LONG);
165         return 0;
166     }
167     memcpy(cp, &ltmp, sizeof(long));
168     return 1;
169 }
170
171 static int long_print(BIO *out, ASN1_VALUE **pval, const ASN1_ITEM *it,
172                       int indent, const ASN1_PCTX *pctx)
173 {
174     return BIO_printf(out, "%ld\n", *(long *)pval);
175 }