Free up ADB and CHOICE if already initialised.
[openssl.git] / crypto / asn1 / a_int.c
1 /* crypto/asn1/a_int.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include "cryptlib.h"
61 #include <openssl/asn1.h>
62 #include <openssl/bn.h>
63
64 ASN1_INTEGER *ASN1_INTEGER_dup(const ASN1_INTEGER *x)
65 {
66     return M_ASN1_INTEGER_dup(x);
67 }
68
69 int ASN1_INTEGER_cmp(const ASN1_INTEGER *x, const ASN1_INTEGER *y)
70 {
71     int neg, ret;
72     /* Compare signs */
73     neg = x->type & V_ASN1_NEG;
74     if (neg != (y->type & V_ASN1_NEG)) {
75         if (neg)
76             return -1;
77         else
78             return 1;
79     }
80
81     ret = ASN1_STRING_cmp(x, y);
82
83     if (neg)
84         return -ret;
85     else
86         return ret;
87 }
88
89 /*-
90  * This converts an ASN1 INTEGER into its content encoding.
91  * The internal representation is an ASN1_STRING whose data is a big endian
92  * representation of the value, ignoring the sign. The sign is determined by
93  * the type: V_ASN1_INTEGER for positive and V_ASN1_NEG_INTEGER for negative.
94  *
95  * Positive integers are no problem: they are almost the same as the DER
96  * encoding, except if the first byte is >= 0x80 we need to add a zero pad.
97  *
98  * Negative integers are a bit trickier...
99  * The DER representation of negative integers is in 2s complement form.
100  * The internal form is converted by complementing each octet and finally
101  * adding one to the result. This can be done less messily with a little trick.
102  * If the internal form has trailing zeroes then they will become FF by the
103  * complement and 0 by the add one (due to carry) so just copy as many trailing
104  * zeros to the destination as there are in the source. The carry will add one
105  * to the last none zero octet: so complement this octet and add one and finally
106  * complement any left over until you get to the start of the string.
107  *
108  * Padding is a little trickier too. If the first bytes is > 0x80 then we pad
109  * with 0xff. However if the first byte is 0x80 and one of the following bytes
110  * is non-zero we pad with 0xff. The reason for this distinction is that 0x80
111  * followed by optional zeros isn't padded.
112  */
113
114 int i2c_ASN1_INTEGER(ASN1_INTEGER *a, unsigned char **pp)
115 {
116     int pad = 0, ret, i, neg;
117     unsigned char *p, *n, pb = 0;
118
119     if (a == NULL)
120         return (0);
121     neg = a->type & V_ASN1_NEG;
122     if (a->length == 0)
123         ret = 1;
124     else {
125         ret = a->length;
126         i = a->data[0];
127         if (!neg && (i > 127)) {
128             pad = 1;
129             pb = 0;
130         } else if (neg) {
131             if (i > 128) {
132                 pad = 1;
133                 pb = 0xFF;
134             } else if (i == 128) {
135                 /*
136                  * Special case: if any other bytes non zero we pad:
137                  * otherwise we don't.
138                  */
139                 for (i = 1; i < a->length; i++)
140                     if (a->data[i]) {
141                         pad = 1;
142                         pb = 0xFF;
143                         break;
144                     }
145             }
146         }
147         ret += pad;
148     }
149     if (pp == NULL)
150         return (ret);
151     p = *pp;
152
153     if (pad)
154         *(p++) = pb;
155     if (a->length == 0)
156         *(p++) = 0;
157     else if (!neg)
158         memcpy(p, a->data, (unsigned int)a->length);
159     else {
160         /* Begin at the end of the encoding */
161         n = a->data + a->length - 1;
162         p += a->length - 1;
163         i = a->length;
164         /* Copy zeros to destination as long as source is zero */
165         while (!*n) {
166             *(p--) = 0;
167             n--;
168             i--;
169         }
170         /* Complement and increment next octet */
171         *(p--) = ((*(n--)) ^ 0xff) + 1;
172         i--;
173         /* Complement any octets left */
174         for (; i > 0; i--)
175             *(p--) = *(n--) ^ 0xff;
176     }
177
178     *pp += ret;
179     return (ret);
180 }
181
182 /* Convert just ASN1 INTEGER content octets to ASN1_INTEGER structure */
183
184 ASN1_INTEGER *c2i_ASN1_INTEGER(ASN1_INTEGER **a, const unsigned char **pp,
185                                long len)
186 {
187     ASN1_INTEGER *ret = NULL;
188     const unsigned char *p, *pend;
189     unsigned char *to, *s;
190     int i;
191
192     if ((a == NULL) || ((*a) == NULL)) {
193         if ((ret = M_ASN1_INTEGER_new()) == NULL)
194             return (NULL);
195         ret->type = V_ASN1_INTEGER;
196     } else
197         ret = (*a);
198
199     p = *pp;
200     pend = p + len;
201
202     /*
203      * We must OPENSSL_malloc stuff, even for 0 bytes otherwise it signifies
204      * a missing NULL parameter.
205      */
206     s = (unsigned char *)OPENSSL_malloc((int)len + 1);
207     if (s == NULL) {
208         i = ERR_R_MALLOC_FAILURE;
209         goto err;
210     }
211     to = s;
212     if (!len) {
213         /*
214          * Strictly speaking this is an illegal INTEGER but we tolerate it.
215          */
216         ret->type = V_ASN1_INTEGER;
217     } else if (*p & 0x80) {     /* a negative number */
218         ret->type = V_ASN1_NEG_INTEGER;
219         if ((*p == 0xff) && (len != 1)) {
220             p++;
221             len--;
222         }
223         i = len;
224         p += i - 1;
225         to += i - 1;
226         while ((!*p) && i) {
227             *(to--) = 0;
228             i--;
229             p--;
230         }
231         /*
232          * Special case: if all zeros then the number will be of the form FF
233          * followed by n zero bytes: this corresponds to 1 followed by n zero
234          * bytes. We've already written n zeros so we just append an extra
235          * one and set the first byte to a 1. This is treated separately
236          * because it is the only case where the number of bytes is larger
237          * than len.
238          */
239         if (!i) {
240             *s = 1;
241             s[len] = 0;
242             len++;
243         } else {
244             *(to--) = (*(p--) ^ 0xff) + 1;
245             i--;
246             for (; i > 0; i--)
247                 *(to--) = *(p--) ^ 0xff;
248         }
249     } else {
250         ret->type = V_ASN1_INTEGER;
251         if ((*p == 0) && (len != 1)) {
252             p++;
253             len--;
254         }
255         memcpy(s, p, (int)len);
256     }
257
258     if (ret->data != NULL)
259         OPENSSL_free(ret->data);
260     ret->data = s;
261     ret->length = (int)len;
262     if (a != NULL)
263         (*a) = ret;
264     *pp = pend;
265     return (ret);
266  err:
267     ASN1err(ASN1_F_C2I_ASN1_INTEGER, i);
268     if ((ret != NULL) && ((a == NULL) || (*a != ret)))
269         M_ASN1_INTEGER_free(ret);
270     return (NULL);
271 }
272
273 /*
274  * This is a version of d2i_ASN1_INTEGER that ignores the sign bit of ASN1
275  * integers: some broken software can encode a positive INTEGER with its MSB
276  * set as negative (it doesn't add a padding zero).
277  */
278
279 ASN1_INTEGER *d2i_ASN1_UINTEGER(ASN1_INTEGER **a, const unsigned char **pp,
280                                 long length)
281 {
282     ASN1_INTEGER *ret = NULL;
283     const unsigned char *p;
284     unsigned char *s;
285     long len;
286     int inf, tag, xclass;
287     int i;
288
289     if ((a == NULL) || ((*a) == NULL)) {
290         if ((ret = M_ASN1_INTEGER_new()) == NULL)
291             return (NULL);
292         ret->type = V_ASN1_INTEGER;
293     } else
294         ret = (*a);
295
296     p = *pp;
297     inf = ASN1_get_object(&p, &len, &tag, &xclass, length);
298     if (inf & 0x80) {
299         i = ASN1_R_BAD_OBJECT_HEADER;
300         goto err;
301     }
302
303     if (tag != V_ASN1_INTEGER) {
304         i = ASN1_R_EXPECTING_AN_INTEGER;
305         goto err;
306     }
307
308     /*
309      * We must OPENSSL_malloc stuff, even for 0 bytes otherwise it signifies
310      * a missing NULL parameter.
311      */
312     s = (unsigned char *)OPENSSL_malloc((int)len + 1);
313     if (s == NULL) {
314         i = ERR_R_MALLOC_FAILURE;
315         goto err;
316     }
317     ret->type = V_ASN1_INTEGER;
318     if (len) {
319         if ((*p == 0) && (len != 1)) {
320             p++;
321             len--;
322         }
323         memcpy(s, p, (int)len);
324         p += len;
325     }
326
327     if (ret->data != NULL)
328         OPENSSL_free(ret->data);
329     ret->data = s;
330     ret->length = (int)len;
331     if (a != NULL)
332         (*a) = ret;
333     *pp = p;
334     return (ret);
335  err:
336     ASN1err(ASN1_F_D2I_ASN1_UINTEGER, i);
337     if ((ret != NULL) && ((a == NULL) || (*a != ret)))
338         M_ASN1_INTEGER_free(ret);
339     return (NULL);
340 }
341
342 int ASN1_INTEGER_set(ASN1_INTEGER *a, long v)
343 {
344     int j, k;
345     unsigned int i;
346     unsigned char buf[sizeof(long) + 1];
347     long d;
348
349     a->type = V_ASN1_INTEGER;
350     if (a->length < (int)(sizeof(long) + 1)) {
351         if (a->data != NULL)
352             OPENSSL_free(a->data);
353         if ((a->data =
354              (unsigned char *)OPENSSL_malloc(sizeof(long) + 1)) != NULL)
355             memset((char *)a->data, 0, sizeof(long) + 1);
356     }
357     if (a->data == NULL) {
358         ASN1err(ASN1_F_ASN1_INTEGER_SET, ERR_R_MALLOC_FAILURE);
359         return (0);
360     }
361     d = v;
362     if (d < 0) {
363         d = -d;
364         a->type = V_ASN1_NEG_INTEGER;
365     }
366
367     for (i = 0; i < sizeof(long); i++) {
368         if (d == 0)
369             break;
370         buf[i] = (int)d & 0xff;
371         d >>= 8;
372     }
373     j = 0;
374     for (k = i - 1; k >= 0; k--)
375         a->data[j++] = buf[k];
376     a->length = j;
377     return (1);
378 }
379
380 long ASN1_INTEGER_get(const ASN1_INTEGER *a)
381 {
382     int neg = 0, i;
383     long r = 0;
384
385     if (a == NULL)
386         return (0L);
387     i = a->type;
388     if (i == V_ASN1_NEG_INTEGER)
389         neg = 1;
390     else if (i != V_ASN1_INTEGER)
391         return -1;
392
393     if (a->length > (int)sizeof(long)) {
394         /* hmm... a bit ugly, return all ones */
395         return -1;
396     }
397     if (a->data == NULL)
398         return 0;
399
400     for (i = 0; i < a->length; i++) {
401         r <<= 8;
402         r |= (unsigned char)a->data[i];
403     }
404     if (neg)
405         r = -r;
406     return (r);
407 }
408
409 ASN1_INTEGER *BN_to_ASN1_INTEGER(const BIGNUM *bn, ASN1_INTEGER *ai)
410 {
411     ASN1_INTEGER *ret;
412     int len, j;
413
414     if (ai == NULL)
415         ret = M_ASN1_INTEGER_new();
416     else
417         ret = ai;
418     if (ret == NULL) {
419         ASN1err(ASN1_F_BN_TO_ASN1_INTEGER, ERR_R_NESTED_ASN1_ERROR);
420         goto err;
421     }
422     if (BN_is_negative(bn))
423         ret->type = V_ASN1_NEG_INTEGER;
424     else
425         ret->type = V_ASN1_INTEGER;
426     j = BN_num_bits(bn);
427     len = ((j == 0) ? 0 : ((j / 8) + 1));
428     if (ret->length < len + 4) {
429         unsigned char *new_data = OPENSSL_realloc(ret->data, len + 4);
430         if (!new_data) {
431             ASN1err(ASN1_F_BN_TO_ASN1_INTEGER, ERR_R_MALLOC_FAILURE);
432             goto err;
433         }
434         ret->data = new_data;
435     }
436     ret->length = BN_bn2bin(bn, ret->data);
437     /* Correct zero case */
438     if (!ret->length) {
439         ret->data[0] = 0;
440         ret->length = 1;
441     }
442     return (ret);
443  err:
444     if (ret != ai)
445         M_ASN1_INTEGER_free(ret);
446     return (NULL);
447 }
448
449 BIGNUM *ASN1_INTEGER_to_BN(const ASN1_INTEGER *ai, BIGNUM *bn)
450 {
451     BIGNUM *ret;
452
453     if ((ret = BN_bin2bn(ai->data, ai->length, bn)) == NULL)
454         ASN1err(ASN1_F_ASN1_INTEGER_TO_BN, ASN1_R_BN_LIB);
455     else if (ai->type == V_ASN1_NEG_INTEGER)
456         BN_set_negative(ret, 1);
457     return (ret);
458 }
459
460 IMPLEMENT_STACK_OF(ASN1_INTEGER)
461
462 IMPLEMENT_ASN1_SET_OF(ASN1_INTEGER)