Fix BN_hex2bn/BN_dec2bn NULL ptr/heap corruption
[openssl.git] / crypto / bn / bn_print.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include <ctype.h>
60 #include <limits.h>
61 #include "internal/cryptlib.h"
62 #include <openssl/buffer.h>
63 #include "bn_lcl.h"
64
65 static const char Hex[] = "0123456789ABCDEF";
66
67 /* Must 'OPENSSL_free' the returned data */
68 char *BN_bn2hex(const BIGNUM *a)
69 {
70     int i, j, v, z = 0;
71     char *buf;
72     char *p;
73
74     if (a->neg && BN_is_zero(a)) {
75         /* "-0" == 3 bytes including NULL terminator */
76         buf = OPENSSL_malloc(3);
77     } else {
78         buf = OPENSSL_malloc(a->top * BN_BYTES * 2 + 2);
79     }
80     if (buf == NULL) {
81         BNerr(BN_F_BN_BN2HEX, ERR_R_MALLOC_FAILURE);
82         goto err;
83     }
84     p = buf;
85     if (a->neg)
86         *(p++) = '-';
87     if (BN_is_zero(a))
88         *(p++) = '0';
89     for (i = a->top - 1; i >= 0; i--) {
90         for (j = BN_BITS2 - 8; j >= 0; j -= 8) {
91             /* strip leading zeros */
92             v = ((int)(a->d[i] >> (long)j)) & 0xff;
93             if (z || (v != 0)) {
94                 *(p++) = Hex[v >> 4];
95                 *(p++) = Hex[v & 0x0f];
96                 z = 1;
97             }
98         }
99     }
100     *p = '\0';
101  err:
102     return (buf);
103 }
104
105 /* Must 'OPENSSL_free' the returned data */
106 char *BN_bn2dec(const BIGNUM *a)
107 {
108     int i = 0, num, ok = 0;
109     char *buf = NULL;
110     char *p;
111     BIGNUM *t = NULL;
112     BN_ULONG *bn_data = NULL, *lp;
113
114     /*-
115      * get an upper bound for the length of the decimal integer
116      * num <= (BN_num_bits(a) + 1) * log(2)
117      *     <= 3 * BN_num_bits(a) * 0.1001 + log(2) + 1     (rounding error)
118      *     <= BN_num_bits(a)/10 + BN_num_bits/1000 + 1 + 1
119      */
120     i = BN_num_bits(a) * 3;
121     num = (i / 10 + i / 1000 + 1) + 1;
122     bn_data = OPENSSL_malloc((num / BN_DEC_NUM + 1) * sizeof(BN_ULONG));
123     buf = OPENSSL_malloc(num + 3);
124     if ((buf == NULL) || (bn_data == NULL)) {
125         BNerr(BN_F_BN_BN2DEC, ERR_R_MALLOC_FAILURE);
126         goto err;
127     }
128     if ((t = BN_dup(a)) == NULL)
129         goto err;
130
131 #define BUF_REMAIN (num+3 - (size_t)(p - buf))
132     p = buf;
133     lp = bn_data;
134     if (BN_is_zero(t)) {
135         *(p++) = '0';
136         *(p++) = '\0';
137     } else {
138         if (BN_is_negative(t))
139             *p++ = '-';
140
141         i = 0;
142         while (!BN_is_zero(t)) {
143             *lp = BN_div_word(t, BN_DEC_CONV);
144             lp++;
145         }
146         lp--;
147         /*
148          * We now have a series of blocks, BN_DEC_NUM chars in length, where
149          * the last one needs truncation. The blocks need to be reversed in
150          * order.
151          */
152         BIO_snprintf(p, BUF_REMAIN, BN_DEC_FMT1, *lp);
153         while (*p)
154             p++;
155         while (lp != bn_data) {
156             lp--;
157             BIO_snprintf(p, BUF_REMAIN, BN_DEC_FMT2, *lp);
158             while (*p)
159                 p++;
160         }
161     }
162     ok = 1;
163  err:
164     OPENSSL_free(bn_data);
165     BN_free(t);
166     if (ok)
167         return buf;
168     OPENSSL_free(buf);
169     return NULL;
170 }
171
172 int BN_hex2bn(BIGNUM **bn, const char *a)
173 {
174     BIGNUM *ret = NULL;
175     BN_ULONG l = 0;
176     int neg = 0, h, m, i, j, k, c;
177     int num;
178
179     if ((a == NULL) || (*a == '\0'))
180         return (0);
181
182     if (*a == '-') {
183         neg = 1;
184         a++;
185     }
186
187     for (i = 0; i <= (INT_MAX/4) && isxdigit((unsigned char)a[i]); i++)
188         continue;
189
190     if (i > INT_MAX/4)
191         goto err;
192
193     num = i + neg;
194     if (bn == NULL)
195         return (num);
196
197     /* a is the start of the hex digits, and it is 'i' long */
198     if (*bn == NULL) {
199         if ((ret = BN_new()) == NULL)
200             return (0);
201     } else {
202         ret = *bn;
203         BN_zero(ret);
204     }
205
206     /* i is the number of hex digits */
207     if (bn_expand(ret, i * 4) == NULL)
208         goto err;
209
210     j = i;                      /* least significant 'hex' */
211     m = 0;
212     h = 0;
213     while (j > 0) {
214         m = ((BN_BYTES * 2) <= j) ? (BN_BYTES * 2) : j;
215         l = 0;
216         for (;;) {
217             c = a[j - m];
218             if ((c >= '0') && (c <= '9'))
219                 k = c - '0';
220             else if ((c >= 'a') && (c <= 'f'))
221                 k = c - 'a' + 10;
222             else if ((c >= 'A') && (c <= 'F'))
223                 k = c - 'A' + 10;
224             else
225                 k = 0;          /* paranoia */
226             l = (l << 4) | k;
227
228             if (--m <= 0) {
229                 ret->d[h++] = l;
230                 break;
231             }
232         }
233         j -= (BN_BYTES * 2);
234     }
235     ret->top = h;
236     bn_correct_top(ret);
237     ret->neg = neg;
238
239     *bn = ret;
240     bn_check_top(ret);
241     return (num);
242  err:
243     if (*bn == NULL)
244         BN_free(ret);
245     return (0);
246 }
247
248 int BN_dec2bn(BIGNUM **bn, const char *a)
249 {
250     BIGNUM *ret = NULL;
251     BN_ULONG l = 0;
252     int neg = 0, i, j;
253     int num;
254
255     if ((a == NULL) || (*a == '\0'))
256         return (0);
257     if (*a == '-') {
258         neg = 1;
259         a++;
260     }
261
262     for (i = 0; i <= (INT_MAX/4) && isdigit((unsigned char)a[i]); i++)
263         continue;
264
265     if (i > INT_MAX/4)
266         goto err;
267
268     num = i + neg;
269     if (bn == NULL)
270         return (num);
271
272     /*
273      * a is the start of the digits, and it is 'i' long. We chop it into
274      * BN_DEC_NUM digits at a time
275      */
276     if (*bn == NULL) {
277         if ((ret = BN_new()) == NULL)
278             return (0);
279     } else {
280         ret = *bn;
281         BN_zero(ret);
282     }
283
284     /* i is the number of digits, a bit of an over expand */
285     if (bn_expand(ret, i * 4) == NULL)
286         goto err;
287
288     j = BN_DEC_NUM - (i % BN_DEC_NUM);
289     if (j == BN_DEC_NUM)
290         j = 0;
291     l = 0;
292     while (*a) {
293         l *= 10;
294         l += *a - '0';
295         a++;
296         if (++j == BN_DEC_NUM) {
297             BN_mul_word(ret, BN_DEC_CONV);
298             BN_add_word(ret, l);
299             l = 0;
300             j = 0;
301         }
302     }
303     ret->neg = neg;
304
305     bn_correct_top(ret);
306     *bn = ret;
307     bn_check_top(ret);
308     return (num);
309  err:
310     if (*bn == NULL)
311         BN_free(ret);
312     return (0);
313 }
314
315 int BN_asc2bn(BIGNUM **bn, const char *a)
316 {
317     const char *p = a;
318     if (*p == '-')
319         p++;
320
321     if (p[0] == '0' && (p[1] == 'X' || p[1] == 'x')) {
322         if (!BN_hex2bn(bn, p + 2))
323             return 0;
324     } else {
325         if (!BN_dec2bn(bn, p))
326             return 0;
327     }
328     if (*a == '-')
329         (*bn)->neg = 1;
330     return 1;
331 }
332
333 # ifndef OPENSSL_NO_STDIO
334 int BN_print_fp(FILE *fp, const BIGNUM *a)
335 {
336     BIO *b;
337     int ret;
338
339     if ((b = BIO_new(BIO_s_file())) == NULL)
340         return (0);
341     BIO_set_fp(b, fp, BIO_NOCLOSE);
342     ret = BN_print(b, a);
343     BIO_free(b);
344     return (ret);
345 }
346 # endif
347
348 int BN_print(BIO *bp, const BIGNUM *a)
349 {
350     int i, j, v, z = 0;
351     int ret = 0;
352
353     if ((a->neg) && (BIO_write(bp, "-", 1) != 1))
354         goto end;
355     if (BN_is_zero(a) && (BIO_write(bp, "0", 1) != 1))
356         goto end;
357     for (i = a->top - 1; i >= 0; i--) {
358         for (j = BN_BITS2 - 4; j >= 0; j -= 4) {
359             /* strip leading zeros */
360             v = ((int)(a->d[i] >> (long)j)) & 0x0f;
361             if (z || (v != 0)) {
362                 if (BIO_write(bp, &(Hex[v]), 1) != 1)
363                     goto end;
364                 z = 1;
365             }
366         }
367     }
368     ret = 1;
369  end:
370     return (ret);
371 }
372
373 char *BN_options(void)
374 {
375     static int init = 0;
376     static char data[16];
377
378     if (!init) {
379         init++;
380 #ifdef BN_LLONG
381         BIO_snprintf(data, sizeof data, "bn(%d,%d)",
382                      (int)sizeof(BN_ULLONG) * 8, (int)sizeof(BN_ULONG) * 8);
383 #else
384         BIO_snprintf(data, sizeof data, "bn(%d,%d)",
385                      (int)sizeof(BN_ULONG) * 8, (int)sizeof(BN_ULONG) * 8);
386 #endif
387     }
388     return (data);
389 }