The encoding of negative ASN1 INTEGERs and the conversion of BNs to negative
[openssl.git] / crypto / asn1 / a_int.c
1 /* crypto/asn1/a_int.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include "cryptlib.h"
61 #include <openssl/asn1.h>
62
63 /* 
64  * This converts an ASN1 INTEGER into its DER encoding.
65  * The internal representation is an ASN1_STRING whose data is a big endian
66  * representation of the value, ignoring the sign. The sign is determined by
67  * the type: V_ASN1_INTEGER for positive and V_ASN1_NEG_INTEGER for negative. 
68  *
69  * Positive integers are no problem: they are almost the same as the DER
70  * encoding, except if the first byte is >= 0x80 we need to add a zero pad.
71  *
72  * Negative integers are a bit trickier...
73  * The DER representation of negative integers is in 2s complement form.
74  * The internal form is converted by complementing each octet and finally 
75  * adding one to the result. This can be done less messily with a little trick.
76  * If the internal form has trailing zeroes then they will become FF by the
77  * complement and 0 by the add one (due to carry) so just copy as many trailing 
78  * zeros to the destination as there are in the source. The carry will add one
79  * to the last none zero octet: so complement this octet and add one and finally
80  * complement any left over until you get to the start of the string.
81  *
82  * Padding is a little trickier too. If the first bytes is > 0x80 then we pad
83  * with 0xff. However if the first byte is 0x80 and one of the following bytes
84  * is non-zero we pad with 0xff. The reason for this distinction is that 0x80
85  * followed by optional zeros isn't padded.
86  */
87
88 int i2d_ASN1_INTEGER(ASN1_INTEGER *a, unsigned char **pp)
89         {
90         int pad=0,ret,r,i,t;
91         unsigned char *p,*n,pb=0;
92
93         if ((a == NULL) || (a->data == NULL)) return(0);
94         t=a->type;
95         if (a->length == 0)
96                 ret=1;
97         else
98                 {
99                 ret=a->length;
100                 i=a->data[0];
101                 if ((t == V_ASN1_INTEGER) && (i > 127)) {
102                         pad=1;
103                         pb=0;
104                 } else if(t == V_ASN1_NEG_INTEGER) {
105                         if(i>128) {
106                                 pad=1;
107                                 pb=0xFF;
108                         } else if(i == 128) {
109                         /*
110                          * Special case: if any other bytes non zero we pad:
111                          * otherwise we don't.
112                          */
113                                 for(i = 1; i < a->length; i++) if(a->data[i]) {
114                                                 pad=1;
115                                                 pb=0xFF;
116                                                 break;
117                                 }
118                         }
119                 }
120                 ret+=pad;
121                 }
122         r=ASN1_object_size(0,ret,V_ASN1_INTEGER);
123         if (pp == NULL) return(r);
124         p= *pp;
125
126         ASN1_put_object(&p,0,ret,V_ASN1_INTEGER,V_ASN1_UNIVERSAL);
127         if (pad) *(p++)=pb;
128         if (a->length == 0)
129                 *(p++)=0;
130         else if (t == V_ASN1_INTEGER)
131                 {
132                 memcpy(p,a->data,(unsigned int)a->length);
133                 p+=a->length;
134                 }
135         else {
136                 /* Begin at the end of the encoding */
137                 n=a->data + a->length - 1;
138                 p += a->length - 1;
139                 i = a->length;
140                 /* Copy zeros to destination as long as source is zero */
141                 while(!*n) {
142                         *(p--) = 0;
143                         n--;
144                         i--;
145                 }
146                 /* Complement and increment next octet */
147                 *(p--) = ((*(n--)) ^ 0xff) + 1;
148                 i--;
149                 /* Complement any octets left */
150                 for(;i > 0; i--) *(p--) = *(n--) ^ 0xff;
151                 p += a->length;
152         }
153
154         *pp=p;
155         return(r);
156         }
157
158 ASN1_INTEGER *d2i_ASN1_INTEGER(ASN1_INTEGER **a, unsigned char **pp,
159              long length)
160         {
161         ASN1_INTEGER *ret=NULL;
162         unsigned char *p,*to,*s;
163         long len;
164         int inf,tag,xclass;
165         int i;
166
167         if ((a == NULL) || ((*a) == NULL))
168                 {
169                 if ((ret=ASN1_INTEGER_new()) == NULL) return(NULL);
170                 ret->type=V_ASN1_INTEGER;
171                 }
172         else
173                 ret=(*a);
174
175         p= *pp;
176         inf=ASN1_get_object(&p,&len,&tag,&xclass,length);
177         if (inf & 0x80)
178                 {
179                 i=ASN1_R_BAD_OBJECT_HEADER;
180                 goto err;
181                 }
182
183         if (tag != V_ASN1_INTEGER)
184                 {
185                 i=ASN1_R_EXPECTING_AN_INTEGER;
186                 goto err;
187                 }
188
189         /* We must Malloc stuff, even for 0 bytes otherwise it
190          * signifies a missing NULL parameter. */
191         s=(unsigned char *)Malloc((int)len+1);
192         if (s == NULL)
193                 {
194                 i=ERR_R_MALLOC_FAILURE;
195                 goto err;
196                 }
197         to=s;
198         if (*p & 0x80) /* a negative number */
199                 {
200                 ret->type=V_ASN1_NEG_INTEGER;
201                 if ((*p == 0xff) && (len != 1)) {
202                         p++;
203                         len--;
204                 }
205                 i = len;
206                 p += i - 1;
207                 to += i - 1;
208                 while((!*p) && i) {
209                         *(to--) = 0;
210                         i--;
211                         p--;
212                 }
213                 /* Special case: if all zeros then the number will be of
214                  * the form FF followed by n zero bytes: this corresponds to
215                  * 1 followed by n zero bytes. We've already written n zeros
216                  * so we just append an extra one and set the first byte to
217                  * a 1. This is treated separately because it is the only case
218                  * where the number of bytes is larger than len.
219                  */
220                 if(!i) {
221                         *s = 1;
222                         s[len] = 0;
223                         p += len;
224                         len++;
225                 } else {
226                         *(to--) = (*(p--) ^ 0xff) + 1;
227                         i--;
228                         for(;i > 0; i--) *(to--) = *(p--) ^ 0xff;
229                         p += len;
230                 }
231         } else {
232                 ret->type=V_ASN1_INTEGER;
233                 if ((*p == 0) && (len != 1))
234                         {
235                         p++;
236                         len--;
237                         }
238                 memcpy(s,p,(int)len);
239                 p+=len;
240         }
241
242         if (ret->data != NULL) Free((char *)ret->data);
243         ret->data=s;
244         ret->length=(int)len;
245         if (a != NULL) (*a)=ret;
246         *pp=p;
247         return(ret);
248 err:
249         ASN1err(ASN1_F_D2I_ASN1_INTEGER,i);
250         if ((ret != NULL) && ((a == NULL) || (*a != ret)))
251                 ASN1_INTEGER_free(ret);
252         return(NULL);
253         }
254
255 /* This is a version of d2i_ASN1_INTEGER that ignores the sign bit of
256  * ASN1 integers: some broken software can encode a positive INTEGER
257  * with its MSB set as negative (it doesn't add a padding zero).
258  */
259
260 ASN1_INTEGER *d2i_ASN1_UINTEGER(ASN1_INTEGER **a, unsigned char **pp,
261              long length)
262         {
263         ASN1_INTEGER *ret=NULL;
264         unsigned char *p,*to,*s;
265         long len;
266         int inf,tag,xclass;
267         int i;
268
269         if ((a == NULL) || ((*a) == NULL))
270                 {
271                 if ((ret=ASN1_INTEGER_new()) == NULL) return(NULL);
272                 ret->type=V_ASN1_INTEGER;
273                 }
274         else
275                 ret=(*a);
276
277         p= *pp;
278         inf=ASN1_get_object(&p,&len,&tag,&xclass,length);
279         if (inf & 0x80)
280                 {
281                 i=ASN1_R_BAD_OBJECT_HEADER;
282                 goto err;
283                 }
284
285         if (tag != V_ASN1_INTEGER)
286                 {
287                 i=ASN1_R_EXPECTING_AN_INTEGER;
288                 goto err;
289                 }
290
291         /* We must Malloc stuff, even for 0 bytes otherwise it
292          * signifies a missing NULL parameter. */
293         s=(unsigned char *)Malloc((int)len+1);
294         if (s == NULL)
295                 {
296                 i=ERR_R_MALLOC_FAILURE;
297                 goto err;
298                 }
299         to=s;
300                 ret->type=V_ASN1_INTEGER;
301                 if ((*p == 0) && (len != 1))
302                         {
303                         p++;
304                         len--;
305                         }
306                 memcpy(s,p,(int)len);
307                 p+=len;
308
309         if (ret->data != NULL) Free((char *)ret->data);
310         ret->data=s;
311         ret->length=(int)len;
312         if (a != NULL) (*a)=ret;
313         *pp=p;
314         return(ret);
315 err:
316         ASN1err(ASN1_F_D2I_ASN1_UINTEGER,i);
317         if ((ret != NULL) && ((a == NULL) || (*a != ret)))
318                 ASN1_INTEGER_free(ret);
319         return(NULL);
320         }
321
322 int ASN1_INTEGER_set(ASN1_INTEGER *a, long v)
323         {
324         int i,j,k;
325         unsigned char buf[sizeof(long)+1];
326         long d;
327
328         a->type=V_ASN1_INTEGER;
329         if (a->length < (sizeof(long)+1))
330                 {
331                 if (a->data != NULL)
332                         Free((char *)a->data);
333                 if ((a->data=(unsigned char *)Malloc(sizeof(long)+1)) != NULL)
334                         memset((char *)a->data,0,sizeof(long)+1);
335                 }
336         if (a->data == NULL)
337                 {
338                 ASN1err(ASN1_F_ASN1_INTEGER_SET,ERR_R_MALLOC_FAILURE);
339                 return(0);
340                 }
341         d=v;
342         if (d < 0)
343                 {
344                 d= -d;
345                 a->type=V_ASN1_NEG_INTEGER;
346                 }
347
348         for (i=0; i<sizeof(long); i++)
349                 {
350                 if (d == 0) break;
351                 buf[i]=(int)d&0xff;
352                 d>>=8;
353                 }
354         j=0;
355         for (k=i-1; k >=0; k--)
356                 a->data[j++]=buf[k];
357         a->length=j;
358         return(1);
359         }
360
361 long ASN1_INTEGER_get(ASN1_INTEGER *a)
362         {
363         int neg=0,i;
364         long r=0;
365
366         if (a == NULL) return(0L);
367         i=a->type;
368         if (i == V_ASN1_NEG_INTEGER)
369                 neg=1;
370         else if (i != V_ASN1_INTEGER)
371                 return(0);
372         
373         if (a->length > sizeof(long))
374                 {
375                 /* hmm... a bit ugly */
376                 return(0xffffffffL);
377                 }
378         if (a->data == NULL)
379                 return(0);
380
381         for (i=0; i<a->length; i++)
382                 {
383                 r<<=8;
384                 r|=(unsigned char)a->data[i];
385                 }
386         if (neg) r= -r;
387         return(r);
388         }
389
390 ASN1_INTEGER *BN_to_ASN1_INTEGER(BIGNUM *bn, ASN1_INTEGER *ai)
391         {
392         ASN1_INTEGER *ret;
393         int len,j;
394
395         if (ai == NULL)
396                 ret=ASN1_INTEGER_new();
397         else
398                 ret=ai;
399         if (ret == NULL)
400                 {
401                 ASN1err(ASN1_F_BN_TO_ASN1_INTEGER,ERR_R_NESTED_ASN1_ERROR);
402                 goto err;
403                 }
404         if(bn->neg) ret->type = V_ASN1_NEG_INTEGER;
405         else ret->type=V_ASN1_INTEGER;
406         j=BN_num_bits(bn);
407         len=((j == 0)?0:((j/8)+1));
408         ret->data=(unsigned char *)Malloc(len+4);
409         ret->length=BN_bn2bin(bn,ret->data);
410         return(ret);
411 err:
412         if (ret != ai) ASN1_INTEGER_free(ret);
413         return(NULL);
414         }
415
416 BIGNUM *ASN1_INTEGER_to_BN(ASN1_INTEGER *ai, BIGNUM *bn)
417         {
418         BIGNUM *ret;
419
420         if ((ret=BN_bin2bn(ai->data,ai->length,bn)) == NULL)
421                 ASN1err(ASN1_F_ASN1_INTEGER_TO_BN,ASN1_R_BN_LIB);
422         if(ai->type == V_ASN1_NEG_INTEGER) bn->neg = 1;
423         return(ret);
424         }