RT3757: base64 encoding bugs
[openssl.git] / crypto / evp / encode.c
1 /* crypto/evp/encode.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  *
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  *
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  *
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  *
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  *
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #include <stdio.h>
60 #include "cryptlib.h"
61 #include <openssl/evp.h>
62
63 #ifndef CHARSET_EBCDIC
64 # define conv_bin2ascii(a)       (data_bin2ascii[(a)&0x3f])
65 # define conv_ascii2bin(a)       (data_ascii2bin[(a)&0x7f])
66 #else
67 /*
68  * We assume that PEM encoded files are EBCDIC files (i.e., printable text
69  * files). Convert them here while decoding. When encoding, output is EBCDIC
70  * (text) format again. (No need for conversion in the conv_bin2ascii macro,
71  * as the underlying textstring data_bin2ascii[] is already EBCDIC)
72  */
73 # define conv_bin2ascii(a)       (data_bin2ascii[(a)&0x3f])
74 # define conv_ascii2bin(a)       (data_ascii2bin[os_toascii[a]&0x7f])
75 #endif
76
77 /*-
78  * 64 char lines
79  * pad input with 0
80  * left over chars are set to =
81  * 1 byte  => xx==
82  * 2 bytes => xxx=
83  * 3 bytes => xxxx
84  */
85 #define BIN_PER_LINE    (64/4*3)
86 #define CHUNKS_PER_LINE (64/4)
87 #define CHAR_PER_LINE   (64+1)
88
89 static const unsigned char data_bin2ascii[65] = "ABCDEFGHIJKLMNOPQRSTUVWXYZ\
90 abcdefghijklmnopqrstuvwxyz0123456789+/";
91
92 /*-
93  * 0xF0 is a EOLN
94  * 0xF1 is ignore but next needs to be 0xF0 (for \r\n processing).
95  * 0xF2 is EOF
96  * 0xE0 is ignore at start of line.
97  * 0xFF is error
98  */
99
100 #define B64_EOLN                0xF0
101 #define B64_CR                  0xF1
102 #define B64_EOF                 0xF2
103 #define B64_WS                  0xE0
104 #define B64_ERROR               0xFF
105 #define B64_NOT_BASE64(a)       (((a)|0x13) == 0xF3)
106 #define B64_BASE64(a)           !B64_NOT_BASE64(a)
107
108 static const unsigned char data_ascii2bin[128] = {
109     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
110     0xFF, 0xE0, 0xF0, 0xFF, 0xFF, 0xF1, 0xFF, 0xFF,
111     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
112     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
113     0xE0, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
114     0xFF, 0xFF, 0xFF, 0x3E, 0xFF, 0xF2, 0xFF, 0x3F,
115     0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x3A, 0x3B,
116     0x3C, 0x3D, 0xFF, 0xFF, 0xFF, 0x00, 0xFF, 0xFF,
117     0xFF, 0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06,
118     0x07, 0x08, 0x09, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E,
119     0x0F, 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16,
120     0x17, 0x18, 0x19, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
121     0xFF, 0x1A, 0x1B, 0x1C, 0x1D, 0x1E, 0x1F, 0x20,
122     0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28,
123     0x29, 0x2A, 0x2B, 0x2C, 0x2D, 0x2E, 0x2F, 0x30,
124     0x31, 0x32, 0x33, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
125 };
126
127 void EVP_EncodeInit(EVP_ENCODE_CTX *ctx)
128 {
129     ctx->length = 48;
130     ctx->num = 0;
131     ctx->line_num = 0;
132 }
133
134 void EVP_EncodeUpdate(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl,
135                       const unsigned char *in, int inl)
136 {
137     int i, j;
138     unsigned int total = 0;
139
140     *outl = 0;
141     if (inl <= 0)
142         return;
143     OPENSSL_assert(ctx->length <= (int)sizeof(ctx->enc_data));
144     if ((ctx->num + inl) < ctx->length) {
145         memcpy(&(ctx->enc_data[ctx->num]), in, inl);
146         ctx->num += inl;
147         return;
148     }
149     if (ctx->num != 0) {
150         i = ctx->length - ctx->num;
151         memcpy(&(ctx->enc_data[ctx->num]), in, i);
152         in += i;
153         inl -= i;
154         j = EVP_EncodeBlock(out, ctx->enc_data, ctx->length);
155         ctx->num = 0;
156         out += j;
157         *(out++) = '\n';
158         *out = '\0';
159         total = j + 1;
160     }
161     while (inl >= ctx->length) {
162         j = EVP_EncodeBlock(out, in, ctx->length);
163         in += ctx->length;
164         inl -= ctx->length;
165         out += j;
166         *(out++) = '\n';
167         *out = '\0';
168         total += j + 1;
169     }
170     if (inl != 0)
171         memcpy(&(ctx->enc_data[0]), in, inl);
172     ctx->num = inl;
173     *outl = total;
174 }
175
176 void EVP_EncodeFinal(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl)
177 {
178     unsigned int ret = 0;
179
180     if (ctx->num != 0) {
181         ret = EVP_EncodeBlock(out, ctx->enc_data, ctx->num);
182         out[ret++] = '\n';
183         out[ret] = '\0';
184         ctx->num = 0;
185     }
186     *outl = ret;
187 }
188
189 int EVP_EncodeBlock(unsigned char *t, const unsigned char *f, int dlen)
190 {
191     int i, ret = 0;
192     unsigned long l;
193
194     for (i = dlen; i > 0; i -= 3) {
195         if (i >= 3) {
196             l = (((unsigned long)f[0]) << 16L) |
197                 (((unsigned long)f[1]) << 8L) | f[2];
198             *(t++) = conv_bin2ascii(l >> 18L);
199             *(t++) = conv_bin2ascii(l >> 12L);
200             *(t++) = conv_bin2ascii(l >> 6L);
201             *(t++) = conv_bin2ascii(l);
202         } else {
203             l = ((unsigned long)f[0]) << 16L;
204             if (i == 2)
205                 l |= ((unsigned long)f[1] << 8L);
206
207             *(t++) = conv_bin2ascii(l >> 18L);
208             *(t++) = conv_bin2ascii(l >> 12L);
209             *(t++) = (i == 1) ? '=' : conv_bin2ascii(l >> 6L);
210             *(t++) = '=';
211         }
212         ret += 4;
213         f += 3;
214     }
215
216     *t = '\0';
217     return (ret);
218 }
219
220 void EVP_DecodeInit(EVP_ENCODE_CTX *ctx)
221 {
222     /* Only ctx->num is used during decoding. */
223     ctx->num = 0;
224     ctx->length = 0;
225     ctx->line_num = 0;
226     ctx->expect_nl = 0;
227 }
228
229 /*-
230  * -1 for error
231  *  0 for last line
232  *  1 for full line
233  *
234  * Note: even though EVP_DecodeUpdate attempts to detect and report end of
235  * content, the context doesn't currently remember it and will accept more data
236  * in the next call. Therefore, the caller is responsible for checking and
237  * rejecting a 0 return value in the middle of content.
238  *
239  * Note: even though EVP_DecodeUpdate has historically tried to detect end of
240  * content based on line length, this has never worked properly. Therefore,
241  * we now return 0 when one of the following is true:
242  *   - Padding or B64_EOF was detected and the last block is complete.
243  *   - Input has zero-length.
244  * -1 is returned if:
245  *   - Invalid characters are detected.
246  *   - There is extra trailing padding, or data after padding.
247  *   - B64_EOF is detected after an incomplete base64 block.
248  */
249 int EVP_DecodeUpdate(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl,
250                      const unsigned char *in, int inl)
251 {
252     int seof = 0, eof = 0, rv = -1, ret = 0, i, v, tmp, n, decoded_len;
253     unsigned char *d;
254
255     n = ctx->num;
256     d = ctx->enc_data;
257
258     if (n > 0 && d[n - 1] == '=') {
259         eof++;
260         if (n > 1 && d[n - 2] == '=')
261             eof++;
262     }
263
264      /* Legacy behaviour: an empty input chunk signals end of input. */
265     if (inl == 0) {
266         rv = 0;
267         goto end;
268     }
269
270     for (i = 0; i < inl; i++) {
271         tmp = *(in++);
272         v = conv_ascii2bin(tmp);
273         if (v == B64_ERROR) {
274             rv = -1;
275             goto end;
276         }
277
278         if (tmp == '=') {
279             eof++;
280         } else if (eof > 0 && B64_BASE64(v)) {
281             /* More data after padding. */
282             rv = -1;
283             goto end;
284         }
285
286         if (eof > 2) {
287             rv = -1;
288             goto end;
289         }
290
291         if (v == B64_EOF) {
292             seof = 1;
293             goto tail;
294         }
295
296         /* Only save valid base64 characters. */
297         if (B64_BASE64(v)) {
298             if (n >= 64) {
299                 /*
300                  * We increment n once per loop, and empty the buffer as soon as
301                  * we reach 64 characters, so this can only happen if someone's
302                  * manually messed with the ctx. Refuse to write any more data.
303                  */
304                 rv = -1;
305                 goto end;
306             }
307             OPENSSL_assert(n < (int)sizeof(ctx->enc_data));
308             d[n++] = tmp;
309         }
310
311         if (n == 64) {
312             decoded_len = EVP_DecodeBlock(out, d, n);
313             n = 0;
314             if (decoded_len < 0 || eof > decoded_len) {
315                 rv = -1;
316                 goto end;
317             }
318             ret += decoded_len - eof;
319             out += decoded_len - eof;
320         }
321     }
322
323     /*
324      * Legacy behaviour: if the current line is a full base64-block (i.e., has
325      * 0 mod 4 base64 characters), it is processed immediately. We keep this
326      * behaviour as applications may not be calling EVP_DecodeFinal properly.
327      */
328 tail:
329     if (n > 0) {
330         if ((n & 3) == 0) {
331         decoded_len = EVP_DecodeBlock(out, d, n);
332         n = 0;
333         if (decoded_len < 0 || eof > decoded_len) {
334             rv = -1;
335             goto end;
336         }
337         ret += (decoded_len - eof);
338         } else if (seof) {
339             /* EOF in the middle of a base64 block. */
340             rv = -1;
341             goto end;
342         }
343     }
344
345     rv = seof || (n == 0 && eof) ? 0 : 1;
346 end:
347     /* Legacy behaviour. This should probably rather be zeroed on error. */
348     *outl = ret;
349     ctx->num = n;
350     return (rv);
351 }
352
353 int EVP_DecodeBlock(unsigned char *t, const unsigned char *f, int n)
354 {
355     int i, ret = 0, a, b, c, d;
356     unsigned long l;
357
358     /* trim white space from the start of the line. */
359     while ((conv_ascii2bin(*f) == B64_WS) && (n > 0)) {
360         f++;
361         n--;
362     }
363
364     /*
365      * strip off stuff at the end of the line ascii2bin values B64_WS,
366      * B64_EOLN, B64_EOLN and B64_EOF
367      */
368     while ((n > 3) && (B64_NOT_BASE64(conv_ascii2bin(f[n - 1]))))
369         n--;
370
371     if (n % 4 != 0)
372         return (-1);
373
374     for (i = 0; i < n; i += 4) {
375         a = conv_ascii2bin(*(f++));
376         b = conv_ascii2bin(*(f++));
377         c = conv_ascii2bin(*(f++));
378         d = conv_ascii2bin(*(f++));
379         if ((a & 0x80) || (b & 0x80) || (c & 0x80) || (d & 0x80))
380             return (-1);
381         l = ((((unsigned long)a) << 18L) |
382              (((unsigned long)b) << 12L) |
383              (((unsigned long)c) << 6L) | (((unsigned long)d)));
384         *(t++) = (unsigned char)(l >> 16L) & 0xff;
385         *(t++) = (unsigned char)(l >> 8L) & 0xff;
386         *(t++) = (unsigned char)(l) & 0xff;
387         ret += 3;
388     }
389     return (ret);
390 }
391
392 int EVP_DecodeFinal(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl)
393 {
394     int i;
395
396     *outl = 0;
397     if (ctx->num != 0) {
398         i = EVP_DecodeBlock(out, ctx->enc_data, ctx->num);
399         if (i < 0)
400             return (-1);
401         ctx->num = 0;
402         *outl = i;
403         return (1);
404     } else
405         return (1);
406 }
407
408 #ifdef undef
409 int EVP_DecodeValid(unsigned char *buf, int len)
410 {
411     int i, num = 0, bad = 0;
412
413     if (len == 0)
414         return (-1);
415     while (conv_ascii2bin(*buf) == B64_WS) {
416         buf++;
417         len--;
418         if (len == 0)
419             return (-1);
420     }
421
422     for (i = len; i >= 4; i -= 4) {
423         if ((conv_ascii2bin(buf[0]) >= 0x40) ||
424             (conv_ascii2bin(buf[1]) >= 0x40) ||
425             (conv_ascii2bin(buf[2]) >= 0x40) ||
426             (conv_ascii2bin(buf[3]) >= 0x40))
427             return (-1);
428         buf += 4;
429         num += 1 + (buf[2] != '=') + (buf[3] != '=');
430     }
431     if ((i == 1) && (conv_ascii2bin(buf[0]) == B64_EOLN))
432         return (num);
433     if ((i == 2) && (conv_ascii2bin(buf[0]) == B64_EOLN) &&
434         (conv_ascii2bin(buf[0]) == B64_EOLN))
435         return (num);
436     return (1);
437 }
438 #endif