Ensure EVP_EncodeUpdate handles an output length that is too long
[openssl.git] / crypto / evp / encode.c
1 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
2  * All rights reserved.
3  *
4  * This package is an SSL implementation written
5  * by Eric Young (eay@cryptsoft.com).
6  * The implementation was written so as to conform with Netscapes SSL.
7  *
8  * This library is free for commercial and non-commercial use as long as
9  * the following conditions are aheared to.  The following conditions
10  * apply to all code found in this distribution, be it the RC4, RSA,
11  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
12  * included with this distribution is covered by the same copyright terms
13  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
14  *
15  * Copyright remains Eric Young's, and as such any Copyright notices in
16  * the code are not to be removed.
17  * If this package is used in a product, Eric Young should be given attribution
18  * as the author of the parts of the library used.
19  * This can be in the form of a textual message at program startup or
20  * in documentation (online or textual) provided with the package.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 3. All advertising materials mentioning features or use of this software
31  *    must display the following acknowledgement:
32  *    "This product includes cryptographic software written by
33  *     Eric Young (eay@cryptsoft.com)"
34  *    The word 'cryptographic' can be left out if the rouines from the library
35  *    being used are not cryptographic related :-).
36  * 4. If you include any Windows specific code (or a derivative thereof) from
37  *    the apps directory (application code) you must include an acknowledgement:
38  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
39  *
40  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
41  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
42  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
43  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
44  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
45  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
46  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
48  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
49  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
50  * SUCH DAMAGE.
51  *
52  * The licence and distribution terms for any publically available version or
53  * derivative of this code cannot be changed.  i.e. this code cannot simply be
54  * copied and put under another distribution licence
55  * [including the GNU Public Licence.]
56  */
57
58 #include <stdio.h>
59 #include <limits.h>
60 #include "internal/cryptlib.h"
61 #include <openssl/evp.h>
62 #include "evp_locl.h"
63
64 static unsigned char conv_ascii2bin(unsigned char a);
65 #ifndef CHARSET_EBCDIC
66 # define conv_bin2ascii(a)       (data_bin2ascii[(a)&0x3f])
67 #else
68 /*
69  * We assume that PEM encoded files are EBCDIC files (i.e., printable text
70  * files). Convert them here while decoding. When encoding, output is EBCDIC
71  * (text) format again. (No need for conversion in the conv_bin2ascii macro,
72  * as the underlying textstring data_bin2ascii[] is already EBCDIC)
73  */
74 # define conv_bin2ascii(a)       (data_bin2ascii[(a)&0x3f])
75 #endif
76
77 /*-
78  * 64 char lines
79  * pad input with 0
80  * left over chars are set to =
81  * 1 byte  => xx==
82  * 2 bytes => xxx=
83  * 3 bytes => xxxx
84  */
85 #define BIN_PER_LINE    (64/4*3)
86 #define CHUNKS_PER_LINE (64/4)
87 #define CHAR_PER_LINE   (64+1)
88
89 static const unsigned char data_bin2ascii[65] = "ABCDEFGHIJKLMNOPQRSTUVWXYZ\
90 abcdefghijklmnopqrstuvwxyz0123456789+/";
91
92 /*-
93  * 0xF0 is a EOLN
94  * 0xF1 is ignore but next needs to be 0xF0 (for \r\n processing).
95  * 0xF2 is EOF
96  * 0xE0 is ignore at start of line.
97  * 0xFF is error
98  */
99
100 #define B64_EOLN                0xF0
101 #define B64_CR                  0xF1
102 #define B64_EOF                 0xF2
103 #define B64_WS                  0xE0
104 #define B64_ERROR               0xFF
105 #define B64_NOT_BASE64(a)       (((a)|0x13) == 0xF3)
106 #define B64_BASE64(a)           !B64_NOT_BASE64(a)
107
108 static const unsigned char data_ascii2bin[128] = {
109     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
110     0xFF, 0xE0, 0xF0, 0xFF, 0xFF, 0xF1, 0xFF, 0xFF,
111     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
112     0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
113     0xE0, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
114     0xFF, 0xFF, 0xFF, 0x3E, 0xFF, 0xF2, 0xFF, 0x3F,
115     0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x3A, 0x3B,
116     0x3C, 0x3D, 0xFF, 0xFF, 0xFF, 0x00, 0xFF, 0xFF,
117     0xFF, 0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06,
118     0x07, 0x08, 0x09, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E,
119     0x0F, 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16,
120     0x17, 0x18, 0x19, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
121     0xFF, 0x1A, 0x1B, 0x1C, 0x1D, 0x1E, 0x1F, 0x20,
122     0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28,
123     0x29, 0x2A, 0x2B, 0x2C, 0x2D, 0x2E, 0x2F, 0x30,
124     0x31, 0x32, 0x33, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
125 };
126
127 #ifndef CHARSET_EBCDIC
128 static unsigned char conv_ascii2bin(unsigned char a)
129 {
130     if (a & 0x80)
131         return B64_ERROR;
132     return data_ascii2bin[a];
133 }
134 #else
135 static unsigned char conv_ascii2bin(unsigned char a)
136 {
137     a = os_toascii[a];
138     if (a & 0x80)
139         return B64_ERROR;
140     return data_ascii2bin[a];
141 }
142 #endif
143
144 EVP_ENCODE_CTX *EVP_ENCODE_CTX_new(void)
145 {
146     return OPENSSL_zalloc(sizeof(EVP_ENCODE_CTX));
147 }
148
149 void EVP_ENCODE_CTX_free(EVP_ENCODE_CTX *ctx)
150 {
151     OPENSSL_free(ctx);
152 }
153 int EVP_ENCODE_CTX_num(EVP_ENCODE_CTX *ctx)
154 {
155     return ctx->num;
156 }
157
158 void EVP_EncodeInit(EVP_ENCODE_CTX *ctx)
159 {
160     ctx->length = 48;
161     ctx->num = 0;
162     ctx->line_num = 0;
163 }
164
165 void EVP_EncodeUpdate(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl,
166                       const unsigned char *in, int inl)
167 {
168     int i, j;
169     size_t total = 0;
170
171     *outl = 0;
172     if (inl <= 0)
173         return;
174     OPENSSL_assert(ctx->length <= (int)sizeof(ctx->enc_data));
175     if (ctx->length - ctx->num > inl) {
176         memcpy(&(ctx->enc_data[ctx->num]), in, inl);
177         ctx->num += inl;
178         return;
179     }
180     if (ctx->num != 0) {
181         i = ctx->length - ctx->num;
182         memcpy(&(ctx->enc_data[ctx->num]), in, i);
183         in += i;
184         inl -= i;
185         j = EVP_EncodeBlock(out, ctx->enc_data, ctx->length);
186         ctx->num = 0;
187         out += j;
188         *(out++) = '\n';
189         *out = '\0';
190         total = j + 1;
191     }
192     while (inl >= ctx->length && total <= INT_MAX) {
193         j = EVP_EncodeBlock(out, in, ctx->length);
194         in += ctx->length;
195         inl -= ctx->length;
196         out += j;
197         *(out++) = '\n';
198         *out = '\0';
199         total += j + 1;
200     }
201     if (total > INT_MAX) {
202         /* Too much output data! */
203         *outl = 0;
204         return;
205     }
206     if (inl != 0)
207         memcpy(&(ctx->enc_data[0]), in, inl);
208     ctx->num = inl;
209     *outl = total;
210 }
211
212 void EVP_EncodeFinal(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl)
213 {
214     unsigned int ret = 0;
215
216     if (ctx->num != 0) {
217         ret = EVP_EncodeBlock(out, ctx->enc_data, ctx->num);
218         out[ret++] = '\n';
219         out[ret] = '\0';
220         ctx->num = 0;
221     }
222     *outl = ret;
223 }
224
225 int EVP_EncodeBlock(unsigned char *t, const unsigned char *f, int dlen)
226 {
227     int i, ret = 0;
228     unsigned long l;
229
230     for (i = dlen; i > 0; i -= 3) {
231         if (i >= 3) {
232             l = (((unsigned long)f[0]) << 16L) |
233                 (((unsigned long)f[1]) << 8L) | f[2];
234             *(t++) = conv_bin2ascii(l >> 18L);
235             *(t++) = conv_bin2ascii(l >> 12L);
236             *(t++) = conv_bin2ascii(l >> 6L);
237             *(t++) = conv_bin2ascii(l);
238         } else {
239             l = ((unsigned long)f[0]) << 16L;
240             if (i == 2)
241                 l |= ((unsigned long)f[1] << 8L);
242
243             *(t++) = conv_bin2ascii(l >> 18L);
244             *(t++) = conv_bin2ascii(l >> 12L);
245             *(t++) = (i == 1) ? '=' : conv_bin2ascii(l >> 6L);
246             *(t++) = '=';
247         }
248         ret += 4;
249         f += 3;
250     }
251
252     *t = '\0';
253     return (ret);
254 }
255
256 void EVP_DecodeInit(EVP_ENCODE_CTX *ctx)
257 {
258     /* Only ctx->num is used during decoding. */
259     ctx->num = 0;
260     ctx->length = 0;
261     ctx->line_num = 0;
262     ctx->expect_nl = 0;
263 }
264
265 /*-
266  * -1 for error
267  *  0 for last line
268  *  1 for full line
269  *
270  * Note: even though EVP_DecodeUpdate attempts to detect and report end of
271  * content, the context doesn't currently remember it and will accept more data
272  * in the next call. Therefore, the caller is responsible for checking and
273  * rejecting a 0 return value in the middle of content.
274  *
275  * Note: even though EVP_DecodeUpdate has historically tried to detect end of
276  * content based on line length, this has never worked properly. Therefore,
277  * we now return 0 when one of the following is true:
278  *   - Padding or B64_EOF was detected and the last block is complete.
279  *   - Input has zero-length.
280  * -1 is returned if:
281  *   - Invalid characters are detected.
282  *   - There is extra trailing padding, or data after padding.
283  *   - B64_EOF is detected after an incomplete base64 block.
284  */
285 int EVP_DecodeUpdate(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl,
286                      const unsigned char *in, int inl)
287 {
288     int seof = 0, eof = 0, rv = -1, ret = 0, i, v, tmp, n, decoded_len;
289     unsigned char *d;
290
291     n = ctx->num;
292     d = ctx->enc_data;
293
294     if (n > 0 && d[n - 1] == '=') {
295         eof++;
296         if (n > 1 && d[n - 2] == '=')
297             eof++;
298     }
299
300      /* Legacy behaviour: an empty input chunk signals end of input. */
301     if (inl == 0) {
302         rv = 0;
303         goto end;
304     }
305
306     for (i = 0; i < inl; i++) {
307         tmp = *(in++);
308         v = conv_ascii2bin(tmp);
309         if (v == B64_ERROR) {
310             rv = -1;
311             goto end;
312         }
313
314         if (tmp == '=') {
315             eof++;
316         } else if (eof > 0 && B64_BASE64(v)) {
317             /* More data after padding. */
318             rv = -1;
319             goto end;
320         }
321
322         if (eof > 2) {
323             rv = -1;
324             goto end;
325         }
326
327         if (v == B64_EOF) {
328             seof = 1;
329             goto tail;
330         }
331
332         /* Only save valid base64 characters. */
333         if (B64_BASE64(v)) {
334             if (n >= 64) {
335                 /*
336                  * We increment n once per loop, and empty the buffer as soon as
337                  * we reach 64 characters, so this can only happen if someone's
338                  * manually messed with the ctx. Refuse to write any more data.
339                  */
340                 rv = -1;
341                 goto end;
342             }
343             OPENSSL_assert(n < (int)sizeof(ctx->enc_data));
344             d[n++] = tmp;
345         }
346
347         if (n == 64) {
348             decoded_len = EVP_DecodeBlock(out, d, n);
349             n = 0;
350             if (decoded_len < 0 || eof > decoded_len) {
351                 rv = -1;
352                 goto end;
353             }
354             ret += decoded_len - eof;
355             out += decoded_len - eof;
356         }
357     }
358
359     /*
360      * Legacy behaviour: if the current line is a full base64-block (i.e., has
361      * 0 mod 4 base64 characters), it is processed immediately. We keep this
362      * behaviour as applications may not be calling EVP_DecodeFinal properly.
363      */
364 tail:
365     if (n > 0) {
366         if ((n & 3) == 0) {
367             decoded_len = EVP_DecodeBlock(out, d, n);
368             n = 0;
369             if (decoded_len < 0 || eof > decoded_len) {
370                 rv = -1;
371                 goto end;
372             }
373             ret += (decoded_len - eof);
374         } else if (seof) {
375             /* EOF in the middle of a base64 block. */
376             rv = -1;
377             goto end;
378         }
379     }
380
381     rv = seof || (n == 0 && eof) ? 0 : 1;
382 end:
383     /* Legacy behaviour. This should probably rather be zeroed on error. */
384     *outl = ret;
385     ctx->num = n;
386     return (rv);
387 }
388
389 int EVP_DecodeBlock(unsigned char *t, const unsigned char *f, int n)
390 {
391     int i, ret = 0, a, b, c, d;
392     unsigned long l;
393
394     /* trim white space from the start of the line. */
395     while ((conv_ascii2bin(*f) == B64_WS) && (n > 0)) {
396         f++;
397         n--;
398     }
399
400     /*
401      * strip off stuff at the end of the line ascii2bin values B64_WS,
402      * B64_EOLN, B64_EOLN and B64_EOF
403      */
404     while ((n > 3) && (B64_NOT_BASE64(conv_ascii2bin(f[n - 1]))))
405         n--;
406
407     if (n % 4 != 0)
408         return (-1);
409
410     for (i = 0; i < n; i += 4) {
411         a = conv_ascii2bin(*(f++));
412         b = conv_ascii2bin(*(f++));
413         c = conv_ascii2bin(*(f++));
414         d = conv_ascii2bin(*(f++));
415         if ((a & 0x80) || (b & 0x80) || (c & 0x80) || (d & 0x80))
416             return (-1);
417         l = ((((unsigned long)a) << 18L) |
418              (((unsigned long)b) << 12L) |
419              (((unsigned long)c) << 6L) | (((unsigned long)d)));
420         *(t++) = (unsigned char)(l >> 16L) & 0xff;
421         *(t++) = (unsigned char)(l >> 8L) & 0xff;
422         *(t++) = (unsigned char)(l) & 0xff;
423         ret += 3;
424     }
425     return (ret);
426 }
427
428 int EVP_DecodeFinal(EVP_ENCODE_CTX *ctx, unsigned char *out, int *outl)
429 {
430     int i;
431
432     *outl = 0;
433     if (ctx->num != 0) {
434         i = EVP_DecodeBlock(out, ctx->enc_data, ctx->num);
435         if (i < 0)
436             return (-1);
437         ctx->num = 0;
438         *outl = i;
439         return (1);
440     } else
441         return (1);
442 }