RT4337: Crash in DES
[openssl.git] / crypto / des / fcrypt.c
1 /*
2  * Copyright 1998-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /* NOCW */
11 #include <stdio.h>
12 #ifdef _OSD_POSIX
13 # ifndef CHARSET_EBCDIC
14 #  define CHARSET_EBCDIC 1
15 # endif
16 #endif
17 #ifdef CHARSET_EBCDIC
18 # include <openssl/ebcdic.h>
19 #endif
20
21 #include <openssl/crypto.h>
22 #include "des_locl.h"
23
24 /*
25  * Added more values to handle illegal salt values the way normal crypt()
26  * implementations do.  The patch was sent by Bjorn Gronvall <bg@sics.se>
27  */
28 static unsigned const char con_salt[128] = {
29     0xD2, 0xD3, 0xD4, 0xD5, 0xD6, 0xD7, 0xD8, 0xD9,
30     0xDA, 0xDB, 0xDC, 0xDD, 0xDE, 0xDF, 0xE0, 0xE1,
31     0xE2, 0xE3, 0xE4, 0xE5, 0xE6, 0xE7, 0xE8, 0xE9,
32     0xEA, 0xEB, 0xEC, 0xED, 0xEE, 0xEF, 0xF0, 0xF1,
33     0xF2, 0xF3, 0xF4, 0xF5, 0xF6, 0xF7, 0xF8, 0xF9,
34     0xFA, 0xFB, 0xFC, 0xFD, 0xFE, 0xFF, 0x00, 0x01,
35     0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09,
36     0x0A, 0x0B, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0A,
37     0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0x10, 0x11, 0x12,
38     0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1A,
39     0x1B, 0x1C, 0x1D, 0x1E, 0x1F, 0x20, 0x21, 0x22,
40     0x23, 0x24, 0x25, 0x20, 0x21, 0x22, 0x23, 0x24,
41     0x25, 0x26, 0x27, 0x28, 0x29, 0x2A, 0x2B, 0x2C,
42     0x2D, 0x2E, 0x2F, 0x30, 0x31, 0x32, 0x33, 0x34,
43     0x35, 0x36, 0x37, 0x38, 0x39, 0x3A, 0x3B, 0x3C,
44     0x3D, 0x3E, 0x3F, 0x40, 0x41, 0x42, 0x43, 0x44,
45 };
46
47 static unsigned const char cov_2char[64] = {
48     0x2E, 0x2F, 0x30, 0x31, 0x32, 0x33, 0x34, 0x35,
49     0x36, 0x37, 0x38, 0x39, 0x41, 0x42, 0x43, 0x44,
50     0x45, 0x46, 0x47, 0x48, 0x49, 0x4A, 0x4B, 0x4C,
51     0x4D, 0x4E, 0x4F, 0x50, 0x51, 0x52, 0x53, 0x54,
52     0x55, 0x56, 0x57, 0x58, 0x59, 0x5A, 0x61, 0x62,
53     0x63, 0x64, 0x65, 0x66, 0x67, 0x68, 0x69, 0x6A,
54     0x6B, 0x6C, 0x6D, 0x6E, 0x6F, 0x70, 0x71, 0x72,
55     0x73, 0x74, 0x75, 0x76, 0x77, 0x78, 0x79, 0x7A
56 };
57
58 char *DES_crypt(const char *buf, const char *salt)
59 {
60     static char buff[14];
61
62 #ifndef CHARSET_EBCDIC
63     return (DES_fcrypt(buf, salt, buff));
64 #else
65     char e_salt[2 + 1];
66     char e_buf[32 + 1];         /* replace 32 by 8 ? */
67     char *ret;
68
69     if (salt[0] == '\0' || salt[1] == '\0')
70         return NULL;
71
72     /* Copy salt, convert to ASCII. */
73     e_salt[0] = salt[0];
74     e_salt[1] = salt[1];
75     e_salt[2] = '\0';
76     ebcdic2ascii(e_salt, e_salt, sizeof(e_salt));
77
78     /* Convert password to ASCII. */
79     OPENSSL_strlcpy(e_buf, buf, sizeof(e_buf));
80     ebcdic2ascii(e_buf, e_buf, sizeof e_buf);
81
82     /* Encrypt it (from/to ASCII); if it worked, convert back. */
83     ret = DES_fcrypt(e_buf, e_salt, buff);
84     if (ret != NULL)
85         ascii2ebcdic(ret, ret, strlen(ret));
86
87     return ret;
88 #endif
89 }
90
91 char *DES_fcrypt(const char *buf, const char *salt, char *ret)
92 {
93     unsigned int i, j, x, y;
94     DES_LONG Eswap0, Eswap1;
95     DES_LONG out[2], ll;
96     DES_cblock key;
97     DES_key_schedule ks;
98     unsigned char bb[9];
99     unsigned char *b = bb;
100     unsigned char c, u;
101
102     x = ret[0] = salt[0];
103     if (x == 0 || x >= sizeof(con_salt))
104         return NULL;
105     Eswap0 = con_salt[x] << 2;
106     x = ret[1] = salt[1];
107     if (x == 0 || x >= sizeof(con_salt))
108         return NULL;
109     Eswap1 = con_salt[x] << 6;
110
111     /*
112      * EAY r=strlen(buf); r=(r+7)/8;
113      */
114     for (i = 0; i < 8; i++) {
115         c = *(buf++);
116         if (!c)
117             break;
118         key[i] = (c << 1);
119     }
120     for (; i < 8; i++)
121         key[i] = 0;
122
123     DES_set_key_unchecked(&key, &ks);
124     fcrypt_body(&(out[0]), &ks, Eswap0, Eswap1);
125
126     ll = out[0];
127     l2c(ll, b);
128     ll = out[1];
129     l2c(ll, b);
130     y = 0;
131     u = 0x80;
132     bb[8] = 0;
133     for (i = 2; i < 13; i++) {
134         c = 0;
135         for (j = 0; j < 6; j++) {
136             c <<= 1;
137             if (bb[y] & u)
138                 c |= 1;
139             u >>= 1;
140             if (!u) {
141                 y++;
142                 u = 0x80;
143             }
144         }
145         ret[i] = cov_2char[c];
146     }
147     ret[13] = '\0';
148     return (ret);
149 }