rsa: replace magic number '11' by RSA_PKCS1_PADDING_SIZE
[openssl.git] / crypto / rsa / rsa_ssl.c
1 /*
2  * Copyright 1995-2019 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/bn.h>
13 #include <openssl/rsa.h>
14 #include <openssl/rand.h>
15 #include "internal/constant_time.h"
16
17 int RSA_padding_add_SSLv23(unsigned char *to, int tlen,
18                            const unsigned char *from, int flen)
19 {
20     int i, j;
21     unsigned char *p;
22
23     if (flen > (tlen - RSA_PKCS1_PADDING_SIZE)) {
24         RSAerr(RSA_F_RSA_PADDING_ADD_SSLV23,
25                RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
26         return 0;
27     }
28
29     p = (unsigned char *)to;
30
31     *(p++) = 0;
32     *(p++) = 2;                 /* Public Key BT (Block Type) */
33
34     /* pad out with non-zero random data */
35     j = tlen - 3 - 8 - flen;
36
37     if (RAND_bytes(p, j) <= 0)
38         return 0;
39     for (i = 0; i < j; i++) {
40         if (*p == '\0')
41             do {
42                 if (RAND_bytes(p, 1) <= 0)
43                     return 0;
44             } while (*p == '\0');
45         p++;
46     }
47
48     memset(p, 3, 8);
49     p += 8;
50     *(p++) = '\0';
51
52     memcpy(p, from, (unsigned int)flen);
53     return 1;
54 }
55
56 /*
57  * Copy of RSA_padding_check_PKCS1_type_2 with a twist that rejects padding
58  * if nul delimiter is not preceded by 8 consecutive 0x03 bytes. It also
59  * preserves error code reporting for backward compatibility.
60  */
61 int RSA_padding_check_SSLv23(unsigned char *to, int tlen,
62                              const unsigned char *from, int flen, int num)
63 {
64     int i;
65     /* |em| is the encoded message, zero-padded to exactly |num| bytes */
66     unsigned char *em = NULL;
67     unsigned int good, found_zero_byte, mask, threes_in_row;
68     int zero_index = 0, msg_index, mlen = -1, err;
69
70     if (tlen <= 0 || flen <= 0)
71         return -1;
72
73     if (flen > num || num < RSA_PKCS1_PADDING_SIZE) {
74         RSAerr(RSA_F_RSA_PADDING_CHECK_SSLV23, RSA_R_DATA_TOO_SMALL);
75         return -1;
76     }
77
78     em = OPENSSL_malloc(num);
79     if (em == NULL) {
80         RSAerr(RSA_F_RSA_PADDING_CHECK_SSLV23, ERR_R_MALLOC_FAILURE);
81         return -1;
82     }
83     /*
84      * Caller is encouraged to pass zero-padded message created with
85      * BN_bn2binpad. Trouble is that since we can't read out of |from|'s
86      * bounds, it's impossible to have an invariant memory access pattern
87      * in case |from| was not zero-padded in advance.
88      */
89     for (from += flen, em += num, i = 0; i < num; i++) {
90         mask = ~constant_time_is_zero(flen);
91         flen -= 1 & mask;
92         from -= 1 & mask;
93         *--em = *from & mask;
94     }
95
96     good = constant_time_is_zero(em[0]);
97     good &= constant_time_eq(em[1], 2);
98     err = constant_time_select_int(good, 0, RSA_R_BLOCK_TYPE_IS_NOT_02);
99     mask = ~good;
100
101     /* scan over padding data */
102     found_zero_byte = 0;
103     threes_in_row = 0;
104     for (i = 2; i < num; i++) {
105         unsigned int equals0 = constant_time_is_zero(em[i]);
106
107         zero_index = constant_time_select_int(~found_zero_byte & equals0,
108                                               i, zero_index);
109         found_zero_byte |= equals0;
110
111         threes_in_row += 1 & ~found_zero_byte;
112         threes_in_row &= found_zero_byte | constant_time_eq(em[i], 3);
113     }
114
115     /*
116      * PS must be at least 8 bytes long, and it starts two bytes into |em|.
117      * If we never found a 0-byte, then |zero_index| is 0 and the check
118      * also fails.
119      */
120     good &= constant_time_ge(zero_index, 2 + 8);
121     err = constant_time_select_int(mask | good, err,
122                                    RSA_R_NULL_BEFORE_BLOCK_MISSING);
123     mask = ~good;
124
125     good &= constant_time_ge(threes_in_row, 8);
126     err = constant_time_select_int(mask | good, err,
127                                    RSA_R_SSLV3_ROLLBACK_ATTACK);
128     mask = ~good;
129
130     /*
131      * Skip the zero byte. This is incorrect if we never found a zero-byte
132      * but in this case we also do not copy the message out.
133      */
134     msg_index = zero_index + 1;
135     mlen = num - msg_index;
136
137     /*
138      * For good measure, do this check in constant time as well.
139      */
140     good &= constant_time_ge(tlen, mlen);
141     err = constant_time_select_int(mask | good, err, RSA_R_DATA_TOO_LARGE);
142
143     /*
144      * Move the result in-place by |num|-RSA_PKCS1_PADDING_SIZE-|mlen| bytes to the left.
145      * Then if |good| move |mlen| bytes from |em|+RSA_PKCS1_PADDING_SIZE to |to|.
146      * Otherwise leave |to| unchanged.
147      * Copy the memory back in a way that does not reveal the size of
148      * the data being copied via a timing side channel. This requires copying
149      * parts of the buffer multiple times based on the bits set in the real
150      * length. Clear bits do a non-copy with identical access pattern.
151      * The loop below has overall complexity of O(N*log(N)).
152      */
153     tlen = constant_time_select_int(constant_time_lt(num - RSA_PKCS1_PADDING_SIZE, tlen),
154                                     num - RSA_PKCS1_PADDING_SIZE, tlen);
155     for (msg_index = 1; msg_index < num - RSA_PKCS1_PADDING_SIZE; msg_index <<= 1) {
156         mask = ~constant_time_eq(msg_index & (num - RSA_PKCS1_PADDING_SIZE - mlen), 0);
157         for (i = RSA_PKCS1_PADDING_SIZE; i < num - msg_index; i++)
158             em[i] = constant_time_select_8(mask, em[i + msg_index], em[i]);
159     }
160     for (i = 0; i < tlen; i++) {
161         mask = good & constant_time_lt(i, mlen);
162         to[i] = constant_time_select_8(mask, em[i + RSA_PKCS1_PADDING_SIZE], to[i]);
163     }
164
165     OPENSSL_clear_free(em, num);
166     RSAerr(RSA_F_RSA_PADDING_CHECK_SSLV23, err);
167     err_clear_last_constant_time(1 & good);
168
169     return constant_time_select_int(good, mlen, -1);
170 }