Option to set current cert to server certificate.
[openssl.git] / crypto / rsa / rsa_pk1.c
1 /* crypto/rsa/rsa_pk1.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #define OPENSSL_FIPSAPI
60
61 #include <stdio.h>
62 #include "cryptlib.h"
63 #include <openssl/bn.h>
64 #include <openssl/rsa.h>
65 #include <openssl/rand.h>
66
67 int RSA_padding_add_PKCS1_type_1(unsigned char *to, int tlen,
68              const unsigned char *from, int flen)
69         {
70         int j;
71         unsigned char *p;
72
73         if (flen > (tlen-RSA_PKCS1_PADDING_SIZE))
74                 {
75                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_1,RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
76                 return(0);
77                 }
78         
79         p=(unsigned char *)to;
80
81         *(p++)=0;
82         *(p++)=1; /* Private Key BT (Block Type) */
83
84         /* pad out with 0xff data */
85         j=tlen-3-flen;
86         memset(p,0xff,j);
87         p+=j;
88         *(p++)='\0';
89         memcpy(p,from,(unsigned int)flen);
90         return(1);
91         }
92
93 int RSA_padding_check_PKCS1_type_1(unsigned char *to, int tlen,
94              const unsigned char *from, int flen, int num)
95         {
96         int i,j;
97         const unsigned char *p;
98
99         p=from;
100         if ((num != (flen+1)) || (*(p++) != 01))
101                 {
102                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1,RSA_R_BLOCK_TYPE_IS_NOT_01);
103                 return(-1);
104                 }
105
106         /* scan over padding data */
107         j=flen-1; /* one for type. */
108         for (i=0; i<j; i++)
109                 {
110                 if (*p != 0xff) /* should decrypt to 0xff */
111                         {
112                         if (*p == 0)
113                                 { p++; break; }
114                         else    {
115                                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1,RSA_R_BAD_FIXED_HEADER_DECRYPT);
116                                 return(-1);
117                                 }
118                         }
119                 p++;
120                 }
121
122         if (i == j)
123                 {
124                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1,RSA_R_NULL_BEFORE_BLOCK_MISSING);
125                 return(-1);
126                 }
127
128         if (i < 8)
129                 {
130                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1,RSA_R_BAD_PAD_BYTE_COUNT);
131                 return(-1);
132                 }
133         i++; /* Skip over the '\0' */
134         j-=i;
135         if (j > tlen)
136                 {
137                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1,RSA_R_DATA_TOO_LARGE);
138                 return(-1);
139                 }
140         memcpy(to,p,(unsigned int)j);
141
142         return(j);
143         }
144
145 int RSA_padding_add_PKCS1_type_2(unsigned char *to, int tlen,
146              const unsigned char *from, int flen)
147         {
148         int i,j;
149         unsigned char *p;
150         
151         if (flen > (tlen-11))
152                 {
153                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_2,RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
154                 return(0);
155                 }
156         
157         p=(unsigned char *)to;
158
159         *(p++)=0;
160         *(p++)=2; /* Public Key BT (Block Type) */
161
162         /* pad out with non-zero random data */
163         j=tlen-3-flen;
164
165         if (RAND_bytes(p,j) <= 0)
166                 return(0);
167         for (i=0; i<j; i++)
168                 {
169                 if (*p == '\0')
170                         do      {
171                                 if (RAND_bytes(p,1) <= 0)
172                                         return(0);
173                                 } while (*p == '\0');
174                 p++;
175                 }
176
177         *(p++)='\0';
178
179         memcpy(p,from,(unsigned int)flen);
180         return(1);
181         }
182
183 int RSA_padding_check_PKCS1_type_2(unsigned char *to, int tlen,
184              const unsigned char *from, int flen, int num)
185         {
186         int i,j;
187         const unsigned char *p;
188
189         p=from;
190         if ((num != (flen+1)) || (*(p++) != 02))
191                 {
192                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2,RSA_R_BLOCK_TYPE_IS_NOT_02);
193                 return(-1);
194                 }
195 #ifdef PKCS1_CHECK
196         return(num-11);
197 #endif
198
199         /* scan over padding data */
200         j=flen-1; /* one for type. */
201         for (i=0; i<j; i++)
202                 if (*(p++) == 0) break;
203
204         if (i == j)
205                 {
206                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2,RSA_R_NULL_BEFORE_BLOCK_MISSING);
207                 return(-1);
208                 }
209
210         if (i < 8)
211                 {
212                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2,RSA_R_BAD_PAD_BYTE_COUNT);
213                 return(-1);
214                 }
215         i++; /* Skip over the '\0' */
216         j-=i;
217         if (j > tlen)
218                 {
219                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2,RSA_R_DATA_TOO_LARGE);
220                 return(-1);
221                 }
222         memcpy(to,p,(unsigned int)j);
223
224         return(j);
225         }
226