Add support for the modified SGC key format used in IIS.
[openssl.git] / crypto / rsa / rsa.h
1 /* crypto/rsa/rsa.h */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #ifndef HEADER_RSA_H
60 #define HEADER_RSA_H
61
62 #ifndef NO_BIO
63 #include <openssl/bio.h>
64 #endif
65 #include <openssl/bn.h>
66 #include <openssl/crypto.h>
67
68 #ifdef NO_RSA
69 #error RSA is disabled.
70 #endif
71
72 #ifdef  __cplusplus
73 extern "C" {
74 #endif
75
76 typedef struct rsa_st RSA;
77
78 typedef struct rsa_meth_st
79         {
80         const char *name;
81         int (*rsa_pub_enc)(int flen,unsigned char *from,unsigned char *to,
82                            RSA *rsa,int padding);
83         int (*rsa_pub_dec)(int flen,unsigned char *from,unsigned char *to,
84                            RSA *rsa,int padding);
85         int (*rsa_priv_enc)(int flen,unsigned char *from,unsigned char *to,
86                             RSA *rsa,int padding);
87         int (*rsa_priv_dec)(int flen,unsigned char *from,unsigned char *to,
88                             RSA *rsa,int padding);
89         int (*rsa_mod_exp)(BIGNUM *r0,BIGNUM *I,RSA *rsa); /* Can be null */
90         int (*bn_mod_exp)(BIGNUM *r, BIGNUM *a, const BIGNUM *p,
91                           const BIGNUM *m, BN_CTX *ctx,
92                           BN_MONT_CTX *m_ctx); /* Can be null */
93         int (*init)(RSA *rsa);          /* called at new */
94         int (*finish)(RSA *rsa);        /* called at free */
95         int flags;                      /* RSA_METHOD_FLAG_* things */
96         char *app_data;                 /* may be needed! */
97 /* New sign and verify functions: some libraries don't allow arbitrary data
98  * to be signed/verified: this allows them to be used. Note: for this to work
99  * the RSA_public_decrypt() and RSA_private_encrypt() should *NOT* be used
100  * RSA_sign(), RSA_verify() should be used instead. Note: for backwards
101  * compatibility this functionality is only enabled if the RSA_FLAG_SIGN_VER
102  * option is set in 'flags'.
103  */
104         int (*rsa_sign)(int type, unsigned char *m, unsigned int m_len,
105              unsigned char *sigret, unsigned int *siglen, RSA *rsa);
106         int (*rsa_verify)(int dtype, unsigned char *m, unsigned int m_len,
107              unsigned char *sigbuf, unsigned int siglen, RSA *rsa);
108
109         } RSA_METHOD;
110
111 struct rsa_st
112         {
113         /* The first parameter is used to pickup errors where
114          * this is passed instead of aEVP_PKEY, it is set to 0 */
115         int pad;
116         int version;
117         RSA_METHOD *meth;
118         BIGNUM *n;
119         BIGNUM *e;
120         BIGNUM *d;
121         BIGNUM *p;
122         BIGNUM *q;
123         BIGNUM *dmp1;
124         BIGNUM *dmq1;
125         BIGNUM *iqmp;
126         /* be careful using this if the RSA structure is shared */
127         CRYPTO_EX_DATA ex_data;
128         int references;
129         int flags;
130
131         /* Used to cache montgomery values */
132         BN_MONT_CTX *_method_mod_n;
133         BN_MONT_CTX *_method_mod_p;
134         BN_MONT_CTX *_method_mod_q;
135
136         /* all BIGNUM values are actually in the following data, if it is not
137          * NULL */
138         char *bignum_data;
139         BN_BLINDING *blinding;
140         };
141
142 #define RSA_3   0x3L
143 #define RSA_F4  0x10001L
144
145 #define RSA_METHOD_FLAG_NO_CHECK        0x01 /* don't check pub/private match */
146
147 #define RSA_FLAG_CACHE_PUBLIC           0x02
148 #define RSA_FLAG_CACHE_PRIVATE          0x04
149 #define RSA_FLAG_BLINDING               0x08
150 #define RSA_FLAG_THREAD_SAFE            0x10
151 /* This flag means the private key operations will be handled by rsa_mod_exp
152  * and that they do not depend on the private key components being present:
153  * for example a key stored in external hardware. Without this flag bn_mod_exp
154  * gets called when private key components are absent.
155  */
156 #define RSA_FLAG_EXT_PKEY               0x20
157
158 /* This flag in the RSA_METHOD enables the new rsa_sign, rsa_verify functions.
159  */
160 #define RSA_FLAG_SIGN_VER               0x40
161
162 #define RSA_PKCS1_PADDING       1
163 #define RSA_SSLV23_PADDING      2
164 #define RSA_NO_PADDING          3
165 #define RSA_PKCS1_OAEP_PADDING  4
166
167 #define RSA_set_app_data(s,arg)         RSA_set_ex_data(s,0,arg)
168 #define RSA_get_app_data(s)             RSA_get_ex_data(s,0)
169
170 RSA *   RSA_new(void);
171 RSA *   RSA_new_method(RSA_METHOD *method);
172 int     RSA_size(RSA *);
173 RSA *   RSA_generate_key(int bits, unsigned long e,void
174                 (*callback)(int,int,void *),void *cb_arg);
175 int     RSA_check_key(RSA *);
176         /* next 4 return -1 on error */
177 int     RSA_public_encrypt(int flen, unsigned char *from,
178                 unsigned char *to, RSA *rsa,int padding);
179 int     RSA_private_encrypt(int flen, unsigned char *from,
180                 unsigned char *to, RSA *rsa,int padding);
181 int     RSA_public_decrypt(int flen, unsigned char *from, 
182                 unsigned char *to, RSA *rsa,int padding);
183 int     RSA_private_decrypt(int flen, unsigned char *from, 
184                 unsigned char *to, RSA *rsa,int padding);
185 void    RSA_free (RSA *r);
186
187 int     RSA_flags(RSA *r);
188
189 void RSA_set_default_method(RSA_METHOD *meth);
190 RSA_METHOD *RSA_get_default_method(void);
191 RSA_METHOD *RSA_get_method(RSA *rsa);
192 RSA_METHOD *RSA_set_method(RSA *rsa, RSA_METHOD *meth);
193
194 /* This function needs the memory locking malloc callbacks to be installed */
195 int RSA_memory_lock(RSA *r);
196
197 /* If you have RSAref compiled in. */
198 RSA_METHOD *RSA_PKCS1_RSAref(void);
199
200 /* these are the actual SSLeay RSA functions */
201 RSA_METHOD *RSA_PKCS1_SSLeay(void);
202
203 RSA_METHOD *RSA_null_method(void);
204
205 void    ERR_load_RSA_strings(void );
206
207 RSA *   d2i_RSAPublicKey(RSA **a, unsigned char **pp, long length);
208 int     i2d_RSAPublicKey(RSA *a, unsigned char **pp);
209 RSA *   d2i_RSAPrivateKey(RSA **a, unsigned char **pp, long length);
210 int     i2d_RSAPrivateKey(RSA *a, unsigned char **pp);
211 #ifndef NO_FP_API
212 int     RSA_print_fp(FILE *fp, RSA *r,int offset);
213 #endif
214
215 #ifndef NO_BIO
216 int     RSA_print(BIO *bp, RSA *r,int offset);
217 #endif
218
219 int i2d_RSA_NET(RSA *a, unsigned char **pp, int (*cb)(), int sgckey);
220 RSA *d2i_RSA_NET(RSA **a, unsigned char **pp, long length, int (*cb)(), int sgckey);
221 RSA *d2i_RSA_NET_2(RSA **a, unsigned char **pp, long length, int (*cb)(), int sgckey);
222
223 int i2d_Netscape_RSA(RSA *a, unsigned char **pp, int (*cb)());
224 RSA *d2i_Netscape_RSA(RSA **a, unsigned char **pp, long length, int (*cb)());
225 /* Naughty internal function required elsewhere, to handle a MS structure
226  * that is the same as the netscape one :-) */
227 RSA *d2i_Netscape_RSA_2(RSA **a, unsigned char **pp, long length, int (*cb)());
228
229 /* The following 2 functions sign and verify a X509_SIG ASN1 object
230  * inside PKCS#1 padded RSA encryption */
231 int RSA_sign(int type, unsigned char *m, unsigned int m_len,
232         unsigned char *sigret, unsigned int *siglen, RSA *rsa);
233 int RSA_verify(int type, unsigned char *m, unsigned int m_len,
234         unsigned char *sigbuf, unsigned int siglen, RSA *rsa);
235
236 /* The following 2 function sign and verify a ASN1_OCTET_STRING
237  * object inside PKCS#1 padded RSA encryption */
238 int RSA_sign_ASN1_OCTET_STRING(int type, unsigned char *m, unsigned int m_len,
239         unsigned char *sigret, unsigned int *siglen, RSA *rsa);
240 int RSA_verify_ASN1_OCTET_STRING(int type, unsigned char *m, unsigned int m_len,
241         unsigned char *sigbuf, unsigned int siglen, RSA *rsa);
242
243 int RSA_blinding_on(RSA *rsa, BN_CTX *ctx);
244 void RSA_blinding_off(RSA *rsa);
245
246 int RSA_padding_add_PKCS1_type_1(unsigned char *to,int tlen,
247         unsigned char *f,int fl);
248 int RSA_padding_check_PKCS1_type_1(unsigned char *to,int tlen,
249         unsigned char *f,int fl,int rsa_len);
250 int RSA_padding_add_PKCS1_type_2(unsigned char *to,int tlen,
251         unsigned char *f,int fl);
252 int RSA_padding_check_PKCS1_type_2(unsigned char *to,int tlen,
253         unsigned char *f,int fl,int rsa_len);
254 int RSA_padding_add_PKCS1_OAEP(unsigned char *to,int tlen,
255                                unsigned char *f,int fl,unsigned char *p,
256                                int pl);
257 int RSA_padding_check_PKCS1_OAEP(unsigned char *to,int tlen,
258                                  unsigned char *f,int fl,int rsa_len,
259                                  unsigned char *p,int pl);
260 int RSA_padding_add_SSLv23(unsigned char *to,int tlen,
261         unsigned char *f,int fl);
262 int RSA_padding_check_SSLv23(unsigned char *to,int tlen,
263         unsigned char *f,int fl,int rsa_len);
264 int RSA_padding_add_none(unsigned char *to,int tlen,
265         unsigned char *f,int fl);
266 int RSA_padding_check_none(unsigned char *to,int tlen,
267         unsigned char *f,int fl,int rsa_len);
268
269 int RSA_get_ex_new_index(long argl, void *argp, CRYPTO_EX_new *new_func,
270         CRYPTO_EX_dup *dup_func, CRYPTO_EX_free *free_func);
271 int RSA_set_ex_data(RSA *r,int idx,void *arg);
272 void *RSA_get_ex_data(RSA *r, int idx);
273
274 /* BEGIN ERROR CODES */
275 /* The following lines are auto generated by the script mkerr.pl. Any changes
276  * made after this point may be overwritten when the script is next run.
277  */
278
279 /* Error codes for the RSA functions. */
280
281 /* Function codes. */
282 #define RSA_F_MEMORY_LOCK                                100
283 #define RSA_F_RSA_CHECK_KEY                              123
284 #define RSA_F_RSA_EAY_PRIVATE_DECRYPT                    101
285 #define RSA_F_RSA_EAY_PRIVATE_ENCRYPT                    102
286 #define RSA_F_RSA_EAY_PUBLIC_DECRYPT                     103
287 #define RSA_F_RSA_EAY_PUBLIC_ENCRYPT                     104
288 #define RSA_F_RSA_GENERATE_KEY                           105
289 #define RSA_F_RSA_NEW_METHOD                             106
290 #define RSA_F_RSA_NULL                                   124
291 #define RSA_F_RSA_PADDING_ADD_NONE                       107
292 #define RSA_F_RSA_PADDING_ADD_PKCS1_OAEP                 121
293 #define RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_1               108
294 #define RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_2               109
295 #define RSA_F_RSA_PADDING_ADD_SSLV23                     110
296 #define RSA_F_RSA_PADDING_CHECK_NONE                     111
297 #define RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP               122
298 #define RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1             112
299 #define RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2             113
300 #define RSA_F_RSA_PADDING_CHECK_SSLV23                   114
301 #define RSA_F_RSA_PRINT                                  115
302 #define RSA_F_RSA_PRINT_FP                               116
303 #define RSA_F_RSA_SIGN                                   117
304 #define RSA_F_RSA_SIGN_ASN1_OCTET_STRING                 118
305 #define RSA_F_RSA_VERIFY                                 119
306 #define RSA_F_RSA_VERIFY_ASN1_OCTET_STRING               120
307
308 /* Reason codes. */
309 #define RSA_R_ALGORITHM_MISMATCH                         100
310 #define RSA_R_BAD_E_VALUE                                101
311 #define RSA_R_BAD_FIXED_HEADER_DECRYPT                   102
312 #define RSA_R_BAD_PAD_BYTE_COUNT                         103
313 #define RSA_R_BAD_SIGNATURE                              104
314 #define RSA_R_BLOCK_TYPE_IS_NOT_01                       106
315 #define RSA_R_BLOCK_TYPE_IS_NOT_02                       107
316 #define RSA_R_DATA_GREATER_THAN_MOD_LEN                  108
317 #define RSA_R_DATA_TOO_LARGE                             109
318 #define RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE                110
319 #define RSA_R_DATA_TOO_SMALL                             111
320 #define RSA_R_DATA_TOO_SMALL_FOR_KEY_SIZE                122
321 #define RSA_R_DIGEST_TOO_BIG_FOR_RSA_KEY                 112
322 #define RSA_R_DMP1_NOT_CONGRUENT_TO_D                    124
323 #define RSA_R_DMQ1_NOT_CONGRUENT_TO_D                    125
324 #define RSA_R_D_E_NOT_CONGRUENT_TO_1                     123
325 #define RSA_R_INVALID_MESSAGE_LENGTH                     131
326 #define RSA_R_IQMP_NOT_INVERSE_OF_Q                      126
327 #define RSA_R_KEY_SIZE_TOO_SMALL                         120
328 #define RSA_R_NULL_BEFORE_BLOCK_MISSING                  113
329 #define RSA_R_N_DOES_NOT_EQUAL_P_Q                       127
330 #define RSA_R_OAEP_DECODING_ERROR                        121
331 #define RSA_R_PADDING_CHECK_FAILED                       114
332 #define RSA_R_P_NOT_PRIME                                128
333 #define RSA_R_Q_NOT_PRIME                                129
334 #define RSA_R_RSA_OPERATIONS_NOT_SUPPORTED               130
335 #define RSA_R_SSLV3_ROLLBACK_ATTACK                      115
336 #define RSA_R_THE_ASN1_OBJECT_IDENTIFIER_IS_NOT_KNOWN_FOR_THIS_MD 116
337 #define RSA_R_UNKNOWN_ALGORITHM_TYPE                     117
338 #define RSA_R_UNKNOWN_PADDING_TYPE                       118
339 #define RSA_R_WRONG_SIGNATURE_LENGTH                     119
340
341 #ifdef  __cplusplus
342 }
343 #endif
344 #endif
345