Implementation of pkey_rsa_verify. Some constification.
[openssl.git] / crypto / rsa / rsa.h
1 /* crypto/rsa/rsa.h */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 #ifndef HEADER_RSA_H
60 #define HEADER_RSA_H
61
62 #include <openssl/asn1.h>
63
64 #ifndef OPENSSL_NO_BIO
65 #include <openssl/bio.h>
66 #endif
67 #include <openssl/crypto.h>
68 #include <openssl/ossl_typ.h>
69 #ifndef OPENSSL_NO_DEPRECATED
70 #include <openssl/bn.h>
71 #endif
72
73 #ifdef OPENSSL_NO_RSA
74 #error RSA is disabled.
75 #endif
76
77 #ifdef  __cplusplus
78 extern "C" {
79 #endif
80
81 /* Declared already in ossl_typ.h */
82 /* typedef struct rsa_st RSA; */
83 /* typedef struct rsa_meth_st RSA_METHOD; */
84
85 struct rsa_meth_st
86         {
87         const char *name;
88         int (*rsa_pub_enc)(int flen,const unsigned char *from,
89                            unsigned char *to,
90                            RSA *rsa,int padding);
91         int (*rsa_pub_dec)(int flen,const unsigned char *from,
92                            unsigned char *to,
93                            RSA *rsa,int padding);
94         int (*rsa_priv_enc)(int flen,const unsigned char *from,
95                             unsigned char *to,
96                             RSA *rsa,int padding);
97         int (*rsa_priv_dec)(int flen,const unsigned char *from,
98                             unsigned char *to,
99                             RSA *rsa,int padding);
100         int (*rsa_mod_exp)(BIGNUM *r0,const BIGNUM *I,RSA *rsa,BN_CTX *ctx); /* Can be null */
101         int (*bn_mod_exp)(BIGNUM *r, const BIGNUM *a, const BIGNUM *p,
102                           const BIGNUM *m, BN_CTX *ctx,
103                           BN_MONT_CTX *m_ctx); /* Can be null */
104         int (*init)(RSA *rsa);          /* called at new */
105         int (*finish)(RSA *rsa);        /* called at free */
106         int flags;                      /* RSA_METHOD_FLAG_* things */
107         char *app_data;                 /* may be needed! */
108 /* New sign and verify functions: some libraries don't allow arbitrary data
109  * to be signed/verified: this allows them to be used. Note: for this to work
110  * the RSA_public_decrypt() and RSA_private_encrypt() should *NOT* be used
111  * RSA_sign(), RSA_verify() should be used instead. Note: for backwards
112  * compatibility this functionality is only enabled if the RSA_FLAG_SIGN_VER
113  * option is set in 'flags'.
114  */
115         int (*rsa_sign)(int type,
116                 const unsigned char *m, unsigned int m_length,
117                 unsigned char *sigret, unsigned int *siglen, const RSA *rsa);
118         int (*rsa_verify)(int dtype,
119                 const unsigned char *m, unsigned int m_length,
120                 const unsigned char *sigbuf, unsigned int siglen,
121                                                                 const RSA *rsa);
122 /* If this callback is NULL, the builtin software RSA key-gen will be used. This
123  * is for behavioural compatibility whilst the code gets rewired, but one day
124  * it would be nice to assume there are no such things as "builtin software"
125  * implementations. */
126         int (*rsa_keygen)(RSA *rsa, int bits, BIGNUM *e, BN_GENCB *cb);
127         };
128
129 struct rsa_st
130         {
131         /* The first parameter is used to pickup errors where
132          * this is passed instead of aEVP_PKEY, it is set to 0 */
133         int pad;
134         long version;
135         const RSA_METHOD *meth;
136         /* functional reference if 'meth' is ENGINE-provided */
137         ENGINE *engine;
138         BIGNUM *n;
139         BIGNUM *e;
140         BIGNUM *d;
141         BIGNUM *p;
142         BIGNUM *q;
143         BIGNUM *dmp1;
144         BIGNUM *dmq1;
145         BIGNUM *iqmp;
146         /* be careful using this if the RSA structure is shared */
147         CRYPTO_EX_DATA ex_data;
148         int references;
149         int flags;
150
151         /* Used to cache montgomery values */
152         BN_MONT_CTX *_method_mod_n;
153         BN_MONT_CTX *_method_mod_p;
154         BN_MONT_CTX *_method_mod_q;
155
156         /* all BIGNUM values are actually in the following data, if it is not
157          * NULL */
158         char *bignum_data;
159         BN_BLINDING *blinding;
160         BN_BLINDING *mt_blinding;
161         };
162
163 #define RSA_3   0x3L
164 #define RSA_F4  0x10001L
165
166 #define RSA_METHOD_FLAG_NO_CHECK        0x0001 /* don't check pub/private match */
167
168 #define RSA_FLAG_CACHE_PUBLIC           0x0002
169 #define RSA_FLAG_CACHE_PRIVATE          0x0004
170 #define RSA_FLAG_BLINDING               0x0008
171 #define RSA_FLAG_THREAD_SAFE            0x0010
172 /* This flag means the private key operations will be handled by rsa_mod_exp
173  * and that they do not depend on the private key components being present:
174  * for example a key stored in external hardware. Without this flag bn_mod_exp
175  * gets called when private key components are absent.
176  */
177 #define RSA_FLAG_EXT_PKEY               0x0020
178
179 /* This flag in the RSA_METHOD enables the new rsa_sign, rsa_verify functions.
180  */
181 #define RSA_FLAG_SIGN_VER               0x0040
182
183 #define RSA_FLAG_NO_BLINDING            0x0080 /* new with 0.9.6j and 0.9.7b; the built-in
184                                                 * RSA implementation now uses blinding by
185                                                 * default (ignoring RSA_FLAG_BLINDING),
186                                                 * but other engines might not need it
187                                                 */
188 #define RSA_FLAG_NO_EXP_CONSTTIME       0x0100 /* new with 0.9.7h; the built-in RSA
189                                                 * implementation now uses constant time
190                                                 * modular exponentiation for secret exponents
191                                                 * by default. This flag causes the
192                                                 * faster variable sliding window method to
193                                                 * be used for all exponents.
194                                                 */
195
196 #define EVP_PKEY_CTX_set_rsa_padding(ctx, pad) \
197         EVP_PKEY_CTX_ctrl(ctx, EVP_PKEY_RSA, -1, EVP_PKEY_CTRL_RSA_PADDING, \
198                                 pad, NULL)
199
200 #define EVP_PKEY_CTRL_RSA_PADDING       (EVP_PKEY_ALG_CTRL + 1)
201
202 #define RSA_PKCS1_PADDING       1
203 #define RSA_SSLV23_PADDING      2
204 #define RSA_NO_PADDING          3
205 #define RSA_PKCS1_OAEP_PADDING  4
206 #define RSA_X931_PADDING        5
207
208 #define RSA_PKCS1_PADDING_SIZE  11
209
210 #define RSA_set_app_data(s,arg)         RSA_set_ex_data(s,0,arg)
211 #define RSA_get_app_data(s)             RSA_get_ex_data(s,0)
212
213 RSA *   RSA_new(void);
214 RSA *   RSA_new_method(ENGINE *engine);
215 int     RSA_size(const RSA *);
216
217 /* Deprecated version */
218 #ifndef OPENSSL_NO_DEPRECATED
219 RSA *   RSA_generate_key(int bits, unsigned long e,void
220                 (*callback)(int,int,void *),void *cb_arg);
221 #endif /* !defined(OPENSSL_NO_DEPRECATED) */
222
223 /* New version */
224 int     RSA_generate_key_ex(RSA *rsa, int bits, BIGNUM *e, BN_GENCB *cb);
225
226 int     RSA_check_key(const RSA *);
227         /* next 4 return -1 on error */
228 int     RSA_public_encrypt(int flen, const unsigned char *from,
229                 unsigned char *to, RSA *rsa,int padding);
230 int     RSA_private_encrypt(int flen, const unsigned char *from,
231                 unsigned char *to, RSA *rsa,int padding);
232 int     RSA_public_decrypt(int flen, const unsigned char *from, 
233                 unsigned char *to, RSA *rsa,int padding);
234 int     RSA_private_decrypt(int flen, const unsigned char *from, 
235                 unsigned char *to, RSA *rsa,int padding);
236 void    RSA_free (RSA *r);
237 /* "up" the RSA object's reference count */
238 int     RSA_up_ref(RSA *r);
239
240 int     RSA_flags(const RSA *r);
241
242 void RSA_set_default_method(const RSA_METHOD *meth);
243 const RSA_METHOD *RSA_get_default_method(void);
244 const RSA_METHOD *RSA_get_method(const RSA *rsa);
245 int RSA_set_method(RSA *rsa, const RSA_METHOD *meth);
246
247 /* This function needs the memory locking malloc callbacks to be installed */
248 int RSA_memory_lock(RSA *r);
249
250 /* these are the actual SSLeay RSA functions */
251 const RSA_METHOD *RSA_PKCS1_SSLeay(void);
252
253 const RSA_METHOD *RSA_null_method(void);
254
255 DECLARE_ASN1_ENCODE_FUNCTIONS_const(RSA, RSAPublicKey)
256 DECLARE_ASN1_ENCODE_FUNCTIONS_const(RSA, RSAPrivateKey)
257
258 #ifndef OPENSSL_NO_FP_API
259 int     RSA_print_fp(FILE *fp, const RSA *r,int offset);
260 #endif
261
262 #ifndef OPENSSL_NO_BIO
263 int     RSA_print(BIO *bp, const RSA *r,int offset);
264 #endif
265
266 int i2d_RSA_NET(const RSA *a, unsigned char **pp,
267                 int (*cb)(char *buf, int len, const char *prompt, int verify),
268                 int sgckey);
269 RSA *d2i_RSA_NET(RSA **a, const unsigned char **pp, long length,
270                  int (*cb)(char *buf, int len, const char *prompt, int verify),
271                  int sgckey);
272
273 int i2d_Netscape_RSA(const RSA *a, unsigned char **pp,
274                      int (*cb)(char *buf, int len, const char *prompt,
275                                int verify));
276 RSA *d2i_Netscape_RSA(RSA **a, const unsigned char **pp, long length,
277                       int (*cb)(char *buf, int len, const char *prompt,
278                                 int verify));
279
280 /* The following 2 functions sign and verify a X509_SIG ASN1 object
281  * inside PKCS#1 padded RSA encryption */
282 int RSA_sign(int type, const unsigned char *m, unsigned int m_length,
283         unsigned char *sigret, unsigned int *siglen, RSA *rsa);
284 int RSA_verify(int type, const unsigned char *m, unsigned int m_length,
285         const unsigned char *sigbuf, unsigned int siglen, RSA *rsa);
286
287 /* The following 2 function sign and verify a ASN1_OCTET_STRING
288  * object inside PKCS#1 padded RSA encryption */
289 int RSA_sign_ASN1_OCTET_STRING(int type,
290         const unsigned char *m, unsigned int m_length,
291         unsigned char *sigret, unsigned int *siglen, RSA *rsa);
292 int RSA_verify_ASN1_OCTET_STRING(int type,
293         const unsigned char *m, unsigned int m_length,
294         unsigned char *sigbuf, unsigned int siglen, RSA *rsa);
295
296 int RSA_blinding_on(RSA *rsa, BN_CTX *ctx);
297 void RSA_blinding_off(RSA *rsa);
298 BN_BLINDING *RSA_setup_blinding(RSA *rsa, BN_CTX *ctx);
299
300 int RSA_padding_add_PKCS1_type_1(unsigned char *to,int tlen,
301         const unsigned char *f,int fl);
302 int RSA_padding_check_PKCS1_type_1(unsigned char *to,int tlen,
303         const unsigned char *f,int fl,int rsa_len);
304 int RSA_padding_add_PKCS1_type_2(unsigned char *to,int tlen,
305         const unsigned char *f,int fl);
306 int RSA_padding_check_PKCS1_type_2(unsigned char *to,int tlen,
307         const unsigned char *f,int fl,int rsa_len);
308 int PKCS1_MGF1(unsigned char *mask, long len,
309         const unsigned char *seed, long seedlen, const EVP_MD *dgst);
310 int RSA_padding_add_PKCS1_OAEP(unsigned char *to,int tlen,
311         const unsigned char *f,int fl,
312         const unsigned char *p,int pl);
313 int RSA_padding_check_PKCS1_OAEP(unsigned char *to,int tlen,
314         const unsigned char *f,int fl,int rsa_len,
315         const unsigned char *p,int pl);
316 int RSA_padding_add_SSLv23(unsigned char *to,int tlen,
317         const unsigned char *f,int fl);
318 int RSA_padding_check_SSLv23(unsigned char *to,int tlen,
319         const unsigned char *f,int fl,int rsa_len);
320 int RSA_padding_add_none(unsigned char *to,int tlen,
321         const unsigned char *f,int fl);
322 int RSA_padding_check_none(unsigned char *to,int tlen,
323         const unsigned char *f,int fl,int rsa_len);
324 int RSA_padding_add_X931(unsigned char *to,int tlen,
325         const unsigned char *f,int fl);
326 int RSA_padding_check_X931(unsigned char *to,int tlen,
327         const unsigned char *f,int fl,int rsa_len);
328 int RSA_X931_hash_id(int nid);
329
330 int RSA_verify_PKCS1_PSS(RSA *rsa, const unsigned char *mHash,
331                         const EVP_MD *Hash, const unsigned char *EM, int sLen);
332 int RSA_padding_add_PKCS1_PSS(RSA *rsa, unsigned char *EM,
333                         const unsigned char *mHash,
334                         const EVP_MD *Hash, int sLen);
335
336 int RSA_get_ex_new_index(long argl, void *argp, CRYPTO_EX_new *new_func,
337         CRYPTO_EX_dup *dup_func, CRYPTO_EX_free *free_func);
338 int RSA_set_ex_data(RSA *r,int idx,void *arg);
339 void *RSA_get_ex_data(const RSA *r, int idx);
340
341 RSA *RSAPublicKey_dup(RSA *rsa);
342 RSA *RSAPrivateKey_dup(RSA *rsa);
343
344 /* BEGIN ERROR CODES */
345 /* The following lines are auto generated by the script mkerr.pl. Any changes
346  * made after this point may be overwritten when the script is next run.
347  */
348 void ERR_load_RSA_strings(void);
349
350 /* Error codes for the RSA functions. */
351
352 /* Function codes. */
353 #define RSA_F_CHECK_PADDING_NID                          140
354 #define RSA_F_MEMORY_LOCK                                100
355 #define RSA_F_PKEY_RSA_SIGN                              142
356 #define RSA_F_PKEY_RSA_VERIFYRECOVER                     141
357 #define RSA_F_RSA_BUILTIN_KEYGEN                         129
358 #define RSA_F_RSA_CHECK_KEY                              123
359 #define RSA_F_RSA_EAY_PRIVATE_DECRYPT                    101
360 #define RSA_F_RSA_EAY_PRIVATE_ENCRYPT                    102
361 #define RSA_F_RSA_EAY_PUBLIC_DECRYPT                     103
362 #define RSA_F_RSA_EAY_PUBLIC_ENCRYPT                     104
363 #define RSA_F_RSA_GENERATE_KEY                           105
364 #define RSA_F_RSA_MEMORY_LOCK                            130
365 #define RSA_F_RSA_NEW_METHOD                             106
366 #define RSA_F_RSA_NULL                                   124
367 #define RSA_F_RSA_NULL_MOD_EXP                           131
368 #define RSA_F_RSA_NULL_PRIVATE_DECRYPT                   132
369 #define RSA_F_RSA_NULL_PRIVATE_ENCRYPT                   133
370 #define RSA_F_RSA_NULL_PUBLIC_DECRYPT                    134
371 #define RSA_F_RSA_NULL_PUBLIC_ENCRYPT                    135
372 #define RSA_F_RSA_PADDING_ADD_NONE                       107
373 #define RSA_F_RSA_PADDING_ADD_PKCS1_OAEP                 121
374 #define RSA_F_RSA_PADDING_ADD_PKCS1_PSS                  125
375 #define RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_1               108
376 #define RSA_F_RSA_PADDING_ADD_PKCS1_TYPE_2               109
377 #define RSA_F_RSA_PADDING_ADD_SSLV23                     110
378 #define RSA_F_RSA_PADDING_ADD_X931                       127
379 #define RSA_F_RSA_PADDING_CHECK_NONE                     111
380 #define RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP               122
381 #define RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_1             112
382 #define RSA_F_RSA_PADDING_CHECK_PKCS1_TYPE_2             113
383 #define RSA_F_RSA_PADDING_CHECK_SSLV23                   114
384 #define RSA_F_RSA_PADDING_CHECK_X931                     128
385 #define RSA_F_RSA_PRINT                                  115
386 #define RSA_F_RSA_PRINT_FP                               116
387 #define RSA_F_RSA_PRIV_DECODE                            137
388 #define RSA_F_RSA_PRIV_ENCODE                            138
389 #define RSA_F_RSA_PUB_DECODE                             139
390 #define RSA_F_RSA_SETUP_BLINDING                         136
391 #define RSA_F_RSA_SIGN                                   117
392 #define RSA_F_RSA_SIGN_ASN1_OCTET_STRING                 118
393 #define RSA_F_RSA_VERIFY                                 119
394 #define RSA_F_RSA_VERIFY_ASN1_OCTET_STRING               120
395 #define RSA_F_RSA_VERIFY_PKCS1_PSS                       126
396
397 /* Reason codes. */
398 #define RSA_R_ALGORITHM_MISMATCH                         100
399 #define RSA_R_BAD_E_VALUE                                101
400 #define RSA_R_BAD_FIXED_HEADER_DECRYPT                   102
401 #define RSA_R_BAD_PAD_BYTE_COUNT                         103
402 #define RSA_R_BAD_SIGNATURE                              104
403 #define RSA_R_BLOCK_TYPE_IS_NOT_01                       106
404 #define RSA_R_BLOCK_TYPE_IS_NOT_02                       107
405 #define RSA_R_DATA_GREATER_THAN_MOD_LEN                  108
406 #define RSA_R_DATA_TOO_LARGE                             109
407 #define RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE                110
408 #define RSA_R_DATA_TOO_LARGE_FOR_MODULUS                 132
409 #define RSA_R_DATA_TOO_SMALL                             111
410 #define RSA_R_DATA_TOO_SMALL_FOR_KEY_SIZE                122
411 #define RSA_R_DIGEST_TOO_BIG_FOR_RSA_KEY                 112
412 #define RSA_R_DMP1_NOT_CONGRUENT_TO_D                    124
413 #define RSA_R_DMQ1_NOT_CONGRUENT_TO_D                    125
414 #define RSA_R_D_E_NOT_CONGRUENT_TO_1                     123
415 #define RSA_R_FIRST_OCTET_INVALID                        133
416 #define RSA_R_INVALID_DIGEST                             105
417 #define RSA_R_INVALID_DIGEST_LENGTH                      143
418 #define RSA_R_INVALID_HEADER                             137
419 #define RSA_R_INVALID_MESSAGE_LENGTH                     131
420 #define RSA_R_INVALID_PADDING                            138
421 #define RSA_R_INVALID_PADDING_MODE                       141
422 #define RSA_R_INVALID_TRAILER                            139
423 #define RSA_R_INVALID_X931_DIGEST                        142
424 #define RSA_R_IQMP_NOT_INVERSE_OF_Q                      126
425 #define RSA_R_KEY_SIZE_TOO_SMALL                         120
426 #define RSA_R_LAST_OCTET_INVALID                         134
427 #define RSA_R_NO_PUBLIC_EXPONENT                         140
428 #define RSA_R_NULL_BEFORE_BLOCK_MISSING                  113
429 #define RSA_R_N_DOES_NOT_EQUAL_P_Q                       127
430 #define RSA_R_OAEP_DECODING_ERROR                        121
431 #define RSA_R_PADDING_CHECK_FAILED                       114
432 #define RSA_R_P_NOT_PRIME                                128
433 #define RSA_R_Q_NOT_PRIME                                129
434 #define RSA_R_RSA_OPERATIONS_NOT_SUPPORTED               130
435 #define RSA_R_SLEN_CHECK_FAILED                          136
436 #define RSA_R_SLEN_RECOVERY_FAILED                       135
437 #define RSA_R_SSLV3_ROLLBACK_ATTACK                      115
438 #define RSA_R_THE_ASN1_OBJECT_IDENTIFIER_IS_NOT_KNOWN_FOR_THIS_MD 116
439 #define RSA_R_UNKNOWN_ALGORITHM_TYPE                     117
440 #define RSA_R_UNKNOWN_PADDING_TYPE                       118
441 #define RSA_R_WRONG_SIGNATURE_LENGTH                     119
442
443 #ifdef  __cplusplus
444 }
445 #endif
446 #endif