fix leak properly this time...
[openssl.git] / crypto / engine / eng_rsax.c
1 /* crypto/engine/eng_rsax.c */
2 /* Copyright (c) 2010-2010 Intel Corp.
3  *   Author: Vinodh.Gopal@intel.com
4  *           Jim Guilford
5  *           Erdinc.Ozturk@intel.com
6  *           Maxim.Perminov@intel.com
7  *           Ying.Huang@intel.com
8  *
9  * More information about algorithm used can be found at:
10  *   http://www.cse.buffalo.edu/srds2009/escs2009_submission_Gopal.pdf
11  */
12 /* ====================================================================
13  * Copyright (c) 1999-2001 The OpenSSL Project.  All rights reserved.
14  *
15  * Redistribution and use in source and binary forms, with or without
16  * modification, are permitted provided that the following conditions
17  * are met:
18  *
19  * 1. Redistributions of source code must retain the above copyright
20  *    notice, this list of conditions and the following disclaimer.
21  *
22  * 2. Redistributions in binary form must reproduce the above copyright
23  *    notice, this list of conditions and the following disclaimer in
24  *    the documentation and/or other materials provided with the
25  *    distribution.
26  *
27  * 3. All advertising materials mentioning features or use of this
28  *    software must display the following acknowledgment:
29  *    "This product includes software developed by the OpenSSL Project
30  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
31  *
32  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
33  *    endorse or promote products derived from this software without
34  *    prior written permission. For written permission, please contact
35  *    licensing@OpenSSL.org.
36  *
37  * 5. Products derived from this software may not be called "OpenSSL"
38  *    nor may "OpenSSL" appear in their names without prior written
39  *    permission of the OpenSSL Project.
40  *
41  * 6. Redistributions of any form whatsoever must retain the following
42  *    acknowledgment:
43  *    "This product includes software developed by the OpenSSL Project
44  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
45  *
46  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
47  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
48  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
49  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
50  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
51  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
52  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
53  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
54  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
55  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
56  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
57  * OF THE POSSIBILITY OF SUCH DAMAGE.
58  * ====================================================================
59  *
60  * This product includes cryptographic software written by Eric Young
61  * (eay@cryptsoft.com).  This product includes software written by Tim
62  * Hudson (tjh@cryptsoft.com).
63  */
64
65 #include <openssl/opensslconf.h>
66
67 #include <stdio.h>
68 #include <string.h>
69 #include <openssl/crypto.h>
70 #include <openssl/buffer.h>
71 #include <openssl/engine.h>
72 #ifndef OPENSSL_NO_RSA
73 #include <openssl/rsa.h>
74 #endif
75 #include <openssl/bn.h>
76 #include <openssl/err.h>
77
78 /* RSAX is available **ONLY* on x86_64 CPUs */
79 #undef COMPILE_RSAX
80
81 #if (defined(__x86_64) || defined(__x86_64__) || \
82      defined(_M_AMD64) || defined (_M_X64)) && !defined(OPENSSL_NO_ASM)
83 #define COMPILE_RSAX
84 static ENGINE *ENGINE_rsax (void);
85 #endif
86
87 void ENGINE_load_rsax (void)
88         {
89 /* On non-x86 CPUs it just returns. */
90 #ifdef COMPILE_RSAX
91         ENGINE *toadd = ENGINE_rsax();
92         if(!toadd) return;
93         ENGINE_add(toadd);
94         ENGINE_free(toadd);
95         ERR_clear_error();
96 #endif
97         }
98
99 #ifdef COMPILE_RSAX
100 #define E_RSAX_LIB_NAME "rsax engine"
101
102 static int e_rsax_destroy(ENGINE *e);
103 static int e_rsax_init(ENGINE *e);
104 static int e_rsax_finish(ENGINE *e);
105 static int e_rsax_ctrl(ENGINE *e, int cmd, long i, void *p, void (*f)(void));
106
107 #ifndef OPENSSL_NO_RSA
108 /* RSA stuff */
109 static int e_rsax_rsa_mod_exp(BIGNUM *r, const BIGNUM *I, RSA *rsa, BN_CTX *ctx);
110 static int e_rsax_rsa_finish(RSA *r);
111 static int (*def_rsa_finish)(RSA *r);
112 #endif
113
114 static const ENGINE_CMD_DEFN e_rsax_cmd_defns[] = {
115         {0, NULL, NULL, 0}
116         };
117
118 #ifndef OPENSSL_NO_RSA
119 /* Our internal RSA_METHOD that we provide pointers to */
120 static RSA_METHOD e_rsax_rsa =
121         {
122         "Intel RSA-X method",
123         NULL,
124         NULL,
125         NULL,
126         NULL,
127         e_rsax_rsa_mod_exp,
128         NULL,
129         NULL,
130         e_rsax_rsa_finish,
131         RSA_FLAG_CACHE_PUBLIC|RSA_FLAG_CACHE_PRIVATE,
132         NULL,
133         NULL,
134         NULL
135         };
136 #endif
137
138 /* Constants used when creating the ENGINE */
139 static const char *engine_e_rsax_id = "rsax";
140 static const char *engine_e_rsax_name = "RSAX engine support";
141
142 /* This internal function is used by ENGINE_rsax() */
143 static int bind_helper(ENGINE *e)
144         {
145 #ifndef OPENSSL_NO_RSA
146         const RSA_METHOD *meth1;
147 #endif
148         if(!ENGINE_set_id(e, engine_e_rsax_id) ||
149                         !ENGINE_set_name(e, engine_e_rsax_name) ||
150 #ifndef OPENSSL_NO_RSA
151                         !ENGINE_set_RSA(e, &e_rsax_rsa) ||
152 #endif
153                         !ENGINE_set_destroy_function(e, e_rsax_destroy) ||
154                         !ENGINE_set_init_function(e, e_rsax_init) ||
155                         !ENGINE_set_finish_function(e, e_rsax_finish) ||
156                         !ENGINE_set_ctrl_function(e, e_rsax_ctrl) ||
157                         !ENGINE_set_cmd_defns(e, e_rsax_cmd_defns))
158                 return 0;
159
160 #ifndef OPENSSL_NO_RSA
161         meth1 = RSA_PKCS1_SSLeay();
162         e_rsax_rsa.rsa_pub_enc = meth1->rsa_pub_enc;
163         e_rsax_rsa.rsa_pub_dec = meth1->rsa_pub_dec;
164         e_rsax_rsa.rsa_priv_enc = meth1->rsa_priv_enc;
165         e_rsax_rsa.rsa_priv_dec = meth1->rsa_priv_dec;
166         e_rsax_rsa.bn_mod_exp = meth1->bn_mod_exp;
167         def_rsa_finish = meth1->finish;
168 #endif
169         return 1;
170         }
171
172 static ENGINE *ENGINE_rsax(void)
173         {
174         ENGINE *ret = ENGINE_new();
175         if(!ret)
176                 return NULL;
177         if(!bind_helper(ret))
178                 {
179                 ENGINE_free(ret);
180                 return NULL;
181                 }
182         return ret;
183         }
184
185 #ifndef OPENSSL_NO_RSA
186 /* Used to attach our own key-data to an RSA structure */
187 static int rsax_ex_data_idx = -1;
188 #endif
189
190 static int e_rsax_destroy(ENGINE *e)
191         {
192         return 1;
193         }
194
195 /* (de)initialisation functions. */
196 static int e_rsax_init(ENGINE *e)
197         {
198 #ifndef OPENSSL_NO_RSA
199         if (rsax_ex_data_idx == -1)
200                 rsax_ex_data_idx = RSA_get_ex_new_index(0,
201                         NULL,
202                         NULL, NULL, NULL);
203 #endif
204         if (rsax_ex_data_idx  == -1)
205                 return 0;
206         return 1;
207         }
208
209 static int e_rsax_finish(ENGINE *e)
210         {
211         return 1;
212         }
213
214 static int e_rsax_ctrl(ENGINE *e, int cmd, long i, void *p, void (*f)(void))
215         {
216         int to_return = 1;
217
218         switch(cmd)
219                 {
220         /* The command isn't understood by this engine */
221         default:
222                 to_return = 0;
223                 break;
224                 }
225
226         return to_return;
227         }
228
229
230 #ifndef OPENSSL_NO_RSA
231
232 #ifdef _WIN32
233 typedef unsigned __int64 UINT64;
234 #else
235 typedef unsigned long long UINT64;
236 #endif
237 typedef unsigned short UINT16;
238
239 /* Table t is interleaved in the following manner:
240  * The order in memory is t[0][0], t[0][1], ..., t[0][7], t[1][0], ...
241  * A particular 512-bit value is stored in t[][index] rather than the more
242  * normal t[index][]; i.e. the qwords of a particular entry in t are not
243  * adjacent in memory
244  */
245
246 /* Init BIGNUM b from the interleaved UINT64 array */
247 static int interleaved_array_to_bn_512(BIGNUM* b, UINT64 *array);
248
249 /* Extract array elements from BIGNUM b
250  * To set the whole array from b, call with n=8
251  */
252 static int bn_extract_to_array_512(const BIGNUM* b, unsigned int n, UINT64 *array);
253
254 struct mod_ctx_512 {
255     UINT64 t[8][8];
256     UINT64 m[8];
257     UINT64 m1[8]; /* 2^278 % m */
258     UINT64 m2[8]; /* 2^640 % m */
259     UINT64 k1[2]; /* (- 1/m) % 2^128 */
260 };
261
262 static int mod_exp_pre_compute_data_512(UINT64 *m, struct mod_ctx_512 *data);
263
264 void mod_exp_512(UINT64 *result, /* 512 bits, 8 qwords */
265                  UINT64 *g,      /* 512 bits, 8 qwords */
266                  UINT64 *exp,    /* 512 bits, 8 qwords */
267                  struct mod_ctx_512 *data);
268
269 typedef struct st_e_rsax_mod_ctx
270 {
271   UINT64 type;
272   union {
273     struct mod_ctx_512 b512;
274   } ctx;
275
276 } E_RSAX_MOD_CTX;
277
278 static E_RSAX_MOD_CTX *e_rsax_get_ctx(RSA *rsa, int idx, BIGNUM* m)
279 {
280         E_RSAX_MOD_CTX *hptr;
281
282         if (idx < 0 || idx > 2)
283            return NULL;
284
285         hptr = RSA_get_ex_data(rsa, rsax_ex_data_idx);
286         if (!hptr) {
287             hptr = OPENSSL_malloc(3*sizeof(E_RSAX_MOD_CTX));
288             if (!hptr) return NULL;
289             hptr[2].type = hptr[1].type= hptr[0].type = 0;
290             RSA_set_ex_data(rsa, rsax_ex_data_idx, hptr);
291         }
292
293         if (hptr[idx].type == (UINT64)BN_num_bits(m))
294             return hptr+idx;
295
296         if (BN_num_bits(m) == 512) {
297             UINT64 _m[8];
298             bn_extract_to_array_512(m, 8, _m);
299             memset( &hptr[idx].ctx.b512, 0, sizeof(struct mod_ctx_512));
300             mod_exp_pre_compute_data_512(_m, &hptr[idx].ctx.b512);
301         }
302
303         hptr[idx].type = BN_num_bits(m);
304         return hptr+idx;
305 }
306
307 static int e_rsax_rsa_finish(RSA *rsa)
308         {
309         E_RSAX_MOD_CTX *hptr = RSA_get_ex_data(rsa, rsax_ex_data_idx);
310         if(hptr)
311                 {
312                 OPENSSL_free(hptr);
313                 RSA_set_ex_data(rsa, rsax_ex_data_idx, NULL);
314                 }
315         if (rsa->_method_mod_n)
316                 BN_MONT_CTX_free(rsa->_method_mod_n);
317         if (rsa->_method_mod_p)
318                 BN_MONT_CTX_free(rsa->_method_mod_p);
319         if (rsa->_method_mod_q)
320                 BN_MONT_CTX_free(rsa->_method_mod_q);
321         return 1;
322         }
323
324
325 static int e_rsax_bn_mod_exp(BIGNUM *r, const BIGNUM *g, const BIGNUM *e,
326                     const BIGNUM *m, BN_CTX *ctx, BN_MONT_CTX *in_mont, E_RSAX_MOD_CTX* rsax_mod_ctx )
327 {
328         if (rsax_mod_ctx && BN_get_flags(e, BN_FLG_CONSTTIME) != 0) {
329            if (BN_num_bits(m) == 512) {
330                 UINT64 _r[8];
331                 UINT64 _g[8];
332                 UINT64 _e[8];
333
334                 /* Init the arrays from the BIGNUMs */
335                 bn_extract_to_array_512(g, 8, _g);
336                 bn_extract_to_array_512(e, 8, _e);
337
338                 mod_exp_512(_r, _g, _e, &rsax_mod_ctx->ctx.b512);
339                 /* Return the result in the BIGNUM */
340                 interleaved_array_to_bn_512(r, _r);
341                 return 1;
342            }
343         }
344
345         return BN_mod_exp_mont(r, g, e, m, ctx, in_mont);
346 }
347
348 /* Declares for the Intel CIAP 512-bit / CRT / 1024 bit RSA modular
349  * exponentiation routine precalculations and a structure to hold the
350  * necessary values.  These files are meant to live in crypto/rsa/ in
351  * the target openssl.
352  */
353
354 /*
355  * Local method: extracts a piece from a BIGNUM, to fit it into
356  * an array. Call with n=8 to extract an entire 512-bit BIGNUM
357  */
358 static int bn_extract_to_array_512(const BIGNUM* b, unsigned int n, UINT64 *array)
359 {
360         int i;
361         UINT64 tmp;
362         unsigned char bn_buff[64];
363         memset(bn_buff, 0, 64);
364         if (BN_num_bytes(b) > 64) {
365                 printf ("Can't support this byte size\n");
366                 return 0; }
367         if (BN_num_bytes(b)!=0) {
368                 if (!BN_bn2bin(b, bn_buff+(64-BN_num_bytes(b)))) {
369                         printf ("Error's in bn2bin\n");
370                         /* We have to error, here */
371                         return 0; } }
372         while (n-- > 0) {
373                 array[n] = 0;
374                 for (i=7; i>=0; i--) {
375                         tmp = bn_buff[63-(n*8+i)];
376                         array[n] |= tmp << (8*i); } }
377         return 1;
378 }
379
380 /* Init a 512-bit BIGNUM from the UINT64*_ (8 * 64) interleaved array */
381 static int interleaved_array_to_bn_512(BIGNUM* b, UINT64 *array)
382 {
383         unsigned char tmp[64];
384         int n=8;
385         int i;
386         while (n-- > 0) {
387                 for (i = 7; i>=0; i--) {
388                         tmp[63-(n*8+i)] = (unsigned char)(array[n]>>(8*i)); } }
389         BN_bin2bn(tmp, 64, b);
390         return 0;
391 }
392
393
394 /* The main 512bit precompute call */
395 static int mod_exp_pre_compute_data_512(UINT64 *m, struct mod_ctx_512 *data)
396  {
397     BIGNUM two_768, two_640, two_128, two_512, tmp, _m, tmp2;
398
399     /* We need a BN_CTX for the modulo functions */
400     BN_CTX* ctx;
401     /* Some tmps */
402     UINT64 _t[8];
403     int i, j, ret = 0;
404 CRYPTO_push_info("precomp");
405     /* Init _m with m */
406     BN_init(&_m);
407     interleaved_array_to_bn_512(&_m, m);
408     memset(_t, 0, 64);
409
410     /* Inits */
411     BN_init(&two_768);
412     BN_init(&two_640);
413     BN_init(&two_128);
414     BN_init(&two_512);
415     BN_init(&tmp);
416     BN_init(&tmp2);
417
418     /* Create our context */
419     if ((ctx=BN_CTX_new()) == NULL) { goto err; }
420         BN_CTX_start(ctx);
421
422     /*
423      * For production, if you care, these only need to be set once,
424      * and may be made constants.
425      */
426     BN_lshift(&two_768, BN_value_one(), 768);
427     BN_lshift(&two_640, BN_value_one(), 640);
428     BN_lshift(&two_128, BN_value_one(), 128);
429     BN_lshift(&two_512, BN_value_one(), 512);
430
431     if (0 == (m[7] & 0x8000000000000000)) {
432         exit(1);
433     }
434     if (0 == (m[0] & 0x1)) { /* Odd modulus required for Mont */
435         exit(1);
436     }
437
438     /* Precompute m1 */
439     BN_mod(&tmp, &two_768, &_m, ctx);
440     if (!bn_extract_to_array_512(&tmp, 8, &data->m1[0])) {
441             goto err; }
442
443     /* Precompute m2 */
444     BN_mod(&tmp, &two_640, &_m, ctx);
445     if (!bn_extract_to_array_512(&tmp, 8, &data->m2[0])) {
446             goto err;
447     }
448
449     /*
450      * Precompute k1, a 128b number = ((-1)* m-1 ) mod 2128; k1 should
451      * be non-negative.
452      */
453     BN_mod_inverse(&tmp, &_m, &two_128, ctx);
454     if (!BN_is_zero(&tmp)) { BN_sub(&tmp, &two_128, &tmp); }
455     if (!bn_extract_to_array_512(&tmp, 2, &data->k1[0])) {
456             goto err; }
457
458     /* Precompute t */
459     for (i=0; i<8; i++) {
460         BN_zero(&tmp);
461         if (i & 1) { BN_add(&tmp, &two_512, &tmp); }
462         if (i & 2) { BN_add(&tmp, &two_512, &tmp); }
463         if (i & 4) { BN_add(&tmp, &two_640, &tmp); }
464
465         BN_nnmod(&tmp2, &tmp, &_m, ctx);
466         if (!bn_extract_to_array_512(&tmp2, 8, _t)) {
467                 goto err; }
468         for (j=0; j<8; j++) data->t[j][i] = _t[j]; }
469
470     /* Precompute m */
471     for (i=0; i<8; i++) {
472         data->m[i] = m[i]; }
473
474     ret = 1;
475
476 err:
477     /* Cleanup */
478         if (ctx != NULL) {
479                 BN_CTX_end(ctx); BN_CTX_free(ctx); }
480     BN_free(&two_768);
481     BN_free(&two_640);
482     BN_free(&two_128);
483     BN_free(&two_512);
484     BN_free(&tmp);
485     BN_free(&tmp2);
486     BN_free(&_m);
487
488     CRYPTO_pop_info();
489
490     return ret;
491 }
492
493
494 static int e_rsax_rsa_mod_exp(BIGNUM *r0, const BIGNUM *I, RSA *rsa, BN_CTX *ctx)
495         {
496         BIGNUM *r1,*m1,*vrfy;
497         BIGNUM local_dmp1,local_dmq1,local_c,local_r1;
498         BIGNUM *dmp1,*dmq1,*c,*pr1;
499         int ret=0;
500 CRYPTO_push_info("start");
501         BN_CTX_start(ctx);
502         r1 = BN_CTX_get(ctx);
503         m1 = BN_CTX_get(ctx);
504         vrfy = BN_CTX_get(ctx);
505
506         {
507                 BIGNUM local_p, local_q;
508                 BIGNUM *p = NULL, *q = NULL;
509                 int error = 0;
510
511                 /* Make sure BN_mod_inverse in Montgomery
512                  * intialization uses the BN_FLG_CONSTTIME flag
513                  * (unless RSA_FLAG_NO_CONSTTIME is set)
514                  */
515                 if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
516                         {
517                         BN_init(&local_p);
518                         p = &local_p;
519                         BN_with_flags(p, rsa->p, BN_FLG_CONSTTIME);
520
521                         BN_init(&local_q);
522                         q = &local_q;
523                         BN_with_flags(q, rsa->q, BN_FLG_CONSTTIME);
524                         }
525                 else
526                         {
527                         p = rsa->p;
528                         q = rsa->q;
529                         }
530
531                 if (rsa->flags & RSA_FLAG_CACHE_PRIVATE)
532                         {
533                         if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_p, CRYPTO_LOCK_RSA, p, ctx))
534                                 error = 1;
535                         if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_q, CRYPTO_LOCK_RSA, q, ctx))
536                                 error = 1;
537                         }
538
539                 /* clean up */
540                 if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
541                         {
542                         BN_free(&local_p);
543                         BN_free(&local_q);
544                         }
545                 if ( error )
546                         goto err;
547         }
548
549         if (rsa->flags & RSA_FLAG_CACHE_PUBLIC)
550                 if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_n, CRYPTO_LOCK_RSA, rsa->n, ctx))
551                         goto err;
552
553         /* compute I mod q */
554         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
555                 {
556                 c = &local_c;
557                 BN_with_flags(c, I, BN_FLG_CONSTTIME);
558                 if (!BN_mod(r1,c,rsa->q,ctx)) goto err;
559                 }
560         else
561                 {
562                 if (!BN_mod(r1,I,rsa->q,ctx)) goto err;
563                 }
564
565         /* compute r1^dmq1 mod q */
566         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
567                 {
568                 dmq1 = &local_dmq1;
569                 BN_with_flags(dmq1, rsa->dmq1, BN_FLG_CONSTTIME);
570                 }
571         else
572                 dmq1 = rsa->dmq1;
573
574         if (!e_rsax_bn_mod_exp(m1,r1,dmq1,rsa->q,ctx,
575                 rsa->_method_mod_q, e_rsax_get_ctx(rsa, 0, rsa->q) )) goto err;
576
577         /* compute I mod p */
578         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
579                 {
580                 c = &local_c;
581                 BN_with_flags(c, I, BN_FLG_CONSTTIME);
582                 if (!BN_mod(r1,c,rsa->p,ctx)) goto err;
583                 }
584         else
585                 {
586                 if (!BN_mod(r1,I,rsa->p,ctx)) goto err;
587                 }
588
589         /* compute r1^dmp1 mod p */
590         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
591                 {
592                 dmp1 = &local_dmp1;
593                 BN_with_flags(dmp1, rsa->dmp1, BN_FLG_CONSTTIME);
594                 }
595         else
596                 dmp1 = rsa->dmp1;
597
598         if (!e_rsax_bn_mod_exp(r0,r1,dmp1,rsa->p,ctx,
599                 rsa->_method_mod_p, e_rsax_get_ctx(rsa, 1, rsa->p) )) goto err;
600
601         if (!BN_sub(r0,r0,m1)) goto err;
602         /* This will help stop the size of r0 increasing, which does
603          * affect the multiply if it optimised for a power of 2 size */
604         if (BN_is_negative(r0))
605                 if (!BN_add(r0,r0,rsa->p)) goto err;
606
607         if (!BN_mul(r1,r0,rsa->iqmp,ctx)) goto err;
608
609         /* Turn BN_FLG_CONSTTIME flag on before division operation */
610         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
611                 {
612                 pr1 = &local_r1;
613                 BN_with_flags(pr1, r1, BN_FLG_CONSTTIME);
614                 }
615         else
616                 pr1 = r1;
617         if (!BN_mod(r0,pr1,rsa->p,ctx)) goto err;
618
619         /* If p < q it is occasionally possible for the correction of
620          * adding 'p' if r0 is negative above to leave the result still
621          * negative. This can break the private key operations: the following
622          * second correction should *always* correct this rare occurrence.
623          * This will *never* happen with OpenSSL generated keys because
624          * they ensure p > q [steve]
625          */
626         if (BN_is_negative(r0))
627                 if (!BN_add(r0,r0,rsa->p)) goto err;
628         if (!BN_mul(r1,r0,rsa->q,ctx)) goto err;
629         if (!BN_add(r0,r1,m1)) goto err;
630
631         if (rsa->e && rsa->n)
632                 {
633                 if (!e_rsax_bn_mod_exp(vrfy,r0,rsa->e,rsa->n,ctx,rsa->_method_mod_n, e_rsax_get_ctx(rsa, 2, rsa->n) ))
634                     goto err;
635
636                 /* If 'I' was greater than (or equal to) rsa->n, the operation
637                  * will be equivalent to using 'I mod n'. However, the result of
638                  * the verify will *always* be less than 'n' so we don't check
639                  * for absolute equality, just congruency. */
640                 if (!BN_sub(vrfy, vrfy, I)) goto err;
641                 if (!BN_mod(vrfy, vrfy, rsa->n, ctx)) goto err;
642                 if (BN_is_negative(vrfy))
643                         if (!BN_add(vrfy, vrfy, rsa->n)) goto err;
644                 if (!BN_is_zero(vrfy))
645                         {
646                         /* 'I' and 'vrfy' aren't congruent mod n. Don't leak
647                          * miscalculated CRT output, just do a raw (slower)
648                          * mod_exp and return that instead. */
649
650                         BIGNUM local_d;
651                         BIGNUM *d = NULL;
652
653                         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
654                                 {
655                                 d = &local_d;
656                                 BN_with_flags(d, rsa->d, BN_FLG_CONSTTIME);
657                                 }
658                         else
659                                 d = rsa->d;
660                         if (!e_rsax_bn_mod_exp(r0,I,d,rsa->n,ctx,
661                                                    rsa->_method_mod_n, e_rsax_get_ctx(rsa, 2, rsa->n) )) goto err;
662                         }
663                 }
664         ret=1;
665
666 err:
667         CRYPTO_pop_info();
668         BN_CTX_end(ctx);
669
670         return ret;
671         }
672 #endif /* !OPENSSL_NO_RSA */
673 #endif /* !COMPILE_RSAX */