Put the first stage of my bignum debugging adventures into CVS. This code
[openssl.git] / crypto / bn / bn_sqrt.c
index 6d50b5d895bc56e09ecaddd613f83f7f2c24a100..51902703e1ed1e8b4ba3e8d621894079feeeacd7 100644 (file)
@@ -70,7 +70,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
        BIGNUM *ret = in;
        int err = 1;
        int r;
-       BIGNUM *b, *q, *t, *x, *y;
+       BIGNUM *A, *b, *q, *t, *x, *y;
        int e, i, j;
        
        if (!BN_is_odd(p) || BN_abs_is_word(p, 1))
@@ -86,6 +86,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                                BN_free(ret);
                                return NULL;
                                }
+                       bn_check_top(ret);
                        return ret;
                        }
 
@@ -104,20 +105,12 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                        BN_free(ret);
                        return NULL;
                        }
+               bn_check_top(ret);
                return ret;
                }
 
-#if 0 /* if BN_mod_sqrt is used with correct input, this just wastes time */
-       r = BN_kronecker(a, p, ctx);
-       if (r < -1) return NULL;
-       if (r == -1)
-               {
-               BNerr(BN_F_BN_MOD_SQRT, BN_R_NOT_A_SQUARE);
-               return(NULL);
-               }
-#endif
-
        BN_CTX_start(ctx);
+       A = BN_CTX_get(ctx);
        b = BN_CTX_get(ctx);
        q = BN_CTX_get(ctx);
        t = BN_CTX_get(ctx);
@@ -129,43 +122,44 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                ret = BN_new();
        if (ret == NULL) goto end;
 
+       /* A = a mod p */
+       if (!BN_nnmod(A, a, p, ctx)) goto end;
+
        /* now write  |p| - 1  as  2^e*q  where  q  is odd */
        e = 1;
        while (!BN_is_bit_set(p, e))
                e++;
-       if (e > 2)
-               /* we don't need this  q  if  e = 1 or 2 */
-               if (!BN_rshift(q, p, e)) goto end;
-       q->neg = 0;
+       /* we'll set  q  later (if needed) */
 
        if (e == 1)
                {
-               /* The easy case:  (p-1)/2  is odd, so 2 has an inverse
-                * modulo  (p-1)/2,  and square roots can be computed
+               /* The easy case:  (|p|-1)/2  is odd, so 2 has an inverse
+                * modulo  (|p|-1)/2,  and square roots can be computed
                 * directly by modular exponentiation.
                 * We have
-                *     2 * (p+1)/4 == 1   (mod (p-1)/2),
-                * so we can use exponent  (p+1)/4,  i.e.  (p-3)/4 + 1.
+                *     2 * (|p|+1)/4 == 1   (mod (|p|-1)/2),
+                * so we can use exponent  (|p|+1)/4,  i.e.  (|p|-3)/4 + 1.
                 */
                if (!BN_rshift(q, p, 2)) goto end;
+               q->neg = 0;
                if (!BN_add_word(q, 1)) goto end;
-               if (!BN_mod_exp(ret, a, q, p, ctx)) goto end;
+               if (!BN_mod_exp(ret, A, q, p, ctx)) goto end;
                err = 0;
-               goto end;
+               goto vrfy;
                }
        
        if (e == 2)
                {
-               /* p == 5  (mod 8)
+               /* |p| == 5  (mod 8)
                 *
                 * In this case  2  is always a non-square since
                 * Legendre(2,p) = (-1)^((p^2-1)/8)  for any odd prime.
                 * So if  a  really is a square, then  2*a  is a non-square.
                 * Thus for
-                *      b := (2*a)^((p-5)/8),
+                *      b := (2*a)^((|p|-5)/8),
                 *      i := (2*a)*b^2
                 * we have
-                *     i^2 = (2*a)^((1 + (p-5)/4)*2)
+                *     i^2 = (2*a)^((1 + (|p|-5)/4)*2)
                 *         = (2*a)^((p-1)/2)
                 *         = -1;
                 * so if we set
@@ -182,18 +176,12 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                 * November 1992.)
                 */
 
-               /* make sure that  a  is reduced modulo p */
-               if (a->neg || BN_ucmp(a, p) >= 0)
-                       {
-                       if (!BN_nnmod(x, a, p, ctx)) goto end;
-                       a = x; /* use x as temporary variable */
-                       }
-
                /* t := 2*a */
-               if (!BN_mod_lshift1_quick(t, a, p)) goto end;
+               if (!BN_mod_lshift1_quick(t, A, p)) goto end;
 
-               /* b := (2*a)^((p-5)/8) */
+               /* b := (2*a)^((|p|-5)/8) */
                if (!BN_rshift(q, p, 3)) goto end;
+               q->neg = 0;
                if (!BN_mod_exp(b, t, q, p, ctx)) goto end;
 
                /* y := b^2 */
@@ -204,16 +192,18 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                if (!BN_sub_word(t, 1)) goto end;
 
                /* x = a*b*t */
-               if (!BN_mod_mul(x, a, b, p, ctx)) goto end;
+               if (!BN_mod_mul(x, A, b, p, ctx)) goto end;
                if (!BN_mod_mul(x, x, t, p, ctx)) goto end;
 
                if (!BN_copy(ret, x)) goto end;
                err = 0;
-               goto end;
+               goto vrfy;
                }
        
        /* e > 2, so we really have to use the Tonelli/Shanks algorithm.
         * First, find some  y  that is not a square. */
+       if (!BN_copy(q, p)) goto end; /* use 'q' as temp */
+       q->neg = 0;
        i = 2;
        do
                {
@@ -236,7 +226,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                                if (!BN_set_word(y, i)) goto end;
                        }
                
-               r = BN_kronecker(y, p, ctx);
+               r = BN_kronecker(y, q, ctx); /* here 'q' is |p| */
                if (r < -1) goto end;
                if (r == 0)
                        {
@@ -258,6 +248,8 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                goto end;
                }
 
+       /* Here's our actual 'q': */
+       if (!BN_rshift(q, q, e)) goto end;
 
        /* Now that we have some non-square, we can find an element
         * of order  2^e  by computing its q'th power. */
@@ -292,7 +284,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
        /* x := a^((q-1)/2) */
        if (BN_is_zero(t)) /* special case: p = 2^e + 1 */
                {
-               if (!BN_nnmod(t, a, p, ctx)) goto end;
+               if (!BN_nnmod(t, A, p, ctx)) goto end;
                if (BN_is_zero(t))
                        {
                        /* special case: a == 0  (mod p) */
@@ -305,7 +297,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                }
        else
                {
-               if (!BN_mod_exp(x, a, t, p, ctx)) goto end;
+               if (!BN_mod_exp(x, A, t, p, ctx)) goto end;
                if (BN_is_zero(x))
                        {
                        /* special case: a == 0  (mod p) */
@@ -317,10 +309,10 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
 
        /* b := a*x^2  (= a^q) */
        if (!BN_mod_sqr(b, x, p, ctx)) goto end;
-       if (!BN_mod_mul(b, b, a, p, ctx)) goto end;
+       if (!BN_mod_mul(b, b, A, p, ctx)) goto end;
        
        /* x := a*x    (= a^((q+1)/2)) */
-       if (!BN_mod_mul(x, x, a, p, ctx)) goto end;
+       if (!BN_mod_mul(x, x, A, p, ctx)) goto end;
 
        while (1)
                {
@@ -337,7 +329,7 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                        {
                        if (!BN_copy(ret, x)) goto end;
                        err = 0;
-                       goto end;
+                       goto vrfy;
                        }
 
 
@@ -368,6 +360,22 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                e = i;
                }
 
+ vrfy:
+       if (!err)
+               {
+               /* verify the result -- the input might have been not a square
+                * (test added in 0.9.8) */
+               
+               if (!BN_mod_sqr(x, ret, p, ctx))
+                       err = 1;
+               
+               if (!err && 0 != BN_cmp(x, A))
+                       {
+                       BNerr(BN_F_BN_MOD_SQRT, BN_R_NOT_A_SQUARE);
+                       err = 1;
+                       }
+               }
+
  end:
        if (err)
                {
@@ -378,5 +386,6 @@ BIGNUM *BN_mod_sqrt(BIGNUM *in, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
                ret = NULL;
                }
        BN_CTX_end(ctx);
+       bn_check_top(ret);
        return ret;
        }