Fix BN_kronecker so that it works correctly if 'a' is negative
[openssl.git] / crypto / bn / bn_kron.c
1 /* totally untested */
2
3 /* crypto/bn/bn_kron.c */
4 /* ====================================================================
5  * Copyright (c) 1998-2000 The OpenSSL Project.  All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  *
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer. 
13  *
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in
16  *    the documentation and/or other materials provided with the
17  *    distribution.
18  *
19  * 3. All advertising materials mentioning features or use of this
20  *    software must display the following acknowledgment:
21  *    "This product includes software developed by the OpenSSL Project
22  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
23  *
24  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
25  *    endorse or promote products derived from this software without
26  *    prior written permission. For written permission, please contact
27  *    openssl-core@openssl.org.
28  *
29  * 5. Products derived from this software may not be called "OpenSSL"
30  *    nor may "OpenSSL" appear in their names without prior written
31  *    permission of the OpenSSL Project.
32  *
33  * 6. Redistributions of any form whatsoever must retain the following
34  *    acknowledgment:
35  *    "This product includes software developed by the OpenSSL Project
36  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
37  *
38  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
39  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
40  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
41  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
42  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
43  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
44  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
45  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
46  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
47  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
48  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
49  * OF THE POSSIBILITY OF SUCH DAMAGE.
50  * ====================================================================
51  *
52  * This product includes cryptographic software written by Eric Young
53  * (eay@cryptsoft.com).  This product includes software written by Tim
54  * Hudson (tjh@cryptsoft.com).
55  *
56  */
57
58 #include "bn_lcl.h"
59
60
61 /* least significant word */
62 #define BN_lsw(n) (((n)->top == 0) ? (BN_ULONG) 0 : (n)->d[0])
63
64 /* Returns -2 for errors because both -1 and 0 are valid results. */
65 int BN_kronecker(const BIGNUM *a, const BIGNUM *b, BN_CTX *ctx)
66         {
67         int i;
68         int ret = -2; /* avoid 'uninitialized' warning */
69         int err = 0;
70         BIGNUM *A, *B, *tmp;
71         /* In 'tab', only odd-indexed entries are relevant:
72          * For any odd BIGNUM n,
73          *     tab[BN_lsw(n) & 7]
74          * is $(-1)^{(n^2-1)/8}$ (using TeX notation).
75          * Note that the sign of n does not matter.
76          */
77         static const int tab[8] = {0, 1, 0, -1, 0, -1, 0, 1};
78
79         BN_CTX_start(ctx);
80         A = BN_CTX_get(ctx);
81         B = BN_CTX_get(ctx);
82         if (B == NULL) goto end;
83         
84         err = !BN_copy(A, a);
85         if (err) goto end;
86         err = !BN_copy(B, b);
87         if (err) goto end;
88
89         /*
90          * Kronecker symbol, imlemented according to Henri Cohen,
91          * "A Course in Computational Algebraic Number Theory"
92          * (algorithm 1.4.10).
93          */
94
95         /* Cohen's step 1: */
96
97         if (BN_is_zero(B))
98                 {
99                 ret = BN_abs_is_word(A, 1);
100                 goto end;
101                 }
102         
103         /* Cohen's step 2: */
104
105         if (!BN_is_odd(A) && !BN_is_odd(B))
106                 {
107                 ret = 0;
108                 goto end;
109                 }
110
111         /* now  B  is non-zero */
112         i = 0;
113         while (!BN_is_bit_set(B, i))
114                 i++;
115         err = !BN_rshift(B, B, i);
116         if (err) goto end;
117         if (i & 1)
118                 {
119                 /* i is odd */
120                 /* (thus  B  was even, thus  A  must be odd!)  */
121
122                 /* set 'ret' to $(-1)^{(A^2-1)/8}$ */
123                 ret = tab[BN_lsw(A) & 7];
124                 }
125         else
126                 {
127                 /* i is even */
128                 ret = 1;
129                 }
130         
131         if (B->neg)
132                 {
133                 B->neg = 0;
134                 if (A->neg)
135                         ret = -ret;
136                 }
137
138         /* now  B  is positive and odd, so what remains to be done is
139          * to compute the Jacobi symbol  (A/B)  and multiply it by 'ret' */
140
141         while (1)
142                 {
143                 /* Cohen's step 3: */
144
145                 /*  B  is positive and odd */
146
147                 if (BN_is_zero(A))
148                         {
149                         ret = BN_is_one(B) ? ret : 0;
150                         goto end;
151                         }
152
153                 /* now  A  is non-zero */
154                 i = 0;
155                 while (!BN_is_bit_set(A, i))
156                         i++;
157                 err = !BN_rshift(A, A, i);
158                 if (err) goto end;
159                 if (i & 1)
160                         {
161                         /* i is odd */
162                         /* multiply 'ret' by  $(-1)^{(B^2-1)/8}$ */
163                         ret = ret * tab[BN_lsw(B) & 7];
164                         }
165         
166                 /* Cohen's step 4: */
167                 /* multiply 'ret' by  $(-1)^{(A-1)(B-1)/4}$ */
168                 if ((A->neg ? ~BN_lsw(A) : BN_lsw(A)) & BN_lsw(B) & 2)
169                         ret = -ret;
170                 
171                 /* (A, B) := (B mod |A|, |A|) */
172                 err = !BN_nnmod(B, B, A, ctx);
173                 if (err) goto end;
174                 tmp = A; A = B; B = tmp;
175                 tmp->neg = 0;
176                 }
177         
178  end:
179         BN_CTX_end(ctx);
180         if (err)
181                 return -2;
182         else
183                 return ret;
184         }