Increase rounds of Miller-Rabin testing DH_check
[openssl.git] / crypto / dh / dh_check.c
1 /*
2  * Copyright 1995-2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include "internal/cryptlib.h"
12 #include <openssl/bn.h>
13 #include "dh_locl.h"
14
15 # define DH_NUMBER_ITERATIONS_FOR_PRIME 64
16
17 /*-
18  * Check that p and g are suitable enough
19  *
20  * p is odd
21  * 1 < g < p - 1
22  */
23 int DH_check_params_ex(const DH *dh)
24 {
25     int errflags = 0;
26
27     (void)DH_check_params(dh, &errflags);
28
29     if ((errflags & DH_CHECK_P_NOT_PRIME) != 0)
30         DHerr(DH_F_DH_CHECK_PARAMS_EX, DH_R_CHECK_P_NOT_PRIME);
31     if ((errflags & DH_NOT_SUITABLE_GENERATOR) != 0)
32         DHerr(DH_F_DH_CHECK_PARAMS_EX, DH_R_NOT_SUITABLE_GENERATOR);
33
34     return errflags == 0;
35 }
36
37 int DH_check_params(const DH *dh, int *ret)
38 {
39     int ok = 0;
40     BIGNUM *tmp = NULL;
41     BN_CTX *ctx = NULL;
42
43     *ret = 0;
44     ctx = BN_CTX_new();
45     if (ctx == NULL)
46         goto err;
47     BN_CTX_start(ctx);
48     tmp = BN_CTX_get(ctx);
49     if (tmp == NULL)
50         goto err;
51
52     if (!BN_is_odd(dh->p))
53         *ret |= DH_CHECK_P_NOT_PRIME;
54     if (BN_is_negative(dh->g) || BN_is_zero(dh->g) || BN_is_one(dh->g))
55         *ret |= DH_NOT_SUITABLE_GENERATOR;
56     if (BN_copy(tmp, dh->p) == NULL || !BN_sub_word(tmp, 1))
57         goto err;
58     if (BN_cmp(dh->g, tmp) >= 0)
59         *ret |= DH_NOT_SUITABLE_GENERATOR;
60
61     ok = 1;
62  err:
63     BN_CTX_end(ctx);
64     BN_CTX_free(ctx);
65     return ok;
66 }
67
68 /*-
69  * Check that p is a safe prime and
70  * if g is 2, 3 or 5, check that it is a suitable generator
71  * where
72  * for 2, p mod 24 == 11
73  * for 3, p mod 12 == 5
74  * for 5, p mod 10 == 3 or 7
75  * should hold.
76  */
77 int DH_check_ex(const DH *dh)
78 {
79     int errflags = 0;
80
81     (void)DH_check(dh, &errflags);
82
83     if ((errflags & DH_NOT_SUITABLE_GENERATOR) != 0)
84         DHerr(DH_F_DH_CHECK_EX, DH_R_NOT_SUITABLE_GENERATOR);
85     if ((errflags & DH_CHECK_Q_NOT_PRIME) != 0)
86         DHerr(DH_F_DH_CHECK_EX, DH_R_CHECK_Q_NOT_PRIME);
87     if ((errflags & DH_CHECK_INVALID_Q_VALUE) != 0)
88         DHerr(DH_F_DH_CHECK_EX, DH_R_CHECK_INVALID_Q_VALUE);
89     if ((errflags & DH_CHECK_INVALID_J_VALUE) != 0)
90         DHerr(DH_F_DH_CHECK_EX, DH_R_CHECK_INVALID_J_VALUE);
91     if ((errflags & DH_UNABLE_TO_CHECK_GENERATOR) != 0)
92         DHerr(DH_F_DH_CHECK_EX, DH_R_UNABLE_TO_CHECK_GENERATOR);
93     if ((errflags & DH_CHECK_P_NOT_PRIME) != 0)
94         DHerr(DH_F_DH_CHECK_EX, DH_R_CHECK_P_NOT_PRIME);
95     if ((errflags & DH_CHECK_P_NOT_SAFE_PRIME) != 0)
96         DHerr(DH_F_DH_CHECK_EX, DH_R_CHECK_P_NOT_SAFE_PRIME);
97
98     return errflags == 0;
99 }
100
101 int DH_check(const DH *dh, int *ret)
102 {
103     int ok = 0, r;
104     BN_CTX *ctx = NULL;
105     BN_ULONG l;
106     BIGNUM *t1 = NULL, *t2 = NULL;
107
108     *ret = 0;
109     ctx = BN_CTX_new();
110     if (ctx == NULL)
111         goto err;
112     BN_CTX_start(ctx);
113     t1 = BN_CTX_get(ctx);
114     t2 = BN_CTX_get(ctx);
115     if (t2 == NULL)
116         goto err;
117
118     if (dh->q) {
119         if (BN_cmp(dh->g, BN_value_one()) <= 0)
120             *ret |= DH_NOT_SUITABLE_GENERATOR;
121         else if (BN_cmp(dh->g, dh->p) >= 0)
122             *ret |= DH_NOT_SUITABLE_GENERATOR;
123         else {
124             /* Check g^q == 1 mod p */
125             if (!BN_mod_exp(t1, dh->g, dh->q, dh->p, ctx))
126                 goto err;
127             if (!BN_is_one(t1))
128                 *ret |= DH_NOT_SUITABLE_GENERATOR;
129         }
130         r = BN_is_prime_ex(dh->q, DH_NUMBER_ITERATIONS_FOR_PRIME, ctx, NULL);
131         if (r < 0)
132             goto err;
133         if (!r)
134             *ret |= DH_CHECK_Q_NOT_PRIME;
135         /* Check p == 1 mod q  i.e. q divides p - 1 */
136         if (!BN_div(t1, t2, dh->p, dh->q, ctx))
137             goto err;
138         if (!BN_is_one(t2))
139             *ret |= DH_CHECK_INVALID_Q_VALUE;
140         if (dh->j && BN_cmp(dh->j, t1))
141             *ret |= DH_CHECK_INVALID_J_VALUE;
142
143     } else if (BN_is_word(dh->g, DH_GENERATOR_2)) {
144         l = BN_mod_word(dh->p, 24);
145         if (l == (BN_ULONG)-1)
146             goto err;
147         if (l != 11)
148             *ret |= DH_NOT_SUITABLE_GENERATOR;
149     } else if (BN_is_word(dh->g, DH_GENERATOR_5)) {
150         l = BN_mod_word(dh->p, 10);
151         if (l == (BN_ULONG)-1)
152             goto err;
153         if ((l != 3) && (l != 7))
154             *ret |= DH_NOT_SUITABLE_GENERATOR;
155     } else
156         *ret |= DH_UNABLE_TO_CHECK_GENERATOR;
157
158     r = BN_is_prime_ex(dh->p, DH_NUMBER_ITERATIONS_FOR_PRIME, ctx, NULL);
159     if (r < 0)
160         goto err;
161     if (!r)
162         *ret |= DH_CHECK_P_NOT_PRIME;
163     else if (!dh->q) {
164         if (!BN_rshift1(t1, dh->p))
165             goto err;
166         r = BN_is_prime_ex(t1, DH_NUMBER_ITERATIONS_FOR_PRIME, ctx, NULL);
167         if (r < 0)
168             goto err;
169         if (!r)
170             *ret |= DH_CHECK_P_NOT_SAFE_PRIME;
171     }
172     ok = 1;
173  err:
174     BN_CTX_end(ctx);
175     BN_CTX_free(ctx);
176     return ok;
177 }
178
179 int DH_check_pub_key_ex(const DH *dh, const BIGNUM *pub_key)
180 {
181     int errflags = 0;
182
183     (void)DH_check(dh, &errflags);
184
185     if ((errflags & DH_CHECK_PUBKEY_TOO_SMALL) != 0)
186         DHerr(DH_F_DH_CHECK_PUB_KEY_EX, DH_R_CHECK_PUBKEY_TOO_SMALL);
187     if ((errflags & DH_CHECK_PUBKEY_TOO_LARGE) != 0)
188         DHerr(DH_F_DH_CHECK_PUB_KEY_EX, DH_R_CHECK_PUBKEY_TOO_LARGE);
189     if ((errflags & DH_CHECK_PUBKEY_INVALID) != 0)
190         DHerr(DH_F_DH_CHECK_PUB_KEY_EX, DH_R_CHECK_PUBKEY_INVALID);
191
192     return errflags == 0;
193 }
194
195 int DH_check_pub_key(const DH *dh, const BIGNUM *pub_key, int *ret)
196 {
197     int ok = 0;
198     BIGNUM *tmp = NULL;
199     BN_CTX *ctx = NULL;
200
201     *ret = 0;
202     ctx = BN_CTX_new();
203     if (ctx == NULL)
204         goto err;
205     BN_CTX_start(ctx);
206     tmp = BN_CTX_get(ctx);
207     if (tmp == NULL || !BN_set_word(tmp, 1))
208         goto err;
209     if (BN_cmp(pub_key, tmp) <= 0)
210         *ret |= DH_CHECK_PUBKEY_TOO_SMALL;
211     if (BN_copy(tmp, dh->p) == NULL || !BN_sub_word(tmp, 1))
212         goto err;
213     if (BN_cmp(pub_key, tmp) >= 0)
214         *ret |= DH_CHECK_PUBKEY_TOO_LARGE;
215
216     if (dh->q != NULL) {
217         /* Check pub_key^q == 1 mod p */
218         if (!BN_mod_exp(tmp, pub_key, dh->q, dh->p, ctx))
219             goto err;
220         if (!BN_is_one(tmp))
221             *ret |= DH_CHECK_PUBKEY_INVALID;
222     }
223
224     ok = 1;
225  err:
226     BN_CTX_end(ctx);
227     BN_CTX_free(ctx);
228     return ok;
229 }