Fix race for X509 store found by thread sanitizer
[openssl.git] / providers / implementations / kdfs / scrypt.c
1 /*
2  * Copyright 2017-2023 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdlib.h>
11 #include <stdarg.h>
12 #include <string.h>
13 #include <openssl/evp.h>
14 #include <openssl/kdf.h>
15 #include <openssl/err.h>
16 #include <openssl/core_names.h>
17 #include <openssl/proverr.h>
18 #include "crypto/evp.h"
19 #include "internal/numbers.h"
20 #include "prov/implementations.h"
21 #include "prov/provider_ctx.h"
22 #include "prov/providercommon.h"
23 #include "prov/provider_util.h"
24
25 #ifndef OPENSSL_NO_SCRYPT
26
27 static OSSL_FUNC_kdf_newctx_fn kdf_scrypt_new;
28 static OSSL_FUNC_kdf_dupctx_fn kdf_scrypt_dup;
29 static OSSL_FUNC_kdf_freectx_fn kdf_scrypt_free;
30 static OSSL_FUNC_kdf_reset_fn kdf_scrypt_reset;
31 static OSSL_FUNC_kdf_derive_fn kdf_scrypt_derive;
32 static OSSL_FUNC_kdf_settable_ctx_params_fn kdf_scrypt_settable_ctx_params;
33 static OSSL_FUNC_kdf_set_ctx_params_fn kdf_scrypt_set_ctx_params;
34 static OSSL_FUNC_kdf_gettable_ctx_params_fn kdf_scrypt_gettable_ctx_params;
35 static OSSL_FUNC_kdf_get_ctx_params_fn kdf_scrypt_get_ctx_params;
36
37 static int scrypt_alg(const char *pass, size_t passlen,
38                       const unsigned char *salt, size_t saltlen,
39                       uint64_t N, uint64_t r, uint64_t p, uint64_t maxmem,
40                       unsigned char *key, size_t keylen, EVP_MD *sha256,
41                       OSSL_LIB_CTX *libctx, const char *propq);
42
43 typedef struct {
44     OSSL_LIB_CTX *libctx;
45     char *propq;
46     unsigned char *pass;
47     size_t pass_len;
48     unsigned char *salt;
49     size_t salt_len;
50     uint64_t N;
51     uint64_t r, p;
52     uint64_t maxmem_bytes;
53     EVP_MD *sha256;
54 } KDF_SCRYPT;
55
56 static void kdf_scrypt_init(KDF_SCRYPT *ctx);
57
58 static void *kdf_scrypt_new_inner(OSSL_LIB_CTX *libctx)
59 {
60     KDF_SCRYPT *ctx;
61
62     if (!ossl_prov_is_running())
63         return NULL;
64
65     ctx = OPENSSL_zalloc(sizeof(*ctx));
66     if (ctx == NULL)
67         return NULL;
68     ctx->libctx = libctx;
69     kdf_scrypt_init(ctx);
70     return ctx;
71 }
72
73 static void *kdf_scrypt_new(void *provctx)
74 {
75     return kdf_scrypt_new_inner(PROV_LIBCTX_OF(provctx));
76 }
77
78 static void kdf_scrypt_free(void *vctx)
79 {
80     KDF_SCRYPT *ctx = (KDF_SCRYPT *)vctx;
81
82     if (ctx != NULL) {
83         OPENSSL_free(ctx->propq);
84         EVP_MD_free(ctx->sha256);
85         kdf_scrypt_reset(ctx);
86         OPENSSL_free(ctx);
87     }
88 }
89
90 static void kdf_scrypt_reset(void *vctx)
91 {
92     KDF_SCRYPT *ctx = (KDF_SCRYPT *)vctx;
93
94     OPENSSL_free(ctx->salt);
95     OPENSSL_clear_free(ctx->pass, ctx->pass_len);
96     kdf_scrypt_init(ctx);
97 }
98
99 static void *kdf_scrypt_dup(void *vctx)
100 {
101     const KDF_SCRYPT *src = (const KDF_SCRYPT *)vctx;
102     KDF_SCRYPT *dest;
103
104     dest = kdf_scrypt_new_inner(src->libctx);
105     if (dest != NULL) {
106         if (src->sha256 != NULL && !EVP_MD_up_ref(src->sha256))
107             goto err;
108         if (src->propq != NULL) {
109             dest->propq = OPENSSL_strdup(src->propq);
110             if (dest->propq == NULL)
111                 goto err;
112         }
113         if (!ossl_prov_memdup(src->salt, src->salt_len,
114                               &dest->salt, &dest->salt_len)
115                 || !ossl_prov_memdup(src->pass, src->pass_len,
116                                      &dest->pass , &dest->pass_len))
117             goto err;
118         dest->N = src->N;
119         dest->r = src->r;
120         dest->p = src->p;
121         dest->maxmem_bytes = src->maxmem_bytes;
122         dest->sha256 = src->sha256;
123     }
124     return dest;
125
126  err:
127     kdf_scrypt_free(dest);
128     return NULL;
129 }
130
131 static void kdf_scrypt_init(KDF_SCRYPT *ctx)
132 {
133     /* Default values are the most conservative recommendation given in the
134      * original paper of C. Percival. Derivation uses roughly 1 GiB of memory
135      * for this parameter choice (approx. 128 * r * N * p bytes).
136      */
137     ctx->N = 1 << 20;
138     ctx->r = 8;
139     ctx->p = 1;
140     ctx->maxmem_bytes = 1025 * 1024 * 1024;
141 }
142
143 static int scrypt_set_membuf(unsigned char **buffer, size_t *buflen,
144                              const OSSL_PARAM *p)
145 {
146     OPENSSL_clear_free(*buffer, *buflen);
147     *buffer = NULL;
148     *buflen = 0;
149
150     if (p->data_size == 0) {
151         if ((*buffer = OPENSSL_malloc(1)) == NULL)
152             return 0;
153     } else if (p->data != NULL) {
154         if (!OSSL_PARAM_get_octet_string(p, (void **)buffer, 0, buflen))
155             return 0;
156     }
157     return 1;
158 }
159
160 static int set_digest(KDF_SCRYPT *ctx)
161 {
162     EVP_MD_free(ctx->sha256);
163     ctx->sha256 = EVP_MD_fetch(ctx->libctx, "sha256", ctx->propq);
164     if (ctx->sha256 == NULL) {
165         OPENSSL_free(ctx);
166         ERR_raise(ERR_LIB_PROV, PROV_R_UNABLE_TO_LOAD_SHA256);
167         return 0;
168     }
169     return 1;
170 }
171
172 static int set_property_query(KDF_SCRYPT *ctx, const char *propq)
173 {
174     OPENSSL_free(ctx->propq);
175     ctx->propq = NULL;
176     if (propq != NULL) {
177         ctx->propq = OPENSSL_strdup(propq);
178         if (ctx->propq == NULL)
179             return 0;
180     }
181     return 1;
182 }
183
184 static int kdf_scrypt_derive(void *vctx, unsigned char *key, size_t keylen,
185                              const OSSL_PARAM params[])
186 {
187     KDF_SCRYPT *ctx = (KDF_SCRYPT *)vctx;
188
189     if (!ossl_prov_is_running() || !kdf_scrypt_set_ctx_params(ctx, params))
190         return 0;
191
192     if (ctx->pass == NULL) {
193         ERR_raise(ERR_LIB_PROV, PROV_R_MISSING_PASS);
194         return 0;
195     }
196
197     if (ctx->salt == NULL) {
198         ERR_raise(ERR_LIB_PROV, PROV_R_MISSING_SALT);
199         return 0;
200     }
201
202     if (ctx->sha256 == NULL && !set_digest(ctx))
203         return 0;
204
205     return scrypt_alg((char *)ctx->pass, ctx->pass_len, ctx->salt,
206                       ctx->salt_len, ctx->N, ctx->r, ctx->p,
207                       ctx->maxmem_bytes, key, keylen, ctx->sha256,
208                       ctx->libctx, ctx->propq);
209 }
210
211 static int is_power_of_two(uint64_t value)
212 {
213     return (value != 0) && ((value & (value - 1)) == 0);
214 }
215
216 static int kdf_scrypt_set_ctx_params(void *vctx, const OSSL_PARAM params[])
217 {
218     const OSSL_PARAM *p;
219     KDF_SCRYPT *ctx = vctx;
220     uint64_t u64_value;
221
222     if (params == NULL)
223         return 1;
224
225     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_PASSWORD)) != NULL)
226         if (!scrypt_set_membuf(&ctx->pass, &ctx->pass_len, p))
227             return 0;
228
229     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_SALT)) != NULL)
230         if (!scrypt_set_membuf(&ctx->salt, &ctx->salt_len, p))
231             return 0;
232
233     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_SCRYPT_N))
234         != NULL) {
235         if (!OSSL_PARAM_get_uint64(p, &u64_value)
236             || u64_value <= 1
237             || !is_power_of_two(u64_value))
238             return 0;
239         ctx->N = u64_value;
240     }
241
242     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_SCRYPT_R))
243         != NULL) {
244         if (!OSSL_PARAM_get_uint64(p, &u64_value) || u64_value < 1)
245             return 0;
246         ctx->r = u64_value;
247     }
248
249     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_SCRYPT_P))
250         != NULL) {
251         if (!OSSL_PARAM_get_uint64(p, &u64_value) || u64_value < 1)
252             return 0;
253         ctx->p = u64_value;
254     }
255
256     if ((p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_SCRYPT_MAXMEM))
257         != NULL) {
258         if (!OSSL_PARAM_get_uint64(p, &u64_value) || u64_value < 1)
259             return 0;
260         ctx->maxmem_bytes = u64_value;
261     }
262
263     p = OSSL_PARAM_locate_const(params, OSSL_KDF_PARAM_PROPERTIES);
264     if (p != NULL) {
265         if (p->data_type != OSSL_PARAM_UTF8_STRING
266             || !set_property_query(ctx, p->data)
267             || !set_digest(ctx))
268             return 0;
269     }
270     return 1;
271 }
272
273 static const OSSL_PARAM *kdf_scrypt_settable_ctx_params(ossl_unused void *ctx,
274                                                         ossl_unused void *p_ctx)
275 {
276     static const OSSL_PARAM known_settable_ctx_params[] = {
277         OSSL_PARAM_octet_string(OSSL_KDF_PARAM_PASSWORD, NULL, 0),
278         OSSL_PARAM_octet_string(OSSL_KDF_PARAM_SALT, NULL, 0),
279         OSSL_PARAM_uint64(OSSL_KDF_PARAM_SCRYPT_N, NULL),
280         OSSL_PARAM_uint32(OSSL_KDF_PARAM_SCRYPT_R, NULL),
281         OSSL_PARAM_uint32(OSSL_KDF_PARAM_SCRYPT_P, NULL),
282         OSSL_PARAM_uint64(OSSL_KDF_PARAM_SCRYPT_MAXMEM, NULL),
283         OSSL_PARAM_utf8_string(OSSL_KDF_PARAM_PROPERTIES, NULL, 0),
284         OSSL_PARAM_END
285     };
286     return known_settable_ctx_params;
287 }
288
289 static int kdf_scrypt_get_ctx_params(void *vctx, OSSL_PARAM params[])
290 {
291     OSSL_PARAM *p;
292
293     if ((p = OSSL_PARAM_locate(params, OSSL_KDF_PARAM_SIZE)) != NULL)
294         return OSSL_PARAM_set_size_t(p, SIZE_MAX);
295     return -2;
296 }
297
298 static const OSSL_PARAM *kdf_scrypt_gettable_ctx_params(ossl_unused void *ctx,
299                                                         ossl_unused void *p_ctx)
300 {
301     static const OSSL_PARAM known_gettable_ctx_params[] = {
302         OSSL_PARAM_size_t(OSSL_KDF_PARAM_SIZE, NULL),
303         OSSL_PARAM_END
304     };
305     return known_gettable_ctx_params;
306 }
307
308 const OSSL_DISPATCH ossl_kdf_scrypt_functions[] = {
309     { OSSL_FUNC_KDF_NEWCTX, (void(*)(void))kdf_scrypt_new },
310     { OSSL_FUNC_KDF_DUPCTX, (void(*)(void))kdf_scrypt_dup },
311     { OSSL_FUNC_KDF_FREECTX, (void(*)(void))kdf_scrypt_free },
312     { OSSL_FUNC_KDF_RESET, (void(*)(void))kdf_scrypt_reset },
313     { OSSL_FUNC_KDF_DERIVE, (void(*)(void))kdf_scrypt_derive },
314     { OSSL_FUNC_KDF_SETTABLE_CTX_PARAMS,
315       (void(*)(void))kdf_scrypt_settable_ctx_params },
316     { OSSL_FUNC_KDF_SET_CTX_PARAMS, (void(*)(void))kdf_scrypt_set_ctx_params },
317     { OSSL_FUNC_KDF_GETTABLE_CTX_PARAMS,
318       (void(*)(void))kdf_scrypt_gettable_ctx_params },
319     { OSSL_FUNC_KDF_GET_CTX_PARAMS, (void(*)(void))kdf_scrypt_get_ctx_params },
320     OSSL_DISPATCH_END
321 };
322
323 #define R(a,b) (((a) << (b)) | ((a) >> (32 - (b))))
324 static void salsa208_word_specification(uint32_t inout[16])
325 {
326     int i;
327     uint32_t x[16];
328
329     memcpy(x, inout, sizeof(x));
330     for (i = 8; i > 0; i -= 2) {
331         x[4] ^= R(x[0] + x[12], 7);
332         x[8] ^= R(x[4] + x[0], 9);
333         x[12] ^= R(x[8] + x[4], 13);
334         x[0] ^= R(x[12] + x[8], 18);
335         x[9] ^= R(x[5] + x[1], 7);
336         x[13] ^= R(x[9] + x[5], 9);
337         x[1] ^= R(x[13] + x[9], 13);
338         x[5] ^= R(x[1] + x[13], 18);
339         x[14] ^= R(x[10] + x[6], 7);
340         x[2] ^= R(x[14] + x[10], 9);
341         x[6] ^= R(x[2] + x[14], 13);
342         x[10] ^= R(x[6] + x[2], 18);
343         x[3] ^= R(x[15] + x[11], 7);
344         x[7] ^= R(x[3] + x[15], 9);
345         x[11] ^= R(x[7] + x[3], 13);
346         x[15] ^= R(x[11] + x[7], 18);
347         x[1] ^= R(x[0] + x[3], 7);
348         x[2] ^= R(x[1] + x[0], 9);
349         x[3] ^= R(x[2] + x[1], 13);
350         x[0] ^= R(x[3] + x[2], 18);
351         x[6] ^= R(x[5] + x[4], 7);
352         x[7] ^= R(x[6] + x[5], 9);
353         x[4] ^= R(x[7] + x[6], 13);
354         x[5] ^= R(x[4] + x[7], 18);
355         x[11] ^= R(x[10] + x[9], 7);
356         x[8] ^= R(x[11] + x[10], 9);
357         x[9] ^= R(x[8] + x[11], 13);
358         x[10] ^= R(x[9] + x[8], 18);
359         x[12] ^= R(x[15] + x[14], 7);
360         x[13] ^= R(x[12] + x[15], 9);
361         x[14] ^= R(x[13] + x[12], 13);
362         x[15] ^= R(x[14] + x[13], 18);
363     }
364     for (i = 0; i < 16; ++i)
365         inout[i] += x[i];
366     OPENSSL_cleanse(x, sizeof(x));
367 }
368
369 static void scryptBlockMix(uint32_t *B_, uint32_t *B, uint64_t r)
370 {
371     uint64_t i, j;
372     uint32_t X[16], *pB;
373
374     memcpy(X, B + (r * 2 - 1) * 16, sizeof(X));
375     pB = B;
376     for (i = 0; i < r * 2; i++) {
377         for (j = 0; j < 16; j++)
378             X[j] ^= *pB++;
379         salsa208_word_specification(X);
380         memcpy(B_ + (i / 2 + (i & 1) * r) * 16, X, sizeof(X));
381     }
382     OPENSSL_cleanse(X, sizeof(X));
383 }
384
385 static void scryptROMix(unsigned char *B, uint64_t r, uint64_t N,
386                         uint32_t *X, uint32_t *T, uint32_t *V)
387 {
388     unsigned char *pB;
389     uint32_t *pV;
390     uint64_t i, k;
391
392     /* Convert from little endian input */
393     for (pV = V, i = 0, pB = B; i < 32 * r; i++, pV++) {
394         *pV = *pB++;
395         *pV |= *pB++ << 8;
396         *pV |= *pB++ << 16;
397         *pV |= (uint32_t)*pB++ << 24;
398     }
399
400     for (i = 1; i < N; i++, pV += 32 * r)
401         scryptBlockMix(pV, pV - 32 * r, r);
402
403     scryptBlockMix(X, V + (N - 1) * 32 * r, r);
404
405     for (i = 0; i < N; i++) {
406         uint32_t j;
407         j = X[16 * (2 * r - 1)] % N;
408         pV = V + 32 * r * j;
409         for (k = 0; k < 32 * r; k++)
410             T[k] = X[k] ^ *pV++;
411         scryptBlockMix(X, T, r);
412     }
413     /* Convert output to little endian */
414     for (i = 0, pB = B; i < 32 * r; i++) {
415         uint32_t xtmp = X[i];
416         *pB++ = xtmp & 0xff;
417         *pB++ = (xtmp >> 8) & 0xff;
418         *pB++ = (xtmp >> 16) & 0xff;
419         *pB++ = (xtmp >> 24) & 0xff;
420     }
421 }
422
423 #ifndef SIZE_MAX
424 # define SIZE_MAX    ((size_t)-1)
425 #endif
426
427 /*
428  * Maximum power of two that will fit in uint64_t: this should work on
429  * most (all?) platforms.
430  */
431
432 #define LOG2_UINT64_MAX         (sizeof(uint64_t) * 8 - 1)
433
434 /*
435  * Maximum value of p * r:
436  * p <= ((2^32-1) * hLen) / MFLen =>
437  * p <= ((2^32-1) * 32) / (128 * r) =>
438  * p * r <= (2^30-1)
439  */
440
441 #define SCRYPT_PR_MAX   ((1 << 30) - 1)
442
443 static int scrypt_alg(const char *pass, size_t passlen,
444                       const unsigned char *salt, size_t saltlen,
445                       uint64_t N, uint64_t r, uint64_t p, uint64_t maxmem,
446                       unsigned char *key, size_t keylen, EVP_MD *sha256,
447                       OSSL_LIB_CTX *libctx, const char *propq)
448 {
449     int rv = 0;
450     unsigned char *B;
451     uint32_t *X, *V, *T;
452     uint64_t i, Blen, Vlen;
453
454     /* Sanity check parameters */
455     /* initial check, r,p must be non zero, N >= 2 and a power of 2 */
456     if (r == 0 || p == 0 || N < 2 || (N & (N - 1)))
457         return 0;
458     /* Check p * r < SCRYPT_PR_MAX avoiding overflow */
459     if (p > SCRYPT_PR_MAX / r) {
460         ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
461         return 0;
462     }
463
464     /*
465      * Need to check N: if 2^(128 * r / 8) overflows limit this is
466      * automatically satisfied since N <= UINT64_MAX.
467      */
468
469     if (16 * r <= LOG2_UINT64_MAX) {
470         if (N >= (((uint64_t)1) << (16 * r))) {
471             ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
472             return 0;
473         }
474     }
475
476     /* Memory checks: check total allocated buffer size fits in uint64_t */
477
478     /*
479      * B size in section 5 step 1.S
480      * Note: we know p * 128 * r < UINT64_MAX because we already checked
481      * p * r < SCRYPT_PR_MAX
482      */
483     Blen = p * 128 * r;
484     /*
485      * Yet we pass it as integer to PKCS5_PBKDF2_HMAC... [This would
486      * have to be revised when/if PKCS5_PBKDF2_HMAC accepts size_t.]
487      */
488     if (Blen > INT_MAX) {
489         ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
490         return 0;
491     }
492
493     /*
494      * Check 32 * r * (N + 2) * sizeof(uint32_t) fits in uint64_t
495      * This is combined size V, X and T (section 4)
496      */
497     i = UINT64_MAX / (32 * sizeof(uint32_t));
498     if (N + 2 > i / r) {
499         ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
500         return 0;
501     }
502     Vlen = 32 * r * (N + 2) * sizeof(uint32_t);
503
504     /* check total allocated size fits in uint64_t */
505     if (Blen > UINT64_MAX - Vlen) {
506         ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
507         return 0;
508     }
509
510     /* Check that the maximum memory doesn't exceed a size_t limits */
511     if (maxmem > SIZE_MAX)
512         maxmem = SIZE_MAX;
513
514     if (Blen + Vlen > maxmem) {
515         ERR_raise(ERR_LIB_EVP, EVP_R_MEMORY_LIMIT_EXCEEDED);
516         return 0;
517     }
518
519     /* If no key return to indicate parameters are OK */
520     if (key == NULL)
521         return 1;
522
523     B = OPENSSL_malloc((size_t)(Blen + Vlen));
524     if (B == NULL)
525         return 0;
526     X = (uint32_t *)(B + Blen);
527     T = X + 32 * r;
528     V = T + 32 * r;
529     if (ossl_pkcs5_pbkdf2_hmac_ex(pass, passlen, salt, saltlen, 1, sha256,
530                                   (int)Blen, B, libctx, propq) == 0)
531         goto err;
532
533     for (i = 0; i < p; i++)
534         scryptROMix(B + 128 * r * i, r, N, X, T, V);
535
536     if (ossl_pkcs5_pbkdf2_hmac_ex(pass, passlen, B, (int)Blen, 1, sha256,
537                                   keylen, key, libctx, propq) == 0)
538         goto err;
539     rv = 1;
540  err:
541     if (rv == 0)
542         ERR_raise(ERR_LIB_EVP, EVP_R_PBKDF2_ERROR);
543
544     OPENSSL_clear_free(B, (size_t)(Blen + Vlen));
545     return rv;
546 }
547
548 #endif