Change all our uses of CRYPTO_THREAD_run_once to use RUN_ONCE instead
[openssl.git] / crypto / rand / md_rand.c
1 /*
2  * Copyright 1995-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12
13 #include "e_os.h"
14
15 #if !(defined(OPENSSL_SYS_WIN32) || defined(OPENSSL_SYS_VXWORKS) || defined(OPENSSL_SYS_DSPBIOS))
16 # include <sys/time.h>
17 #endif
18 #if defined(OPENSSL_SYS_VXWORKS)
19 # include <time.h>
20 #endif
21
22 #include <openssl/opensslconf.h>
23 #include <openssl/crypto.h>
24 #include <openssl/rand.h>
25 #include <openssl/async.h>
26 #include "rand_lcl.h"
27
28 #include <openssl/err.h>
29
30 #include <internal/thread_once.h>
31
32 #ifdef OPENSSL_FIPS
33 # include <openssl/fips.h>
34 #endif
35
36 #ifdef BN_DEBUG
37 # define PREDICT
38 #endif
39
40 /* #define PREDICT      1 */
41
42 #define STATE_SIZE      1023
43 static size_t state_num = 0, state_index = 0;
44 static unsigned char state[STATE_SIZE + MD_DIGEST_LENGTH];
45 static unsigned char md[MD_DIGEST_LENGTH];
46 static long md_count[2] = { 0, 0 };
47
48 static double entropy = 0;
49 static int initialized = 0;
50
51 static CRYPTO_RWLOCK *rand_lock = NULL;
52 static CRYPTO_RWLOCK *rand_tmp_lock = NULL;
53 static CRYPTO_ONCE rand_lock_init = CRYPTO_ONCE_STATIC_INIT;
54
55 /* May be set only when a thread holds rand_lock (to prevent double locking) */
56 static unsigned int crypto_lock_rand = 0;
57 /* access to locking_threadid is synchronized by rand_tmp_lock */
58 /* valid iff crypto_lock_rand is set */
59 static CRYPTO_THREAD_ID locking_threadid;
60
61 #ifdef PREDICT
62 int rand_predictable = 0;
63 #endif
64
65 static int rand_hw_seed(EVP_MD_CTX *ctx);
66
67 static void rand_cleanup(void);
68 static int rand_seed(const void *buf, int num);
69 static int rand_add(const void *buf, int num, double add_entropy);
70 static int rand_bytes(unsigned char *buf, int num, int pseudo);
71 static int rand_nopseudo_bytes(unsigned char *buf, int num);
72 #if OPENSSL_API_COMPAT < 0x10100000L
73 static int rand_pseudo_bytes(unsigned char *buf, int num);
74 #endif
75 static int rand_status(void);
76
77 static RAND_METHOD rand_meth = {
78     rand_seed,
79     rand_nopseudo_bytes,
80     rand_cleanup,
81     rand_add,
82 #if OPENSSL_API_COMPAT < 0x10100000L
83     rand_pseudo_bytes,
84 #else
85     NULL,
86 #endif
87     rand_status
88 };
89
90 DEFINE_RUN_ONCE_STATIC(do_rand_lock_init)
91 {
92     rand_lock = CRYPTO_THREAD_lock_new();
93     rand_tmp_lock = CRYPTO_THREAD_lock_new();
94     return rand_lock != NULL && rand_tmp_lock != NULL;
95 }
96
97 RAND_METHOD *RAND_OpenSSL(void)
98 {
99     return (&rand_meth);
100 }
101
102 static void rand_cleanup(void)
103 {
104     OPENSSL_cleanse(state, sizeof(state));
105     state_num = 0;
106     state_index = 0;
107     OPENSSL_cleanse(md, MD_DIGEST_LENGTH);
108     md_count[0] = 0;
109     md_count[1] = 0;
110     entropy = 0;
111     initialized = 0;
112     CRYPTO_THREAD_lock_free(rand_lock);
113     CRYPTO_THREAD_lock_free(rand_tmp_lock);
114 }
115
116 static int rand_add(const void *buf, int num, double add)
117 {
118     int i, j, k, st_idx;
119     long md_c[2];
120     unsigned char local_md[MD_DIGEST_LENGTH];
121     EVP_MD_CTX *m;
122     int do_not_lock;
123     int rv = 0;
124
125     if (!num)
126         return 1;
127
128     /*
129      * (Based on the rand(3) manpage)
130      *
131      * The input is chopped up into units of 20 bytes (or less for
132      * the last block).  Each of these blocks is run through the hash
133      * function as follows:  The data passed to the hash function
134      * is the current 'md', the same number of bytes from the 'state'
135      * (the location determined by in incremented looping index) as
136      * the current 'block', the new key data 'block', and 'count'
137      * (which is incremented after each use).
138      * The result of this is kept in 'md' and also xored into the
139      * 'state' at the same locations that were used as input into the
140      * hash function.
141      */
142
143     m = EVP_MD_CTX_new();
144     if (m == NULL)
145         goto err;
146
147     if (!RUN_ONCE(&rand_lock_init, do_rand_lock_init))
148         goto err;
149
150     /* check if we already have the lock */
151     if (crypto_lock_rand) {
152         CRYPTO_THREAD_ID cur = CRYPTO_THREAD_get_current_id();
153         CRYPTO_THREAD_read_lock(rand_tmp_lock);
154         do_not_lock = CRYPTO_THREAD_compare_id(locking_threadid, cur);
155         CRYPTO_THREAD_unlock(rand_tmp_lock);
156     } else
157         do_not_lock = 0;
158
159     if (!do_not_lock)
160         CRYPTO_THREAD_write_lock(rand_lock);
161     st_idx = state_index;
162
163     /*
164      * use our own copies of the counters so that even if a concurrent thread
165      * seeds with exactly the same data and uses the same subarray there's
166      * _some_ difference
167      */
168     md_c[0] = md_count[0];
169     md_c[1] = md_count[1];
170
171     memcpy(local_md, md, sizeof md);
172
173     /* state_index <= state_num <= STATE_SIZE */
174     state_index += num;
175     if (state_index >= STATE_SIZE) {
176         state_index %= STATE_SIZE;
177         state_num = STATE_SIZE;
178     } else if (state_num < STATE_SIZE) {
179         if (state_index > state_num)
180             state_num = state_index;
181     }
182     /* state_index <= state_num <= STATE_SIZE */
183
184     /*
185      * state[st_idx], ..., state[(st_idx + num - 1) % STATE_SIZE] are what we
186      * will use now, but other threads may use them as well
187      */
188
189     md_count[1] += (num / MD_DIGEST_LENGTH) + (num % MD_DIGEST_LENGTH > 0);
190
191     if (!do_not_lock)
192         CRYPTO_THREAD_unlock(rand_lock);
193
194     for (i = 0; i < num; i += MD_DIGEST_LENGTH) {
195         j = (num - i);
196         j = (j > MD_DIGEST_LENGTH) ? MD_DIGEST_LENGTH : j;
197
198         if (!MD_Init(m))
199             goto err;
200         if (!MD_Update(m, local_md, MD_DIGEST_LENGTH))
201             goto err;
202         k = (st_idx + j) - STATE_SIZE;
203         if (k > 0) {
204             if (!MD_Update(m, &(state[st_idx]), j - k))
205                 goto err;
206             if (!MD_Update(m, &(state[0]), k))
207                 goto err;
208         } else if (!MD_Update(m, &(state[st_idx]), j))
209             goto err;
210
211         /* DO NOT REMOVE THE FOLLOWING CALL TO MD_Update()! */
212         if (!MD_Update(m, buf, j))
213             goto err;
214         /*
215          * We know that line may cause programs such as purify and valgrind
216          * to complain about use of uninitialized data.  The problem is not,
217          * it's with the caller.  Removing that line will make sure you get
218          * really bad randomness and thereby other problems such as very
219          * insecure keys.
220          */
221
222         if (!MD_Update(m, (unsigned char *)&(md_c[0]), sizeof(md_c)))
223             goto err;
224         if (!MD_Final(m, local_md))
225             goto err;
226         md_c[1]++;
227
228         buf = (const char *)buf + j;
229
230         for (k = 0; k < j; k++) {
231             /*
232              * Parallel threads may interfere with this, but always each byte
233              * of the new state is the XOR of some previous value of its and
234              * local_md (intermediate values may be lost). Alway using locking
235              * could hurt performance more than necessary given that
236              * conflicts occur only when the total seeding is longer than the
237              * random state.
238              */
239             state[st_idx++] ^= local_md[k];
240             if (st_idx >= STATE_SIZE)
241                 st_idx = 0;
242         }
243     }
244
245     if (!do_not_lock)
246         CRYPTO_THREAD_write_lock(rand_lock);
247     /*
248      * Don't just copy back local_md into md -- this could mean that other
249      * thread's seeding remains without effect (except for the incremented
250      * counter).  By XORing it we keep at least as much entropy as fits into
251      * md.
252      */
253     for (k = 0; k < (int)sizeof(md); k++) {
254         md[k] ^= local_md[k];
255     }
256     if (entropy < ENTROPY_NEEDED) /* stop counting when we have enough */
257         entropy += add;
258     if (!do_not_lock)
259         CRYPTO_THREAD_unlock(rand_lock);
260
261     rv = 1;
262  err:
263     EVP_MD_CTX_free(m);
264     return rv;
265 }
266
267 static int rand_seed(const void *buf, int num)
268 {
269     return rand_add(buf, num, (double)num);
270 }
271
272 static int rand_bytes(unsigned char *buf, int num, int pseudo)
273 {
274     static volatile int stirred_pool = 0;
275     int i, j, k;
276     size_t num_ceil, st_idx, st_num;
277     int ok;
278     long md_c[2];
279     unsigned char local_md[MD_DIGEST_LENGTH];
280     EVP_MD_CTX *m;
281 #ifndef GETPID_IS_MEANINGLESS
282     pid_t curr_pid = getpid();
283 #endif
284     time_t curr_time = time(NULL);
285     int do_stir_pool = 0;
286 /* time value for various platforms */
287 #ifdef OPENSSL_SYS_WIN32
288     FILETIME tv;
289 # ifdef _WIN32_WCE
290     SYSTEMTIME t;
291     GetSystemTime(&t);
292     SystemTimeToFileTime(&t, &tv);
293 # else
294     GetSystemTimeAsFileTime(&tv);
295 # endif
296 #elif defined(OPENSSL_SYS_VXWORKS)
297     struct timespec tv;
298     clock_gettime(CLOCK_REALTIME, &ts);
299 #elif defined(OPENSSL_SYS_DSPBIOS)
300     unsigned long long tv, OPENSSL_rdtsc();
301     tv = OPENSSL_rdtsc();
302 #else
303     struct timeval tv;
304     gettimeofday(&tv, NULL);
305 #endif
306
307 #ifdef PREDICT
308     if (rand_predictable) {
309         static unsigned char val = 0;
310
311         for (i = 0; i < num; i++)
312             buf[i] = val++;
313         return (1);
314     }
315 #endif
316
317     if (num <= 0)
318         return 1;
319
320     m = EVP_MD_CTX_new();
321     if (m == NULL)
322         goto err_mem;
323
324     /* round upwards to multiple of MD_DIGEST_LENGTH/2 */
325     num_ceil =
326         (1 + (num - 1) / (MD_DIGEST_LENGTH / 2)) * (MD_DIGEST_LENGTH / 2);
327
328     /*
329      * (Based on the rand(3) manpage:)
330      *
331      * For each group of 10 bytes (or less), we do the following:
332      *
333      * Input into the hash function the local 'md' (which is initialized from
334      * the global 'md' before any bytes are generated), the bytes that are to
335      * be overwritten by the random bytes, and bytes from the 'state'
336      * (incrementing looping index). From this digest output (which is kept
337      * in 'md'), the top (up to) 10 bytes are returned to the caller and the
338      * bottom 10 bytes are xored into the 'state'.
339      *
340      * Finally, after we have finished 'num' random bytes for the
341      * caller, 'count' (which is incremented) and the local and global 'md'
342      * are fed into the hash function and the results are kept in the
343      * global 'md'.
344      */
345
346     if (!RUN_ONCE(&rand_lock_init, do_rand_lock_init))
347         goto err_mem;
348
349     CRYPTO_THREAD_write_lock(rand_lock);
350     /*
351      * We could end up in an async engine while holding this lock so ensure
352      * we don't pause and cause a deadlock
353      */
354     ASYNC_block_pause();
355
356     /* prevent rand_bytes() from trying to obtain the lock again */
357     CRYPTO_THREAD_write_lock(rand_tmp_lock);
358     locking_threadid = CRYPTO_THREAD_get_current_id();
359     CRYPTO_THREAD_unlock(rand_tmp_lock);
360     crypto_lock_rand = 1;
361
362     if (!initialized) {
363         RAND_poll();
364         initialized = 1;
365     }
366
367     if (!stirred_pool)
368         do_stir_pool = 1;
369
370     ok = (entropy >= ENTROPY_NEEDED);
371     if (!ok) {
372         /*
373          * If the PRNG state is not yet unpredictable, then seeing the PRNG
374          * output may help attackers to determine the new state; thus we have
375          * to decrease the entropy estimate. Once we've had enough initial
376          * seeding we don't bother to adjust the entropy count, though,
377          * because we're not ambitious to provide *information-theoretic*
378          * randomness. NOTE: This approach fails if the program forks before
379          * we have enough entropy. Entropy should be collected in a separate
380          * input pool and be transferred to the output pool only when the
381          * entropy limit has been reached.
382          */
383         entropy -= num;
384         if (entropy < 0)
385             entropy = 0;
386     }
387
388     if (do_stir_pool) {
389         /*
390          * In the output function only half of 'md' remains secret, so we
391          * better make sure that the required entropy gets 'evenly
392          * distributed' through 'state', our randomness pool. The input
393          * function (rand_add) chains all of 'md', which makes it more
394          * suitable for this purpose.
395          */
396
397         int n = STATE_SIZE;     /* so that the complete pool gets accessed */
398         while (n > 0) {
399 #if MD_DIGEST_LENGTH > 20
400 # error "Please adjust DUMMY_SEED."
401 #endif
402 #define DUMMY_SEED "...................." /* at least MD_DIGEST_LENGTH */
403             /*
404              * Note that the seed does not matter, it's just that
405              * rand_add expects to have something to hash.
406              */
407             rand_add(DUMMY_SEED, MD_DIGEST_LENGTH, 0.0);
408             n -= MD_DIGEST_LENGTH;
409         }
410         if (ok)
411             stirred_pool = 1;
412     }
413
414     st_idx = state_index;
415     st_num = state_num;
416     md_c[0] = md_count[0];
417     md_c[1] = md_count[1];
418     memcpy(local_md, md, sizeof md);
419
420     state_index += num_ceil;
421     if (state_index > state_num)
422         state_index %= state_num;
423
424     /*
425      * state[st_idx], ..., state[(st_idx + num_ceil - 1) % st_num] are now
426      * ours (but other threads may use them too)
427      */
428
429     md_count[0] += 1;
430
431     /* before unlocking, we must clear 'crypto_lock_rand' */
432     crypto_lock_rand = 0;
433     ASYNC_unblock_pause();
434     CRYPTO_THREAD_unlock(rand_lock);
435
436     while (num > 0) {
437         /* num_ceil -= MD_DIGEST_LENGTH/2 */
438         j = (num >= MD_DIGEST_LENGTH / 2) ? MD_DIGEST_LENGTH / 2 : num;
439         num -= j;
440         if (!MD_Init(m))
441             goto err;
442 #ifndef GETPID_IS_MEANINGLESS
443         if (curr_pid) {         /* just in the first iteration to save time */
444             if (!MD_Update(m, (unsigned char *)&curr_pid, sizeof curr_pid))
445                 goto err;
446             curr_pid = 0;
447         }
448 #endif
449         if (curr_time) {        /* just in the first iteration to save time */
450             if (!MD_Update(m, (unsigned char *)&curr_time, sizeof curr_time))
451                 goto err;
452             if (!MD_Update(m, (unsigned char *)&tv, sizeof tv))
453                 goto err;
454             curr_time = 0;
455             if (!rand_hw_seed(m))
456                 goto err;
457         }
458         if (!MD_Update(m, local_md, MD_DIGEST_LENGTH))
459             goto err;
460         if (!MD_Update(m, (unsigned char *)&(md_c[0]), sizeof(md_c)))
461             goto err;
462
463         k = (st_idx + MD_DIGEST_LENGTH / 2) - st_num;
464         if (k > 0) {
465             if (!MD_Update(m, &(state[st_idx]), MD_DIGEST_LENGTH / 2 - k))
466                 goto err;
467             if (!MD_Update(m, &(state[0]), k))
468                 goto err;
469         } else if (!MD_Update(m, &(state[st_idx]), MD_DIGEST_LENGTH / 2))
470             goto err;
471         if (!MD_Final(m, local_md))
472             goto err;
473
474         for (i = 0; i < MD_DIGEST_LENGTH / 2; i++) {
475             /* may compete with other threads */
476             state[st_idx++] ^= local_md[i];
477             if (st_idx >= st_num)
478                 st_idx = 0;
479             if (i < j)
480                 *(buf++) = local_md[i + MD_DIGEST_LENGTH / 2];
481         }
482     }
483
484     if (!MD_Init(m)
485         || !MD_Update(m, (unsigned char *)&(md_c[0]), sizeof(md_c))
486         || !MD_Update(m, local_md, MD_DIGEST_LENGTH))
487         goto err;
488     CRYPTO_THREAD_write_lock(rand_lock);
489     /*
490      * Prevent deadlocks if we end up in an async engine
491      */
492     ASYNC_block_pause();
493     if (!MD_Update(m, md, MD_DIGEST_LENGTH) || !MD_Final(m, md)) {
494         CRYPTO_THREAD_unlock(rand_lock);
495         goto err;
496     }
497     ASYNC_unblock_pause();
498     CRYPTO_THREAD_unlock(rand_lock);
499
500     EVP_MD_CTX_free(m);
501     if (ok)
502         return (1);
503     else if (pseudo)
504         return 0;
505     else {
506         RANDerr(RAND_F_RAND_BYTES, RAND_R_PRNG_NOT_SEEDED);
507         ERR_add_error_data(1, "You need to read the OpenSSL FAQ, "
508                            "https://www.openssl.org/docs/faq.html");
509         return (0);
510     }
511  err:
512     RANDerr(RAND_F_RAND_BYTES, ERR_R_EVP_LIB);
513     EVP_MD_CTX_free(m);
514     return 0;
515  err_mem:
516     RANDerr(RAND_F_RAND_BYTES, ERR_R_MALLOC_FAILURE);
517     EVP_MD_CTX_free(m);
518     return 0;
519
520 }
521
522 static int rand_nopseudo_bytes(unsigned char *buf, int num)
523 {
524     return rand_bytes(buf, num, 0);
525 }
526
527 #if OPENSSL_API_COMPAT < 0x10100000L
528 /*
529  * pseudo-random bytes that are guaranteed to be unique but not unpredictable
530  */
531 static int rand_pseudo_bytes(unsigned char *buf, int num)
532 {
533     return rand_bytes(buf, num, 1);
534 }
535 #endif
536
537 static int rand_status(void)
538 {
539     CRYPTO_THREAD_ID cur;
540     int ret;
541     int do_not_lock;
542
543     if (!RUN_ONCE(&rand_lock_init, do_rand_lock_init))
544         return 0;
545
546     cur = CRYPTO_THREAD_get_current_id();
547     /*
548      * check if we already have the lock (could happen if a RAND_poll()
549      * implementation calls RAND_status())
550      */
551     if (crypto_lock_rand) {
552         CRYPTO_THREAD_read_lock(rand_tmp_lock);
553         do_not_lock = CRYPTO_THREAD_compare_id(locking_threadid, cur);
554         CRYPTO_THREAD_unlock(rand_tmp_lock);
555     } else
556         do_not_lock = 0;
557
558     if (!do_not_lock) {
559         CRYPTO_THREAD_write_lock(rand_lock);
560         /*
561          * Prevent deadlocks in case we end up in an async engine
562          */
563         ASYNC_block_pause();
564
565         /*
566          * prevent rand_bytes() from trying to obtain the lock again
567          */
568         CRYPTO_THREAD_write_lock(rand_tmp_lock);
569         locking_threadid = cur;
570         CRYPTO_THREAD_unlock(rand_tmp_lock);
571         crypto_lock_rand = 1;
572     }
573
574     if (!initialized) {
575         RAND_poll();
576         initialized = 1;
577     }
578
579     ret = entropy >= ENTROPY_NEEDED;
580
581     if (!do_not_lock) {
582         /* before unlocking, we must clear 'crypto_lock_rand' */
583         crypto_lock_rand = 0;
584
585         ASYNC_unblock_pause();
586         CRYPTO_THREAD_unlock(rand_lock);
587     }
588
589     return ret;
590 }
591
592 /*
593  * rand_hw_seed: get seed data from any available hardware RNG. only
594  * currently supports rdrand.
595  */
596
597 /* Adapted from eng_rdrand.c */
598
599 #if (defined(__i386)   || defined(__i386__)   || defined(_M_IX86) || \
600      defined(__x86_64) || defined(__x86_64__) || \
601      defined(_M_AMD64) || defined (_M_X64)) && defined(OPENSSL_CPUID_OBJ) \
602      && !defined(OPENSSL_NO_RDRAND)
603
604 # define RDRAND_CALLS    4
605
606 size_t OPENSSL_ia32_rdrand(void);
607 extern unsigned int OPENSSL_ia32cap_P[];
608
609 static int rand_hw_seed(EVP_MD_CTX *ctx)
610 {
611     int i;
612     if (!(OPENSSL_ia32cap_P[1] & (1 << (62 - 32))))
613         return 1;
614     for (i = 0; i < RDRAND_CALLS; i++) {
615         size_t rnd;
616         rnd = OPENSSL_ia32_rdrand();
617         if (rnd == 0)
618             return 1;
619         if (!MD_Update(ctx, (unsigned char *)&rnd, sizeof(size_t)))
620             return 0;
621     }
622     return 1;
623 }
624
625 /* XOR an existing buffer with random data */
626
627 void rand_hw_xor(unsigned char *buf, size_t num)
628 {
629     size_t rnd;
630     if (!(OPENSSL_ia32cap_P[1] & (1 << (62 - 32))))
631         return;
632     while (num >= sizeof(size_t)) {
633         rnd = OPENSSL_ia32_rdrand();
634         if (rnd == 0)
635             return;
636         *((size_t *)buf) ^= rnd;
637         buf += sizeof(size_t);
638         num -= sizeof(size_t);
639     }
640     if (num) {
641         rnd = OPENSSL_ia32_rdrand();
642         if (rnd == 0)
643             return;
644         while (num) {
645             *buf ^= rnd & 0xff;
646             rnd >>= 8;
647             buf++;
648             num--;
649         }
650     }
651 }
652
653 #else
654
655 static int rand_hw_seed(EVP_MD_CTX *ctx)
656 {
657     return 1;
658 }
659
660 void rand_hw_xor(unsigned char *buf, size_t num)
661 {
662     return;
663 }
664
665 #endif