[test] ectest: check custom generators
[openssl.git] / include / internal / refcount.h
1 /*
2  * Copyright 2016-2018 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9 #ifndef OSSL_INTERNAL_REFCOUNT_H
10 # define OSSL_INTERNAL_REFCOUNT_H
11
12 /* Used to checking reference counts, most while doing perl5 stuff :-) */
13 # if defined(OPENSSL_NO_STDIO)
14 #  if defined(REF_PRINT)
15 #   error "REF_PRINT requires stdio"
16 #  endif
17 # endif
18
19 # ifndef OPENSSL_DEV_NO_ATOMICS
20 #  if defined(__STDC_VERSION__) && __STDC_VERSION__ >= 201112L \
21       && !defined(__STDC_NO_ATOMICS__)
22 #   include <stdatomic.h>
23 #   define HAVE_C11_ATOMICS
24 #  endif
25
26 #  if defined(HAVE_C11_ATOMICS) && defined(ATOMIC_INT_LOCK_FREE) \
27       && ATOMIC_INT_LOCK_FREE > 0
28
29 #   define HAVE_ATOMICS 1
30
31 typedef _Atomic int CRYPTO_REF_COUNT;
32
33 static inline int CRYPTO_UP_REF(_Atomic int *val, int *ret, void *lock)
34 {
35     *ret = atomic_fetch_add_explicit(val, 1, memory_order_relaxed) + 1;
36     return 1;
37 }
38
39 /*
40  * Changes to shared structure other than reference counter have to be
41  * serialized. And any kind of serialization implies a release fence. This
42  * means that by the time reference counter is decremented all other
43  * changes are visible on all processors. Hence decrement itself can be
44  * relaxed. In case it hits zero, object will be destructed. Since it's
45  * last use of the object, destructor programmer might reason that access
46  * to mutable members doesn't have to be serialized anymore, which would
47  * otherwise imply an acquire fence. Hence conditional acquire fence...
48  */
49 static inline int CRYPTO_DOWN_REF(_Atomic int *val, int *ret, void *lock)
50 {
51     *ret = atomic_fetch_sub_explicit(val, 1, memory_order_relaxed) - 1;
52     if (*ret == 0)
53         atomic_thread_fence(memory_order_acquire);
54     return 1;
55 }
56
57 #  elif defined(__GNUC__) && defined(__ATOMIC_RELAXED) && __GCC_ATOMIC_INT_LOCK_FREE > 0
58
59 #   define HAVE_ATOMICS 1
60
61 typedef int CRYPTO_REF_COUNT;
62
63 static __inline__ int CRYPTO_UP_REF(int *val, int *ret, void *lock)
64 {
65     *ret = __atomic_fetch_add(val, 1, __ATOMIC_RELAXED) + 1;
66     return 1;
67 }
68
69 static __inline__ int CRYPTO_DOWN_REF(int *val, int *ret, void *lock)
70 {
71     *ret = __atomic_fetch_sub(val, 1, __ATOMIC_RELAXED) - 1;
72     if (*ret == 0)
73         __atomic_thread_fence(__ATOMIC_ACQUIRE);
74     return 1;
75 }
76 #  elif defined(__ICL) && defined(_WIN32)
77 #   define HAVE_ATOMICS 1
78 typedef volatile int CRYPTO_REF_COUNT;
79
80 static __inline int CRYPTO_UP_REF(volatile int *val, int *ret, void *lock)
81 {
82     *ret = _InterlockedExchangeAdd((void *)val, 1) + 1;
83     return 1;
84 }
85
86 static __inline int CRYPTO_DOWN_REF(volatile int *val, int *ret, void *lock)
87 {
88     *ret = _InterlockedExchangeAdd((void *)val, -1) - 1;
89     return 1;
90 }
91
92 #  elif defined(_MSC_VER) && _MSC_VER>=1200
93
94 #   define HAVE_ATOMICS 1
95
96 typedef volatile int CRYPTO_REF_COUNT;
97
98 #   if (defined(_M_ARM) && _M_ARM>=7 && !defined(_WIN32_WCE)) || defined(_M_ARM64)
99 #    include <intrin.h>
100 #    if defined(_M_ARM64) && !defined(_ARM_BARRIER_ISH)
101 #     define _ARM_BARRIER_ISH _ARM64_BARRIER_ISH
102 #    endif
103
104 static __inline int CRYPTO_UP_REF(volatile int *val, int *ret, void *lock)
105 {
106     *ret = _InterlockedExchangeAdd_nf(val, 1) + 1;
107     return 1;
108 }
109
110 static __inline int CRYPTO_DOWN_REF(volatile int *val, int *ret, void *lock)
111 {
112     *ret = _InterlockedExchangeAdd_nf(val, -1) - 1;
113     if (*ret == 0)
114         __dmb(_ARM_BARRIER_ISH);
115     return 1;
116 }
117 #   else
118 #    if !defined(_WIN32_WCE)
119 #     pragma intrinsic(_InterlockedExchangeAdd)
120 #    else
121 #     if _WIN32_WCE >= 0x600
122        extern long __cdecl _InterlockedExchangeAdd(long volatile*, long);
123 #     else
124        /* under Windows CE we still have old-style Interlocked* functions */
125        extern long __cdecl InterlockedExchangeAdd(long volatile*, long);
126 #      define _InterlockedExchangeAdd InterlockedExchangeAdd
127 #     endif
128 #    endif
129
130 static __inline int CRYPTO_UP_REF(volatile int *val, int *ret, void *lock)
131 {
132     *ret = _InterlockedExchangeAdd(val, 1) + 1;
133     return 1;
134 }
135
136 static __inline int CRYPTO_DOWN_REF(volatile int *val, int *ret, void *lock)
137 {
138     *ret = _InterlockedExchangeAdd(val, -1) - 1;
139     return 1;
140 }
141 #   endif
142
143 #  endif
144 # endif  /* !OPENSSL_DEV_NO_ATOMICS */
145
146 /*
147  * All the refcounting implementations above define HAVE_ATOMICS, so if it's
148  * still undefined here (such as when OPENSSL_DEV_NO_ATMOICS is defined), it
149  * means we need to implement a fallback.  This fallback uses locks.
150  */
151 # ifndef HAVE_ATOMICS
152
153 typedef int CRYPTO_REF_COUNT;
154
155 # define CRYPTO_UP_REF(val, ret, lock) CRYPTO_atomic_add(val, 1, ret, lock)
156 # define CRYPTO_DOWN_REF(val, ret, lock) CRYPTO_atomic_add(val, -1, ret, lock)
157
158 # endif
159
160 # if !defined(NDEBUG) && !defined(OPENSSL_NO_STDIO)
161 #  define REF_ASSERT_ISNT(test) \
162     (void)((test) ? (OPENSSL_die("refcount error", __FILE__, __LINE__), 1) : 0)
163 # else
164 #  define REF_ASSERT_ISNT(i)
165 # endif
166
167 # ifdef REF_PRINT
168 #  define REF_PRINT_COUNT(a, b) \
169         fprintf(stderr, "%p:%4d:%s\n", b, b->references, a)
170 # else
171 #  define REF_PRINT_COUNT(a, b)
172 # endif
173
174 #endif