sparcv9cap.c: add Fujitsu SPARC64 X AES capability detection.
[openssl.git] / crypto / sparcv9cap.c
1 #include <stdio.h>
2 #include <stdlib.h>
3 #include <string.h>
4 #include <setjmp.h>
5 #include <signal.h>
6 #include <sys/time.h>
7 #include <unistd.h>
8 #include <openssl/bn.h>
9
10 #include "sparc_arch.h"
11
12 #if defined(__GNUC__) && defined(__linux)
13 __attribute__ ((visibility("hidden")))
14 #endif
15 unsigned int OPENSSL_sparcv9cap_P[2] = { SPARCV9_TICK_PRIVILEGED, 0 };
16
17 int bn_mul_mont(BN_ULONG *rp, const BN_ULONG *ap, const BN_ULONG *bp,
18                 const BN_ULONG *np, const BN_ULONG *n0, int num)
19 {
20     int bn_mul_mont_vis3(BN_ULONG *rp, const BN_ULONG *ap, const BN_ULONG *bp,
21                          const BN_ULONG *np, const BN_ULONG *n0, int num);
22     int bn_mul_mont_fpu(BN_ULONG *rp, const BN_ULONG *ap, const BN_ULONG *bp,
23                         const BN_ULONG *np, const BN_ULONG *n0, int num);
24     int bn_mul_mont_int(BN_ULONG *rp, const BN_ULONG *ap, const BN_ULONG *bp,
25                         const BN_ULONG *np, const BN_ULONG *n0, int num);
26
27     if (!(num & 1) && num >= 6) {
28         if ((num & 15) == 0 && num <= 64 &&
29             (OPENSSL_sparcv9cap_P[1] & (CFR_MONTMUL | CFR_MONTSQR)) ==
30             (CFR_MONTMUL | CFR_MONTSQR)) {
31             typedef int (*bn_mul_mont_f) (BN_ULONG *rp, const BN_ULONG *ap,
32                                           const BN_ULONG *bp,
33                                           const BN_ULONG *np,
34                                           const BN_ULONG *n0);
35             int bn_mul_mont_t4_8(BN_ULONG *rp, const BN_ULONG *ap,
36                                  const BN_ULONG *bp, const BN_ULONG *np,
37                                  const BN_ULONG *n0);
38             int bn_mul_mont_t4_16(BN_ULONG *rp, const BN_ULONG *ap,
39                                   const BN_ULONG *bp, const BN_ULONG *np,
40                                   const BN_ULONG *n0);
41             int bn_mul_mont_t4_24(BN_ULONG *rp, const BN_ULONG *ap,
42                                   const BN_ULONG *bp, const BN_ULONG *np,
43                                   const BN_ULONG *n0);
44             int bn_mul_mont_t4_32(BN_ULONG *rp, const BN_ULONG *ap,
45                                   const BN_ULONG *bp, const BN_ULONG *np,
46                                   const BN_ULONG *n0);
47             static const bn_mul_mont_f funcs[4] = {
48                 bn_mul_mont_t4_8, bn_mul_mont_t4_16,
49                 bn_mul_mont_t4_24, bn_mul_mont_t4_32
50             };
51             bn_mul_mont_f worker = funcs[num / 16 - 1];
52
53             if ((*worker) (rp, ap, bp, np, n0))
54                 return 1;
55             /* retry once and fall back */
56             if ((*worker) (rp, ap, bp, np, n0))
57                 return 1;
58             return bn_mul_mont_vis3(rp, ap, bp, np, n0, num);
59         }
60         if ((OPENSSL_sparcv9cap_P[0] & SPARCV9_VIS3))
61             return bn_mul_mont_vis3(rp, ap, bp, np, n0, num);
62         else if (num >= 8 &&
63                  (OPENSSL_sparcv9cap_P[0] &
64                   (SPARCV9_PREFER_FPU | SPARCV9_VIS1)) ==
65                  (SPARCV9_PREFER_FPU | SPARCV9_VIS1))
66             return bn_mul_mont_fpu(rp, ap, bp, np, n0, num);
67     }
68     return bn_mul_mont_int(rp, ap, bp, np, n0, num);
69 }
70
71 unsigned long _sparcv9_rdtick(void);
72 void _sparcv9_vis1_probe(void);
73 unsigned long _sparcv9_vis1_instrument(void);
74 void _sparcv9_vis2_probe(void);
75 void _sparcv9_fmadd_probe(void);
76 unsigned long _sparcv9_rdcfr(void);
77 void _sparcv9_vis3_probe(void);
78 unsigned long _sparcv9_random(void);
79 size_t _sparcv9_vis1_instrument_bus(unsigned int *, size_t);
80 size_t _sparcv9_vis1_instrument_bus2(unsigned int *, size_t, size_t);
81
82 unsigned long OPENSSL_rdtsc(void)
83 {
84     if (OPENSSL_sparcv9cap_P[0] & SPARCV9_TICK_PRIVILEGED)
85 #if defined(__sun) && defined(__SVR4)
86         return gethrtime();
87 #else
88         return 0;
89 #endif
90     else
91         return _sparcv9_rdtick();
92 }
93
94 size_t OPENSSL_instrument_bus(unsigned int *out, size_t cnt)
95 {
96     if ((OPENSSL_sparcv9cap_P[0] & (SPARCV9_TICK_PRIVILEGED | SPARCV9_BLK)) ==
97         SPARCV9_BLK)
98         return _sparcv9_vis1_instrument_bus(out, cnt);
99     else
100         return 0;
101 }
102
103 size_t OPENSSL_instrument_bus2(unsigned int *out, size_t cnt, size_t max)
104 {
105     if ((OPENSSL_sparcv9cap_P[0] & (SPARCV9_TICK_PRIVILEGED | SPARCV9_BLK)) ==
106         SPARCV9_BLK)
107         return _sparcv9_vis1_instrument_bus2(out, cnt, max);
108     else
109         return 0;
110 }
111
112 static sigjmp_buf common_jmp;
113 static void common_handler(int sig)
114 {
115     siglongjmp(common_jmp, sig);
116 }
117
118 #if defined(__sun) && defined(__SVR4)
119 # if defined(__GNUC__) && __GNUC__>=2
120 extern unsigned int getisax(unsigned int vec[], unsigned int sz) __attribute__ ((weak));
121 # elif defined(__SUNPRO_C)
122 #pragma weak getisax
123 extern unsigned int getisax(unsigned int vec[], unsigned int sz);
124 # else
125 static unsigned int (*getisax) (unsigned int vec[], unsigned int sz) = NULL;
126 # endif
127 #endif
128
129 void OPENSSL_cpuid_setup(void)
130 {
131     char *e;
132     struct sigaction common_act, ill_oact, bus_oact;
133     sigset_t all_masked, oset;
134     static int trigger = 0;
135
136     if (trigger)
137         return;
138     trigger = 1;
139
140     if ((e = getenv("OPENSSL_sparcv9cap"))) {
141         OPENSSL_sparcv9cap_P[0] = strtoul(e, NULL, 0);
142         if ((e = strchr(e, ':')))
143             OPENSSL_sparcv9cap_P[1] = strtoul(e + 1, NULL, 0);
144         return;
145     }
146
147 #if defined(__sun) && defined(__SVR4)
148     if (getisax != NULL) {
149         unsigned int vec[1];
150
151         if (getisax (vec,1)) {
152             if (vec[0]&0x0020)  OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS1;
153             if (vec[0]&0x0040)  OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS2;
154             if (vec[0]&0x0080)  OPENSSL_sparcv9cap_P[0] |= SPARCV9_BLK;
155             if (vec[0]&0x0100)  OPENSSL_sparcv9cap_P[0] |= SPARCV9_FMADD;
156             if (vec[0]&0x0400)  OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS3;
157             if (vec[0]&0x10000) OPENSSL_sparcv9cap_P[0] |= SPARCV9_FJAESX;
158
159             /* reconstruct %cfr copy */
160             OPENSSL_sparcv9cap_P[1] = (vec[0]>>17)&0x3ff;
161             OPENSSL_sparcv9cap_P[1] |= (OPENSSL_sparcv9cap_P[1]&CFR_MONTMUL)<<1;
162             if (vec[0]&0x20000000) OPENSSL_sparcv9cap_P[1] |= CFR_CRC32C;
163
164             /* Some heuristics */
165             /* all known VIS2-capable CPUs have unprivileged tick counter */
166             if (OPENSSL_sparcv9cap_P[0]&SPARCV9_VIS2)
167                 OPENSSL_sparcv9cap_P[0] &= ~SPARCV9_TICK_PRIVILEGED;
168
169             OPENSSL_sparcv9cap_P[0] |= SPARCV9_PREFER_FPU;
170
171             /* detect UltraSPARC-Tx, see sparccpud.S for details... */
172             if ((OPENSSL_sparcv9cap_P[0]&SPARCV9_VIS1) &&
173                 _sparcv9_vis1_instrument() >= 12)
174                 OPENSSL_sparcv9cap_P[0] &= ~(SPARCV9_VIS1 | SPARCV9_PREFER_FPU);
175         }
176
177         if (sizeof(size_t) == 8)
178             OPENSSL_sparcv9cap_P[0] |= SPARCV9_64BIT_STACK;
179
180         return;
181     }
182 #endif
183
184     /* Initial value, fits UltraSPARC-I&II... */
185     OPENSSL_sparcv9cap_P[0] = SPARCV9_PREFER_FPU | SPARCV9_TICK_PRIVILEGED;
186
187     sigfillset(&all_masked);
188     sigdelset(&all_masked, SIGILL);
189     sigdelset(&all_masked, SIGTRAP);
190 # ifdef SIGEMT
191     sigdelset(&all_masked, SIGEMT);
192 # endif
193     sigdelset(&all_masked, SIGFPE);
194     sigdelset(&all_masked, SIGBUS);
195     sigdelset(&all_masked, SIGSEGV);
196     sigprocmask(SIG_SETMASK, &all_masked, &oset);
197
198     memset(&common_act, 0, sizeof(common_act));
199     common_act.sa_handler = common_handler;
200     common_act.sa_mask = all_masked;
201
202     sigaction(SIGILL, &common_act, &ill_oact);
203     sigaction(SIGBUS, &common_act, &bus_oact); /* T1 fails 16-bit ldda [on
204                                                 * Linux] */
205
206     if (sigsetjmp(common_jmp, 1) == 0) {
207         _sparcv9_rdtick();
208         OPENSSL_sparcv9cap_P[0] &= ~SPARCV9_TICK_PRIVILEGED;
209     }
210
211     if (sigsetjmp(common_jmp, 1) == 0) {
212         _sparcv9_vis1_probe();
213         OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS1 | SPARCV9_BLK;
214         /* detect UltraSPARC-Tx, see sparccpud.S for details... */
215         if (_sparcv9_vis1_instrument() >= 12)
216             OPENSSL_sparcv9cap_P[0] &= ~(SPARCV9_VIS1 | SPARCV9_PREFER_FPU);
217         else {
218             _sparcv9_vis2_probe();
219             OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS2;
220         }
221     }
222
223     if (sigsetjmp(common_jmp, 1) == 0) {
224         _sparcv9_fmadd_probe();
225         OPENSSL_sparcv9cap_P[0] |= SPARCV9_FMADD;
226     }
227
228     /*
229      * VIS3 flag is tested independently from VIS1, unlike VIS2 that is,
230      * because VIS3 defines even integer instructions.
231      */
232     if (sigsetjmp(common_jmp, 1) == 0) {
233         _sparcv9_vis3_probe();
234         OPENSSL_sparcv9cap_P[0] |= SPARCV9_VIS3;
235     }
236
237     if (sigsetjmp(common_jmp, 1) == 0) {
238         _sparcv9_fjaesx_probe();
239         OPENSSL_sparcv9cap_P[0] |= SPARCV9_FJAESX;
240     }
241
242     /*
243      * In wait for better solution _sparcv9_rdcfr is masked by
244      * VIS3 flag, because it goes to uninterruptable endless
245      * loop on UltraSPARC II running Solaris. Things might be
246      * different on Linux...
247      */
248     if ((OPENSSL_sparcv9cap_P[0] & SPARCV9_VIS3) &&
249         sigsetjmp(common_jmp, 1) == 0) {
250         OPENSSL_sparcv9cap_P[1] = (unsigned int)_sparcv9_rdcfr();
251     }
252
253     sigaction(SIGBUS, &bus_oact, NULL);
254     sigaction(SIGILL, &ill_oact, NULL);
255
256     sigprocmask(SIG_SETMASK, &oset, NULL);
257
258     if (sizeof(size_t) == 8)
259         OPENSSL_sparcv9cap_P[0] |= SPARCV9_64BIT_STACK;
260 # ifdef __linux
261     else {
262         int ret = syscall(340);
263
264         if (ret >= 0 && ret & 1)
265             OPENSSL_sparcv9cap_P[0] |= SPARCV9_64BIT_STACK;
266     }
267 # endif
268 }