Update tests to avoid printf to stdout/stderr when running as test cases.
[openssl.git] / test / testutil / tests.c
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "../testutil.h"
11 #include "output.h"
12 #include "tu_local.h"
13
14 #include <errno.h>
15 #include <string.h>
16 #include <ctype.h>
17 #include "../../e_os.h"
18
19 /*
20  * Output a failed test first line.
21  * All items are optional are generally not preinted if passed as NULL.
22  * The special cases are for prefix where "ERROR" is assumed and for left
23  * and right where a non-failure message is produced if either is NULL.
24  */
25 void test_fail_message_prefix(const char *prefix, const char *file,
26                               int line, const char *type,
27                               const char *left, const char *right,
28                               const char *op)
29 {
30     test_printf_stderr("%*s# %s: ", subtest_level(), "",
31                        prefix != NULL ? prefix : "ERROR");
32     if (type)
33         test_printf_stderr("(%s) ", type);
34     if (op != NULL) {
35         if (left != NULL && right != NULL)
36             test_printf_stderr("'%s %s %s' failed", left, op, right);
37         else
38             test_printf_stderr("'%s'", op);
39     }
40     if (file != NULL) {
41         test_printf_stderr(" @ %s:%d", file, line);
42     }
43     test_printf_stderr("\n");
44 }
45
46 /*
47  * A common routine to output test failure messages.  Generally this should not
48  * be called directly, rather it should be called by the following functions.
49  *
50  * |desc| is a printf formatted description with arguments |args| that is
51  * supplied by the user and |desc| can be NULL.  |type| is the data type
52  * that was tested (int, char, ptr, ...).  |fmt| is a system provided
53  * printf format with following arguments that spell out the failure
54  * details i.e. the actual values compared and the operator used.
55  *
56  * The typical use for this is from an utility test function:
57  *
58  * int test6(const char *file, int line, int n) {
59  *     if (n != 6) {
60  *         test_fail_message(1, file, line, "int", "value %d is not %d", n, 6);
61  *         return 0;
62  *     }
63  *     return 1;
64  * }
65  *
66  * calling test6(3, "oops") will return 0 and produce out along the lines of:
67  *      FAIL oops: (int) value 3 is not 6\n
68  */
69 static void test_fail_message(const char *prefix, const char *file, int line,
70                               const char *type, const char *left,
71                               const char *right, const char *op,
72                               const char *fmt, ...)
73             PRINTF_FORMAT(8, 9);
74
75 static void test_fail_message_va(const char *prefix, const char *file,
76                                  int line, const char *type,
77                                  const char *left, const char *right,
78                                  const char *op, const char *fmt, va_list ap)
79 {
80     test_fail_message_prefix(prefix, file, line, type, left, right, op);
81     if (fmt != NULL) {
82         test_printf_stderr("%*s# ", subtest_level(), "");
83         test_vprintf_stderr(fmt, ap);
84         test_printf_stderr("\n");
85     }
86     test_flush_stderr();
87 }
88
89 static void test_fail_message(const char *prefix, const char *file,
90                               int line, const char *type,
91                               const char *left, const char *right,
92                               const char *op, const char *fmt, ...)
93 {
94     va_list ap;
95
96     va_start(ap, fmt);
97     test_fail_message_va(prefix, file, line, type, left, right, op, fmt, ap);
98     va_end(ap);
99 }
100
101 void test_info_c90(const char *desc, ...)
102 {
103     va_list ap;
104
105     va_start(ap, desc);
106     test_fail_message_va("INFO", NULL, -1, NULL, NULL, NULL, NULL, desc, ap);
107     va_end(ap);
108 }
109
110 void test_info(const char *file, int line, const char *desc, ...)
111 {
112     va_list ap;
113
114     va_start(ap, desc);
115     test_fail_message_va("INFO", file, line, NULL, NULL, NULL, NULL, desc, ap);
116     va_end(ap);
117 }
118
119 void test_error_c90(const char *desc, ...)
120 {
121     va_list ap;
122
123     va_start(ap, desc);
124     test_fail_message_va(NULL, NULL, -1, NULL, NULL, NULL, NULL, desc, ap);
125     va_end(ap);
126     test_printf_stderr("\n");
127 }
128
129 void test_error(const char *file, int line, const char *desc, ...)
130 {
131     va_list ap;
132
133     va_start(ap, desc);
134     test_fail_message_va(NULL, file, line, NULL, NULL, NULL, NULL, desc, ap);
135     va_end(ap);
136     test_printf_stderr("\n");
137 }
138
139 void test_perror(const char *s)
140 {
141     /*
142      * Using openssl_strerror_r causes linking issues since it isn't
143      * exported from libcrypto.so
144      */
145     TEST_error("%s: %s", s, strerror(errno));
146 }
147
148 void test_note(const char *fmt, ...)
149 {
150     if (fmt != NULL) {
151         va_list ap;
152
153         test_printf_stderr("%*s# ", subtest_level(), "");
154         va_start(ap, fmt);
155         test_vprintf_stderr(fmt, ap);
156         va_end(ap);
157         test_printf_stderr("\n");
158     }
159     test_flush_stderr();
160 }
161
162 void test_openssl_errors(void)
163 {
164     ERR_print_errors_cb(openssl_error_cb, NULL);
165     ERR_clear_error();
166 }
167
168 /*
169  * Define some comparisons between pairs of various types.
170  * These functions return 1 if the test is true.
171  * Otherwise, they return 0 and pretty-print diagnostics.
172  *
173  * In each case the functions produced are:
174  *  int test_name_eq(const type t1, const type t2, const char *desc, ...);
175  *  int test_name_ne(const type t1, const type t2, const char *desc, ...);
176  *  int test_name_lt(const type t1, const type t2, const char *desc, ...);
177  *  int test_name_le(const type t1, const type t2, const char *desc, ...);
178  *  int test_name_gt(const type t1, const type t2, const char *desc, ...);
179  *  int test_name_ge(const type t1, const type t2, const char *desc, ...);
180  *
181  * The t1 and t2 arguments are to be compared for equality, inequality,
182  * less than, less than or equal to, greater than and greater than or
183  * equal to respectively.  If the specified condition holds, the functions
184  * return 1.  If the condition does not hold, the functions print a diagnostic
185  * message and return 0.
186  *
187  * The desc argument is a printf format string followed by its arguments and
188  * this is included in the output if the condition being tested for is false.
189  */
190 #define DEFINE_COMPARISON(type, name, opname, op, fmt)                  \
191     int test_ ## name ## _ ## opname(const char *file, int line,        \
192                                      const char *s1, const char *s2,    \
193                                      const type t1, const type t2)      \
194     {                                                                   \
195         if (t1 op t2)                                                   \
196             return 1;                                                   \
197         test_fail_message(NULL, file, line, #type, s1, s2, #op,         \
198                           "[" fmt "] compared to [" fmt "]",            \
199                           t1, t2);                                      \
200         return 0;                                                       \
201     }
202
203 #define DEFINE_COMPARISONS(type, name, fmt)                             \
204     DEFINE_COMPARISON(type, name, eq, ==, fmt)                          \
205     DEFINE_COMPARISON(type, name, ne, !=, fmt)                          \
206     DEFINE_COMPARISON(type, name, lt, <, fmt)                           \
207     DEFINE_COMPARISON(type, name, le, <=, fmt)                          \
208     DEFINE_COMPARISON(type, name, gt, >, fmt)                           \
209     DEFINE_COMPARISON(type, name, ge, >=, fmt)
210
211 DEFINE_COMPARISONS(int, int, "%d")
212 DEFINE_COMPARISONS(unsigned int, uint, "%u")
213 DEFINE_COMPARISONS(char, char, "%c")
214 DEFINE_COMPARISONS(unsigned char, uchar, "%u")
215 DEFINE_COMPARISONS(long, long, "%ld")
216 DEFINE_COMPARISONS(unsigned long, ulong, "%lu")
217 DEFINE_COMPARISONS(size_t, size_t, "%zu")
218
219 DEFINE_COMPARISON(void *, ptr, eq, ==, "%p")
220 DEFINE_COMPARISON(void *, ptr, ne, !=, "%p")
221
222 int test_ptr_null(const char *file, int line, const char *s, const void *p)
223 {
224     if (p == NULL)
225         return 1;
226     test_fail_message(NULL, file, line, "ptr", s, "NULL", "==", "%p", p);
227     return 0;
228 }
229
230 int test_ptr(const char *file, int line, const char *s, const void *p)
231 {
232     if (p != NULL)
233         return 1;
234     test_fail_message(NULL, file, line, "ptr", s, "NULL", "!=", "%p", p);
235     return 0;
236 }
237
238 int test_true(const char *file, int line, const char *s, int b)
239 {
240     if (b)
241         return 1;
242     test_fail_message(NULL, file, line, "bool", s, "true", "==", "false");
243     return 0;
244 }
245
246 int test_false(const char *file, int line, const char *s, int b)
247 {
248     if (!b)
249         return 1;
250     test_fail_message(NULL, file, line, "bool", s, "false", "==", "true");
251     return 0;
252 }
253
254 int test_str_eq(const char *file, int line, const char *st1, const char *st2,
255                 const char *s1, const char *s2)
256 {
257     if (s1 == NULL && s2 == NULL)
258       return 1;
259     if (s1 == NULL || s2 == NULL || strcmp(s1, s2) != 0) {
260         test_fail_string_message(NULL, file, line, "string", st1, st2, "==",
261                                  s1, s1 == NULL ? 0 : strlen(s1),
262                                  s2, s2 == NULL ? 0 : strlen(s2));
263         return 0;
264     }
265     return 1;
266 }
267
268 int test_str_ne(const char *file, int line, const char *st1, const char *st2,
269                 const char *s1, const char *s2)
270 {
271     if ((s1 == NULL) ^ (s2 == NULL))
272       return 1;
273     if (s1 == NULL || strcmp(s1, s2) == 0) {
274         test_fail_string_message(NULL, file, line, "string", st1, st2, "!=",
275                                  s1, s1 == NULL ? 0 : strlen(s1),
276                                  s2, s2 == NULL ? 0 : strlen(s2));
277         return 0;
278     }
279     return 1;
280 }
281
282 int test_strn_eq(const char *file, int line, const char *st1, const char *st2,
283                  const char *s1, const char *s2, size_t len)
284 {
285     if (s1 == NULL && s2 == NULL)
286       return 1;
287     if (s1 == NULL || s2 == NULL || strncmp(s1, s2, len) != 0) {
288         test_fail_string_message(NULL, file, line, "string", st1, st2, "==",
289                                  s1, s1 == NULL ? 0 : OPENSSL_strnlen(s1, len),
290                                  s2, s2 == NULL ? 0 : OPENSSL_strnlen(s2, len));
291         return 0;
292     }
293     return 1;
294 }
295
296 int test_strn_ne(const char *file, int line, const char *st1, const char *st2,
297                  const char *s1, const char *s2, size_t len)
298 {
299     if ((s1 == NULL) ^ (s2 == NULL))
300       return 1;
301     if (s1 == NULL || strncmp(s1, s2, len) == 0) {
302         test_fail_string_message(NULL, file, line, "string", st1, st2, "!=",
303                                  s1, s1 == NULL ? 0 : OPENSSL_strnlen(s1, len),
304                                  s2, s2 == NULL ? 0 : OPENSSL_strnlen(s2, len));
305         return 0;
306     }
307     return 1;
308 }
309
310 int test_mem_eq(const char *file, int line, const char *st1, const char *st2,
311                 const void *s1, size_t n1, const void *s2, size_t n2)
312 {
313     if (s1 == NULL && s2 == NULL)
314         return 1;
315     if (n1 != n2 || s1 == NULL || s2 == NULL || memcmp(s1, s2, n1) != 0) {
316         test_fail_memory_message(NULL, file, line, "memory", st1, st2, "==",
317                                  s1, n1, s2, n2);
318         return 0;
319     }
320     return 1;
321 }
322
323 int test_mem_ne(const char *file, int line, const char *st1, const char *st2,
324                 const void *s1, size_t n1, const void *s2, size_t n2)
325 {
326     if ((s1 == NULL) ^ (s2 == NULL))
327         return 1;
328     if (n1 != n2)
329         return 1;
330     if (s1 == NULL || memcmp(s1, s2, n1) == 0) {
331         test_fail_memory_message(NULL, file, line, "memory", st1, st2, "!=",
332                                  s1, n1, s2, n2);
333         return 0;
334     }
335     return 1;
336 }
337
338 #define DEFINE_BN_COMPARISONS(opname, op, zero_cond)                    \
339     int test_BN_ ## opname(const char *file, int line,                  \
340                            const char *s1, const char *s2,              \
341                            const BIGNUM *t1, const BIGNUM *t2)          \
342     {                                                                   \
343         if (BN_cmp(t1, t2) op 0)                                        \
344             return 1;                                                   \
345         test_fail_bignum_message(NULL, file, line, "BIGNUM", s1, s2,    \
346                                  #op, t1, t2);                          \
347         return 0;                                                       \
348     }                                                                   \
349     int test_BN_ ## opname ## _zero(const char *file, int line,         \
350                                     const char *s, const BIGNUM *a)     \
351     {                                                                   \
352         if (a != NULL &&(zero_cond))                                    \
353             return 1;                                                   \
354         test_fail_bignum_mono_message(NULL, file, line, "BIGNUM",       \
355                                       s, "0", #op, a);                  \
356         return 0;                                                       \
357     }
358
359 DEFINE_BN_COMPARISONS(eq, ==, BN_is_zero(a))
360 DEFINE_BN_COMPARISONS(ne, !=, !BN_is_zero(a))
361 DEFINE_BN_COMPARISONS(gt, >,  !BN_is_negative(a) && !BN_is_zero(a))
362 DEFINE_BN_COMPARISONS(ge, >=, !BN_is_negative(a) || BN_is_zero(a))
363 DEFINE_BN_COMPARISONS(lt, <,  BN_is_negative(a) && !BN_is_zero(a))
364 DEFINE_BN_COMPARISONS(le, <=, BN_is_negative(a) || BN_is_zero(a))
365
366 int test_BN_eq_one(const char *file, int line, const char *s, const BIGNUM *a)
367 {
368     if (a != NULL && BN_is_one(a))
369         return 1;
370     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", s, "1", "==", a);
371     return 0;
372 }
373
374 int test_BN_odd(const char *file, int line, const char *s, const BIGNUM *a)
375 {
376     if (a != NULL && BN_is_odd(a))
377         return 1;
378     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", "ODD(", ")", s, a);
379     return 0;
380 }
381
382 int test_BN_even(const char *file, int line, const char *s, const BIGNUM *a)
383 {
384     if (a != NULL && !BN_is_odd(a))
385         return 1;
386     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", "EVEN(", ")", s,
387                                   a);
388     return 0;
389 }
390
391 int test_BN_eq_word(const char *file, int line, const char *bns, const char *ws,
392                     const BIGNUM *a, BN_ULONG w)
393 {
394     BIGNUM *bw;
395
396     if (a != NULL && BN_is_word(a, w))
397         return 1;
398     bw = BN_new();
399     BN_set_word(bw, w);
400     test_fail_bignum_message(NULL, file, line, "BIGNUM", bns, ws, "==", a, bw);
401     BN_free(bw);
402     return 0;
403 }
404
405 int test_BN_abs_eq_word(const char *file, int line, const char *bns,
406                         const char *ws, const BIGNUM *a, BN_ULONG w)
407 {
408     BIGNUM *bw, *aa;
409
410     if (a != NULL && BN_abs_is_word(a, w))
411         return 1;
412     bw = BN_new();
413     aa = BN_dup(a);
414     BN_set_negative(aa, 0);
415     BN_set_word(bw, w);
416     test_fail_bignum_message(NULL, file, line, "BIGNUM", bns, ws, "abs==",
417                              aa, bw);
418     BN_free(bw);
419     BN_free(aa);
420     return 0;
421 }