Add output routines to allow consistent formatting of memory, strings
[openssl.git] / test / testutil / tests.c
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "../testutil.h"
11 #include "output.h"
12 #include "tu_local.h"
13
14 #include <string.h>
15 #include <ctype.h>
16 #include "../../e_os.h"
17
18 /*
19  * Output a failed test first line.
20  * All items are optional are generally not preinted if passed as NULL.
21  * The special cases are for prefix where "ERROR" is assumed and for left
22  * and right where a non-failure message is produced if either is NULL.
23  */
24 void test_fail_message_prefix(const char *prefix, const char *file,
25                               int line, const char *type,
26                               const char *left, const char *right,
27                               const char *op)
28 {
29     test_printf_stderr("%*s# %s: ", subtest_level(), "",
30                        prefix != NULL ? prefix : "ERROR");
31     if (type)
32         test_printf_stderr("(%s) ", type);
33     if (op != NULL) {
34         if (left != NULL && right != NULL)
35             test_printf_stderr("'%s %s %s' failed", left, op, right);
36         else
37             test_printf_stderr("'%s'", op);
38     }
39     if (file != NULL) {
40         test_printf_stderr(" @ %s:%d", file, line);
41     }
42     test_printf_stderr("\n");
43 }
44
45 /*
46  * A common routine to output test failure messages.  Generally this should not
47  * be called directly, rather it should be called by the following functions.
48  *
49  * |desc| is a printf formatted description with arguments |args| that is
50  * supplied by the user and |desc| can be NULL.  |type| is the data type
51  * that was tested (int, char, ptr, ...).  |fmt| is a system provided
52  * printf format with following arguments that spell out the failure
53  * details i.e. the actual values compared and the operator used.
54  *
55  * The typical use for this is from an utility test function:
56  *
57  * int test6(const char *file, int line, int n) {
58  *     if (n != 6) {
59  *         test_fail_message(1, file, line, "int", "value %d is not %d", n, 6);
60  *         return 0;
61  *     }
62  *     return 1;
63  * }
64  *
65  * calling test6(3, "oops") will return 0 and produce out along the lines of:
66  *      FAIL oops: (int) value 3 is not 6\n
67  */
68 static void test_fail_message(const char *prefix, const char *file, int line,
69                               const char *type, const char *left,
70                               const char *right, const char *op,
71                               const char *fmt, ...)
72             PRINTF_FORMAT(8, 9);
73
74 static void test_fail_message_va(const char *prefix, const char *file,
75                                  int line, const char *type,
76                                  const char *left, const char *right,
77                                  const char *op, const char *fmt, va_list ap)
78 {
79     test_fail_message_prefix(prefix, file, line, type, left, right, op);
80     if (fmt != NULL) {
81         test_printf_stderr("%*s# ", subtest_level(), "");
82         test_vprintf_stderr(fmt, ap);
83         test_printf_stderr("\n");
84     }
85     test_flush_stderr();
86 }
87
88 static void test_fail_message(const char *prefix, const char *file,
89                               int line, const char *type,
90                               const char *left, const char *right,
91                               const char *op, const char *fmt, ...)
92 {
93     va_list ap;
94
95     va_start(ap, fmt);
96     test_fail_message_va(prefix, file, line, type, left, right, op, fmt, ap);
97     va_end(ap);
98 }
99
100 void test_info_c90(const char *desc, ...)
101 {
102     va_list ap;
103
104     va_start(ap, desc);
105     test_fail_message_va("INFO", NULL, -1, NULL, NULL, NULL, NULL, desc, ap);
106     va_end(ap);
107 }
108
109 void test_info(const char *file, int line, const char *desc, ...)
110 {
111     va_list ap;
112
113     va_start(ap, desc);
114     test_fail_message_va("INFO", file, line, NULL, NULL, NULL, NULL, desc, ap);
115     va_end(ap);
116 }
117
118 void test_error_c90(const char *desc, ...)
119 {
120     va_list ap;
121
122     va_start(ap, desc);
123     test_fail_message_va(NULL, NULL, -1, NULL, NULL, NULL, NULL, desc, ap);
124     va_end(ap);
125     test_printf_stderr("\n");
126 }
127
128 void test_error(const char *file, int line, const char *desc, ...)
129 {
130     va_list ap;
131
132     va_start(ap, desc);
133     test_fail_message_va(NULL, file, line, NULL, NULL, NULL, NULL, desc, ap);
134     va_end(ap);
135     test_printf_stderr("\n");
136 }
137
138 void test_note(const char *fmt, ...)
139 {
140     va_list ap;
141
142     if (fmt != NULL) {
143         test_printf_stderr("%*s# ", subtest_level(), "");
144         test_vprintf_stderr(fmt, ap);
145         test_printf_stderr("\n");
146     }
147     test_flush_stderr();
148 }
149
150 void test_openssl_errors(void)
151 {
152     ERR_print_errors_cb(openssl_error_cb, NULL);
153 }
154
155 /*
156  * Define some comparisons between pairs of various types.
157  * These functions return 1 if the test is true.
158  * Otherwise, they return 0 and pretty-print diagnostics.
159  *
160  * In each case the functions produced are:
161  *  int test_name_eq(const type t1, const type t2, const char *desc, ...);
162  *  int test_name_ne(const type t1, const type t2, const char *desc, ...);
163  *  int test_name_lt(const type t1, const type t2, const char *desc, ...);
164  *  int test_name_le(const type t1, const type t2, const char *desc, ...);
165  *  int test_name_gt(const type t1, const type t2, const char *desc, ...);
166  *  int test_name_ge(const type t1, const type t2, const char *desc, ...);
167  *
168  * The t1 and t2 arguments are to be compared for equality, inequality,
169  * less than, less than or equal to, greater than and greater than or
170  * equal to respectively.  If the specified condition holds, the functions
171  * return 1.  If the condition does not hold, the functions print a diagnostic
172  * message and return 0.
173  *
174  * The desc argument is a printf format string followed by its arguments and
175  * this is included in the output if the condition being tested for is false.
176  */
177 #define DEFINE_COMPARISON(type, name, opname, op, fmt)                  \
178     int test_ ## name ## _ ## opname(const char *file, int line,        \
179                                      const char *s1, const char *s2,    \
180                                      const type t1, const type t2)      \
181     {                                                                   \
182         if (t1 op t2)                                                   \
183             return 1;                                                   \
184         test_fail_message(NULL, file, line, #type, s1, s2, #op,         \
185                           "[" fmt "] compared to [" fmt "]",            \
186                           t1, t2);                                      \
187         return 0;                                                       \
188     }
189
190 #define DEFINE_COMPARISONS(type, name, fmt)                             \
191     DEFINE_COMPARISON(type, name, eq, ==, fmt)                          \
192     DEFINE_COMPARISON(type, name, ne, !=, fmt)                          \
193     DEFINE_COMPARISON(type, name, lt, <, fmt)                           \
194     DEFINE_COMPARISON(type, name, le, <=, fmt)                          \
195     DEFINE_COMPARISON(type, name, gt, >, fmt)                           \
196     DEFINE_COMPARISON(type, name, ge, >=, fmt)
197
198 DEFINE_COMPARISONS(int, int, "%d")
199 DEFINE_COMPARISONS(unsigned int, uint, "%u")
200 DEFINE_COMPARISONS(char, char, "%c")
201 DEFINE_COMPARISONS(unsigned char, uchar, "%u")
202 DEFINE_COMPARISONS(long, long, "%ld")
203 DEFINE_COMPARISONS(unsigned long, ulong, "%lu")
204 DEFINE_COMPARISONS(size_t, size_t, "%zu")
205
206 DEFINE_COMPARISON(void *, ptr, eq, ==, "%p")
207 DEFINE_COMPARISON(void *, ptr, ne, !=, "%p")
208
209 int test_ptr_null(const char *file, int line, const char *s, const void *p)
210 {
211     if (p == NULL)
212         return 1;
213     test_fail_message(NULL, file, line, "ptr", s, "NULL", "==", "%p", p);
214     return 0;
215 }
216
217 int test_ptr(const char *file, int line, const char *s, const void *p)
218 {
219     if (p != NULL)
220         return 1;
221     test_fail_message(NULL, file, line, "ptr", s, "NULL", "!=", "%p", p);
222     return 0;
223 }
224
225 int test_true(const char *file, int line, const char *s, int b)
226 {
227     if (b)
228         return 1;
229     test_fail_message(NULL, file, line, "bool", s, "true", "==", "false");
230     return 0;
231 }
232
233 int test_false(const char *file, int line, const char *s, int b)
234 {
235     if (!b)
236         return 1;
237     test_fail_message(NULL, file, line, "bool", s, "false", "==", "true");
238     return 0;
239 }
240
241 int test_str_eq(const char *file, int line, const char *st1, const char *st2,
242                 const char *s1, const char *s2)
243 {
244     if (s1 == NULL && s2 == NULL)
245       return 1;
246     if (s1 == NULL || s2 == NULL || strcmp(s1, s2) != 0) {
247         test_fail_string_message(NULL, file, line, "string", st1, st2, "==",
248                                  s1, s1 == NULL ? 0 : strlen(s1),
249                                  s2, s2 == NULL ? 0 : strlen(s2));
250         return 0;
251     }
252     return 1;
253 }
254
255 int test_str_ne(const char *file, int line, const char *st1, const char *st2,
256                 const char *s1, const char *s2)
257 {
258     if ((s1 == NULL) ^ (s2 == NULL))
259       return 1;
260     if (s1 == NULL || strcmp(s1, s2) == 0) {
261         test_fail_string_message(NULL, file, line, "string", st1, st2, "!=",
262                                  s1, s1 == NULL ? 0 : strlen(s1),
263                                  s2, s2 == NULL ? 0 : strlen(s2));
264         return 0;
265     }
266     return 1;
267 }
268
269 int test_strn_eq(const char *file, int line, const char *st1, const char *st2,
270                  const char *s1, const char *s2, size_t len)
271 {
272     if (s1 == NULL && s2 == NULL)
273       return 1;
274     if (s1 == NULL || s2 == NULL || strncmp(s1, s2, len) != 0) {
275         test_fail_string_message(NULL, file, line, "string", st1, st2, "==",
276                                  s1, s1 == NULL ? 0 : OPENSSL_strnlen(s1, len),
277                                  s2, s2 == NULL ? 0 : OPENSSL_strnlen(s2, len));
278         return 0;
279     }
280     return 1;
281 }
282
283 int test_strn_ne(const char *file, int line, const char *st1, const char *st2,
284                  const char *s1, const char *s2, size_t len)
285 {
286     if ((s1 == NULL) ^ (s2 == NULL))
287       return 1;
288     if (s1 == NULL || strncmp(s1, s2, len) == 0) {
289         test_fail_string_message(NULL, file, line, "string", st1, st2, "!=",
290                                  s1, s1 == NULL ? 0 : OPENSSL_strnlen(s1, len),
291                                  s2, s2 == NULL ? 0 : OPENSSL_strnlen(s2, len));
292         return 0;
293     }
294     return 1;
295 }
296
297 int test_mem_eq(const char *file, int line, const char *st1, const char *st2,
298                 const void *s1, size_t n1, const void *s2, size_t n2)
299 {
300     if (s1 == NULL && s2 == NULL)
301         return 1;
302     if (n1 != n2 || s1 == NULL || s2 == NULL || memcmp(s1, s2, n1) != 0) {
303         test_fail_memory_message(NULL, file, line, "memory", st1, st2, "==",
304                                  s1, n1, s2, n2);
305         return 0;
306     }
307     return 1;
308 }
309
310 int test_mem_ne(const char *file, int line, const char *st1, const char *st2,
311                 const void *s1, size_t n1, const void *s2, size_t n2)
312 {
313     if ((s1 == NULL) ^ (s2 == NULL))
314         return 1;
315     if (n1 != n2)
316         return 1;
317     if (s1 == NULL || memcmp(s1, s2, n1) == 0) {
318         test_fail_memory_message(NULL, file, line, "memory", st1, st2, "!=",
319                                  s1, n1, s2, n2);
320         return 0;
321     }
322     return 1;
323 }
324
325 #define DEFINE_BN_COMPARISONS(opname, op, zero_cond)                    \
326     int test_BN_ ## opname(const char *file, int line,                  \
327                            const char *s1, const char *s2,              \
328                            const BIGNUM *t1, const BIGNUM *t2)          \
329     {                                                                   \
330         if (BN_cmp(t1, t2) op 0)                                        \
331             return 1;                                                   \
332         test_fail_bignum_message(NULL, file, line, "BIGNUM", s1, s2,    \
333                                  #op, t1, t2);                          \
334         return 0;                                                       \
335     }                                                                   \
336     int test_BN_ ## opname ## _zero(const char *file, int line,         \
337                                     const char *s, const BIGNUM *a)     \
338     {                                                                   \
339         if (a != NULL &&(zero_cond))                                    \
340             return 1;                                                   \
341         test_fail_bignum_mono_message(NULL, file, line, "BIGNUM",       \
342                                       s, "0", #op, a);                  \
343         return 0;                                                       \
344     }
345
346 DEFINE_BN_COMPARISONS(eq, ==, BN_is_zero(a))
347 DEFINE_BN_COMPARISONS(ne, !=, !BN_is_zero(a))
348 DEFINE_BN_COMPARISONS(gt, >,  !BN_is_negative(a) && !BN_is_zero(a))
349 DEFINE_BN_COMPARISONS(ge, >=, !BN_is_negative(a) || BN_is_zero(a))
350 DEFINE_BN_COMPARISONS(lt, <,  BN_is_negative(a) && !BN_is_zero(a))
351 DEFINE_BN_COMPARISONS(le, <=, BN_is_negative(a) || BN_is_zero(a))
352
353 int test_BN_eq_one(const char *file, int line, const char *s, const BIGNUM *a)
354 {
355     if (a != NULL && BN_is_one(a))
356         return 1;
357     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", s, "1", "==", a);
358     return 0;
359 }
360
361 int test_BN_odd(const char *file, int line, const char *s, const BIGNUM *a)
362 {
363     if (a != NULL && BN_is_odd(a))
364         return 1;
365     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", "ODD(", ")", s, a);
366     return 0;
367 }
368
369 int test_BN_even(const char *file, int line, const char *s, const BIGNUM *a)
370 {
371     if (a != NULL && !BN_is_odd(a))
372         return 1;
373     test_fail_bignum_mono_message(NULL, file, line, "BIGNUM", "EVEN(", ")", s,
374                                   a);
375     return 0;
376 }
377
378 int test_BN_eq_word(const char *file, int line, const char *bns, const char *ws,
379                     const BIGNUM *a, BN_ULONG w)
380 {
381     BIGNUM *bw;
382
383     if (a != NULL && BN_is_word(a, w))
384         return 1;
385     bw = BN_new();
386     BN_set_word(bw, w);
387     test_fail_bignum_message(NULL, file, line, "BIGNUM", bns, ws, "==", a, bw);
388     BN_free(bw);
389     return 0;
390 }
391
392 int test_BN_abs_eq_word(const char *file, int line, const char *bns,
393                         const char *ws, const BIGNUM *a, BN_ULONG w)
394 {
395     BIGNUM *bw, *aa;
396
397     if (a != NULL && BN_abs_is_word(a, w))
398         return 1;
399     bw = BN_new();
400     aa = BN_dup(a);
401     BN_set_negative(aa, 0);
402     BN_set_word(bw, w);
403     test_fail_bignum_message(NULL, file, line, "BIGNUM", bns, ws, "abs==",
404                              aa, bw);
405     BN_free(bw);
406     BN_free(aa);
407     return 0;
408 }