testutil: make subtest_level() internal
[openssl.git] / test / testutil / tests.c
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "../testutil.h"
11 #include "output.h"
12 #include "tu_local.h"
13
14 #include <string.h>
15 #include "../../e_os.h"
16
17 /* The size of memory buffers to display on failure */
18 #define MEM_BUFFER_SIZE     (21)
19
20 /*
21  * A common routine to output test failure messages.  Generally this should not
22  * be called directly, rather it should be called by the following functions.
23  *
24  * |desc| is a printf formatted description with arguments |args| that is
25  * supplied by the user and |desc| can be NULL.  |type| is the data type
26  * that was tested (int, char, ptr, ...).  |fmt| is a system provided
27  * printf format with following arguments that spell out the failure
28  * details i.e. the actual values compared and the operator used.
29  *
30  * The typical use for this is from an utility test function:
31  *
32  * int test6(const char *file, int line, int n) {
33  *     if (n != 6) {
34  *         test_fail_message(1, file, line, "int", "value %d is not %d", n, 6);
35  *         return 0;
36  *     }
37  *     return 1;
38  * }
39  *
40  * calling test6(3, "oops") will return 0 and produce out along the lines of:
41  *      FAIL oops: (int) value 3 is not 6\n
42  *
43  * It general, test_fail_message should not be called directly.
44  */
45 static void test_fail_message(const char *prefix, const char *file, int line,
46                               const char *type, const char *fmt, ...)
47             PRINTF_FORMAT(5, 6);
48 static void helper_printf_stderr(const char *fmt, ...)
49 {
50     va_list ap;
51
52     va_start(ap, fmt);
53     test_vprintf_stderr(fmt, ap);
54     va_end(ap);
55 }
56
57 static void test_fail_message_va(const char *prefix, const char *file, int line,
58                                  const char *type, const char *fmt, va_list ap)
59 {
60     helper_printf_stderr("%*s# ", subtest_level(), "");
61     test_puts_stderr(prefix != NULL ? prefix : "ERROR");
62     test_puts_stderr(":");
63     if (type)
64         helper_printf_stderr(" (%s)", type);
65     if (fmt != NULL) {
66         test_puts_stderr(" ");
67         test_vprintf_stderr(fmt, ap);
68     }
69     if (file != NULL) {
70         helper_printf_stderr(" @ %s:%d", file, line);
71     }
72     test_puts_stderr("\n");
73     test_flush_stderr();
74 }
75
76 static void test_fail_message(const char *prefix, const char *file, int line,
77                               const char *type, const char *fmt, ...)
78 {
79     va_list ap;
80
81     va_start(ap, fmt);
82     test_fail_message_va(prefix, file, line, type, fmt, ap);
83     va_end(ap);
84 }
85
86 void test_info_c90(const char *desc, ...)
87 {
88     va_list ap;
89
90     va_start(ap, desc);
91     test_fail_message_va("INFO", NULL, -1, NULL, desc, ap);
92     va_end(ap);
93 }
94
95 void test_info(const char *file, int line, const char *desc, ...)
96 {
97     va_list ap;
98
99     va_start(ap, desc);
100     test_fail_message_va("INFO", file, line, NULL, desc, ap);
101     va_end(ap);
102 }
103
104 void test_error_c90(const char *desc, ...)
105 {
106     va_list ap;
107
108     va_start(ap, desc);
109     test_fail_message(NULL, NULL, -1, NULL, desc, ap);
110     va_end(ap);
111 }
112
113 void test_error(const char *file, int line, const char *desc, ...)
114 {
115     va_list ap;
116
117     va_start(ap, desc);
118     test_fail_message_va(NULL, file, line, NULL, desc, ap);
119     va_end(ap);
120 }
121
122 /*
123  * Define some comparisons between pairs of various types.
124  * These functions return 1 if the test is true.
125  * Otherwise, they return 0 and pretty-print diagnostics.
126  *
127  * In each case the functions produced are:
128  *  int test_name_eq(const type t1, const type t2, const char *desc, ...);
129  *  int test_name_ne(const type t1, const type t2, const char *desc, ...);
130  *  int test_name_lt(const type t1, const type t2, const char *desc, ...);
131  *  int test_name_le(const type t1, const type t2, const char *desc, ...);
132  *  int test_name_gt(const type t1, const type t2, const char *desc, ...);
133  *  int test_name_ge(const type t1, const type t2, const char *desc, ...);
134  *
135  * The t1 and t2 arguments are to be compared for equality, inequality,
136  * less than, less than or equal to, greater than and greater than or
137  * equal to respectively.  If the specified condition holds, the functions
138  * return 1.  If the condition does not hold, the functions print a diagnostic
139  * message and return 0.
140  *
141  * The desc argument is a printf format string followed by its arguments and
142  * this is included in the output if the condition being tested for is false.
143  */
144 #define DEFINE_COMPARISON(type, name, opname, op, fmt)                  \
145     int test_ ## name ## _ ## opname(const char *file, int line,        \
146                                      const char *s1, const char *s2,    \
147                                      const type t1, const type t2)      \
148     {                                                                   \
149         if (t1 op t2)                                                   \
150             return 1;                                                   \
151         test_fail_message(NULL, file, line, #type,                      \
152                           "%s [" fmt "] " #op " %s [" fmt "]",          \
153                           s1, t1, s2, t2);                              \
154         return 0;                                                       \
155     }
156
157 #define DEFINE_COMPARISONS(type, name, fmt)                             \
158     DEFINE_COMPARISON(type, name, eq, ==, fmt)                          \
159     DEFINE_COMPARISON(type, name, ne, !=, fmt)                          \
160     DEFINE_COMPARISON(type, name, lt, <, fmt)                           \
161     DEFINE_COMPARISON(type, name, le, <=, fmt)                          \
162     DEFINE_COMPARISON(type, name, gt, >, fmt)                           \
163     DEFINE_COMPARISON(type, name, ge, >=, fmt)
164
165 DEFINE_COMPARISONS(int, int, "%d")
166 DEFINE_COMPARISONS(unsigned int, uint, "%u")
167 DEFINE_COMPARISONS(char, char, "%c")
168 DEFINE_COMPARISONS(unsigned char, uchar, "%u")
169 DEFINE_COMPARISONS(long, long, "%ld")
170 DEFINE_COMPARISONS(unsigned long, ulong, "%lu")
171 DEFINE_COMPARISONS(size_t, size_t, "%zu")
172
173 DEFINE_COMPARISON(void *, ptr, eq, ==, "%p")
174 DEFINE_COMPARISON(void *, ptr, ne, !=, "%p")
175
176 int test_ptr_null(const char *file, int line, const char *s, const void *p)
177 {
178     if (p == NULL)
179         return 1;
180     test_fail_message(NULL, file, line, "ptr", "%s [%p] == NULL", s, p);
181     return 0;
182 }
183
184 int test_ptr(const char *file, int line, const char *s, const void *p)
185 {
186     if (p != NULL)
187         return 1;
188     test_fail_message(NULL, file, line, "ptr", "%s [%p] != NULL", s, p);
189     return 0;
190 }
191
192 int test_true(const char *file, int line, const char *s, int b)
193 {
194     if (b)
195         return 1;
196     test_fail_message(NULL, file, line, "bool", "%s [false] == true", s);
197     return 0;
198 }
199
200 int test_false(const char *file, int line, const char *s, int b)
201 {
202     if (!b)
203         return 1;
204     test_fail_message(NULL, file, line, "bool", "%s [true] == false", s);
205     return 0;
206 }
207
208 static const char *print_string_maybe_null(const char *s)
209 {
210     return s == NULL ? "(NULL)" : s;
211 }
212
213 int test_str_eq(const char *file, int line, const char *st1, const char *st2,
214                 const char *s1, const char *s2)
215 {
216     if (s1 == NULL && s2 == NULL)
217       return 1;
218     if (s1 == NULL || s2 == NULL || strcmp(s1, s2) != 0) {
219         test_fail_message(NULL, file, line, "string", "%s [%s] == %s [%s]",
220                           st1, print_string_maybe_null(s1),
221                           st2, print_string_maybe_null(s2));
222         return 0;
223     }
224     return 1;
225 }
226
227 int test_str_ne(const char *file, int line, const char *st1, const char *st2,
228                 const char *s1, const char *s2)
229 {
230     if ((s1 == NULL) ^ (s2 == NULL))
231       return 1;
232     if (s1 == NULL || strcmp(s1, s2) == 0) {
233         test_fail_message(NULL, file, line, "string", "%s [%s] != %s [%s]",
234                           st1, print_string_maybe_null(s1),
235                           st2, print_string_maybe_null(s2));
236         return 0;
237     }
238     return 1;
239 }
240
241 int test_strn_eq(const char *file, int line, const char *st1, const char *st2,
242                  const char *s1, const char *s2, size_t len)
243 {
244     int prec = (int)len;
245
246     if (s1 == NULL && s2 == NULL)
247       return 1;
248     if (s1 == NULL || s2 == NULL || strncmp(s1, s2, len) != 0) {
249         test_fail_message(NULL, file, line, "string", "%.s [%.*s] == %s [%.*s]",
250                           st1, prec, print_string_maybe_null(s1),
251                           st2, prec, print_string_maybe_null(s2));
252         return 0;
253     }
254     return 1;
255 }
256
257 int test_strn_ne(const char *file, int line, const char *st1, const char *st2,
258                  const char *s1, const char *s2, size_t len)
259 {
260     int prec = (int)len;
261
262     if ((s1 == NULL) ^ (s2 == NULL))
263       return 1;
264     if (s1 == NULL || strncmp(s1, s2, len) == 0) {
265         test_fail_message(NULL, file, line, "string", "%s [%.*s] != %s [%.*s]",
266                           st1, prec, print_string_maybe_null(s1),
267                           st2, prec, print_string_maybe_null(s2));
268         return 0;
269     }
270     return 1;
271 }
272
273 /*
274  * We could use OPENSSL_buf2hexstr() to do this but trying to allocate memory
275  * in a failure state isn't generally a great idea.
276  */
277 static const char *print_mem_maybe_null(const void *s, size_t n,
278                                         char out[MEM_BUFFER_SIZE])
279 {
280     size_t i;
281     const unsigned char *p = (const unsigned char *)s;
282     int pad = 2*n >= MEM_BUFFER_SIZE;
283
284     if (s == NULL)
285         return "(NULL)";
286     if (pad)
287         n = MEM_BUFFER_SIZE-4;
288     
289     for (i=0; i<2*n; i++) {
290         unsigned char c = (i & 1) != 0 ? p[i / 2] & 15 : p[i / 2] >> 4;
291         out[i] = "0123456789abcdef"[c];
292     }
293     if (pad) {
294         out[i++] = '.';
295         out[i++] = '.';
296         out[i++] = '.';
297     }
298     out[i] = '\0';
299         
300     return out;
301 }
302
303 int test_mem_eq(const char *file, int line, const char *st1, const char *st2,
304                 const void *s1, size_t n1, const void *s2, size_t n2)
305 {
306     char b1[MEM_BUFFER_SIZE], b2[MEM_BUFFER_SIZE];
307
308     if (s1 == NULL && s2 == NULL)
309         return 1;
310     if (n1 != n2) {
311         test_fail_message(NULL, file, line, "memory",
312                           "size mismatch %s %s [%zu] != %s %s [%zu]",
313                           st1, print_mem_maybe_null(s1, n1, b1), n1,
314                           st2, print_mem_maybe_null(s2, n2, b2), n2);
315         return 0;
316     }
317     if (s1 == NULL || s2 == NULL || memcmp(s1, s2, n1) != 0) {
318         test_fail_message(NULL, file, line, "memory",
319                           "%s %s [%zu] != %s %s [%zu]",
320                           st1, print_mem_maybe_null(s1, n1, b1), n1,
321                           st2, print_mem_maybe_null(s2, n2, b2), n2);
322         return 0;
323     }
324     return 1;
325 }
326
327 int test_mem_ne(const char *file, int line, const char *st1, const char *st2,
328                 const void *s1, size_t n1, const void *s2, size_t n2)
329 {
330     char b1[MEM_BUFFER_SIZE], b2[MEM_BUFFER_SIZE];
331
332     if ((s1 == NULL) ^ (s2 == NULL))
333       return 1;
334     if (n1 != n2)
335         return 1;
336     if (s1 == NULL || memcmp(s1, s2, n1) == 0) {
337         test_fail_message(NULL, file, line, "memory",
338                           "%s %s [%zu] != %s %s [%zu]",
339                           st1, print_mem_maybe_null(s1, n1, b1), n1,
340                           st2, print_mem_maybe_null(s2, n2, b2), n2);
341         return 0;
342     }
343     return 1;
344 }