Test framework output improvement.
[openssl.git] / test / test_test.c
1 /*
2  * Copyright 2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*
11  * Copyright (c) 2017 Oracle and/or its affiliates.  All rights reserved.
12  */
13
14 #include <stdio.h>
15 #include <string.h>
16
17 #include <openssl/opensslconf.h>
18 #include <openssl/err.h>
19 #include <openssl/crypto.h>
20
21 #include "e_os.h"
22 #include "testutil.h"
23
24 #define TEST(expected, test) test_case((expected), #test, (test))
25
26 static int test_case(int expected, const char *test, int result)
27 {
28     if (result != expected) {
29         fprintf(stderr, "# FATAL: %s != %d\n", test, expected);
30         return 0;
31     }
32     return 1;
33 }
34
35 static int test_int(void)
36 {
37     if (!TEST(1, TEST_int_eq(1, 1))
38         | !TEST(0, TEST_int_eq(1, -1))
39         | !TEST(1, TEST_int_ne(1, 2))
40         | !TEST(0, TEST_int_ne(3, 3))
41         | !TEST(1, TEST_int_lt(4, 9))
42         | !TEST(0, TEST_int_lt(9, 4))
43         | !TEST(1, TEST_int_le(4, 9))
44         | !TEST(1, TEST_int_le(5, 5))
45         | !TEST(0, TEST_int_le(9, 4))
46         | !TEST(1, TEST_int_gt(8, 5))
47         | !TEST(0, TEST_int_gt(5, 8))
48         | !TEST(1, TEST_int_ge(8, 5))
49         | !TEST(1, TEST_int_ge(6, 6))
50         | !TEST(0, TEST_int_ge(5, 8)))
51         goto err;
52     return 1;
53
54 err:
55     return 0;
56 }
57
58 static int test_uint(void)
59 {
60     if (!TEST(1, TEST_uint_eq(3u, 3u))
61         | !TEST(0, TEST_uint_eq(3u, 5u))
62         | !TEST(1, TEST_uint_ne(4u, 2u))
63         | !TEST(0, TEST_uint_ne(6u, 6u))
64         | !TEST(1, TEST_uint_lt(5u, 9u))
65         | !TEST(0, TEST_uint_lt(9u, 5u))
66         | !TEST(1, TEST_uint_le(5u, 9u))
67         | !TEST(1, TEST_uint_le(7u, 7u))
68         | !TEST(0, TEST_uint_le(9u, 5u))
69         | !TEST(1, TEST_uint_gt(11u, 1u))
70         | !TEST(0, TEST_uint_gt(1u, 11u))
71         | !TEST(1, TEST_uint_ge(11u, 1u))
72         | !TEST(1, TEST_uint_ge(6u, 6u))
73         | !TEST(0, TEST_uint_ge(1u, 11u)))
74         goto err;
75     return 1;
76
77 err:
78     return 0;
79 }
80
81 static int test_char(void)
82 {
83     if (!TEST(1, TEST_char_eq('a', 'a'))
84         | !TEST(0, TEST_char_eq('a', 'A'))
85         | !TEST(1, TEST_char_ne('a', 'c'))
86         | !TEST(0, TEST_char_ne('e', 'e'))
87         | !TEST(1, TEST_char_lt('i', 'x'))
88         | !TEST(0, TEST_char_lt('x', 'i'))
89         | !TEST(1, TEST_char_le('i', 'x'))
90         | !TEST(1, TEST_char_le('n', 'n'))
91         | !TEST(0, TEST_char_le('x', 'i'))
92         | !TEST(1, TEST_char_gt('w', 'n'))
93         | !TEST(0, TEST_char_gt('n', 'w'))
94         | !TEST(1, TEST_char_ge('w', 'n'))
95         | !TEST(1, TEST_char_ge('p', 'p'))
96         | !TEST(0, TEST_char_ge('n', 'w')))
97         goto err;
98     return 1;
99
100 err:
101     return 0;
102 }
103
104 static int test_uchar(void)
105 {
106     if (!TEST(1, TEST_uchar_eq(49, 49))
107         | !TEST(0, TEST_uchar_eq(49, 60))
108         | !TEST(1, TEST_uchar_ne(50, 2))
109         | !TEST(0, TEST_uchar_ne(66, 66))
110         | !TEST(1, TEST_uchar_lt(60, 80))
111         | !TEST(0, TEST_uchar_lt(80, 60))
112         | !TEST(1, TEST_uchar_le(60, 80))
113         | !TEST(1, TEST_uchar_le(78, 78))
114         | !TEST(0, TEST_uchar_le(80, 60))
115         | !TEST(1, TEST_uchar_gt(88, 37))
116         | !TEST(0, TEST_uchar_gt(37, 88))
117         | !TEST(1, TEST_uchar_ge(88, 37))
118         | !TEST(1, TEST_uchar_ge(66, 66))
119         | !TEST(0, TEST_uchar_ge(37, 88)))
120         goto err;
121     return 1;
122
123 err:
124     return 0;
125 }
126
127 static int test_long(void)
128 {
129     if (!TEST(1, TEST_long_eq(123l, 123l))
130         | !TEST(0, TEST_long_eq(123l, -123l))
131         | !TEST(1, TEST_long_ne(123l, 500l))
132         | !TEST(0, TEST_long_ne(1000l, 1000l))
133         | !TEST(1, TEST_long_lt(-8923l, 102934563l))
134         | !TEST(0, TEST_long_lt(102934563l, -8923l))
135         | !TEST(1, TEST_long_le(-8923l, 102934563l))
136         | !TEST(1, TEST_long_le(12345l, 12345l))
137         | !TEST(0, TEST_long_le(102934563l, -8923l))
138         | !TEST(1, TEST_long_gt(84325677l, 12345l))
139         | !TEST(0, TEST_long_gt(12345l, 84325677l))
140         | !TEST(1, TEST_long_ge(84325677l, 12345l))
141         | !TEST(1, TEST_long_ge(465869l, 465869l))
142         | !TEST(0, TEST_long_ge(12345l, 84325677l)))
143         goto err;
144     return 1;
145
146 err:
147     return 0;
148 }
149
150 static int test_ulong(void)
151 {
152     if (!TEST(1, TEST_ulong_eq(919ul, 919ul))
153         | !TEST(0, TEST_ulong_eq(919ul, 10234ul))
154         | !TEST(1, TEST_ulong_ne(8190ul, 66ul))
155         | !TEST(0, TEST_ulong_ne(10555ul, 10555ul))
156         | !TEST(1, TEST_ulong_lt(10234ul, 1000000ul))
157         | !TEST(0, TEST_ulong_lt(1000000ul, 10234ul))
158         | !TEST(1, TEST_ulong_le(10234ul, 1000000ul))
159         | !TEST(1, TEST_ulong_le(100000ul, 100000ul))
160         | !TEST(0, TEST_ulong_le(1000000ul, 10234ul))
161         | !TEST(1, TEST_ulong_gt(100000000ul, 22ul))
162         | !TEST(0, TEST_ulong_gt(22ul, 100000000ul))
163         | !TEST(1, TEST_ulong_ge(100000000ul, 22ul))
164         | !TEST(1, TEST_ulong_ge(10555ul, 10555ul))
165         | !TEST(0, TEST_ulong_ge(22ul, 100000000ul)))
166         goto err;
167     return 1;
168
169 err:
170     return 0;
171 }
172
173 static int test_size_t(void)
174 {
175     if (!TEST(1, TEST_int_eq((size_t)10, (size_t)10))
176         | !TEST(0, TEST_int_eq((size_t)10, (size_t)12))
177         | !TEST(1, TEST_int_ne((size_t)10, (size_t)12))
178         | !TEST(0, TEST_int_ne((size_t)24, (size_t)24))
179         | !TEST(1, TEST_int_lt((size_t)30, (size_t)88))
180         | !TEST(0, TEST_int_lt((size_t)88, (size_t)30))
181         | !TEST(1, TEST_int_le((size_t)30, (size_t)88))
182         | !TEST(1, TEST_int_le((size_t)33, (size_t)33))
183         | !TEST(0, TEST_int_le((size_t)88, (size_t)30))
184         | !TEST(1, TEST_int_gt((size_t)52, (size_t)33))
185         | !TEST(0, TEST_int_gt((size_t)33, (size_t)52))
186         | !TEST(1, TEST_int_ge((size_t)52, (size_t)33))
187         | !TEST(1, TEST_int_ge((size_t)38, (size_t)38))
188         | !TEST(0, TEST_int_ge((size_t)33, (size_t)52)))
189         goto err;
190     return 1;
191
192 err:
193     return 0;
194 }
195
196 static int test_pointer(void)
197 {
198     int x = 0;
199     char y = 1;
200
201     if (!TEST(1, TEST_ptr(&y))
202         | !TEST(0, TEST_ptr(NULL))
203         | !TEST(0, TEST_ptr_null(&y))
204         | !TEST(1, TEST_ptr_null(NULL))
205         | !TEST(1, TEST_ptr_eq(NULL, NULL))
206         | !TEST(0, TEST_ptr_eq(NULL, &y))
207         | !TEST(0, TEST_ptr_eq(&y, NULL))
208         | !TEST(0, TEST_ptr_eq(&y, &x))
209         | !TEST(1, TEST_ptr_eq(&x, &x))
210         | !TEST(0, TEST_ptr_ne(NULL, NULL))
211         | !TEST(1, TEST_ptr_ne(NULL, &y))
212         | !TEST(1, TEST_ptr_ne(&y, NULL))
213         | !TEST(1, TEST_ptr_ne(&y, &x))
214         | !TEST(0, TEST_ptr_ne(&x, &x)))
215         goto err;
216     return 1;
217
218 err:
219     return 0;
220 }
221
222 static int test_bool(void)
223 {
224     if (!TEST(0, TEST_true(0))
225         | !TEST(1, TEST_true(1))
226         | !TEST(1, TEST_false(0))
227         | !TEST(0, TEST_false(1)))
228         goto err;
229     return 1;
230
231 err:
232     return 0;
233 }
234
235 static int test_string(void)
236 {
237     static char buf[] = "abc";
238
239     if (!TEST(1, TEST_str_eq(NULL, NULL))
240         | !TEST(1, TEST_str_eq("abc", buf))
241         | !TEST(0, TEST_str_eq("abc", NULL))
242         | !TEST(0, TEST_str_eq("abc", ""))
243         | !TEST(0, TEST_str_eq(NULL, buf))
244         | !TEST(0, TEST_str_ne(NULL, NULL))
245         | !TEST(0, TEST_str_eq("", NULL))
246         | !TEST(0, TEST_str_eq(NULL, ""))
247         | !TEST(0, TEST_str_ne("", ""))
248         | !TEST(0, TEST_str_eq("\1\2\3\4\5", "\1x\3\6\5"))
249         | !TEST(0, TEST_str_ne("abc", buf))
250         | !TEST(1, TEST_str_ne("abc", NULL))
251         | !TEST(1, TEST_str_ne(NULL, buf)))
252         goto err;
253     return 1;
254
255 err:
256     return 0;
257 }
258
259 static int test_memory(void)
260 {
261     static char buf[] = "xyz";
262
263     if (!TEST(1, TEST_mem_eq(NULL, 0, NULL, 0))
264         | !TEST(1, TEST_mem_eq(NULL, 1, NULL, 2))
265         | !TEST(0, TEST_mem_eq(NULL, 0, "xyz", 3))
266         | !TEST(0, TEST_mem_eq(NULL, 7, "abc", 3))
267         | !TEST(0, TEST_mem_ne(NULL, 0, NULL, 0))
268         | !TEST(0, TEST_mem_eq(NULL, 0, "", 0))
269         | !TEST(0, TEST_mem_eq("", 0, NULL, 0))
270         | !TEST(0, TEST_mem_ne("", 0, "", 0))
271         | !TEST(0, TEST_mem_eq("xyz", 3, NULL, 0))
272         | !TEST(0, TEST_mem_eq("xyz", 3, buf, sizeof(buf)))
273         | !TEST(1, TEST_mem_eq("xyz", 4, buf, sizeof(buf))))
274         goto err;
275     return 1;
276
277 err:
278     return 0;
279 }
280
281 static int test_memory_overflow(void)
282 {
283     /* Verify that the memory printing overflows without walking the stack */
284     const char *p = "1234567890123456789012345678901234567890123456789012";
285     const char *q = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ";
286
287     return TEST(0, TEST_mem_eq(p, strlen(p), q, strlen(q)));
288 }
289
290 static int test_long_output(void)
291 {
292     const char *p = "1234567890123456789012345678901234567890123456789012";
293     const char *q = "1234567890klmnopqrs01234567890EFGHIJKLM0123456789XYZ";
294     const char *r = "1234567890123456789012345678901234567890123456789012"
295                     "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXY+"
296                     "12345678901234567890123ABC78901234567890123456789012";
297     const char *s = "1234567890123456789012345678901234567890123456789012"
298                     "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXY-"
299                     "1234567890123456789012345678901234567890123456789012"
300                     "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ";
301
302     return TEST(0, TEST_str_eq(p,  q))
303            & TEST(0, TEST_str_eq(q, r))
304            & TEST(0, TEST_str_eq(r, s))
305            & TEST(0, TEST_mem_eq(r, strlen(r), s, strlen(s)));
306 }
307
308 static int test_messages(void)
309 {
310     TEST_info("This is an %s message.", "info");
311     TEST_error("This is an %s message.", "error");
312     return 1;
313 }
314
315 static int test_single_eval(void)
316 {
317     int i = 4;
318     long l = -9000;
319     char c = 'd';
320     unsigned char uc = 22;
321     unsigned long ul = 500;
322     size_t st = 1234;
323     char buf[4] = { 0 }, *p = buf;
324
325            /* int */
326     return TEST_int_eq(i++, 4)
327            && TEST_int_eq(i, 5)
328            && TEST_int_gt(++i, 5)
329            && TEST_int_le(5, i++)
330            && TEST_int_ne(--i, 5)
331            && TEST_int_eq(12, i *= 2)
332            /* Long */
333            && TEST_long_eq(l--, -9000L)
334            && TEST_long_eq(++l, -9000L)
335            && TEST_long_ne(-9000L, l /= 2)
336            && TEST_long_lt(--l, -4500L)
337            /* char */
338            && TEST_char_eq(++c, 'e')
339            && TEST_char_eq('e', c--)
340            && TEST_char_ne('d', --c)
341            && TEST_char_le('b', --c)
342            && TEST_char_lt(c++, 'c')
343            /* unsigned char */
344            && TEST_uchar_eq(22, uc++)
345            && TEST_uchar_eq(uc /= 2, 11)
346            && TEST_ulong_eq(ul ^= 1, 501)
347            && TEST_ulong_eq(502, ul ^= 3)
348            && TEST_ulong_eq(ul = ul * 3 - 6, 1500)
349            /* size_t */
350            && TEST_size_t_eq((--i, st++), 1234)
351            && TEST_size_t_eq(st, 1235)
352            && TEST_int_eq(11, i)
353            /* pointers */
354            && TEST_ptr_eq(p++, buf)
355            && TEST_ptr_eq(buf + 2, ++p)
356            && TEST_ptr_eq(buf, p -= 2)
357            && TEST_ptr(++p)
358            && TEST_ptr_eq(p, buf + 1)
359            && TEST_ptr_null(p = NULL)
360            /* strings */
361            && TEST_str_eq(p = "123456" + 1, "23456")
362            && TEST_str_eq("3456", ++p)
363            && TEST_str_ne(p++, "456")
364            /* memory */
365            && TEST_mem_eq(--p, sizeof("3456"), "3456", sizeof("3456"))
366            && TEST_mem_ne(p++, sizeof("456"), "456", sizeof("456"))
367            && TEST_mem_eq(p--, sizeof("456"), "456", sizeof("456"));
368 }
369
370 void register_tests(void)
371 {
372     ADD_TEST(test_int);
373     ADD_TEST(test_uint);
374     ADD_TEST(test_char);
375     ADD_TEST(test_uchar);
376     ADD_TEST(test_long);
377     ADD_TEST(test_ulong);
378     ADD_TEST(test_size_t);
379     ADD_TEST(test_pointer);
380     ADD_TEST(test_bool);
381     ADD_TEST(test_string);
382     ADD_TEST(test_memory);
383     ADD_TEST(test_memory_overflow);
384     ADD_TEST(test_long_output);
385     ADD_TEST(test_messages);
386     ADD_TEST(test_single_eval);
387 }