80-test_ssl_new.t: Make 19-mac-then-encrypt.conf work without TLSv1.2
[openssl.git] / test / testutil.c
1 /*
2  * Copyright 2014-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "testutil.h"
11
12 #include <assert.h>
13 #include <stdlib.h>
14 #include <stdio.h>
15 #include <string.h>
16 #include "e_os.h"
17
18 #include <openssl/opensslconf.h>
19 #include <openssl/crypto.h>
20 #include <openssl/err.h>
21
22 /*
23  * Declares the structures needed to register each test case function.
24  */
25 typedef struct test_info {
26     const char *test_case_name;
27     int (*test_fn) ();
28     int (*param_test_fn)(int idx);
29     int num;
30 } TEST_INFO;
31
32 static TEST_INFO all_tests[1024];
33 static int num_tests = 0;
34 /*
35  * A parameterised tests runs a loop of test cases.
36  * |num_test_cases| counts the total number of test cases
37  * across all tests.
38  */
39 static int num_test_cases = 0;
40
41 void add_test(const char *test_case_name, int (*test_fn) ())
42 {
43     assert(num_tests != OSSL_NELEM(all_tests));
44     all_tests[num_tests].test_case_name = test_case_name;
45     all_tests[num_tests].test_fn = test_fn;
46     all_tests[num_tests].num = -1;
47     ++num_test_cases;
48     ++num_tests;
49 }
50
51 void add_all_tests(const char *test_case_name, int(*test_fn)(int idx),
52                    int num)
53 {
54     assert(num_tests != OSSL_NELEM(all_tests));
55     all_tests[num_tests].test_case_name = test_case_name;
56     all_tests[num_tests].param_test_fn = test_fn;
57     all_tests[num_tests].num = num;
58     ++num_tests;
59     num_test_cases += num;
60 }
61
62 #ifndef OPENSSL_NO_CRYPTO_MDEBUG
63 static int should_report_leaks()
64 {
65     /*
66      * When compiled with enable-crypto-mdebug, OPENSSL_DEBUG_MEMORY=0
67      * can be used to disable leak checking at runtime.
68      * Note this only works when running the test binary manually;
69      * the test harness always enables OPENSSL_DEBUG_MEMORY.
70      */
71     char *mem_debug_env = getenv("OPENSSL_DEBUG_MEMORY");
72
73     return mem_debug_env == NULL
74         || (strcmp(mem_debug_env, "0") && strcmp(mem_debug_env, ""));
75 }
76 #endif
77
78
79 void setup_test()
80 {
81 #ifndef OPENSSL_NO_CRYPTO_MDEBUG
82     if (should_report_leaks()) {
83         CRYPTO_set_mem_debug(1);
84         CRYPTO_mem_ctrl(CRYPTO_MEM_CHECK_ON);
85     }
86 #endif
87 }
88
89 int finish_test(int ret)
90 {
91 #ifndef OPENSSL_NO_CRYPTO_MDEBUG
92     if (should_report_leaks() && CRYPTO_mem_leaks_fp(stderr) <= 0)
93         return EXIT_FAILURE;
94 #endif
95     return ret;
96 }
97
98 static void finalize(int success)
99 {
100     if (success)
101         ERR_clear_error();
102     else
103         ERR_print_errors_fp(stderr);
104 }
105
106 int run_tests(const char *test_prog_name)
107 {
108     int num_failed = 0;
109
110     int i, j;
111
112     printf("%s: %d test case%s\n", test_prog_name, num_test_cases,
113            num_test_cases == 1 ? "" : "s");
114
115     for (i = 0; i != num_tests; ++i) {
116         if (all_tests[i].num == -1) {
117             int ret = all_tests[i].test_fn();
118
119             if (!ret) {
120                 printf("** %s failed **\n--------\n",
121                        all_tests[i].test_case_name);
122                 ++num_failed;
123             }
124             finalize(ret);
125         } else {
126             for (j = 0; j < all_tests[i].num; j++) {
127                 int ret = all_tests[i].param_test_fn(j);
128
129                 if (!ret) {
130                     printf("** %s failed test %d\n--------\n",
131                            all_tests[i].test_case_name, j);
132                     ++num_failed;
133                 }
134                 finalize(ret);
135             }
136         }
137     }
138
139     if (num_failed != 0) {
140         printf("%s: %d test%s failed (out of %d)\n", test_prog_name,
141                num_failed, num_failed != 1 ? "s" : "", num_test_cases);
142         return EXIT_FAILURE;
143     }
144     printf("  All tests passed.\n");
145     return EXIT_SUCCESS;
146 }
147
148 static const char *print_string_maybe_null(const char *s)
149 {
150     return s == NULL ? "(NULL)" : s;
151 }
152
153 int strings_equal(const char *desc, const char *s1, const char *s2)
154 {
155     if (s1 == NULL && s2 == NULL)
156       return 1;
157     if (s1 == NULL || s2 == NULL || strcmp(s1, s2) != 0) {
158         fprintf(stderr, "%s mismatch: %s vs %s\n", desc, print_string_maybe_null(s1),
159                 print_string_maybe_null(s2));
160         return 0;
161     }
162     return 1;
163 }