add ASN1_INTEGER type to d2i_test
[openssl.git] / test / testutil.c
1 /*-
2  * Utilities for writing OpenSSL unit tests.
3  *
4  * More information:
5  * http://wiki.openssl.org/index.php/How_To_Write_Unit_Tests_For_OpenSSL
6  *
7  * Author: Mike Bland (mbland@acm.org)
8  * Date:   2014-07-15
9  * ====================================================================
10  * Copyright (c) 2014 The OpenSSL Project.  All rights reserved.
11  *
12  * Redistribution and use in source and binary forms, with or without
13  * modification, are permitted provided that the following conditions
14  * are met:
15  *
16  * 1. Redistributions of source code must retain the above copyright
17  *    notice, this list of conditions and the following disclaimer.
18  *
19  * 2. Redistributions in binary form must reproduce the above copyright
20  *    notice, this list of conditions and the following disclaimer in
21  *    the documentation and/or other materials provided with the
22  *    distribution.
23  *
24  * 3. All advertising materials mentioning features or use of this
25  *    software must display the following acknowledgment:
26  *    "This product includes software developed by the OpenSSL Project
27  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
28  *
29  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
30  *    endorse or promote products derived from this software without
31  *    prior written permission. For written permission, please contact
32  *    licensing@OpenSSL.org.
33  *
34  * 5. Products derived from this software may not be called "OpenSSL"
35  *    nor may "OpenSSL" appear in their names without prior written
36  *    permission of the OpenSSL Project.
37  *
38  * 6. Redistributions of any form whatsoever must retain the following
39  *    acknowledgment:
40  *    "This product includes software developed by the OpenSSL Project
41  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
42  *
43  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
44  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
45  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
46  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
47  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
48  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
49  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
50  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
51  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
52  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
53  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
54  * OF THE POSSIBILITY OF SUCH DAMAGE.
55  * ====================================================================
56  */
57
58 #include "testutil.h"
59
60 #include <assert.h>
61 #include <stdlib.h>
62 #include <stdio.h>
63 #include "e_os.h"
64
65 /*
66  * Declares the structures needed to register each test case function.
67  */
68 typedef struct test_info {
69     const char *test_case_name;
70     int (*test_fn) ();
71     int (*param_test_fn)(int idx);
72     int num;
73 } TEST_INFO;
74
75 static TEST_INFO all_tests[1024];
76 static int num_tests = 0;
77 /*
78  * A parameterised tests runs a loop of test cases.
79  * |num_test_cases| counts the total number of test cases
80  * across all tests.
81  */
82 static int num_test_cases = 0;
83
84 void add_test(const char *test_case_name, int (*test_fn) ())
85 {
86     assert(num_tests != OSSL_NELEM(all_tests));
87     all_tests[num_tests].test_case_name = test_case_name;
88     all_tests[num_tests].test_fn = test_fn;
89     all_tests[num_tests].num = -1;
90     ++num_test_cases;
91     ++num_tests;
92 }
93
94 void add_all_tests(const char *test_case_name, int(*test_fn)(int idx),
95                    int num)
96 {
97     assert(num_tests != OSSL_NELEM(all_tests));
98     all_tests[num_tests].test_case_name = test_case_name;
99     all_tests[num_tests].param_test_fn = test_fn;
100     all_tests[num_tests].num = num;
101     ++num_tests;
102     num_test_cases += num;
103 }
104
105 int run_tests(const char *test_prog_name)
106 {
107     int num_failed = 0;
108
109     int i, j;
110
111     printf("%s: %d test case%s\n", test_prog_name, num_test_cases,
112            num_test_cases == 1 ? "" : "s");
113
114     for (i = 0; i != num_tests; ++i) {
115         if (all_tests[i].num == -1) {
116             if (!all_tests[i].test_fn()) {
117                 printf("** %s failed **\n--------\n",
118                        all_tests[i].test_case_name);
119                 ++num_failed;
120             }
121         } else {
122             for (j = 0; j < all_tests[i].num; j++) {
123                 if (!all_tests[i].param_test_fn(j)) {
124                     printf("** %s failed test %d\n--------\n",
125                            all_tests[i].test_case_name, j);
126                     ++num_failed;
127                 }
128             }
129         }
130     }
131
132     if (num_failed != 0) {
133         printf("%s: %d test%s failed (out of %d)\n", test_prog_name,
134                num_failed, num_failed != 1 ? "s" : "", num_test_cases);
135         return EXIT_FAILURE;
136     }
137     printf("  All tests passed.\n");
138     return EXIT_SUCCESS;
139 }