In 80-test_ssl_new, more "plan tests" to a more useful position
[openssl.git] / test / ssl_test.c
1 /*
2  * Copyright 2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12
13 #include <openssl/conf.h>
14 #include <openssl/err.h>
15 #include <openssl/ssl.h>
16
17 #include "handshake_helper.h"
18 #include "ssl_test_ctx.h"
19 #include "testutil.h"
20
21 static CONF *conf = NULL;
22
23 /* Currently the section names are of the form test-<number>, e.g. test-15. */
24 #define MAX_TESTCASE_NAME_LENGTH 100
25
26 typedef struct ssl_test_ctx_test_fixture {
27     const char *test_case_name;
28     char test_app[MAX_TESTCASE_NAME_LENGTH];
29 } SSL_TEST_FIXTURE;
30
31 static SSL_TEST_FIXTURE set_up(const char *const test_case_name)
32 {
33     SSL_TEST_FIXTURE fixture;
34     fixture.test_case_name = test_case_name;
35     return fixture;
36 }
37
38 static const char *print_alert(int alert)
39 {
40     return alert ? SSL_alert_desc_string_long(alert) : "no alert";
41 }
42
43 static int check_result(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
44 {
45     if (result->result != test_ctx->expected_result) {
46         fprintf(stderr, "ExpectedResult mismatch: expected %s, got %s.\n",
47                 ssl_test_result_name(test_ctx->expected_result),
48                 ssl_test_result_name(result->result));
49         return 0;
50     }
51     return 1;
52 }
53
54 static int check_alerts(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
55 {
56     if (result->client_alert_sent != result->client_alert_received) {
57         fprintf(stderr, "Client sent alert %s but server received %s\n.",
58                 print_alert(result->client_alert_sent),
59                 print_alert(result->client_alert_received));
60         /*
61          * We can't bail here because the peer doesn't always get far enough
62          * to process a received alert. Specifically, in protocol version
63          * negotiation tests, we have the following scenario.
64          * Client supports TLS v1.2 only; Server supports TLS v1.1.
65          * Client proposes TLS v1.2; server responds with 1.1;
66          * Client now sends a protocol alert, using TLS v1.2 in the header.
67          * The server, however, rejects the alert because of version mismatch
68          * in the record layer; therefore, the server appears to never
69          * receive the alert.
70          */
71         /* return 0; */
72     }
73
74     if (result->server_alert_sent != result->server_alert_received) {
75         fprintf(stderr, "Server sent alert %s but client received %s\n.",
76                 print_alert(result->server_alert_sent),
77                 print_alert(result->server_alert_received));
78         /* return 0; */
79     }
80
81     /* Tolerate an alert if one wasn't explicitly specified in the test. */
82     if (test_ctx->client_alert
83         /*
84          * The info callback alert value is computed as
85          * (s->s3->send_alert[0] << 8) | s->s3->send_alert[1]
86          * where the low byte is the alert code and the high byte is other stuff.
87          */
88         && (result->client_alert_sent & 0xff) != test_ctx->client_alert) {
89         fprintf(stderr, "ClientAlert mismatch: expected %s, got %s.\n",
90                 print_alert(test_ctx->client_alert),
91                 print_alert(result->client_alert_sent));
92         return 0;
93     }
94
95     if (test_ctx->server_alert
96         && (result->server_alert_sent & 0xff) != test_ctx->server_alert) {
97         fprintf(stderr, "ServerAlert mismatch: expected %s, got %s.\n",
98                 print_alert(test_ctx->server_alert),
99                 print_alert(result->server_alert_sent));
100         return 0;
101     }
102
103     return 1;
104 }
105
106 static int check_protocol(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
107 {
108     if (result->client_protocol != result->server_protocol) {
109         fprintf(stderr, "Client has protocol %s but server has %s\n.",
110                 ssl_protocol_name(result->client_protocol),
111                 ssl_protocol_name(result->server_protocol));
112         return 0;
113     }
114
115     if (test_ctx->protocol) {
116         if (result->client_protocol != test_ctx->protocol) {
117             fprintf(stderr, "Protocol mismatch: expected %s, got %s.\n",
118                     ssl_protocol_name(test_ctx->protocol),
119                     ssl_protocol_name(result->client_protocol));
120             return 0;
121         }
122     }
123     return 1;
124 }
125
126 static int check_servername(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
127 {
128     if (result->servername != test_ctx->expected_servername) {
129       fprintf(stderr, "Client ServerName mismatch, expected %s, got %s\n.",
130               ssl_servername_name(test_ctx->expected_servername),
131               ssl_servername_name(result->servername));
132       return 0;
133     }
134   return 1;
135 }
136
137 static int check_session_ticket(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
138 {
139     if (test_ctx->session_ticket_expected == SSL_TEST_SESSION_TICKET_IGNORE)
140         return 1;
141     if (test_ctx->session_ticket_expected == SSL_TEST_SESSION_TICKET_BROKEN &&
142         result->session_ticket == SSL_TEST_SESSION_TICKET_NO)
143         return 1;
144     if (result->session_ticket != test_ctx->session_ticket_expected) {
145         fprintf(stderr, "Client SessionTicketExpected mismatch, expected %s, got %s\n.",
146                 ssl_session_ticket_name(test_ctx->session_ticket_expected),
147                 ssl_session_ticket_name(result->session_ticket));
148         return 0;
149     }
150     return 1;
151 }
152
153 #ifndef OPENSSL_NO_NEXTPROTONEG
154 static int check_npn(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
155 {
156     int ret = 1;
157     ret &= strings_equal("NPN Negotiated (client vs server)",
158                          result->client_npn_negotiated,
159                          result->server_npn_negotiated);
160     ret &= strings_equal("ExpectedNPNProtocol",
161                          test_ctx->expected_npn_protocol,
162                          result->client_npn_negotiated);
163     return ret;
164 }
165
166 static int check_alpn(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
167 {
168     int ret = 1;
169     ret &= strings_equal("ALPN Negotiated (client vs server)",
170                          result->client_alpn_negotiated,
171                          result->server_alpn_negotiated);
172     ret &= strings_equal("ExpectedALPNProtocol",
173                          test_ctx->expected_alpn_protocol,
174                          result->client_alpn_negotiated);
175     return ret;
176 }
177 #endif
178
179 static int check_resumption(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
180 {
181     if (result->client_resumed != result->server_resumed) {
182         fprintf(stderr, "Resumption mismatch (client vs server): %d vs %d\n",
183                 result->client_resumed, result->server_resumed);
184         return 0;
185     }
186     if (result->client_resumed != test_ctx->resumption_expected) {
187         fprintf(stderr, "ResumptionExpected mismatch: %d vs %d\n",
188                 test_ctx->resumption_expected, result->client_resumed);
189         return 0;
190     }
191     return 1;
192 }
193
194 /*
195  * This could be further simplified by constructing an expected
196  * HANDSHAKE_RESULT, and implementing comparison methods for
197  * its fields.
198  */
199 static int check_test(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
200 {
201     int ret = 1;
202     ret &= check_result(result, test_ctx);
203     ret &= check_alerts(result, test_ctx);
204     if (result->result == SSL_TEST_SUCCESS) {
205         ret &= check_protocol(result, test_ctx);
206         ret &= check_servername(result, test_ctx);
207         ret &= check_session_ticket(result, test_ctx);
208         ret &= (result->session_ticket_do_not_call == 0);
209 #ifndef OPENSSL_NO_NEXTPROTONEG
210         ret &= check_npn(result, test_ctx);
211         ret &= check_alpn(result, test_ctx);
212 #endif
213         ret &= check_resumption(result, test_ctx);
214     }
215     return ret;
216 }
217
218 static int execute_test(SSL_TEST_FIXTURE fixture)
219 {
220     int ret = 0;
221     SSL_CTX *server_ctx = NULL, *server2_ctx = NULL, *client_ctx = NULL,
222         *resume_server_ctx = NULL, *resume_client_ctx = NULL;
223     SSL_TEST_CTX *test_ctx = NULL;
224     HANDSHAKE_RESULT *result = NULL;
225
226     test_ctx = SSL_TEST_CTX_create(conf, fixture.test_app);
227     if (test_ctx == NULL)
228         goto err;
229
230 #ifndef OPENSSL_NO_DTLS
231     if (test_ctx->method == SSL_TEST_METHOD_DTLS) {
232         server_ctx = SSL_CTX_new(DTLS_server_method());
233         if (test_ctx->servername_callback != SSL_TEST_SERVERNAME_CB_NONE) {
234             server2_ctx = SSL_CTX_new(DTLS_server_method());
235             OPENSSL_assert(server2_ctx != NULL);
236         }
237         client_ctx = SSL_CTX_new(DTLS_client_method());
238         if (test_ctx->handshake_mode == SSL_TEST_HANDSHAKE_RESUME) {
239             resume_server_ctx = SSL_CTX_new(DTLS_server_method());
240             resume_client_ctx = SSL_CTX_new(DTLS_client_method());
241             OPENSSL_assert(resume_server_ctx != NULL);
242             OPENSSL_assert(resume_client_ctx != NULL);
243         }
244     }
245 #endif
246     if (test_ctx->method == SSL_TEST_METHOD_TLS) {
247         server_ctx = SSL_CTX_new(TLS_server_method());
248         if (test_ctx->servername_callback != SSL_TEST_SERVERNAME_CB_NONE) {
249             server2_ctx = SSL_CTX_new(TLS_server_method());
250             OPENSSL_assert(server2_ctx != NULL);
251         }
252         client_ctx = SSL_CTX_new(TLS_client_method());
253
254         if (test_ctx->handshake_mode == SSL_TEST_HANDSHAKE_RESUME) {
255             resume_server_ctx = SSL_CTX_new(TLS_server_method());
256             resume_client_ctx = SSL_CTX_new(TLS_client_method());
257             OPENSSL_assert(resume_server_ctx != NULL);
258             OPENSSL_assert(resume_client_ctx != NULL);
259         }
260     }
261
262     OPENSSL_assert(server_ctx != NULL);
263     OPENSSL_assert(client_ctx != NULL);
264
265     OPENSSL_assert(CONF_modules_load(conf, fixture.test_app, 0) > 0);
266
267     if (!SSL_CTX_config(server_ctx, "server")
268         || !SSL_CTX_config(client_ctx, "client")) {
269         goto err;
270     }
271
272     if (server2_ctx != NULL && !SSL_CTX_config(server2_ctx, "server2"))
273         goto err;
274     if (resume_server_ctx != NULL
275         && !SSL_CTX_config(resume_server_ctx, "resume-server"))
276         goto err;
277     if (resume_client_ctx != NULL
278         && !SSL_CTX_config(resume_client_ctx, "resume-client"))
279         goto err;
280
281     result = do_handshake(server_ctx, server2_ctx, client_ctx,
282                           resume_server_ctx, resume_client_ctx, test_ctx);
283
284     ret = check_test(result, test_ctx);
285
286 err:
287     CONF_modules_unload(0);
288     SSL_CTX_free(server_ctx);
289     SSL_CTX_free(server2_ctx);
290     SSL_CTX_free(client_ctx);
291     SSL_CTX_free(resume_server_ctx);
292     SSL_CTX_free(resume_client_ctx);
293     SSL_TEST_CTX_free(test_ctx);
294     if (ret != 1)
295         ERR_print_errors_fp(stderr);
296     HANDSHAKE_RESULT_free(result);
297     return ret;
298 }
299
300 static void tear_down(SSL_TEST_FIXTURE fixture)
301 {
302 }
303
304 #define SETUP_SSL_TEST_FIXTURE()                        \
305     SETUP_TEST_FIXTURE(SSL_TEST_FIXTURE, set_up)
306 #define EXECUTE_SSL_TEST()             \
307     EXECUTE_TEST(execute_test, tear_down)
308
309 static int test_handshake(int idx)
310 {
311     SETUP_SSL_TEST_FIXTURE();
312     BIO_snprintf(fixture.test_app, sizeof(fixture.test_app),
313                  "test-%d", idx);
314     EXECUTE_SSL_TEST();
315 }
316
317 int main(int argc, char **argv)
318 {
319     int result = 0;
320     long num_tests;
321
322     if (argc != 2)
323         return 1;
324
325     conf = NCONF_new(NULL);
326     OPENSSL_assert(conf != NULL);
327
328     /* argv[1] should point to the test conf file */
329     OPENSSL_assert(NCONF_load(conf, argv[1], NULL) > 0);
330
331     OPENSSL_assert(NCONF_get_number_e(conf, NULL, "num_tests", &num_tests));
332
333     ADD_ALL_TESTS(test_handshake, (int)(num_tests));
334     result = run_tests(argv[0]);
335
336     return result;
337 }