Test infrastructure additions.
[openssl.git] / test / ssl_test.c
1 /*
2  * Copyright 2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12
13 #include <openssl/conf.h>
14 #include <openssl/err.h>
15 #include <openssl/ssl.h>
16
17 #include "handshake_helper.h"
18 #include "ssl_test_ctx.h"
19 #include "testutil.h"
20 #include "test_main_custom.h"
21
22 static CONF *conf = NULL;
23
24 /* Currently the section names are of the form test-<number>, e.g. test-15. */
25 #define MAX_TESTCASE_NAME_LENGTH 100
26
27 static const char *print_alert(int alert)
28 {
29     return alert ? SSL_alert_desc_string_long(alert) : "no alert";
30 }
31
32 static int check_result(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
33 {
34     if (!TEST_int_eq(result->result, test_ctx->expected_result)) {
35         TEST_info("ExpectedResult mismatch: expected %s, got %s.",
36                   ssl_test_result_name(test_ctx->expected_result),
37                   ssl_test_result_name(result->result));
38         return 0;
39     }
40     return 1;
41 }
42
43 static int check_alerts(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
44 {
45     if (!TEST_int_eq(result->client_alert_sent,
46                      result->client_alert_received)) {
47         TEST_info("Client sent alert %s but server received %s.",
48                   print_alert(result->client_alert_sent),
49                   print_alert(result->client_alert_received));
50         /*
51          * We can't bail here because the peer doesn't always get far enough
52          * to process a received alert. Specifically, in protocol version
53          * negotiation tests, we have the following scenario.
54          * Client supports TLS v1.2 only; Server supports TLS v1.1.
55          * Client proposes TLS v1.2; server responds with 1.1;
56          * Client now sends a protocol alert, using TLS v1.2 in the header.
57          * The server, however, rejects the alert because of version mismatch
58          * in the record layer; therefore, the server appears to never
59          * receive the alert.
60          */
61         /* return 0; */
62     }
63
64     if (!TEST_int_eq(result->server_alert_sent,
65                      result->server_alert_received)) {
66         TEST_info("Server sent alert %s but client received %s.",
67                   print_alert(result->server_alert_sent),
68                   print_alert(result->server_alert_received));
69         /* return 0; */
70     }
71
72     /* Tolerate an alert if one wasn't explicitly specified in the test. */
73     if (test_ctx->expected_client_alert
74         /*
75          * The info callback alert value is computed as
76          * (s->s3->send_alert[0] << 8) | s->s3->send_alert[1]
77          * where the low byte is the alert code and the high byte is other stuff.
78          */
79         && (result->client_alert_sent & 0xff) != test_ctx->expected_client_alert) {
80         TEST_error("ClientAlert mismatch: expected %s, got %s.",
81                    print_alert(test_ctx->expected_client_alert),
82                    print_alert(result->client_alert_sent));
83         return 0;
84     }
85
86     if (test_ctx->expected_server_alert
87         && (result->server_alert_sent & 0xff) != test_ctx->expected_server_alert) {
88         TEST_error("ServerAlert mismatch: expected %s, got %s.",
89                    print_alert(test_ctx->expected_server_alert),
90                    print_alert(result->server_alert_sent));
91         return 0;
92     }
93
94     if (!TEST_int_le(result->client_num_fatal_alerts_sent, 1))
95         return 0;
96     if (!TEST_int_le(result->server_num_fatal_alerts_sent, 1))
97         return 0;
98     return 1;
99 }
100
101 static int check_protocol(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
102 {
103     if (!TEST_int_eq(result->client_protocol, result->server_protocol)) {
104         TEST_info("Client has protocol %s but server has %s.",
105                   ssl_protocol_name(result->client_protocol),
106                   ssl_protocol_name(result->server_protocol));
107         return 0;
108     }
109
110     if (test_ctx->expected_protocol) {
111         if (!TEST_int_eq(result->client_protocol,
112                          test_ctx->expected_protocol)) {
113             TEST_info("Protocol mismatch: expected %s, got %s.\n",
114                       ssl_protocol_name(test_ctx->expected_protocol),
115                       ssl_protocol_name(result->client_protocol));
116             return 0;
117         }
118     }
119     return 1;
120 }
121
122 static int check_servername(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
123 {
124     if (!TEST_int_eq(result->servername, test_ctx->expected_servername)) {
125       TEST_info("Client ServerName mismatch, expected %s, got %s.",
126                 ssl_servername_name(test_ctx->expected_servername),
127                 ssl_servername_name(result->servername));
128       return 0;
129     }
130   return 1;
131 }
132
133 static int check_session_ticket(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
134 {
135     if (test_ctx->session_ticket_expected == SSL_TEST_SESSION_TICKET_IGNORE)
136         return 1;
137     if (!TEST_int_eq(result->session_ticket,
138                      test_ctx->session_ticket_expected)) {
139         TEST_info("Client SessionTicketExpected mismatch, expected %s, got %s.",
140                   ssl_session_ticket_name(test_ctx->session_ticket_expected),
141                   ssl_session_ticket_name(result->session_ticket));
142         return 0;
143     }
144     return 1;
145 }
146
147 static int check_compression(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
148 {
149     if (!TEST_int_eq(result->compression, test_ctx->compression_expected))
150         return 0;
151     return 1;
152 }
153 #ifndef OPENSSL_NO_NEXTPROTONEG
154 static int check_npn(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
155 {
156     int ret = 1;
157     if (!TEST_str_eq(result->client_npn_negotiated,
158                      result->server_npn_negotiated))
159         ret = 0;
160     if (!TEST_str_eq(test_ctx->expected_npn_protocol,
161                      result->client_npn_negotiated))
162         ret = 0;
163     return ret;
164 }
165 #endif
166
167 static int check_alpn(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
168 {
169     int ret = 1;
170     if (!TEST_str_eq(result->client_alpn_negotiated,
171                      result->server_alpn_negotiated))
172         ret = 0;
173     if (!TEST_str_eq(test_ctx->expected_alpn_protocol,
174                      result->client_alpn_negotiated))
175         ret = 0;
176     return ret;
177 }
178
179 static int check_resumption(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
180 {
181     if (!TEST_int_eq(result->client_resumed, result->server_resumed))
182         return 0;
183     if (!TEST_int_eq(result->client_resumed, test_ctx->resumption_expected))
184         return 0;
185     return 1;
186 }
187
188 static int check_nid(const char *name, int expected_nid, int nid)
189 {
190     if (expected_nid == 0 || expected_nid == nid)
191         return 1;
192     TEST_error("%s type mismatch, %s vs %s\n",
193                name, OBJ_nid2ln(expected_nid),
194                nid == NID_undef ? "absent" : OBJ_nid2ln(nid));
195     return 0;
196 }
197
198 static int check_tmp_key(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
199 {
200     return check_nid("Tmp key", test_ctx->expected_tmp_key_type,
201                      result->tmp_key_type);
202 }
203
204 static int check_server_cert_type(HANDSHAKE_RESULT *result,
205                                   SSL_TEST_CTX *test_ctx)
206 {
207     return check_nid("Server certificate", test_ctx->expected_server_cert_type,
208                      result->server_cert_type);
209 }
210
211 static int check_server_sign_hash(HANDSHAKE_RESULT *result,
212                                   SSL_TEST_CTX *test_ctx)
213 {
214     return check_nid("Server signing hash", test_ctx->expected_server_sign_hash,
215                      result->server_sign_hash);
216 }
217
218 static int check_server_sign_type(HANDSHAKE_RESULT *result,
219                                   SSL_TEST_CTX *test_ctx)
220 {
221     return check_nid("Server signing", test_ctx->expected_server_sign_type,
222                      result->server_sign_type);
223 }
224
225 static int check_client_cert_type(HANDSHAKE_RESULT *result,
226                                   SSL_TEST_CTX *test_ctx)
227 {
228     return check_nid("Client certificate", test_ctx->expected_client_cert_type,
229                      result->client_cert_type);
230 }
231
232 static int check_client_sign_hash(HANDSHAKE_RESULT *result,
233                                   SSL_TEST_CTX *test_ctx)
234 {
235     return check_nid("Client signing hash", test_ctx->expected_client_sign_hash,
236                      result->client_sign_hash);
237 }
238
239 static int check_client_sign_type(HANDSHAKE_RESULT *result,
240                                   SSL_TEST_CTX *test_ctx)
241 {
242     return check_nid("Client signing", test_ctx->expected_client_sign_type,
243                      result->client_sign_type);
244 }
245
246 static void print_ca_names(STACK_OF(X509_NAME) *names)
247 {
248     BIO *err;
249     int i;
250
251     if (names == NULL || sk_X509_NAME_num(names) == 0) {
252         fprintf(stderr, "    <empty>\n");
253         return;
254     }
255     err = BIO_new_fp(stderr, BIO_NOCLOSE);
256     for (i = 0; i < sk_X509_NAME_num(names); i++) {
257         X509_NAME_print_ex(err, sk_X509_NAME_value(names, i), 4,
258                            XN_FLAG_ONELINE);
259         BIO_puts(err, "\n");
260     }
261     BIO_free(err);
262 }
263
264 static int check_ca_names(const char *name,
265                           STACK_OF(X509_NAME) *expected_names,
266                           STACK_OF(X509_NAME) *names)
267 {
268     int i;
269
270     if (expected_names == NULL)
271         return 1;
272     if (names == NULL || sk_X509_NAME_num(names) == 0) {
273         if (sk_X509_NAME_num(expected_names) == 0)
274             return 1;
275         goto err;
276     }
277     if (sk_X509_NAME_num(names) != sk_X509_NAME_num(expected_names))
278         goto err;
279     for (i = 0; i < sk_X509_NAME_num(names); i++) {
280         if (X509_NAME_cmp(sk_X509_NAME_value(names, i),
281                           sk_X509_NAME_value(expected_names, i)) != 0) {
282             goto err;
283         }
284     }
285     return 1;
286     err:
287     fprintf(stderr, "%s: list mismatch\nExpected Names:\n", name);
288     print_ca_names(expected_names);
289     fprintf(stderr, "Received Names:\n");
290     print_ca_names(names);
291     return 0;
292 }
293
294 static int check_client_ca_names(HANDSHAKE_RESULT *result,
295                                  SSL_TEST_CTX *test_ctx)
296 {
297     return check_ca_names("Client CA names",
298                           test_ctx->expected_client_ca_names,
299                           result->client_ca_names);
300 }
301
302 /*
303  * This could be further simplified by constructing an expected
304  * HANDSHAKE_RESULT, and implementing comparison methods for
305  * its fields.
306  */
307 static int check_test(HANDSHAKE_RESULT *result, SSL_TEST_CTX *test_ctx)
308 {
309     int ret = 1;
310     ret &= check_result(result, test_ctx);
311     ret &= check_alerts(result, test_ctx);
312     if (result->result == SSL_TEST_SUCCESS) {
313         ret &= check_protocol(result, test_ctx);
314         ret &= check_servername(result, test_ctx);
315         ret &= check_session_ticket(result, test_ctx);
316         ret &= check_compression(result, test_ctx);
317         ret &= (result->session_ticket_do_not_call == 0);
318 #ifndef OPENSSL_NO_NEXTPROTONEG
319         ret &= check_npn(result, test_ctx);
320 #endif
321         ret &= check_alpn(result, test_ctx);
322         ret &= check_resumption(result, test_ctx);
323         ret &= check_tmp_key(result, test_ctx);
324         ret &= check_server_cert_type(result, test_ctx);
325         ret &= check_server_sign_hash(result, test_ctx);
326         ret &= check_server_sign_type(result, test_ctx);
327         ret &= check_client_cert_type(result, test_ctx);
328         ret &= check_client_sign_hash(result, test_ctx);
329         ret &= check_client_sign_type(result, test_ctx);
330         ret &= check_client_ca_names(result, test_ctx);
331     }
332     return ret;
333 }
334
335 static int test_handshake(int idx)
336 {
337     int ret = 0;
338     SSL_CTX *server_ctx = NULL, *server2_ctx = NULL, *client_ctx = NULL,
339         *resume_server_ctx = NULL, *resume_client_ctx = NULL;
340     SSL_TEST_CTX *test_ctx = NULL;
341     HANDSHAKE_RESULT *result = NULL;
342     char test_app[MAX_TESTCASE_NAME_LENGTH];
343
344     BIO_snprintf(test_app, sizeof(test_app), "test-%d", idx);
345
346     test_ctx = SSL_TEST_CTX_create(conf, test_app);
347     if (!TEST_ptr(test_ctx))
348         goto err;
349
350 #ifndef OPENSSL_NO_DTLS
351     if (test_ctx->method == SSL_TEST_METHOD_DTLS) {
352         server_ctx = SSL_CTX_new(DTLS_server_method());
353         if (test_ctx->extra.server.servername_callback !=
354             SSL_TEST_SERVERNAME_CB_NONE) {
355             server2_ctx = SSL_CTX_new(DTLS_server_method());
356             TEST_check(server2_ctx != NULL);
357         }
358         client_ctx = SSL_CTX_new(DTLS_client_method());
359         if (test_ctx->handshake_mode == SSL_TEST_HANDSHAKE_RESUME) {
360             resume_server_ctx = SSL_CTX_new(DTLS_server_method());
361             resume_client_ctx = SSL_CTX_new(DTLS_client_method());
362             TEST_check(resume_server_ctx != NULL);
363             TEST_check(resume_client_ctx != NULL);
364         }
365     }
366 #endif
367     if (test_ctx->method == SSL_TEST_METHOD_TLS) {
368         server_ctx = SSL_CTX_new(TLS_server_method());
369         /* SNI on resumption isn't supported/tested yet. */
370         if (test_ctx->extra.server.servername_callback !=
371             SSL_TEST_SERVERNAME_CB_NONE) {
372             server2_ctx = SSL_CTX_new(TLS_server_method());
373             TEST_check(server2_ctx != NULL);
374         }
375         client_ctx = SSL_CTX_new(TLS_client_method());
376
377         if (test_ctx->handshake_mode == SSL_TEST_HANDSHAKE_RESUME) {
378             resume_server_ctx = SSL_CTX_new(TLS_server_method());
379             resume_client_ctx = SSL_CTX_new(TLS_client_method());
380             TEST_check(resume_server_ctx != NULL);
381             TEST_check(resume_client_ctx != NULL);
382         }
383     }
384
385     TEST_check(server_ctx != NULL);
386     TEST_check(client_ctx != NULL);
387
388     TEST_check(CONF_modules_load(conf, test_app, 0) > 0);
389
390     if (!SSL_CTX_config(server_ctx, "server")
391         || !SSL_CTX_config(client_ctx, "client")) {
392         goto err;
393     }
394
395     if (server2_ctx != NULL && !SSL_CTX_config(server2_ctx, "server2"))
396         goto err;
397     if (resume_server_ctx != NULL
398         && !SSL_CTX_config(resume_server_ctx, "resume-server"))
399         goto err;
400     if (resume_client_ctx != NULL
401         && !SSL_CTX_config(resume_client_ctx, "resume-client"))
402         goto err;
403
404     result = do_handshake(server_ctx, server2_ctx, client_ctx,
405                           resume_server_ctx, resume_client_ctx, test_ctx);
406
407     ret = check_test(result, test_ctx);
408
409 err:
410     CONF_modules_unload(0);
411     SSL_CTX_free(server_ctx);
412     SSL_CTX_free(server2_ctx);
413     SSL_CTX_free(client_ctx);
414     SSL_CTX_free(resume_server_ctx);
415     SSL_CTX_free(resume_client_ctx);
416     SSL_TEST_CTX_free(test_ctx);
417     HANDSHAKE_RESULT_free(result);
418     return ret;
419 }
420
421 int test_main(int argc, char **argv)
422 {
423     int result = 0;
424     long num_tests;
425
426     if (argc != 2)
427         return 1;
428
429     conf = NCONF_new(NULL);
430     TEST_check(conf != NULL);
431
432     /* argv[1] should point to the test conf file */
433     TEST_check(NCONF_load(conf, argv[1], NULL) > 0);
434
435     TEST_check(NCONF_get_number_e(conf, NULL, "num_tests", &num_tests));
436
437     ADD_ALL_TESTS(test_handshake, (int)(num_tests));
438     result = run_tests(argv[0]);
439
440     NCONF_free(conf);
441     return result;
442 }