Chunk 12 of CMP contribution to OpenSSL: CLI-based high-level tests
[openssl.git] / test / recipes / 81-test_cmp_cli.t
1 #! /usr/bin/env perl
2 # Copyright 2007-2019 The OpenSSL Project Authors. All Rights Reserved.
3 # Copyright Nokia 2007-2019
4 # Copyright Siemens AG 2015-2019
5 #
6 # Licensed under the Apache License 2.0 (the "License").  You may not use
7 # this file except in compliance with the License.  You can obtain a copy
8 # in the file LICENSE in the source distribution or at
9 # https://www.openssl.org/source/license.html
10
11 use strict;
12 use warnings;
13
14 use POSIX;
15 use File::Spec::Functions qw/catfile/;
16 use File::Compare qw/compare_text/;
17 use OpenSSL::Test qw/:DEFAULT with data_file data_dir bldtop_dir/;
18 use OpenSSL::Test::Utils;
19 use Data::Dumper; # for debugging purposes only
20
21 setup("test_cmp_cli");
22
23 plan skip_all => "This test is not supported in a no-cmp build"
24     if disabled("cmp");
25 plan skip_all => "This test is not supported in a no-ec build"
26     if disabled("ec");
27 plan skip_all => "Tests involving server not available on Windows or VMS"
28     if $^O =~ /^(VMS|MSWin32)$/;
29
30 sub chop_dblquot { # chop any leading & trailing '"' (needed for Windows)
31     my $str = shift;
32     $str =~ s/^\"(.*?)\"$/$1/;
33     return $str;
34 }
35
36 my $proxy = "<EMPTY>";
37 $proxy = chop_dblquot($ENV{http_proxy} // $ENV{HTTP_PROXY} // $proxy);
38 $proxy =~ s{^https?://}{}i;
39 my $no_proxy = $ENV{no_proxy} // $ENV{NO_PROXY};
40
41 my $app = "apps/openssl cmp";
42
43 my @cmp_basic_tests = (
44     [ "show help",                        [ "-config", '""', "-help"               ], 0 ],
45     [ "CLI option not starting with '-'", [ "-config", '""',  "days", "1"          ], 1 ],
46     [ "unknown CLI option",               [ "-config", '""', "-dayss"              ], 1 ],
47     [ "bad int syntax: non-digit",        [ "-config", '""', "-days", "a/"         ], 1 ],
48     [ "bad int syntax: float",            [ "-config", '""', "-days", "3.14"       ], 1 ],
49     [ "bad int syntax: trailing garbage", [ "-config", '""', "-days", "314_+"      ], 1 ],
50     [ "bad int: out of range",            [ "-config", '""', "-days", "2147483648" ], 1 ],
51 );
52
53 my $rsp_cert = "signer_only.crt";
54 my $outfile = "test.cert.pem";
55 my $secret = "pass:test";
56 my $localport = 1700;
57
58 # this uses the mock server directly in the cmp app, without TCP
59 sub use_mock_srv_internally
60 {
61     ok(run(cmd([bldtop_dir($app),
62                 "-config", '""',
63                 "-use_mock_srv", "-srv_ref", "mock server",
64                 "-srv_cert",  "server.crt", # used for setting sender
65                 "-srv_secret", $secret,
66                 "-poll_count", "1",
67                 "-rsp_cert", $rsp_cert,
68                 "-cmd", "cr",
69                 "-subject", "/CN=any",
70                 "-newkey", "signer.key",
71                 "-recipient", "/O=openssl_cmp", # if given must be consistent with sender
72                 "-secret", $secret,
73                 "-ref", "client under test",
74                 "-certout" , $outfile]))
75        && compare_text($outfile, $rsp_cert) == 0,
76        "CMP app with -use_mock_srv and -poll_count 1");
77     unlink $outfile;
78 }
79
80 # the CMP server configuration consists of:
81 my $ca_dn;      # The CA's Distinguished Name
82 my $server_dn;  # The server's Distinguished Name
83 my $server_host;# The server's host name or IP address
84 my $server_port;# The server's port
85 my $server_tls; # The server's TLS port, if any, or 0
86 my $server_path;# The server's CMP alias
87 my $server_cert;# The server's cert
88 my $kur_port;   # The server's port for kur (cert update)
89 my $pbm_port;   # The server port to be used for PBM
90 my $pbm_ref;    # The reference for PBM
91 my $pbm_secret; # The secret for PBM
92 my $column;     # The column number of the expected result
93 my $sleep = 0;  # The time to sleep between two requests
94
95 # The local $server_name variables below are among others taken as the name of a
96 # sub-directory with server-specific certs etc. and CA-specific config section.
97
98 sub load_config {
99     my $server_name = shift;
100     my $section = shift;
101     my $test_config = $ENV{OPENSSL_CMP_CONFIG} // "$server_name/test.cnf";
102     open (CH, $test_config) or die "Cannot open $test_config: $!";
103     my $active = 0;
104     while (<CH>) {
105         if (m/\[\s*$section\s*\]/) {
106             $active = 1;
107         } elsif (m/\[\s*.*?\s*\]/) {
108             $active = 0;
109         } elsif ($active) {
110             $ca_dn       = $1 eq "" ? '""""' : $1 if m/^\s*ca_dn\s*=\s*(.*)?\s*$/;
111             $server_dn   = $1 eq "" ? '""""' : $1 if m/^\s*server_dn\s*=\s*(.*)?\s*$/;
112             $server_host = $1 eq "" ? '""""' : $1 if m/^\s*server_host\s*=\s*(\S*)?\s*(\#.*)?$/;
113             $server_port = $1 eq "" ? '""""' : $1 if m/^\s*server_port\s*=\s*(.*)?\s*$/;
114             $server_tls  = $1 eq "" ? '""""' : $1 if m/^\s*server_tls\s*=\s*(.*)?\s*$/;
115             $server_path = $1 eq "" ? '""""' : $1 if m/^\s*server_path\s*=\s*(.*)?\s*$/;
116             $server_cert = $1 eq "" ? '""""' : $1 if m/^\s*server_cert\s*=\s*(.*)?\s*$/;
117             $kur_port    = $1 eq "" ? '""""' : $1 if m/^\s*kur_port\s*=\s*(.*)?\s*$/;
118             $pbm_port    = $1 eq "" ? '""""' : $1 if m/^\s*pbm_port\s*=\s*(.*)?\s*$/;
119             $pbm_ref     = $1 eq "" ? '""""' : $1 if m/^\s*pbm_ref\s*=\s*(.*)?\s*$/;
120             $pbm_secret  = $1 eq "" ? '""""' : $1 if m/^\s*pbm_secret\s*=\s*(.*)?\s*$/;
121             $column      = $1 eq "" ? '""""' : $1 if m/^\s*column\s*=\s*(.*)?\s*$/;
122             $sleep       = $1 eq "" ? '""""' : $1 if m/^\s*sleep\s*=\s*(.*)?\s*$/;
123         }
124     }
125     close CH;
126     die "Cannot find all CMP server config values in $test_config section [$section]\n"
127         if !defined $ca_dn
128         || !defined $server_dn || !defined $server_host
129         || !defined $server_port || !defined $server_tls
130         || !defined $server_path || !defined $server_cert
131         || !defined $kur_port || !defined $pbm_port
132         || !defined $pbm_ref || !defined $pbm_secret
133         || !defined $column || !defined $sleep;
134     $server_dn = $server_dn // $ca_dn;
135 }
136
137 my @server_configurations = ("Mock");
138 @server_configurations = split /\s+/, $ENV{OPENSSL_CMP_SERVER} if $ENV{OPENSSL_CMP_SERVER};
139 # set env variable, e.g., OPENSSL_CMP_SERVER="Mock Insta" to include further CMP servers
140
141 my @all_aspects = ("connection", "verification", "credentials", "commands", "enrollment");
142 @all_aspects = split /\s+/, $ENV{OPENSSL_CMP_ASPECTS} if $ENV{OPENSSL_CMP_ASPECTS};
143 # set env variable, e.g., OPENSSL_CMP_ASPECTS="commands enrollment" to select specific aspects
144
145 my $faillog;
146 if ($ENV{HARNESS_FAILLOG}) {
147     my $file = $ENV{HARNESS_FAILLOG};
148     open($faillog, ">", $file) or die "Cannot open $file for writing: $!";
149 }
150
151 sub test_cmp_cli {
152     my $server_name = shift;
153     my $aspect = shift;
154     my $n = shift;
155     my $i = shift;
156     my $title = shift;
157     my $params = shift;
158     my $expected_exit = shift;
159     my $path_app = bldtop_dir($app);
160     with({ exit_checker => sub {
161         my $actual_exit = shift;
162         my $OK = $actual_exit == $expected_exit;
163         if ($faillog && !$OK) {
164             sub quote_spc_empty(_) { $_ eq "" ? '""' : $_ =~ m/ / ? '"'.$_.'"' : $_ };
165             my $invocation = ("$path_app ").join(' ', map quote_spc_empty @$params);
166             print $faillog "$server_name $aspect \"$title\" ($i/$n)".
167                 " expected=$expected_exit actual=$actual_exit\n";
168             print $faillog "$invocation\n\n";
169         }
170         return $OK; } },
171          sub { ok(run(cmd([$path_app, @$params,])),
172                   $title); });
173 }
174
175 sub test_cmp_cli_aspect {
176     my $server_name = shift;
177     my $aspect = shift;
178     my $tests = shift;
179     subtest "CMP app CLI $server_name $aspect\n" => sub {
180         my $n = scalar @$tests;
181         plan tests => $n;
182         my $i = 1;
183         foreach (@$tests) {
184           SKIP: {
185               test_cmp_cli($server_name, $aspect, $n, $i++, $$_[0], $$_[1], $$_[2]);
186               sleep($sleep);
187             }
188         }
189     };
190     unlink "test.cert.pem", "test.cacerts.pem", "test.extracerts.pem";
191 }
192
193 indir data_dir() => sub {
194     plan tests => 1 + @server_configurations * @all_aspects
195         + (grep(/^Mock$/, @server_configurations)
196            && grep(/^certstatus$/, @all_aspects) ? 0 : 1);
197
198     test_cmp_cli_aspect("basic", "options", \@cmp_basic_tests);
199
200     indir "Mock" => sub {
201         use_mock_srv_internally();
202     };
203
204     foreach my $server_name (@server_configurations) {
205         $server_name = chop_dblquot($server_name);
206         load_config($server_name, $server_name);
207         my $launch_mock = $server_name eq "Mock" && !$ENV{OPENSSL_CMP_CONFIG};
208         if ($launch_mock) {
209             indir "Mock" => sub {
210                 stop_mock_server(); # in case a previous run did not exit properly
211                 start_mock_server("") || die "Cannot start CMP mock server";
212             }
213         }
214         foreach my $aspect (@all_aspects) {
215             $aspect = chop_dblquot($aspect);
216             next if $server_name eq "Mock" && $aspect eq "certstatus";
217             load_config($server_name, $aspect); # update with any aspect-specific settings
218             indir $server_name => sub {
219                 my $tests = load_tests($server_name, $aspect);
220                 test_cmp_cli_aspect($server_name, $aspect, $tests);
221             };
222         };
223         stop_mock_server() if $launch_mock;
224     };
225 };
226
227 close($faillog) if $faillog;
228
229 sub load_tests {
230     my $server_name = shift;
231     my $aspect = shift;
232     my $test_config = $ENV{OPENSSL_CMP_CONFIG} // "$server_name/test.cnf";
233     my $file = data_file("test_$aspect.csv");
234     my @result;
235
236     open(my $data, '<', $file) || die "Cannot open $file for reading: $!";
237   LOOP:
238     while (my $line = <$data>) {
239         chomp $line;
240         $line =~ s{\r\n}{\n}g; # adjust line endings
241         $line =~ s{_CA_DN}{$ca_dn}g;
242         $line =~ s{_SERVER_DN}{$server_dn}g;
243         $line =~ s{_SERVER_HOST}{$server_host}g;
244         $line =~ s{_SERVER_PORT}{$server_port}g;
245         $line =~ s{_SERVER_TLS}{$server_tls}g;
246         $line =~ s{_SERVER_PATH}{$server_path}g;
247         $line =~ s{_SERVER_CERT}{$server_cert}g;
248         $line =~ s{_KUR_PORT}{$kur_port}g;
249         $line =~ s{_PBM_PORT}{$pbm_port}g;
250         $line =~ s{_PBM_REF}{$pbm_ref}g;
251         $line =~ s{_PBM_SECRET}{$pbm_secret}g;
252         my $noproxy = $line =~ m/,\s*-no_proxy\s*,(.*?)(,|$)/ ? $1 : $no_proxy;
253         next LOOP if $no_proxy && ($noproxy =~ $server_host)
254             && $line =~ m/,\s*-proxy\s*,/;
255         next LOOP if $server_tls == 0 && $line =~ m/,\s*-tls_used\s*,/;
256         $line =~ s{-section,,}{-section,,-proxy,$proxy,} unless $line =~ m/,\s*-proxy\s*,/;
257         $line =~ s{-section,,}{-config,../$test_config,-section,$server_name $aspect,};
258         my @fields = grep /\S/, split ",", $line;
259         s/^<EMPTY>$// for (@fields); # used for proxy=""
260         s/^\s+// for (@fields); # remove leading whitespace from elements
261         s/\s+$// for (@fields); # remove trailing whitespace from elements
262         s/^\"(\".*?\")\"$/$1/ for (@fields); # remove escaping from quotation marks from elements
263         my $expected_exit = $fields[$column];
264         my $description = 1;
265         my $title = $fields[$description];
266         next LOOP if (!defined($expected_exit)
267                       || ($expected_exit ne 0 && $expected_exit ne 1));
268         @fields = grep {$_ ne 'BLANK'} @fields[$description + 1 .. @fields - 1];
269         push @result, [$title, \@fields, $expected_exit];
270     }
271     close($data);
272     return \@result;
273 }
274
275 sub mock_server_pid {
276     return `lsof -iTCP:$localport -sTCP:LISTEN | tail -n 1 | awk '{ print \$2 }'`;
277 }
278
279 sub start_mock_server {
280     return 0 if mock_server_pid(); # already running
281     my $args = $_[0]; # optional further CLI arguments
282     my $dir = bldtop_dir("");
283     return system("LD_LIBRARY_PATH=$dir DYLD_LIBRARY_PATH=$dir " .
284                   bldtop_dir($app) . " -config server.cnf " .
285                   "$args &") == 0; # start in background, check for success
286 }
287
288 sub stop_mock_server {
289     my $pid = mock_server_pid();
290     system("kill $pid") if $pid;
291 }