OpenSSL::Test: supported filtered command output
[openssl.git] / test / testlib / OpenSSL / Test.pm
1 # Copyright 2016 The OpenSSL Project Authors. All Rights Reserved.
2 #
3 # Licensed under the OpenSSL license (the "License").  You may not use
4 # this file except in compliance with the License.  You can obtain a copy
5 # in the file LICENSE in the source distribution or at
6 # https://www.openssl.org/source/license.html
7
8 package OpenSSL::Test;
9
10 use strict;
11 use warnings;
12
13 use Test::More 0.96;
14
15 use Exporter;
16 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
17 $VERSION = "0.8";
18 @ISA = qw(Exporter);
19 @EXPORT = (@Test::More::EXPORT, qw(setup run indir cmd app fuzz test
20                                    perlapp perltest));
21 @EXPORT_OK = (@Test::More::EXPORT_OK, qw(bldtop_dir bldtop_file
22                                          srctop_dir srctop_file
23                                          data_file
24                                          pipe with cmdstr quotify));
25
26 =head1 NAME
27
28 OpenSSL::Test - a private extension of Test::More
29
30 =head1 SYNOPSIS
31
32   use OpenSSL::Test;
33
34   setup("my_test_name");
35
36   ok(run(app(["openssl", "version"])), "check for openssl presence");
37
38   indir "subdir" => sub {
39     ok(run(test(["sometest", "arg1"], stdout => "foo.txt")),
40        "run sometest with output to foo.txt");
41   };
42
43 =head1 DESCRIPTION
44
45 This module is a private extension of L<Test::More> for testing OpenSSL.
46 In addition to the Test::More functions, it also provides functions that
47 easily find the diverse programs within a OpenSSL build tree, as well as
48 some other useful functions.
49
50 This module I<depends> on the environment variables C<$TOP> or C<$SRCTOP>
51 and C<$BLDTOP>.  Without one of the combinations it refuses to work.
52 See L</ENVIRONMENT> below.
53
54 With each test recipe, a parallel data directory with (almost) the same name
55 as the recipe is possible in the source directory tree.  For example, for a
56 recipe C<$SRCTOP/test/recipes/99-foo.t>, there could be a directory
57 C<$SRCTOP/test/recipes/99-foo_data/>.
58
59 =cut
60
61 use File::Copy;
62 use File::Spec::Functions qw/file_name_is_absolute curdir canonpath splitdir
63                              catdir catfile splitpath catpath devnull abs2rel
64                              rel2abs/;
65 use File::Path 2.00 qw/rmtree mkpath/;
66 use File::Basename;
67
68
69 # The name of the test.  This is set by setup() and is used in the other
70 # functions to verify that setup() has been used.
71 my $test_name = undef;
72
73 # Directories we want to keep track of TOP, APPS, TEST and RESULTS are the
74 # ones we're interested in, corresponding to the environment variables TOP
75 # (mandatory), BIN_D, TEST_D, UTIL_D and RESULT_D.
76 my %directories = ();
77
78 # The environment variables that gave us the contents in %directories.  These
79 # get modified whenever we change directories, so that subprocesses can use
80 # the values of those environment variables as well
81 my @direnv = ();
82
83 # A bool saying if we shall stop all testing if the current recipe has failing
84 # tests or not.  This is set by setup() if the environment variable STOPTEST
85 # is defined with a non-empty value.
86 my $end_with_bailout = 0;
87
88 # A set of hooks that is affected by with() and may be used in diverse places.
89 # All hooks are expected to be CODE references.
90 my %hooks = (
91
92     # exit_checker is used by run() directly after completion of a command.
93     # it receives the exit code from that command and is expected to return
94     # 1 (for success) or 0 (for failure).  This is the status value that run()
95     # will give back (through the |statusvar| referens and as returned value
96     # when capture => 1 doesn't apply).
97     exit_checker => sub { return shift == 0 ? 1 : 0 },
98
99     );
100
101 # Debug flag, to be set manually when needed
102 my $debug = 0;
103
104 =head2 Main functions
105
106 The following functions are exported by default when using C<OpenSSL::Test>.
107
108 =cut
109
110 =over 4
111
112 =item B<setup "NAME">
113
114 C<setup> is used for initial setup, and it is mandatory that it's used.
115 If it's not used in a OpenSSL test recipe, the rest of the recipe will
116 most likely refuse to run.
117
118 C<setup> checks for environment variables (see L</ENVIRONMENT> below),
119 checks that C<$TOP/Configure> or C<$SRCTOP/Configure> exists, C<chdir>
120 into the results directory (defined by the C<$RESULT_D> environment
121 variable if defined, otherwise C<$BLDTOP/test> or C<$TOP/test>, whichever
122 is defined).
123
124 =back
125
126 =cut
127
128 sub setup {
129     my $old_test_name = $test_name;
130     $test_name = shift;
131
132     BAIL_OUT("setup() must receive a name") unless $test_name;
133     warn "setup() detected test name change.  Innocuous, so we continue...\n"
134         if $old_test_name && $old_test_name ne $test_name;
135
136     return if $old_test_name;
137
138     BAIL_OUT("setup() needs \$TOP or \$SRCTOP and \$BLDTOP to be defined")
139         unless $ENV{TOP} || ($ENV{SRCTOP} && $ENV{BLDTOP});
140     BAIL_OUT("setup() found both \$TOP and \$SRCTOP or \$BLDTOP...")
141         if $ENV{TOP} && ($ENV{SRCTOP} || $ENV{BLDTOP});
142
143     __env();
144
145     BAIL_OUT("setup() expects the file Configure in the source top directory")
146         unless -f srctop_file("Configure");
147
148     __cwd($directories{RESULTS});
149 }
150
151 =over 4
152
153 =item B<indir "SUBDIR" =E<gt> sub BLOCK, OPTS>
154
155 C<indir> is used to run a part of the recipe in a different directory than
156 the one C<setup> moved into, usually a subdirectory, given by SUBDIR.
157 The part of the recipe that's run there is given by the codeblock BLOCK.
158
159 C<indir> takes some additional options OPTS that affect the subdirectory:
160
161 =over 4
162
163 =item B<create =E<gt> 0|1>
164
165 When set to 1 (or any value that perl preceives as true), the subdirectory
166 will be created if it doesn't already exist.  This happens before BLOCK
167 is executed.
168
169 =item B<cleanup =E<gt> 0|1>
170
171 When set to 1 (or any value that perl preceives as true), the subdirectory
172 will be cleaned out and removed.  This happens both before and after BLOCK
173 is executed.
174
175 =back
176
177 An example:
178
179   indir "foo" => sub {
180       ok(run(app(["openssl", "version"]), stdout => "foo.txt"));
181       if (ok(open(RESULT, "foo.txt"), "reading foo.txt")) {
182           my $line = <RESULT>;
183           close RESULT;
184           is($line, qr/^OpenSSL 1\./,
185              "check that we're using OpenSSL 1.x.x");
186       }
187   }, create => 1, cleanup => 1;
188
189 =back
190
191 =cut
192
193 sub indir {
194     my $subdir = shift;
195     my $codeblock = shift;
196     my %opts = @_;
197
198     my $reverse = __cwd($subdir,%opts);
199     BAIL_OUT("FAILURE: indir, \"$subdir\" wasn't possible to move into")
200         unless $reverse;
201
202     $codeblock->();
203
204     __cwd($reverse);
205
206     if ($opts{cleanup}) {
207         rmtree($subdir, { safe => 0 });
208     }
209 }
210
211 =over 4
212
213 =item B<cmd ARRAYREF, OPTS>
214
215 This functions build up a platform dependent command based on the
216 input.  It takes a reference to a list that is the executable or
217 script and its arguments, and some additional options (described
218 further on).  Where necessary, the command will be wrapped in a
219 suitable environment to make sure the correct shared libraries are
220 used (currently only on Unix).
221
222 It returns a CODEREF to be used by C<run>, C<pipe> or C<cmdstr>.
223
224 The options that C<cmd> can take are in the form of hash values:
225
226 =over 4
227
228 =item B<stdin =E<gt> PATH>
229
230 =item B<stdout =E<gt> PATH>
231
232 =item B<stderr =E<gt> PATH>
233
234 In all three cases, the corresponding standard input, output or error is
235 redirected from (for stdin) or to (for the others) a file given by the
236 string PATH, I<or>, if the value is C<undef>, C</dev/null> or similar.
237
238 =back
239
240 =item B<app ARRAYREF, OPTS>
241
242 =item B<test ARRAYREF, OPTS>
243
244 Both of these are specific applications of C<cmd>, with just a couple
245 of small difference:
246
247 C<app> expects to find the given command (the first item in the given list
248 reference) as an executable in C<$BIN_D> (if defined, otherwise C<$TOP/apps>
249 or C<$BLDTOP/apps>).
250
251 C<test> expects to find the given command (the first item in the given list
252 reference) as an executable in C<$TEST_D> (if defined, otherwise C<$TOP/test>
253 or C<$BLDTOP/test>).
254
255 Also, for both C<app> and C<test>, the command may be prefixed with
256 the content of the environment variable C<$EXE_SHELL>, which is useful
257 in case OpenSSL has been cross compiled.
258
259 =item B<perlapp ARRAYREF, OPTS>
260
261 =item B<perltest ARRAYREF, OPTS>
262
263 These are also specific applications of C<cmd>, where the interpreter
264 is predefined to be C<perl>, and they expect the script to be
265 interpreted to reside in the same location as C<app> and C<test>.
266
267 C<perlapp> and C<perltest> will also take the following option:
268
269 =over 4
270
271 =item B<interpreter_args =E<gt> ARRAYref>
272
273 The array reference is a set of arguments for the interpreter rather
274 than the script.  Take care so that none of them can be seen as a
275 script!  Flags and their eventual arguments only!
276
277 =back
278
279 An example:
280
281   ok(run(perlapp(["foo.pl", "arg1"],
282                  interpreter_args => [ "-I", srctop_dir("test") ])));
283
284 =back
285
286 =begin comment
287
288 One might wonder over the complexity of C<apps>, C<fuzz>, C<test>, ...
289 with all the lazy evaluations and all that.  The reason for this is that
290 we want to make sure the directory in which those programs are found are
291 correct at the time these commands are used.  Consider the following code
292 snippet:
293
294   my $cmd = app(["openssl", ...]);
295
296   indir "foo", sub {
297       ok(run($cmd), "Testing foo")
298   };
299
300 If there wasn't this lazy evaluation, the directory where C<openssl> is
301 found would be incorrect at the time C<run> is called, because it was
302 calculated before we moved into the directory "foo".
303
304 =end comment
305
306 =cut
307
308 sub cmd {
309     my $cmd = shift;
310     my %opts = @_;
311     return sub {
312         my $num = shift;
313         # Make a copy to not destroy the caller's array
314         my @cmdargs = ( @$cmd );
315         my @prog = __wrap_cmd(shift @cmdargs, $opts{exe_shell} // ());
316
317         return __decorate_cmd($num, [ @prog, quotify(@cmdargs) ],
318                               %opts);
319     }
320 }
321
322 sub app {
323     my $cmd = shift;
324     my %opts = @_;
325     return sub {
326         my @cmdargs = ( @{$cmd} );
327         my @prog = __fixup_prg(__apps_file(shift @cmdargs, __exeext()));
328         return cmd([ @prog, @cmdargs ],
329                    exe_shell => $ENV{EXE_SHELL}, %opts) -> (shift);
330     }
331 }
332
333 sub fuzz {
334     my $cmd = shift;
335     my %opts = @_;
336     return sub {
337         my @cmdargs = ( @{$cmd} );
338         my @prog = __fixup_prg(__fuzz_file(shift @cmdargs, __exeext()));
339         return cmd([ @prog, @cmdargs ],
340                    exe_shell => $ENV{EXE_SHELL}, %opts) -> (shift);
341     }
342 }
343
344 sub test {
345     my $cmd = shift;
346     my %opts = @_;
347     return sub {
348         my @cmdargs = ( @{$cmd} );
349         my @prog = __fixup_prg(__test_file(shift @cmdargs, __exeext()));
350         return cmd([ @prog, @cmdargs ],
351                    exe_shell => $ENV{EXE_SHELL}, %opts) -> (shift);
352     }
353 }
354
355 sub perlapp {
356     my $cmd = shift;
357     my %opts = @_;
358     return sub {
359         my @interpreter_args = defined $opts{interpreter_args} ?
360             @{$opts{interpreter_args}} : ();
361         my @interpreter = __fixup_prg($^X);
362         my @cmdargs = ( @{$cmd} );
363         my @prog = __apps_file(shift @cmdargs, undef);
364         return cmd([ @interpreter, @interpreter_args,
365                      @prog, @cmdargs ], %opts) -> (shift);
366     }
367 }
368
369 sub perltest {
370     my $cmd = shift;
371     my %opts = @_;
372     return sub {
373         my @interpreter_args = defined $opts{interpreter_args} ?
374             @{$opts{interpreter_args}} : ();
375         my @interpreter = __fixup_prg($^X);
376         my @cmdargs = ( @{$cmd} );
377         my @prog = __test_file(shift @cmdargs, undef);
378         return cmd([ @interpreter, @interpreter_args,
379                      @prog, @cmdargs ], %opts) -> (shift);
380     }
381 }
382
383 =over 4
384
385 =item B<run CODEREF, OPTS>
386
387 CODEREF is expected to be the value return by C<cmd> or any of its
388 derivatives, anything else will most likely cause an error unless you
389 know what you're doing.
390
391 C<run> executes the command returned by CODEREF and return either the
392 resulting output (if the option C<capture> is set true) or a boolean
393 indicating if the command succeeded or not.
394
395 The options that C<run> can take are in the form of hash values:
396
397 =over 4
398
399 =item B<capture =E<gt> 0|1>
400
401 If true, the command will be executed with a perl backtick, and C<run> will
402 return the resulting output as an array of lines.  If false or not given,
403 the command will be executed with C<system()>, and C<run> will return 1 if
404 the command was successful or 0 if it wasn't.
405
406 =item B<prefix =E<gt> EXPR>
407
408 If specified, EXPR will be used as a string to prefix the output from the
409 command.  This is useful if the output contains lines starting with C<ok >
410 or C<not ok > that can disturb Test::Harness.
411
412 =item B<statusvar =E<gt> VARREF>
413
414 If used, B<VARREF> must be a reference to a scalar variable.  It will be
415 assigned a boolean indicating if the command succeeded or not.  This is
416 particularly useful together with B<capture>.
417
418 =back
419
420 For further discussion on what is considered a successful command or not, see
421 the function C<with> further down.
422
423 =back
424
425 =cut
426
427 sub run {
428     my ($cmd, $display_cmd) = shift->(0);
429     my %opts = @_;
430
431     return () if !$cmd;
432
433     my $prefix = "";
434     if ( $^O eq "VMS" ) {       # VMS
435         $prefix = "pipe ";
436     }
437
438     my @r = ();
439     my $r = 0;
440     my $e = 0;
441
442     die "OpenSSL::Test::run(): statusvar value not a scalar reference"
443         if $opts{statusvar} && ref($opts{statusvar}) ne "SCALAR";
444
445     # In non-verbose, we want to shut up the command interpreter, in case
446     # it has something to complain about.  On VMS, it might complain both
447     # on stdout and stderr
448     my $save_STDOUT;
449     my $save_STDERR;
450     if ($ENV{HARNESS_ACTIVE} && !$ENV{HARNESS_VERBOSE}) {
451         open $save_STDOUT, '>&', \*STDOUT or die "Can't dup STDOUT: $!";
452         open $save_STDERR, '>&', \*STDERR or die "Can't dup STDERR: $!";
453         open STDOUT, ">", devnull();
454         open STDERR, ">", devnull();
455     }
456
457     # The dance we do with $? is the same dance the Unix shells appear to
458     # do.  For example, a program that gets aborted (and therefore signals
459     # SIGABRT = 6) will appear to exit with the code 134.  We mimic this
460     # to make it easier to compare with a manual run of the command.
461     if ($opts{capture} || defined($opts{prefix})) {
462         my $pipe;
463
464         open($pipe, '-|', "$prefix$cmd") or die "Can't start command: $!";
465         while(<$pipe>) {
466             my $l = ($opts{prefix} // "") . $_;
467             if ($opts{capture}) {
468                 push @r, $l;
469             } else {
470                 print STDOUT $l;
471             }
472         }
473         close $pipe;
474     } else {
475         system("$prefix$cmd");
476     }
477     $e = ($? & 0x7f) ? ($? & 0x7f)|0x80 : ($? >> 8);
478     $r = $hooks{exit_checker}->($e);
479     if ($opts{statusvar}) {
480         ${$opts{statusvar}} = $r;
481     }
482
483     if ($ENV{HARNESS_ACTIVE} && !$ENV{HARNESS_VERBOSE}) {
484         close STDOUT;
485         close STDERR;
486         open STDOUT, '>&', $save_STDOUT or die "Can't restore STDOUT: $!";
487         open STDERR, '>&', $save_STDERR or die "Can't restore STDERR: $!";
488     }
489
490     print STDERR "$prefix$display_cmd => $e\n"
491         if !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
492
493     # At this point, $? stops being interesting, and unfortunately,
494     # there are Test::More versions that get picky if we leave it
495     # non-zero.
496     $? = 0;
497
498     if ($opts{capture}) {
499         return @r;
500     } else {
501         return $r;
502     }
503 }
504
505 END {
506     my $tb = Test::More->builder;
507     my $failure = scalar(grep { $_ == 0; } $tb->summary);
508     if ($failure && $end_with_bailout) {
509         BAIL_OUT("Stoptest!");
510     }
511 }
512
513 =head2 Utility functions
514
515 The following functions are exported on request when using C<OpenSSL::Test>.
516
517   # To only get the bldtop_file and srctop_file functions.
518   use OpenSSL::Test qw/bldtop_file srctop_file/;
519
520   # To only get the bldtop_file function in addition to the default ones.
521   use OpenSSL::Test qw/:DEFAULT bldtop_file/;
522
523 =cut
524
525 # Utility functions, exported on request
526
527 =over 4
528
529 =item B<bldtop_dir LIST>
530
531 LIST is a list of directories that make up a path from the top of the OpenSSL
532 build directory (as indicated by the environment variable C<$TOP> or
533 C<$BLDTOP>).
534 C<bldtop_dir> returns the resulting directory as a string, adapted to the local
535 operating system.
536
537 =back
538
539 =cut
540
541 sub bldtop_dir {
542     return __bldtop_dir(@_);    # This caters for operating systems that have
543                                 # a very distinct syntax for directories.
544 }
545
546 =over 4
547
548 =item B<bldtop_file LIST, FILENAME>
549
550 LIST is a list of directories that make up a path from the top of the OpenSSL
551 build directory (as indicated by the environment variable C<$TOP> or
552 C<$BLDTOP>) and FILENAME is the name of a file located in that directory path.
553 C<bldtop_file> returns the resulting file path as a string, adapted to the local
554 operating system.
555
556 =back
557
558 =cut
559
560 sub bldtop_file {
561     return __bldtop_file(@_);
562 }
563
564 =over 4
565
566 =item B<srctop_dir LIST>
567
568 LIST is a list of directories that make up a path from the top of the OpenSSL
569 source directory (as indicated by the environment variable C<$TOP> or
570 C<$SRCTOP>).
571 C<srctop_dir> returns the resulting directory as a string, adapted to the local
572 operating system.
573
574 =back
575
576 =cut
577
578 sub srctop_dir {
579     return __srctop_dir(@_);    # This caters for operating systems that have
580                                 # a very distinct syntax for directories.
581 }
582
583 =over 4
584
585 =item B<srctop_file LIST, FILENAME>
586
587 LIST is a list of directories that make up a path from the top of the OpenSSL
588 source directory (as indicated by the environment variable C<$TOP> or
589 C<$SRCTOP>) and FILENAME is the name of a file located in that directory path.
590 C<srctop_file> returns the resulting file path as a string, adapted to the local
591 operating system.
592
593 =back
594
595 =cut
596
597 sub srctop_file {
598     return __srctop_file(@_);
599 }
600
601 =over 4
602
603 =item B<data_file LIST, FILENAME>
604
605 LIST is a list of directories that make up a path from the data directory
606 associated with the test (see L</DESCRIPTION> above) and FILENAME is the name
607 of a file located in that directory path.  C<data_file> returns the resulting
608 file path as a string, adapted to the local operating system.
609
610 =back
611
612 =cut
613
614 sub data_file {
615     return __data_file(@_);
616 }
617
618 =over 4
619
620 =item B<pipe LIST>
621
622 LIST is a list of CODEREFs returned by C<app> or C<test>, from which C<pipe>
623 creates a new command composed of all the given commands put together in a
624 pipe.  C<pipe> returns a new CODEREF in the same manner as C<app> or C<test>,
625 to be passed to C<run> for execution.
626
627 =back
628
629 =cut
630
631 sub pipe {
632     my @cmds = @_;
633     return
634         sub {
635             my @cs  = ();
636             my @dcs = ();
637             my @els = ();
638             my $counter = 0;
639             foreach (@cmds) {
640                 my ($c, $dc, @el) = $_->(++$counter);
641
642                 return () if !$c;
643
644                 push @cs, $c;
645                 push @dcs, $dc;
646                 push @els, @el;
647             }
648             return (
649                 join(" | ", @cs),
650                 join(" | ", @dcs),
651                 @els
652                 );
653     };
654 }
655
656 =over 4
657
658 =item B<with HASHREF, CODEREF>
659
660 C<with> will temporarly install hooks given by the HASHREF and then execute
661 the given CODEREF.  Hooks are usually expected to have a coderef as value.
662
663 The currently available hoosk are:
664
665 =over 4
666
667 =item B<exit_checker =E<gt> CODEREF>
668
669 This hook is executed after C<run> has performed its given command.  The
670 CODEREF receives the exit code as only argument and is expected to return
671 1 (if the exit code indicated success) or 0 (if the exit code indicated
672 failure).
673
674 =back
675
676 =back
677
678 =cut
679
680 sub with {
681     my $opts = shift;
682     my %opts = %{$opts};
683     my $codeblock = shift;
684
685     my %saved_hooks = ();
686
687     foreach (keys %opts) {
688         $saved_hooks{$_} = $hooks{$_}   if exists($hooks{$_});
689         $hooks{$_} = $opts{$_};
690     }
691
692     $codeblock->();
693
694     foreach (keys %saved_hooks) {
695         $hooks{$_} = $saved_hooks{$_};
696     }
697 }
698
699 =over 4
700
701 =item B<cmdstr CODEREF, OPTS>
702
703 C<cmdstr> takes a CODEREF from C<app> or C<test> and simply returns the
704 command as a string.
705
706 C<cmdstr> takes some additiona options OPTS that affect the string returned:
707
708 =over 4
709
710 =item B<display =E<gt> 0|1>
711
712 When set to 0, the returned string will be with all decorations, such as a
713 possible redirect of stderr to the null device.  This is suitable if the
714 string is to be used directly in a recipe.
715
716 When set to 1, the returned string will be without extra decorations.  This
717 is suitable for display if that is desired (doesn't confuse people with all
718 internal stuff), or if it's used to pass a command down to a subprocess.
719
720 Default: 0
721
722 =back
723
724 =back
725
726 =cut
727
728 sub cmdstr {
729     my ($cmd, $display_cmd) = shift->(0);
730     my %opts = @_;
731
732     if ($opts{display}) {
733         return $display_cmd;
734     } else {
735         return $cmd;
736     }
737 }
738
739 =over 4
740
741 =item B<quotify LIST>
742
743 LIST is a list of strings that are going to be used as arguments for a
744 command, and makes sure to inject quotes and escapes as necessary depending
745 on the content of each string.
746
747 This can also be used to put quotes around the executable of a command.
748 I<This must never ever be done on VMS.>
749
750 =back
751
752 =cut
753
754 sub quotify {
755     # Unix setup (default if nothing else is mentioned)
756     my $arg_formatter =
757         sub { $_ = shift; /\s|[\{\}\\\$\[\]\*\?\|\&:;<>]/ ? "'$_'" : $_ };
758
759     if ( $^O eq "VMS") {        # VMS setup
760         $arg_formatter = sub {
761             $_ = shift;
762             if (/\s|["[:upper:]]/) {
763                 s/"/""/g;
764                 '"'.$_.'"';
765             } else {
766                 $_;
767             }
768         };
769     } elsif ( $^O eq "MSWin32") { # MSWin setup
770         $arg_formatter = sub {
771             $_ = shift;
772             if (/\s|["\|\&\*\;<>]/) {
773                 s/(["\\])/\\$1/g;
774                 '"'.$_.'"';
775             } else {
776                 $_;
777             }
778         };
779     }
780
781     return map { $arg_formatter->($_) } @_;
782 }
783
784 ######################################################################
785 # private functions.  These are never exported.
786
787 =head1 ENVIRONMENT
788
789 OpenSSL::Test depends on some environment variables.
790
791 =over 4
792
793 =item B<TOP>
794
795 This environment variable is mandatory.  C<setup> will check that it's
796 defined and that it's a directory that contains the file C<Configure>.
797 If this isn't so, C<setup> will C<BAIL_OUT>.
798
799 =item B<BIN_D>
800
801 If defined, its value should be the directory where the openssl application
802 is located.  Defaults to C<$TOP/apps> (adapted to the operating system).
803
804 =item B<TEST_D>
805
806 If defined, its value should be the directory where the test applications
807 are located.  Defaults to C<$TOP/test> (adapted to the operating system).
808
809 =item B<STOPTEST>
810
811 If defined, it puts testing in a different mode, where a recipe with
812 failures will result in a C<BAIL_OUT> at the end of its run.
813
814 =back
815
816 =cut
817
818 sub __env {
819     (my $recipe_datadir = basename($0)) =~ s/\.t$/_data/i;
820
821     $directories{SRCTOP}  = $ENV{SRCTOP} || $ENV{TOP};
822     $directories{BLDTOP}  = $ENV{BLDTOP} || $ENV{TOP};
823     $directories{BLDAPPS} = $ENV{BIN_D}  || __bldtop_dir("apps");
824     $directories{SRCAPPS} =                 __srctop_dir("apps");
825     $directories{BLDFUZZ} =                 __bldtop_dir("fuzz");
826     $directories{SRCFUZZ} =                 __srctop_dir("fuzz");
827     $directories{BLDTEST} = $ENV{TEST_D} || __bldtop_dir("test");
828     $directories{SRCTEST} =                 __srctop_dir("test");
829     $directories{SRCDATA} =                 __srctop_dir("test", "recipes",
830                                                          $recipe_datadir);
831     $directories{RESULTS} = $ENV{RESULT_D} || $directories{BLDTEST};
832
833     push @direnv, "TOP"       if $ENV{TOP};
834     push @direnv, "SRCTOP"    if $ENV{SRCTOP};
835     push @direnv, "BLDTOP"    if $ENV{BLDTOP};
836     push @direnv, "BIN_D"     if $ENV{BIN_D};
837     push @direnv, "TEST_D"    if $ENV{TEST_D};
838     push @direnv, "RESULT_D"  if $ENV{RESULT_D};
839
840     $end_with_bailout     = $ENV{STOPTEST} ? 1 : 0;
841 };
842
843 # __srctop_file and __srctop_dir are helpers to build file and directory
844 # names on top of the source directory.  They depend on $SRCTOP, and
845 # therefore on the proper use of setup() and when needed, indir().
846 # __bldtop_file and __bldtop_dir do the same thing but relative to $BLDTOP.
847 # __srctop_file and __bldtop_file take the same kind of argument as
848 # File::Spec::Functions::catfile.
849 # Similarly, __srctop_dir and __bldtop_dir take the same kind of argument
850 # as File::Spec::Functions::catdir
851 sub __srctop_file {
852     BAIL_OUT("Must run setup() first") if (! $test_name);
853
854     my $f = pop;
855     return catfile($directories{SRCTOP},@_,$f);
856 }
857
858 sub __srctop_dir {
859     BAIL_OUT("Must run setup() first") if (! $test_name);
860
861     return catdir($directories{SRCTOP},@_);
862 }
863
864 sub __bldtop_file {
865     BAIL_OUT("Must run setup() first") if (! $test_name);
866
867     my $f = pop;
868     return catfile($directories{BLDTOP},@_,$f);
869 }
870
871 sub __bldtop_dir {
872     BAIL_OUT("Must run setup() first") if (! $test_name);
873
874     return catdir($directories{BLDTOP},@_);
875 }
876
877 # __exeext is a function that returns the platform dependent file extension
878 # for executable binaries, or the value of the environment variable $EXE_EXT
879 # if that one is defined.
880 sub __exeext {
881     my $ext = "";
882     if ($^O eq "VMS" ) {        # VMS
883         $ext = ".exe";
884     } elsif ($^O eq "MSWin32") { # Windows
885         $ext = ".exe";
886     }
887     return $ENV{"EXE_EXT"} || $ext;
888 }
889
890 # __test_file, __apps_file and __fuzz_file return the full path to a file
891 # relative to the test/, apps/ or fuzz/ directory in the build tree or the
892 # source tree, depending on where the file is found.  Note that when looking
893 # in the build tree, the file name with an added extension is looked for, if
894 # an extension is given.  The intent is to look for executable binaries (in
895 # the build tree) or possibly scripts (in the source tree).
896 # These functions all take the same arguments as File::Spec::Functions::catfile,
897 # *plus* a mandatory extension argument.  This extension argument can be undef,
898 # and is ignored in such a case.
899 sub __test_file {
900     BAIL_OUT("Must run setup() first") if (! $test_name);
901
902     my $e = pop || "";
903     my $f = pop;
904     $f = catfile($directories{BLDTEST},@_,$f . $e);
905     $f = catfile($directories{SRCTEST},@_,$f) unless -f $f;
906     return $f;
907 }
908
909 sub __apps_file {
910     BAIL_OUT("Must run setup() first") if (! $test_name);
911
912     my $e = pop || "";
913     my $f = pop;
914     $f = catfile($directories{BLDAPPS},@_,$f . $e);
915     $f = catfile($directories{SRCAPPS},@_,$f) unless -f $f;
916     return $f;
917 }
918
919 sub __fuzz_file {
920     BAIL_OUT("Must run setup() first") if (! $test_name);
921
922     my $e = pop || "";
923     my $f = pop;
924     $f = catfile($directories{BLDFUZZ},@_,$f . $e);
925     $f = catfile($directories{SRCFUZZ},@_,$f) unless -f $f;
926     return $f;
927 }
928
929 sub __data_file {
930     BAIL_OUT("Must run setup() first") if (! $test_name);
931
932     my $f = pop;
933     return catfile($directories{SRCDATA},@_,$f);
934 }
935
936 sub __results_file {
937     BAIL_OUT("Must run setup() first") if (! $test_name);
938
939     my $f = pop;
940     return catfile($directories{RESULTS},@_,$f);
941 }
942
943 # __cwd DIR
944 # __cwd DIR, OPTS
945 #
946 # __cwd changes directory to DIR (string) and changes all the relative
947 # entries in %directories accordingly.  OPTS is an optional series of
948 # hash style arguments to alter __cwd's behavior:
949 #
950 #    create = 0|1       The directory we move to is created if 1, not if 0.
951 #    cleanup = 0|1      The directory we move from is removed if 1, not if 0.
952
953 sub __cwd {
954     my $dir = catdir(shift);
955     my %opts = @_;
956     my $abscurdir = rel2abs(curdir());
957     my $absdir = rel2abs($dir);
958     my $reverse = abs2rel($abscurdir, $absdir);
959
960     # PARANOIA: if we're not moving anywhere, we do nothing more
961     if ($abscurdir eq $absdir) {
962         return $reverse;
963     }
964
965     # Do not support a move to a different volume for now.  Maybe later.
966     BAIL_OUT("FAILURE: \"$dir\" moves to a different volume, not supported")
967         if $reverse eq $abscurdir;
968
969     # If someone happened to give a directory that leads back to the current,
970     # it's extremely silly to do anything more, so just simulate that we did
971     # move.
972     # In this case, we won't even clean it out, for safety's sake.
973     return "." if $reverse eq "";
974
975     $dir = canonpath($dir);
976     if ($opts{create}) {
977         mkpath($dir);
978     }
979
980     # We are recalculating the directories we keep track of, but need to save
981     # away the result for after having moved into the new directory.
982     my %tmp_directories = ();
983     my %tmp_ENV = ();
984
985     # For each of these directory variables, figure out where they are relative
986     # to the directory we want to move to if they aren't absolute (if they are,
987     # they don't change!)
988     my @dirtags = sort keys %directories;
989     foreach (@dirtags) {
990         if (!file_name_is_absolute($directories{$_})) {
991             my $newpath = abs2rel(rel2abs($directories{$_}), rel2abs($dir));
992             $tmp_directories{$_} = $newpath;
993         }
994     }
995
996     # Treat each environment variable that was used to get us the values in
997     # %directories the same was as the paths in %directories, so any sub
998     # process can use their values properly as well
999     foreach (@direnv) {
1000         if (!file_name_is_absolute($ENV{$_})) {
1001             my $newpath = abs2rel(rel2abs($ENV{$_}), rel2abs($dir));
1002             $tmp_ENV{$_} = $newpath;
1003         }
1004     }
1005
1006     # Should we just bail out here as well?  I'm unsure.
1007     return undef unless chdir($dir);
1008
1009     if ($opts{cleanup}) {
1010         rmtree(".", { safe => 0, keep_root => 1 });
1011     }
1012
1013     # We put back new values carefully.  Doing the obvious
1014     # %directories = ( %tmp_irectories )
1015     # will clear out any value that happens to be an absolute path
1016     foreach (keys %tmp_directories) {
1017         $directories{$_} = $tmp_directories{$_};
1018     }
1019     foreach (keys %tmp_ENV) {
1020         $ENV{$_} = $tmp_ENV{$_};
1021     }
1022
1023     if ($debug) {
1024         print STDERR "DEBUG: __cwd(), directories and files:\n";
1025         print STDERR "  \$directories{BLDTEST} = \"$directories{BLDTEST}\"\n";
1026         print STDERR "  \$directories{SRCTEST} = \"$directories{SRCTEST}\"\n";
1027         print STDERR "  \$directories{SRCDATA} = \"$directories{SRCDATA}\"\n";
1028         print STDERR "  \$directories{RESULTS} = \"$directories{RESULTS}\"\n";
1029         print STDERR "  \$directories{BLDAPPS} = \"$directories{BLDAPPS}\"\n";
1030         print STDERR "  \$directories{SRCAPPS} = \"$directories{SRCAPPS}\"\n";
1031         print STDERR "  \$directories{SRCTOP}  = \"$directories{SRCTOP}\"\n";
1032         print STDERR "  \$directories{BLDTOP}  = \"$directories{BLDTOP}\"\n";
1033         print STDERR "\n";
1034         print STDERR "  current directory is \"",curdir(),"\"\n";
1035         print STDERR "  the way back is \"$reverse\"\n";
1036     }
1037
1038     return $reverse;
1039 }
1040
1041 # __wrap_cmd CMD
1042 # __wrap_cmd CMD, EXE_SHELL
1043 #
1044 # __wrap_cmd "wraps" CMD (string) with a beginning command that makes sure
1045 # the command gets executed with an appropriate environment.  If EXE_SHELL
1046 # is given, it is used as the beginning command.
1047 #
1048 # __wrap_cmd returns a list that should be used to build up a larger list
1049 # of command tokens, or be joined together like this:
1050 #
1051 #    join(" ", __wrap_cmd($cmd))
1052 sub __wrap_cmd {
1053     my $cmd = shift;
1054     my $exe_shell = shift;
1055
1056     my @prefix = ( __bldtop_file("util", "shlib_wrap.sh") );
1057
1058     if(defined($exe_shell)) {
1059         @prefix = ( $exe_shell );
1060     } elsif ($^O eq "VMS" || $^O eq "MSWin32") {
1061         # VMS and Windows don't use any wrapper script for the moment
1062         @prefix = ();
1063     }
1064
1065     return (@prefix, $cmd);
1066 }
1067
1068 # __fixup_prg PROG
1069 #
1070 # __fixup_prg does whatever fixup is needed to execute an executable binary
1071 # given by PROG (string).
1072 #
1073 # __fixup_prg returns a string with the possibly prefixed program path spec.
1074 sub __fixup_prg {
1075     my $prog = shift;
1076
1077     my $prefix = "";
1078
1079     if ($^O eq "VMS" ) {
1080         $prefix = ($prog =~ /^(?:[\$a-z0-9_]+:)?[<\[]/i ? "mcr " : "mcr []");
1081     }
1082
1083     # We test if the program to use exists.
1084     if ( ! -x $prog ) {
1085         $prog = undef;
1086     }
1087
1088     if (defined($prog)) {
1089         # Make sure to quotify the program file on platforms that may
1090         # have spaces or similar in their path name.
1091         # To our knowledge, VMS is the exception where quotifying should
1092         # never happen.
1093         ($prog) = quotify($prog) unless $^O eq "VMS";
1094         return $prefix.$prog;
1095     }
1096
1097     print STDERR "$prog not found\n";
1098     return undef;
1099 }
1100
1101 # __decorate_cmd NUM, CMDARRAYREF
1102 #
1103 # __decorate_cmd takes a command number NUM and a command token array
1104 # CMDARRAYREF, builds up a command string from them and decorates it
1105 # with necessary redirections.
1106 # __decorate_cmd returns a list of two strings, one with the command
1107 # string to actually be used, the other to be displayed for the user.
1108 # The reason these strings might differ is that we redirect stderr to
1109 # the null device unless we're verbose and unless the user has
1110 # explicitly specified a stderr redirection.
1111 sub __decorate_cmd {
1112     BAIL_OUT("Must run setup() first") if (! $test_name);
1113
1114     my $num = shift;
1115     my $cmd = shift;
1116     my %opts = @_;
1117
1118     my $cmdstr = join(" ", @$cmd);
1119     my $null = devnull();
1120     my $fileornull = sub { $_[0] ? $_[0] : $null; };
1121     my $stdin = "";
1122     my $stdout = "";
1123     my $stderr = "";
1124     my $saved_stderr = undef;
1125     $stdin = " < ".$fileornull->($opts{stdin})  if exists($opts{stdin});
1126     $stdout= " > ".$fileornull->($opts{stdout}) if exists($opts{stdout});
1127     $stderr=" 2> ".$fileornull->($opts{stderr}) if exists($opts{stderr});
1128
1129     my $display_cmd = "$cmdstr$stdin$stdout$stderr";
1130
1131     $stderr=" 2> ".$null
1132         unless $stderr || !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
1133
1134     $cmdstr .= "$stdin$stdout$stderr";
1135
1136     if ($debug) {
1137         print STDERR "DEBUG[__decorate_cmd]: \$cmdstr = \"$cmdstr\"\n";
1138         print STDERR "DEBUG[__decorate_cmd]: \$display_cmd = \"$display_cmd\"\n";
1139     }
1140
1141     return ($cmdstr, $display_cmd);
1142 }
1143
1144 =head1 SEE ALSO
1145
1146 L<Test::More>, L<Test::Harness>
1147
1148 =head1 AUTHORS
1149
1150 Richard Levitte E<lt>levitte@openssl.orgE<gt> with assitance and
1151 inspiration from Andy Polyakov E<lt>appro@openssl.org<gt>.
1152
1153 =cut
1154
1155 1;