ca2e369a2095a93c182a4e27fc9edd0033ee42b9
[openssl.git] / test / testlib / OpenSSL / Test.pm
1 package OpenSSL::Test;
2
3 use strict;
4 use warnings;
5
6 use Test::More 0.96;
7
8 use Exporter;
9 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
10 $VERSION = "0.8";
11 @ISA = qw(Exporter);
12 @EXPORT = (@Test::More::EXPORT, qw(setup indir app perlapp test perltest run));
13 @EXPORT_OK = (@Test::More::EXPORT_OK, qw(bldtop_dir bldtop_file
14                                          srctop_dir srctop_file
15                                          pipe with cmdstr quotify));
16
17 =head1 NAME
18
19 OpenSSL::Test - a private extension of Test::More
20
21 =head1 SYNOPSIS
22
23   use OpenSSL::Test;
24
25   setup("my_test_name");
26
27   ok(run(app(["openssl", "version"])), "check for openssl presence");
28
29   indir "subdir" => sub {
30     ok(run(test(["sometest", "arg1"], stdout => "foo.txt")),
31        "run sometest with output to foo.txt");
32   };
33
34 =head1 DESCRIPTION
35
36 This module is a private extension of L<Test::More> for testing OpenSSL.
37 In addition to the Test::More functions, it also provides functions that
38 easily find the diverse programs within a OpenSSL build tree, as well as
39 some other useful functions.
40
41 This module I<depends> on the environment variables C<$TOP> or C<$SRCTOP>
42 and C<$BLDTOP>.  Without one of the combinations it refuses to work.
43 See L</ENVIRONMENT> below.
44
45 =cut
46
47 use File::Copy;
48 use File::Spec::Functions qw/file_name_is_absolute curdir canonpath splitdir
49                              catdir catfile splitpath catpath devnull abs2rel
50                              rel2abs/;
51 use File::Path 2.00 qw/rmtree mkpath/;
52
53
54 # The name of the test.  This is set by setup() and is used in the other
55 # functions to verify that setup() has been used.
56 my $test_name = undef;
57
58 # Directories we want to keep track of TOP, APPS, TEST and RESULTS are the
59 # ones we're interested in, corresponding to the environment variables TOP
60 # (mandatory), BIN_D, TEST_D, UTIL_D and RESULT_D.
61 my %directories = ();
62
63 # A bool saying if we shall stop all testing if the current recipe has failing
64 # tests or not.  This is set by setup() if the environment variable STOPTEST
65 # is defined with a non-empty value.
66 my $end_with_bailout = 0;
67
68 # A set of hooks that is affected by with() and may be used in diverse places.
69 # All hooks are expected to be CODE references.
70 my %hooks = (
71
72     # exit_checker is used by run() directly after completion of a command.
73     # it receives the exit code from that command and is expected to return
74     # 1 (for success) or 0 (for failure).  This is the value that will be
75     # returned by run().
76     # NOTE: When run() gets the option 'capture => 1', this hook is ignored.
77     exit_checker => sub { return shift == 0 ? 1 : 0 },
78
79     );
80
81 # Debug flag, to be set manually when needed
82 my $debug = 0;
83
84 # Declare some utility functions that are defined at the end
85 sub bldtop_file;
86 sub bldtop_dir;
87 sub srctop_file;
88 sub srctop_dir;
89 sub quotify;
90
91 # Declare some private functions that are defined at the end
92 sub __env;
93 sub __cwd;
94 sub __apps_file;
95 sub __results_file;
96 sub __fixup_cmd;
97 sub __build_cmd;
98
99 =head2 Main functions
100
101 The following functions are exported by default when using C<OpenSSL::Test>.
102
103 =cut
104
105 =over 4
106
107 =item B<setup "NAME">
108
109 C<setup> is used for initial setup, and it is mandatory that it's used.
110 If it's not used in a OpenSSL test recipe, the rest of the recipe will
111 most likely refuse to run.
112
113 C<setup> checks for environment variables (see L</ENVIRONMENT> below),
114 checks that C<$TOP/Configure> or C<$SRCTOP/Configure> exists, C<chdir>
115 into the results directory (defined by the C<$RESULT_D> environment
116 variable if defined, otherwise C<$BLDTOP/test> or C<$TOP/test>, whichever
117 is defined).
118
119 =back
120
121 =cut
122
123 sub setup {
124     my $old_test_name = $test_name;
125     $test_name = shift;
126
127     BAIL_OUT("setup() must receive a name") unless $test_name;
128     warn "setup() detected test name change.  Innocuous, so we continue...\n"
129         if $old_test_name && $old_test_name ne $test_name;
130
131     return if $old_test_name;
132
133     BAIL_OUT("setup() needs \$TOP or \$SRCTOP and \$BLDTOP to be defined")
134         unless $ENV{TOP} || ($ENV{SRCTOP} && $ENV{BLDTOP});
135     BAIL_OUT("setup() found both \$TOP and \$SRCTOP or \$BLDTOP...")
136         if $ENV{TOP} && ($ENV{SRCTOP} || $ENV{BLDTOP});
137
138     __env();
139
140     BAIL_OUT("setup() expects the file Configure in the source top directory")
141         unless -f srctop_file("Configure");
142
143     __cwd($directories{RESULTS});
144 }
145
146 =over 4
147
148 =item B<indir "SUBDIR" =E<gt> sub BLOCK, OPTS>
149
150 C<indir> is used to run a part of the recipe in a different directory than
151 the one C<setup> moved into, usually a subdirectory, given by SUBDIR.
152 The part of the recipe that's run there is given by the codeblock BLOCK.
153
154 C<indir> takes some additional options OPTS that affect the subdirectory:
155
156 =over 4
157
158 =item B<create =E<gt> 0|1>
159
160 When set to 1 (or any value that perl preceives as true), the subdirectory
161 will be created if it doesn't already exist.  This happens before BLOCK
162 is executed.
163
164 =item B<cleanup =E<gt> 0|1>
165
166 When set to 1 (or any value that perl preceives as true), the subdirectory
167 will be cleaned out and removed.  This happens both before and after BLOCK
168 is executed.
169
170 =back
171
172 An example:
173
174   indir "foo" => sub {
175       ok(run(app(["openssl", "version"]), stdout => "foo.txt"));
176       if (ok(open(RESULT, "foo.txt"), "reading foo.txt")) {
177           my $line = <RESULT>;
178           close RESULT;
179           is($line, qr/^OpenSSL 1\./,
180              "check that we're using OpenSSL 1.x.x");
181       }
182   }, create => 1, cleanup => 1;
183
184 =back
185
186 =cut
187
188 sub indir {
189     my $subdir = shift;
190     my $codeblock = shift;
191     my %opts = @_;
192
193     my $reverse = __cwd($subdir,%opts);
194     BAIL_OUT("FAILURE: indir, \"$subdir\" wasn't possible to move into")
195         unless $reverse;
196
197     $codeblock->();
198
199     __cwd($reverse);
200
201     if ($opts{cleanup}) {
202         rmtree($subdir, { safe => 0 });
203     }
204 }
205
206 =over 4
207
208 =item B<app ARRAYREF, OPTS>
209
210 =item B<test ARRAYREF, OPTS>
211
212 Both of these functions take a reference to a list that is a command and
213 its arguments, and some additional options (described further on).
214
215 C<app> expects to find the given command (the first item in the given list
216 reference) as an executable in C<$BIN_D> (if defined, otherwise C<$TOP/apps>
217 or C<$BLDTOP/apps>).
218
219 C<test> expects to find the given command (the first item in the given list
220 reference) as an executable in C<$TEST_D> (if defined, otherwise C<$TOP/test>
221 or C<$BLDTOP/test>).
222
223 Both return a CODEREF to be used by C<run>, C<pipe> or C<cmdstr>.
224
225 The options that both C<app> and C<test> can take are in the form of hash
226 values:
227
228 =over 4
229
230 =item B<stdin =E<gt> PATH>
231
232 =item B<stdout =E<gt> PATH>
233
234 =item B<stderr =E<gt> PATH>
235
236 In all three cases, the corresponding standard input, output or error is
237 redirected from (for stdin) or to (for the others) a file given by the
238 string PATH, I<or>, if the value is C<undef>, C</dev/null> or similar.
239
240 =back
241
242 =item B<perlapp ARRAYREF, OPTS>
243
244 =item B<perltest ARRAYREF, OPTS>
245
246 Both these functions function the same way as B<app> and B<test>, except
247 that they expect the command to be a perl script.  Also, they support one
248 more option:
249
250 =over 4
251
252 =item B<interpreter_args =E<gt> ARRAYref>
253
254 The array reference is a set of arguments for perl rather than the script.
255 Take care so that none of them can be seen as a script!  Flags and their
256 eventual arguments only!
257
258 =back
259
260 An example:
261
262   ok(run(perlapp(["foo.pl", "arg1"],
263                  interpreter_args => [ "-I", srctop_dir("test") ])));
264
265 =back
266
267 =cut
268
269 sub app {
270     my $cmd = shift;
271     my %opts = @_;
272     return sub { my $num = shift;
273                  return __build_cmd($num, \&__apps_file, $cmd, %opts); }
274 }
275
276 sub test {
277     my $cmd = shift;
278     my %opts = @_;
279     return sub { my $num = shift;
280                  return __build_cmd($num, \&__test_file, $cmd, %opts); }
281 }
282
283 sub perlapp {
284     my $cmd = shift;
285     my %opts = @_;
286     return sub { my $num = shift;
287                  return __build_cmd($num, \&__perlapps_file, $cmd, %opts); }
288 }
289
290 sub perltest {
291     my $cmd = shift;
292     my %opts = @_;
293     return sub { my $num = shift;
294                  return __build_cmd($num, \&__perltest_file, $cmd, %opts); }
295 }
296
297 =over 4
298
299 =item B<run CODEREF, OPTS>
300
301 This CODEREF is expected to be the value return by C<app> or C<test>,
302 anything else will most likely cause an error unless you know what you're
303 doing.
304
305 C<run> executes the command returned by CODEREF and return either the
306 resulting output (if the option C<capture> is set true) or a boolean indicating
307 if the command succeeded or not.
308
309 The options that C<run> can take are in the form of hash values:
310
311 =over 4
312
313 =item B<capture =E<gt> 0|1>
314
315 If true, the command will be executed with a perl backtick, and C<run> will
316 return the resulting output as an array of lines.  If false or not given,
317 the command will be executed with C<system()>, and C<run> will return 1 if
318 the command was successful or 0 if it wasn't.
319
320 =back
321
322 For further discussion on what is considered a successful command or not, see
323 the function C<with> further down.
324
325 =back
326
327 =cut
328
329 sub run {
330     my ($cmd, $display_cmd) = shift->(0);
331     my %opts = @_;
332
333     return () if !$cmd;
334
335     my $prefix = "";
336     if ( $^O eq "VMS" ) {       # VMS
337         $prefix = "pipe ";
338     }
339
340     my @r = ();
341     my $r = 0;
342     my $e = 0;
343
344     # The dance we do with $? is the same dance the Unix shells appear to
345     # do.  For example, a program that gets aborted (and therefore signals
346     # SIGABRT = 6) will appear to exit with the code 134.  We mimic this
347     # to make it easier to compare with a manual run of the command.
348     if ($opts{capture}) {
349         @r = `$prefix$cmd`;
350         $e = ($? & 0x7f) ? ($? & 0x7f)|0x80 : ($? >> 8);
351     } else {
352         system("$prefix$cmd");
353         $e = ($? & 0x7f) ? ($? & 0x7f)|0x80 : ($? >> 8);
354         $r = $hooks{exit_checker}->($e);
355     }
356
357     print STDERR "$prefix$display_cmd => $e\n"
358         if !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
359
360     # At this point, $? stops being interesting, and unfortunately,
361     # there are Test::More versions that get picky if we leave it
362     # non-zero.
363     $? = 0;
364
365     if ($opts{capture}) {
366         return @r;
367     } else {
368         return $r;
369     }
370 }
371
372 END {
373     my $tb = Test::More->builder;
374     my $failure = scalar(grep { $_ == 0; } $tb->summary);
375     if ($failure && $end_with_bailout) {
376         BAIL_OUT("Stoptest!");
377     }
378 }
379
380 =head2 Utility functions
381
382 The following functions are exported on request when using C<OpenSSL::Test>.
383
384   # To only get the bldtop_file and srctop_file functions.
385   use OpenSSL::Test qw/bldtop_file srctop_file/;
386
387   # To only get the bldtop_file function in addition to the default ones.
388   use OpenSSL::Test qw/:DEFAULT bldtop_file/;
389
390 =cut
391
392 # Utility functions, exported on request
393
394 =over 4
395
396 =item B<bldtop_dir LIST>
397
398 LIST is a list of directories that make up a path from the top of the OpenSSL
399 build directory (as indicated by the environment variable C<$TOP> or
400 C<$BLDTOP>).
401 C<bldtop_dir> returns the resulting directory as a string, adapted to the local
402 operating system.
403
404 =back
405
406 =cut
407
408 sub bldtop_dir {
409     return __bldtop_dir(@_);    # This caters for operating systems that have
410                                 # a very distinct syntax for directories.
411 }
412
413 =over 4
414
415 =item B<bldtop_file LIST, FILENAME>
416
417 LIST is a list of directories that make up a path from the top of the OpenSSL
418 build directory (as indicated by the environment variable C<$TOP> or
419 C<$BLDTOP>) and FILENAME is the name of a file located in that directory path.
420 C<bldtop_file> returns the resulting file path as a string, adapted to the local
421 operating system.
422
423 =back
424
425 =cut
426
427 sub bldtop_file {
428     return __bldtop_file(@_);
429 }
430
431 =over 4
432
433 =item B<srctop_dir LIST>
434
435 LIST is a list of directories that make up a path from the top of the OpenSSL
436 source directory (as indicated by the environment variable C<$TOP> or
437 C<$SRCTOP>).
438 C<srctop_dir> returns the resulting directory as a string, adapted to the local
439 operating system.
440
441 =back
442
443 =cut
444
445 sub srctop_dir {
446     return __srctop_dir(@_);    # This caters for operating systems that have
447                                 # a very distinct syntax for directories.
448 }
449
450 =over 4
451
452 =item B<srctop_file LIST, FILENAME>
453
454 LIST is a list of directories that make up a path from the top of the OpenSSL
455 source directory (as indicated by the environment variable C<$TOP> or
456 C<$SRCTOP>) and FILENAME is the name of a file located in that directory path.
457 C<srctop_file> returns the resulting file path as a string, adapted to the local
458 operating system.
459
460 =back
461
462 =cut
463
464 sub srctop_file {
465     return __srctop_file(@_);
466 }
467
468 =over 4
469
470 =item B<pipe LIST>
471
472 LIST is a list of CODEREFs returned by C<app> or C<test>, from which C<pipe>
473 creates a new command composed of all the given commands put together in a
474 pipe.  C<pipe> returns a new CODEREF in the same manner as C<app> or C<test>,
475 to be passed to C<run> for execution.
476
477 =back
478
479 =cut
480
481 sub pipe {
482     my @cmds = @_;
483     return
484         sub {
485             my @cs  = ();
486             my @dcs = ();
487             my @els = ();
488             my $counter = 0;
489             foreach (@cmds) {
490                 my ($c, $dc, @el) = $_->(++$counter);
491
492                 return () if !$c;
493
494                 push @cs, $c;
495                 push @dcs, $dc;
496                 push @els, @el;
497             }
498             return (
499                 join(" | ", @cs),
500                 join(" | ", @dcs),
501                 @els
502                 );
503     };
504 }
505
506 =over 4
507
508 =item B<with HASHREF, CODEREF>
509
510 C<with> will temporarly install hooks given by the HASHREF and then execute
511 the given CODEREF.  Hooks are usually expected to have a coderef as value.
512
513 The currently available hoosk are:
514
515 =over 4
516
517 =item B<exit_checker =E<gt> CODEREF>
518
519 This hook is executed after C<run> has performed its given command.  The
520 CODEREF receives the exit code as only argument and is expected to return
521 1 (if the exit code indicated success) or 0 (if the exit code indicated
522 failure).
523
524 =back
525
526 =back
527
528 =cut
529
530 sub with {
531     my $opts = shift;
532     my %opts = %{$opts};
533     my $codeblock = shift;
534
535     my %saved_hooks = ();
536
537     foreach (keys %opts) {
538         $saved_hooks{$_} = $hooks{$_}   if exists($hooks{$_});
539         $hooks{$_} = $opts{$_};
540     }
541
542     $codeblock->();
543
544     foreach (keys %saved_hooks) {
545         $hooks{$_} = $saved_hooks{$_};
546     }
547 }
548
549 =over 4
550
551 =item B<cmdstr CODEREF, OPTS>
552
553 C<cmdstr> takes a CODEREF from C<app> or C<test> and simply returns the
554 command as a string.
555
556 C<cmdstr> takes some additiona options OPTS that affect the string returned:
557
558 =over 4
559
560 =item B<display =E<gt> 0|1>
561
562 When set to 0, the returned string will be with all decorations, such as a
563 possible redirect of stderr to the null device.  This is suitable if the
564 string is to be used directly in a recipe.
565
566 When set to 1, the returned string will be without extra decorations.  This
567 is suitable for display if that is desired (doesn't confuse people with all
568 internal stuff), or if it's used to pass a command down to a subprocess.
569
570 Default: 0
571
572 =back
573
574 =back
575
576 =cut
577
578 sub cmdstr {
579     my ($cmd, $display_cmd) = shift->(0);
580     my %opts = @_;
581
582     if ($opts{display}) {
583         return $display_cmd;
584     } else {
585         return $cmd;
586     }
587 }
588
589 =over 4
590
591 =item B<quotify LIST>
592
593 LIST is a list of strings that are going to be used as arguments for a
594 command, and makes sure to inject quotes and escapes as necessary depending
595 on the content of each string.
596
597 This can also be used to put quotes around the executable of a command.
598 I<This must never ever be done on VMS.>
599
600 =back
601
602 =cut
603
604 sub quotify {
605     # Unix setup (default if nothing else is mentioned)
606     my $arg_formatter =
607         sub { $_ = shift; /\s|[\{\}\\\$\[\]\*\?\|\&:;<>]/ ? "'$_'" : $_ };
608
609     if ( $^O eq "VMS") {        # VMS setup
610         $arg_formatter = sub {
611             $_ = shift;
612             if (/\s|["[:upper:]]/) {
613                 s/"/""/g;
614                 '"'.$_.'"';
615             } else {
616                 $_;
617             }
618         };
619     } elsif ( $^O eq "MSWin32") { # MSWin setup
620         $arg_formatter = sub {
621             $_ = shift;
622             if (/\s|["\|\&\*\;<>]/) {
623                 s/(["\\])/\\$1/g;
624                 '"'.$_.'"';
625             } else {
626                 $_;
627             }
628         };
629     }
630
631     return map { $arg_formatter->($_) } @_;
632 }
633
634 ######################################################################
635 # private functions.  These are never exported.
636
637 =head1 ENVIRONMENT
638
639 OpenSSL::Test depends on some environment variables.
640
641 =over 4
642
643 =item B<TOP>
644
645 This environment variable is mandatory.  C<setup> will check that it's
646 defined and that it's a directory that contains the file C<Configure>.
647 If this isn't so, C<setup> will C<BAIL_OUT>.
648
649 =item B<BIN_D>
650
651 If defined, its value should be the directory where the openssl application
652 is located.  Defaults to C<$TOP/apps> (adapted to the operating system).
653
654 =item B<TEST_D>
655
656 If defined, its value should be the directory where the test applications
657 are located.  Defaults to C<$TOP/test> (adapted to the operating system).
658
659 =item B<STOPTEST>
660
661 If defined, it puts testing in a different mode, where a recipe with
662 failures will result in a C<BAIL_OUT> at the end of its run.
663
664 =back
665
666 =cut
667
668 sub __env {
669     $directories{SRCTOP}  = $ENV{SRCTOP} || $ENV{TOP};
670     $directories{BLDTOP}  = $ENV{BLDTOP} || $ENV{TOP};
671     $directories{BLDAPPS} = $ENV{BIN_D}  || __bldtop_dir("apps");
672     $directories{SRCAPPS} =                 __srctop_dir("apps");
673     $directories{BLDTEST} = $ENV{TEST_D} || __bldtop_dir("test");
674     $directories{SRCTEST} =                 __srctop_dir("test");
675     $directories{RESULTS} = $ENV{RESULT_D} || $directories{BLDTEST};
676
677     $end_with_bailout     = $ENV{STOPTEST} ? 1 : 0;
678 };
679
680 sub __srctop_file {
681     BAIL_OUT("Must run setup() first") if (! $test_name);
682
683     my $f = pop;
684     return catfile($directories{SRCTOP},@_,$f);
685 }
686
687 sub __srctop_dir {
688     BAIL_OUT("Must run setup() first") if (! $test_name);
689
690     return catdir($directories{SRCTOP},@_);
691 }
692
693 sub __bldtop_file {
694     BAIL_OUT("Must run setup() first") if (! $test_name);
695
696     my $f = pop;
697     return catfile($directories{BLDTOP},@_,$f);
698 }
699
700 sub __bldtop_dir {
701     BAIL_OUT("Must run setup() first") if (! $test_name);
702
703     return catdir($directories{BLDTOP},@_);
704 }
705
706 sub __exeext {
707     my $ext = "";
708     if ($^O eq "VMS" ) {        # VMS
709         $ext = ".exe";
710     } elsif ($^O eq "MSWin32") { # Windows
711         $ext = ".exe";
712     }
713     return $ENV{"EXE_EXT"} || $ext;
714 }
715
716 sub __test_file {
717     BAIL_OUT("Must run setup() first") if (! $test_name);
718
719     my $f = pop . __exeext();
720     $f = catfile($directories{BLDTEST},@_,$f);
721     $f = catfile($directories{SRCTEST},@_,$f) unless -x $f;
722     return $f;
723 }
724
725 sub __perltest_file {
726     BAIL_OUT("Must run setup() first") if (! $test_name);
727
728     my $f = pop;
729     $f = catfile($directories{BLDTEST},@_,$f);
730     $f = catfile($directories{SRCTEST},@_,$f) unless -f $f;
731     return ($^X, $f);
732 }
733
734 sub __apps_file {
735     BAIL_OUT("Must run setup() first") if (! $test_name);
736
737     my $f = pop . __exeext();
738     $f = catfile($directories{BLDAPPS},@_,$f);
739     $f = catfile($directories{SRCAPPS},@_,$f) unless -x $f;
740     return $f;
741 }
742
743 sub __perlapps_file {
744     BAIL_OUT("Must run setup() first") if (! $test_name);
745
746     my $f = pop;
747     $f = catfile($directories{BLDAPPS},@_,$f);
748     $f = catfile($directories{SRCAPPS},@_,$f) unless -f $f;
749     return ($^X, $f);
750 }
751
752 sub __results_file {
753     BAIL_OUT("Must run setup() first") if (! $test_name);
754
755     my $f = pop;
756     return catfile($directories{RESULTS},@_,$f);
757 }
758
759 sub __cwd {
760     my $dir = catdir(shift);
761     my %opts = @_;
762     my $abscurdir = rel2abs(curdir());
763     my $absdir = rel2abs($dir);
764     my $reverse = abs2rel($abscurdir, $absdir);
765
766     # PARANOIA: if we're not moving anywhere, we do nothing more
767     if ($abscurdir eq $absdir) {
768         return $reverse;
769     }
770
771     # Do not support a move to a different volume for now.  Maybe later.
772     BAIL_OUT("FAILURE: \"$dir\" moves to a different volume, not supported")
773         if $reverse eq $abscurdir;
774
775     # If someone happened to give a directory that leads back to the current,
776     # it's extremely silly to do anything more, so just simulate that we did
777     # move.
778     # In this case, we won't even clean it out, for safety's sake.
779     return "." if $reverse eq "";
780
781     $dir = canonpath($dir);
782     if ($opts{create}) {
783         mkpath($dir);
784     }
785
786     # Should we just bail out here as well?  I'm unsure.
787     return undef unless chdir($dir);
788
789     if ($opts{cleanup}) {
790         rmtree(".", { safe => 0, keep_root => 1 });
791     }
792
793     # For each of these directory variables, figure out where they are relative
794     # to the directory we want to move to if they aren't absolute (if they are,
795     # they don't change!)
796     my @dirtags = sort keys %directories;
797     foreach (@dirtags) {
798         if (!file_name_is_absolute($directories{$_})) {
799             my $newpath = abs2rel(rel2abs($directories{$_}), rel2abs($dir));
800             $directories{$_} = $newpath;
801         }
802     }
803
804     if ($debug) {
805         print STDERR "DEBUG: __cwd(), directories and files:\n";
806         print STDERR "  \$directories{BLDTEST} = \"$directories{BLDTEST}\"\n";
807         print STDERR "  \$directories{SRCTEST} = \"$directories{SRCTEST}\"\n";
808         print STDERR "  \$directories{RESULTS} = \"$directories{RESULTS}\"\n";
809         print STDERR "  \$directories{BLDAPPS} = \"$directories{BLDAPPS}\"\n";
810         print STDERR "  \$directories{SRCAPPS} = \"$directories{SRCAPPS}\"\n";
811         print STDERR "  \$directories{SRCTOP}  = \"$directories{SRCTOP}\"\n";
812         print STDERR "  \$directories{BLDTOP}  = \"$directories{BLDTOP}\"\n";
813         print STDERR "\n";
814         print STDERR "  current directory is \"",curdir(),"\"\n";
815         print STDERR "  the way back is \"$reverse\"\n";
816     }
817
818     return $reverse;
819 }
820
821 sub __fixup_cmd {
822     my $prog = shift;
823     my $exe_shell = shift;
824
825     my $prefix = __bldtop_file("util", "shlib_wrap.sh")." ";
826
827     if (defined($exe_shell)) {
828         $prefix = "$exe_shell ";
829     } elsif ($^O eq "VMS" ) {   # VMS
830         $prefix = ($prog =~ /^(?:[\$a-z0-9_]+:)?[<\[]/i ? "mcr " : "mcr []");
831     } elsif ($^O eq "MSWin32") { # Windows
832         $prefix = "";
833     }
834
835     # We test both with and without extension.  The reason
836     # is that we might be passed a complete file spec, with
837     # extension.
838     if ( ! -x $prog ) {
839         my $prog = "$prog";
840         if ( ! -x $prog ) {
841             $prog = undef;
842         }
843     }
844
845     if (defined($prog)) {
846         # Make sure to quotify the program file on platforms that may
847         # have spaces or similar in their path name.
848         # To our knowledge, VMS is the exception where quotifying should
849         # never happem.
850         ($prog) = quotify($prog) unless $^O eq "VMS";
851         return $prefix.$prog;
852     }
853
854     print STDERR "$prog not found\n";
855     return undef;
856 }
857
858 sub __build_cmd {
859     BAIL_OUT("Must run setup() first") if (! $test_name);
860
861     my $num = shift;
862     my $path_builder = shift;
863     # Make a copy to not destroy the caller's array
864     my @cmdarray = ( @{$_[0]} ); shift;
865     my %opts = @_;
866
867     # We do a little dance, as $path_builder might return a list of
868     # more than one.  If so, only the first is to be considered a
869     # program to fix up, the rest is part of the arguments.  This
870     # happens for perl scripts, where $path_builder will return
871     # a list of two, $^X and the script name.
872     # Also, if $path_builder returned more than one, we don't apply
873     # the EXE_SHELL environment variable.
874     my @prog = ($path_builder->(shift @cmdarray));
875     my $first = shift @prog;
876     my $exe_shell = @prog ? undef : $ENV{EXE_SHELL};
877     my $cmd = __fixup_cmd($first, $exe_shell);
878     if (@prog) {
879         if ( ! -f $prog[0] ) {
880             print STDERR "$prog[0] not found\n";
881             $cmd = undef;
882         }
883     }
884     my @args = (@prog, @cmdarray);
885     if (defined($opts{interpreter_args})) {
886         unshift @args, @{$opts{interpreter_args}};
887     }
888
889     return () if !$cmd;
890
891     my $arg_str = "";
892     my $null = devnull();
893
894
895     $arg_str = " ".join(" ", quotify @args) if @args;
896
897     my $fileornull = sub { $_[0] ? $_[0] : $null; };
898     my $stdin = "";
899     my $stdout = "";
900     my $stderr = "";
901     my $saved_stderr = undef;
902     $stdin = " < ".$fileornull->($opts{stdin})  if exists($opts{stdin});
903     $stdout= " > ".$fileornull->($opts{stdout}) if exists($opts{stdout});
904     $stderr=" 2> ".$fileornull->($opts{stderr}) if exists($opts{stderr});
905
906     my $display_cmd = "$cmd$arg_str$stdin$stdout$stderr";
907
908     $stderr=" 2> ".$null
909         unless $stderr || !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
910
911     $cmd .= "$arg_str$stdin$stdout$stderr";
912
913     if ($debug) {
914         print STDERR "DEBUG[__build_cmd]: \$cmd = \"$cmd\"\n";
915         print STDERR "DEBUG[__build_cmd]: \$display_cmd = \"$display_cmd\"\n";
916     }
917
918     return ($cmd, $display_cmd);
919 }
920
921 =head1 SEE ALSO
922
923 L<Test::More>, L<Test::Harness>
924
925 =head1 AUTHORS
926
927 Richard Levitte E<lt>levitte@openssl.orgE<gt> with assitance and
928 inspiration from Andy Polyakov E<lt>appro@openssl.org<gt>.
929
930 =cut
931
932 1;