test/testlib/OpenSSL/Test.pm

   1 package OpenSSL::Test;
   2
   3 use strict;
   4 use warnings;
   5
   6 use Test::More 0.96;
   7
   8 use Exporter;
   9 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
  10 $VERSION = "0.8";
  11 @ISA = qw(Exporter);
  12 @EXPORT = (@Test::More::EXPORT, qw(setup indir app perlapp test perltest run));
  13 @EXPORT_OK = (@Test::More::EXPORT_OK, qw(bldtop_dir bldtop_file
  14                                          srctop_dir srctop_file
  15                                          pipe with cmdstr quotify));
  16
  17 =head1 NAME
  18
  19 OpenSSL::Test - a private extension of Test::More
  20
  21 =head1 SYNOPSIS
  22
  23   use OpenSSL::Test;
  24
  25   setup("my_test_name");
  26
  27   ok(run(app(["openssl", "version"])), "check for openssl presence");
  28
  29   indir "subdir" => sub {
  30     ok(run(test(["sometest", "arg1"], stdout => "foo.txt")),
  31        "run sometest with output to foo.txt");
  32   };
  33
  34 =head1 DESCRIPTION
  35
  36 This module is a private extension of L<Test::More> for testing OpenSSL.
  37 In addition to the Test::More functions, it also provides functions that
  38 easily find the diverse programs within a OpenSSL build tree, as well as
  39 some other useful functions.
  40
  41 This module I<depends> on the environment variables C<$TOP> or C<$SRCTOP>
  42 and C<$BLDTOP>.  Without one of the combinations it refuses to work.
  43 See L</ENVIRONMENT> below.
  44
  45 =cut
  46
  47 use File::Copy;
  48 use File::Spec::Functions qw/file_name_is_absolute curdir canonpath splitdir
  49                              catdir catfile splitpath catpath devnull abs2rel
  50                              rel2abs/;
  51 use File::Path 2.00 qw/rmtree mkpath/;
  52
  53
  54 # The name of the test.  This is set by setup() and is used in the other
  55 # functions to verify that setup() has been used.
  56 my $test_name = undef;
  57
  58 # Directories we want to keep track of TOP, APPS, TEST and RESULTS are the
  59 # ones we're interested in, corresponding to the environment variables TOP
  60 # (mandatory), BIN_D, TEST_D, UTIL_D and RESULT_D.
  61 my %directories = ();
  62
  63 # A bool saying if we shall stop all testing if the current recipe has failing
  64 # tests or not.  This is set by setup() if the environment variable STOPTEST
  65 # is defined with a non-empty value.
  66 my $end_with_bailout = 0;
  67
  68 # A set of hooks that is affected by with() and may be used in diverse places.
  69 # All hooks are expected to be CODE references.
  70 my %hooks = (
  71
  72     # exit_checker is used by run() directly after completion of a command.
  73     # it receives the exit code from that command and is expected to return
  74     # 1 (for success) or 0 (for failure).  This is the value that will be
  75     # returned by run().
  76     # NOTE: When run() gets the option 'capture => 1', this hook is ignored.
  77     exit_checker => sub { return shift == 0 ? 1 : 0 },
  78
  79     );
  80
  81 # Debug flag, to be set manually when needed
  82 my $debug = 0;
  83
  84 # Declare some utility functions that are defined at the end
  85 sub bldtop_file;
  86 sub bldtop_dir;
  87 sub srctop_file;
  88 sub srctop_dir;
  89 sub quotify;
  90
  91 # Declare some private functions that are defined at the end
  92 sub __env;
  93 sub __cwd;
  94 sub __apps_file;
  95 sub __results_file;
  96 sub __fixup_cmd;
  97 sub __build_cmd;
  98
  99 =head2 Main functions
 100
 101 The following functions are exported by default when using C<OpenSSL::Test>.
 102
 103 =cut
 104
 105 =over 4
 106
 107 =item B<setup "NAME">
 108
 109 C<setup> is used for initial setup, and it is mandatory that it's used.
 110 If it's not used in a OpenSSL test recipe, the rest of the recipe will
 111 most likely refuse to run.
 112
 113 C<setup> checks for environment variables (see L</ENVIRONMENT> below),
 114 checks that C<$TOP/Configure> or C<$SRCTOP/Configure> exists, C<chdir>
 115 into the results directory (defined by the C<$RESULT_D> environment
 116 variable if defined, otherwise C<$BLDTOP/test> or C<$TOP/test>, whichever
 117 is defined).
 118
 119 =back
 120
 121 =cut
 122
 123 sub setup {
 124     my $old_test_name = $test_name;
 125     $test_name = shift;
 126
 127     BAIL_OUT("setup() must receive a name") unless $test_name;
 128     warn "setup() detected test name change.  Innocuous, so we continue...\n"
 129         if $old_test_name && $old_test_name ne $test_name;
 130
 131     return if $old_test_name;
 132
 133     BAIL_OUT("setup() needs \$TOP or \$SRCTOP and \$BLDTOP to be defined")
 134         unless $ENV{TOP} || ($ENV{SRCTOP} && $ENV{BLDTOP});
 135     BAIL_OUT("setup() found both \$TOP and \$SRCTOP or \$BLDTOP...")
 136         if $ENV{TOP} && ($ENV{SRCTOP} || $ENV{BLDTOP});
 137
 138     __env();
 139
 140     BAIL_OUT("setup() expects the file Configure in the source top directory")
 141         unless -f srctop_file("Configure");
 142
 143     __cwd($directories{RESULTS});
 144 }
 145
 146 =over 4
 147
 148 =item B<indir "SUBDIR" =E<gt> sub BLOCK, OPTS>
 149
 150 C<indir> is used to run a part of the recipe in a different directory than
 151 the one C<setup> moved into, usually a subdirectory, given by SUBDIR.
 152 The part of the recipe that's run there is given by the codeblock BLOCK.
 153
 154 C<indir> takes some additional options OPTS that affect the subdirectory:
 155
 156 =over 4
 157
 158 =item B<create =E<gt> 0|1>
 159
 160 When set to 1 (or any value that perl preceives as true), the subdirectory
 161 will be created if it doesn't already exist.  This happens before BLOCK
 162 is executed.
 163
 164 =item B<cleanup =E<gt> 0|1>
 165
 166 When set to 1 (or any value that perl preceives as true), the subdirectory
 167 will be cleaned out and removed.  This happens both before and after BLOCK
 168 is executed.
 169
 170 =back
 171
 172 An example:
 173
 174   indir "foo" => sub {
 175       ok(run(app(["openssl", "version"]), stdout => "foo.txt"));
 176       if (ok(open(RESULT, "foo.txt"), "reading foo.txt")) {
 177           my $line = <RESULT>;
 178           close RESULT;
 179           is($line, qr/^OpenSSL 1\./,
 180              "check that we're using OpenSSL 1.x.x");
 181       }
 182   }, create => 1, cleanup => 1;
 183
 184 =back
 185
 186 =cut
 187
 188 sub indir {
 189     my $subdir = shift;
 190     my $codeblock = shift;
 191     my %opts = @_;
 192
 193     my $reverse = __cwd($subdir,%opts);
 194     BAIL_OUT("FAILURE: indir, \"$subdir\" wasn't possible to move into")
 195         unless $reverse;
 196
 197     $codeblock->();
 198
 199     __cwd($reverse);
 200
 201     if ($opts{cleanup}) {
 202         rmtree($subdir, { safe => 0 });
 203     }
 204 }
 205
 206 =over 4
 207
 208 =item B<app ARRAYREF, OPTS>
 209
 210 =item B<test ARRAYREF, OPTS>
 211
 212 Both of these functions take a reference to a list that is a command and
 213 its arguments, and some additional options (described further on).
 214
 215 C<app> expects to find the given command (the first item in the given list
 216 reference) as an executable in C<$BIN_D> (if defined, otherwise C<$TOP/apps>
 217 or C<$BLDTOP/apps>).
 218
 219 C<test> expects to find the given command (the first item in the given list
 220 reference) as an executable in C<$TEST_D> (if defined, otherwise C<$TOP/test>
 221 or C<$BLDTOP/test>).
 222
 223 Both return a CODEREF to be used by C<run>, C<pipe> or C<cmdstr>.
 224
 225 The options that both C<app> and C<test> can take are in the form of hash
 226 values:
 227
 228 =over 4
 229
 230 =item B<stdin =E<gt> PATH>
 231
 232 =item B<stdout =E<gt> PATH>
 233
 234 =item B<stderr =E<gt> PATH>
 235
 236 In all three cases, the corresponding standard input, output or error is
 237 redirected from (for stdin) or to (for the others) a file given by the
 238 string PATH, I<or>, if the value is C<undef>, C</dev/null> or similar.
 239
 240 =back
 241
 242 =item B<perlapp ARRAYREF, OPTS>
 243
 244 =item B<perltest ARRAYREF, OPTS>
 245
 246 Both these functions function the same way as B<app> and B<test>, except
 247 that they expect the command to be a perl script.  Also, they support one
 248 more option:
 249
 250 =over 4
 251
 252 =item B<interpreter_args =E<gt> ARRAYref>
 253
 254 The array reference is a set of arguments for perl rather than the script.
 255 Take care so that none of them can be seen as a script!  Flags and their
 256 eventual arguments only!
 257
 258 =back
 259
 260 An example:
 261
 262   ok(run(perlapp(["foo.pl", "arg1"],
 263                  interpreter_args => [ "-I", srctop_dir("test") ])));
 264
 265 =back
 266
 267 =cut
 268
 269 sub app {
 270     my $cmd = shift;
 271     my %opts = @_;
 272     return sub { my $num = shift;
 273                  return __build_cmd($num, \&__apps_file, $cmd, %opts); }
 274 }
 275
 276 sub test {
 277     my $cmd = shift;
 278     my %opts = @_;
 279     return sub { my $num = shift;
 280                  return __build_cmd($num, \&__test_file, $cmd, %opts); }
 281 }
 282
 283 sub perlapp {
 284     my $cmd = shift;
 285     my %opts = @_;
 286     return sub { my $num = shift;
 287                  return __build_cmd($num, \&__perlapps_file, $cmd, %opts); }
 288 }
 289
 290 sub perltest {
 291     my $cmd = shift;
 292     my %opts = @_;
 293     return sub { my $num = shift;
 294                  return __build_cmd($num, \&__perltest_file, $cmd, %opts); }
 295 }
 296
 297 =over 4
 298
 299 =item B<run CODEREF, OPTS>
 300
 301 This CODEREF is expected to be the value return by C<app> or C<test>,
 302 anything else will most likely cause an error unless you know what you're
 303 doing.
 304
 305 C<run> executes the command returned by CODEREF and return either the
 306 resulting output (if the option C<capture> is set true) or a boolean indicating
 307 if the command succeeded or not.
 308
 309 The options that C<run> can take are in the form of hash values:
 310
 311 =over 4
 312
 313 =item B<capture =E<gt> 0|1>
 314
 315 If true, the command will be executed with a perl backtick, and C<run> will
 316 return the resulting output as an array of lines.  If false or not given,
 317 the command will be executed with C<system()>, and C<run> will return 1 if
 318 the command was successful or 0 if it wasn't.
 319
 320 =back
 321
 322 For further discussion on what is considered a successful command or not, see
 323 the function C<with> further down.
 324
 325 =back
 326
 327 =cut
 328
 329 sub run {
 330     my ($cmd, $display_cmd) = shift->(0);
 331     my %opts = @_;
 332
 333     return () if !$cmd;
 334
 335     my $prefix = "";
 336     if ( $^O eq "VMS" ) {       # VMS
 337         $prefix = "pipe ";
 338     }
 339
 340     my @r = ();
 341     my $r = 0;
 342     my $e = 0;
 343
 344     # The dance we do with $? is the same dance the Unix shells appear to
 345     # do.  For example, a program that gets aborted (and therefore signals
 346     # SIGABRT = 6) will appear to exit with the code 134.  We mimic this
 347     # to make it easier to compare with a manual run of the command.
 348     if ($opts{capture}) {
 349         @r = `$prefix$cmd`;
 350         $e = ($? & 0x7f) ? ($? & 0x7f)|0x80 : ($? >> 8);
 351     } else {
 352         system("$prefix$cmd");
 353         $e = ($? & 0x7f) ? ($? & 0x7f)|0x80 : ($? >> 8);
 354         $r = $hooks{exit_checker}->($e);
 355     }
 356
 357     print STDERR "$prefix$cmd => $e\n"
 358         if !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
 359
 360     # At this point, $? stops being interesting, and unfortunately,
 361     # there are Test::More versions that get picky if we leave it
 362     # non-zero.
 363     $? = 0;
 364
 365     if ($opts{capture}) {
 366         return @r;
 367     } else {
 368         return $r;
 369     }
 370 }
 371
 372 END {
 373     my $tb = Test::More->builder;
 374     my $failure = scalar(grep { $_ == 0; } $tb->summary);
 375     if ($failure && $end_with_bailout) {
 376         BAIL_OUT("Stoptest!");
 377     }
 378 }
 379
 380 =head2 Utility functions
 381
 382 The following functions are exported on request when using C<OpenSSL::Test>.
 383
 384   # To only get the bldtop_file and srctop_file functions.
 385   use OpenSSL::Test qw/bldtop_file srctop_file/;
 386
 387   # To only get the bldtop_file function in addition to the default ones.
 388   use OpenSSL::Test qw/:DEFAULT bldtop_file/;
 389
 390 =cut
 391
 392 # Utility functions, exported on request
 393
 394 =over 4
 395
 396 =item B<bldtop_dir LIST>
 397
 398 LIST is a list of directories that make up a path from the top of the OpenSSL
 399 build directory (as indicated by the environment variable C<$TOP> or
 400 C<$BLDTOP>).
 401 C<bldtop_dir> returns the resulting directory as a string, adapted to the local
 402 operating system.
 403
 404 =back
 405
 406 =cut
 407
 408 sub bldtop_dir {
 409     return __bldtop_dir(@_);    # This caters for operating systems that have
 410                                 # a very distinct syntax for directories.
 411 }
 412
 413 =over 4
 414
 415 =item B<bldtop_file LIST, FILENAME>
 416
 417 LIST is a list of directories that make up a path from the top of the OpenSSL
 418 build directory (as indicated by the environment variable C<$TOP> or
 419 C<$BLDTOP>) and FILENAME is the name of a file located in that directory path.
 420 C<bldtop_file> returns the resulting file path as a string, adapted to the local
 421 operating system.
 422
 423 =back
 424
 425 =cut
 426
 427 sub bldtop_file {
 428     return __bldtop_file(@_);
 429 }
 430
 431 =over 4
 432
 433 =item B<srctop_dir LIST>
 434
 435 LIST is a list of directories that make up a path from the top of the OpenSSL
 436 source directory (as indicated by the environment variable C<$TOP> or
 437 C<$SRCTOP>).
 438 C<srctop_dir> returns the resulting directory as a string, adapted to the local
 439 operating system.
 440
 441 =back
 442
 443 =cut
 444
 445 sub srctop_dir {
 446     return __srctop_dir(@_);    # This caters for operating systems that have
 447                                 # a very distinct syntax for directories.
 448 }
 449
 450 =over 4
 451
 452 =item B<srctop_file LIST, FILENAME>
 453
 454 LIST is a list of directories that make up a path from the top of the OpenSSL
 455 source directory (as indicated by the environment variable C<$TOP> or
 456 C<$SRCTOP>) and FILENAME is the name of a file located in that directory path.
 457 C<srctop_file> returns the resulting file path as a string, adapted to the local
 458 operating system.
 459
 460 =back
 461
 462 =cut
 463
 464 sub srctop_file {
 465     return __srctop_file(@_);
 466 }
 467
 468 =over 4
 469
 470 =item B<pipe LIST>
 471
 472 LIST is a list of CODEREFs returned by C<app> or C<test>, from which C<pipe>
 473 creates a new command composed of all the given commands put together in a
 474 pipe.  C<pipe> returns a new CODEREF in the same manner as C<app> or C<test>,
 475 to be passed to C<run> for execution.
 476
 477 =back
 478
 479 =cut
 480
 481 sub pipe {
 482     my @cmds = @_;
 483     return
 484         sub {
 485             my @cs  = ();
 486             my @dcs = ();
 487             my @els = ();
 488             my $counter = 0;
 489             foreach (@cmds) {
 490                 my ($c, $dc, @el) = $_->(++$counter);
 491
 492                 return () if !$c;
 493
 494                 push @cs, $c;
 495                 push @dcs, $dc;
 496                 push @els, @el;
 497             }
 498             return (
 499                 join(" | ", @cs),
 500                 join(" | ", @dcs),
 501                 @els
 502                 );
 503     };
 504 }
 505
 506 =over 4
 507
 508 =item B<with HASHREF, CODEREF>
 509
 510 C<with> will temporarly install hooks given by the HASHREF and then execute
 511 the given CODEREF.  Hooks are usually expected to have a coderef as value.
 512
 513 The currently available hoosk are:
 514
 515 =over 4
 516
 517 =item B<exit_checker =E<gt> CODEREF>
 518
 519 This hook is executed after C<run> has performed its given command.  The
 520 CODEREF receives the exit code as only argument and is expected to return
 521 1 (if the exit code indicated success) or 0 (if the exit code indicated
 522 failure).
 523
 524 =back
 525
 526 =back
 527
 528 =cut
 529
 530 sub with {
 531     my $opts = shift;
 532     my %opts = %{$opts};
 533     my $codeblock = shift;
 534
 535     my %saved_hooks = ();
 536
 537     foreach (keys %opts) {
 538         $saved_hooks{$_} = $hooks{$_}   if exists($hooks{$_});
 539         $hooks{$_} = $opts{$_};
 540     }
 541
 542     $codeblock->();
 543
 544     foreach (keys %saved_hooks) {
 545         $hooks{$_} = $saved_hooks{$_};
 546     }
 547 }
 548
 549 =over 4
 550
 551 =item B<cmdstr CODEREF>
 552
 553 C<cmdstr> takes a CODEREF from C<app> or C<test> and simply returns the
 554 command as a string.
 555
 556 =back
 557
 558 =cut
 559
 560 sub cmdstr {
 561     my ($cmd, $display_cmd) = shift->(0);
 562
 563     return $display_cmd;
 564 }
 565
 566 =over 4
 567
 568 =item B<quotify LIST>
 569
 570 LIST is a list of strings that are going to be used as arguments for a
 571 command, and makes sure to inject quotes and escapes as necessary depending
 572 on the content of each string.
 573
 574 This can also be used to put quotes around the executable of a command.
 575 I<This must never ever be done on VMS.>
 576
 577 =back
 578
 579 =cut
 580
 581 sub quotify {
 582     # Unix setup (default if nothing else is mentioned)
 583     my $arg_formatter =
 584         sub { $_ = shift; /\s|[\{\}\\\$\[\]\*\?\|\&:;<>]/ ? "'$_'" : $_ };
 585
 586     if ( $^O eq "VMS") {        # VMS setup
 587         $arg_formatter = sub {
 588             $_ = shift;
 589             if (/\s|["[:upper:]]/) {
 590                 s/"/""/g;
 591                 '"'.$_.'"';
 592             } else {
 593                 $_;
 594             }
 595         };
 596     } elsif ( $^O eq "MSWin32") { # MSWin setup
 597         $arg_formatter = sub {
 598             $_ = shift;
 599             if (/\s|["\|\&\*\;<>]/) {
 600                 s/(["\\])/\\$1/g;
 601                 '"'.$_.'"';
 602             } else {
 603                 $_;
 604             }
 605         };
 606     }
 607
 608     return map { $arg_formatter->($_) } @_;
 609 }
 610
 611 ######################################################################
 612 # private functions.  These are never exported.
 613
 614 =head1 ENVIRONMENT
 615
 616 OpenSSL::Test depends on some environment variables.
 617
 618 =over 4
 619
 620 =item B<TOP>
 621
 622 This environment variable is mandatory.  C<setup> will check that it's
 623 defined and that it's a directory that contains the file C<Configure>.
 624 If this isn't so, C<setup> will C<BAIL_OUT>.
 625
 626 =item B<BIN_D>
 627
 628 If defined, its value should be the directory where the openssl application
 629 is located.  Defaults to C<$TOP/apps> (adapted to the operating system).
 630
 631 =item B<TEST_D>
 632
 633 If defined, its value should be the directory where the test applications
 634 are located.  Defaults to C<$TOP/test> (adapted to the operating system).
 635
 636 =item B<STOPTEST>
 637
 638 If defined, it puts testing in a different mode, where a recipe with
 639 failures will result in a C<BAIL_OUT> at the end of its run.
 640
 641 =back
 642
 643 =cut
 644
 645 sub __env {
 646     $directories{SRCTOP}  = $ENV{SRCTOP} || $ENV{TOP};
 647     $directories{BLDTOP}  = $ENV{BLDTOP} || $ENV{TOP};
 648     $directories{BLDAPPS} = $ENV{BIN_D}  || __bldtop_dir("apps");
 649     $directories{SRCAPPS} =                 __srctop_dir("apps");
 650     $directories{BLDTEST} = $ENV{TEST_D} || __bldtop_dir("test");
 651     $directories{SRCTEST} =                 __srctop_dir("test");
 652     $directories{RESULTS} = $ENV{RESULT_D} || $directories{BLDTEST};
 653
 654     $end_with_bailout     = $ENV{STOPTEST} ? 1 : 0;
 655 };
 656
 657 sub __srctop_file {
 658     BAIL_OUT("Must run setup() first") if (! $test_name);
 659
 660     my $f = pop;
 661     return catfile($directories{SRCTOP},@_,$f);
 662 }
 663
 664 sub __srctop_dir {
 665     BAIL_OUT("Must run setup() first") if (! $test_name);
 666
 667     return catdir($directories{SRCTOP},@_);
 668 }
 669
 670 sub __bldtop_file {
 671     BAIL_OUT("Must run setup() first") if (! $test_name);
 672
 673     my $f = pop;
 674     return catfile($directories{BLDTOP},@_,$f);
 675 }
 676
 677 sub __bldtop_dir {
 678     BAIL_OUT("Must run setup() first") if (! $test_name);
 679
 680     return catdir($directories{BLDTOP},@_);
 681 }
 682
 683 sub __test_file {
 684     BAIL_OUT("Must run setup() first") if (! $test_name);
 685
 686     my $f = pop;
 687     $f = catfile($directories{BLDTEST},@_,$f);
 688     $f = catfile($directories{SRCTEST},@_,$f) unless -x $f;
 689     return $f;
 690 }
 691
 692 sub __perltest_file {
 693     BAIL_OUT("Must run setup() first") if (! $test_name);
 694
 695     my $f = pop;
 696     $f = catfile($directories{BLDTEST},@_,$f);
 697     $f = catfile($directories{SRCTEST},@_,$f) unless -f $f;
 698     return ($^X, $f);
 699 }
 700
 701 sub __apps_file {
 702     BAIL_OUT("Must run setup() first") if (! $test_name);
 703
 704     my $f = pop;
 705     $f = catfile($directories{BLDAPPS},@_,$f);
 706     $f = catfile($directories{SRCAPPS},@_,$f) unless -x $f;
 707     return $f;
 708 }
 709
 710 sub __perlapps_file {
 711     BAIL_OUT("Must run setup() first") if (! $test_name);
 712
 713     my $f = pop;
 714     $f = catfile($directories{BLDAPPS},@_,$f);
 715     $f = catfile($directories{SRCAPPS},@_,$f) unless -f $f;
 716     return ($^X, $f);
 717 }
 718
 719 sub __results_file {
 720     BAIL_OUT("Must run setup() first") if (! $test_name);
 721
 722     my $f = pop;
 723     return catfile($directories{RESULTS},@_,$f);
 724 }
 725
 726 sub __cwd {
 727     my $dir = catdir(shift);
 728     my %opts = @_;
 729     my $abscurdir = rel2abs(curdir());
 730     my $absdir = rel2abs($dir);
 731     my $reverse = abs2rel($abscurdir, $absdir);
 732
 733     # PARANOIA: if we're not moving anywhere, we do nothing more
 734     if ($abscurdir eq $absdir) {
 735         return $reverse;
 736     }
 737
 738     # Do not support a move to a different volume for now.  Maybe later.
 739     BAIL_OUT("FAILURE: \"$dir\" moves to a different volume, not supported")
 740         if $reverse eq $abscurdir;
 741
 742     # If someone happened to give a directory that leads back to the current,
 743     # it's extremely silly to do anything more, so just simulate that we did
 744     # move.
 745     # In this case, we won't even clean it out, for safety's sake.
 746     return "." if $reverse eq "";
 747
 748     $dir = canonpath($dir);
 749     if ($opts{create}) {
 750         mkpath($dir);
 751     }
 752
 753     # Should we just bail out here as well?  I'm unsure.
 754     return undef unless chdir($dir);
 755
 756     if ($opts{cleanup}) {
 757         rmtree(".", { safe => 0, keep_root => 1 });
 758     }
 759
 760     # For each of these directory variables, figure out where they are relative
 761     # to the directory we want to move to if they aren't absolute (if they are,
 762     # they don't change!)
 763     my @dirtags = sort keys %directories;
 764     foreach (@dirtags) {
 765         if (!file_name_is_absolute($directories{$_})) {
 766             my $newpath = abs2rel(rel2abs($directories{$_}), rel2abs($dir));
 767             $directories{$_} = $newpath;
 768         }
 769     }
 770
 771     if ($debug) {
 772         print STDERR "DEBUG: __cwd(), directories and files:\n";
 773         print STDERR "  \$directories{BLDTEST} = \"$directories{BLDTEST}\"\n";
 774         print STDERR "  \$directories{SRCTEST} = \"$directories{SRCTEST}\"\n";
 775         print STDERR "  \$directories{RESULTS} = \"$directories{RESULTS}\"\n";
 776         print STDERR "  \$directories{BLDAPPS} = \"$directories{BLDAPPS}\"\n";
 777         print STDERR "  \$directories{SRCAPPS} = \"$directories{SRCAPPS}\"\n";
 778         print STDERR "  \$directories{SRCTOP}  = \"$directories{SRCTOP}\"\n";
 779         print STDERR "  \$directories{BLDTOP}  = \"$directories{BLDTOP}\"\n";
 780         print STDERR "\n";
 781         print STDERR "  current directory is \"",curdir(),"\"\n";
 782         print STDERR "  the way back is \"$reverse\"\n";
 783     }
 784
 785     return $reverse;
 786 }
 787
 788 sub __fixup_cmd {
 789     my $prog = shift;
 790     my $exe_shell = shift;
 791
 792     my $prefix = __bldtop_file("util", "shlib_wrap.sh")." ";
 793     my $ext = $ENV{"EXE_EXT"} || "";
 794
 795     if (defined($exe_shell)) {
 796         $prefix = "$exe_shell ";
 797     } elsif ($^O eq "VMS" ) {   # VMS
 798         $prefix = ($prog =~ /^(?:[\$a-z0-9_]+:)?[<\[]/i ? "mcr " : "mcr []");
 799         $ext = ".exe";
 800     } elsif ($^O eq "MSWin32") { # Windows
 801         $prefix = "";
 802         $ext = ".exe";
 803     }
 804
 805     # We test both with and without extension.  The reason
 806     # is that we might be passed a complete file spec, with
 807     # extension.
 808     if ( ! -x $prog ) {
 809         my $prog = "$prog$ext";
 810         if ( ! -x $prog ) {
 811             $prog = undef;
 812         }
 813     }
 814
 815     if (defined($prog)) {
 816         # Make sure to quotify the program file on platforms that may
 817         # have spaces or similar in their path name.
 818         # To our knowledge, VMS is the exception where quotifying should
 819         # never happem.
 820         ($prog) = quotify($prog) unless $^O eq "VMS";
 821         return $prefix.$prog;
 822     }
 823
 824     print STDERR "$prog not found\n";
 825     return undef;
 826 }
 827
 828 sub __build_cmd {
 829     BAIL_OUT("Must run setup() first") if (! $test_name);
 830
 831     my $num = shift;
 832     my $path_builder = shift;
 833     # Make a copy to not destroy the caller's array
 834     my @cmdarray = ( @{$_[0]} ); shift;
 835     my %opts = @_;
 836
 837     # We do a little dance, as $path_builder might return a list of
 838     # more than one.  If so, only the first is to be considered a
 839     # program to fix up, the rest is part of the arguments.  This
 840     # happens for perl scripts, where $path_builder will return
 841     # a list of two, $^X and the script name.
 842     # Also, if $path_builder returned more than one, we don't apply
 843     # the EXE_SHELL environment variable.
 844     my @prog = ($path_builder->(shift @cmdarray));
 845     my $first = shift @prog;
 846     my $exe_shell = @prog ? undef : $ENV{EXE_SHELL};
 847     my $cmd = __fixup_cmd($first, $exe_shell);
 848     if (@prog) {
 849         if ( ! -f $prog[0] ) {
 850             print STDERR "$prog[0] not found\n";
 851             $cmd = undef;
 852         }
 853     }
 854     my @args = (@prog, @cmdarray);
 855     if (defined($opts{interpreter_args})) {
 856         unshift @args, @{$opts{interpreter_args}};
 857     }
 858
 859     return () if !$cmd;
 860
 861     my $arg_str = "";
 862     my $null = devnull();
 863
 864
 865     $arg_str = " ".join(" ", quotify @args) if @args;
 866
 867     my $fileornull = sub { $_[0] ? $_[0] : $null; };
 868     my $stdin = "";
 869     my $stdout = "";
 870     my $stderr = "";
 871     my $saved_stderr = undef;
 872     $stdin = " < ".$fileornull->($opts{stdin})  if exists($opts{stdin});
 873     $stdout= " > ".$fileornull->($opts{stdout}) if exists($opts{stdout});
 874     $stderr=" 2> ".$fileornull->($opts{stderr}) if exists($opts{stderr});
 875
 876     my $display_cmd = "$cmd$arg_str$stdin$stdout$stderr";
 877
 878     $stderr=" 2> ".$null
 879         unless $stderr || !$ENV{HARNESS_ACTIVE} || $ENV{HARNESS_VERBOSE};
 880
 881     $cmd .= "$arg_str$stdin$stdout$stderr";
 882
 883     if ($debug) {
 884         print STDERR "DEBUG[__build_cmd]: \$cmd = \"$cmd\"\n";
 885         print STDERR "DEBUG[__build_cmd]: \$display_cmd = \"$display_cmd\"\n";
 886     }
 887
 888     return ($cmd, $display_cmd);
 889 }
 890
 891 =head1 SEE ALSO
 892
 893 L<Test::More>, L<Test::Harness>
 894
 895 =head1 AUTHORS
 896
 897 Richard Levitte E<lt>levitte@openssl.orgE<gt> with assitance and
 898 inspiration from Andy Polyakov E<lt>appro@openssl.org<gt>.
 899
 900 =cut
 901
 902 1;