Configure

   1 #! /usr/bin/env perl
   2 # -*- mode: perl; -*-
   3 # Copyright 2016-2018 The OpenSSL Project Authors. All Rights Reserved.
   4 #
   5 # Licensed under the Apache License 2.0 (the "License").  You may not use
   6 # this file except in compliance with the License.  You can obtain a copy
   7 # in the file LICENSE in the source distribution or at
   8 # https://www.openssl.org/source/license.html
   9
  10 ##  Configure -- OpenSSL source tree configuration script
  11
  12 use 5.10.0;
  13 use strict;
  14 use Config;
  15 use FindBin;
  16 use lib "$FindBin::Bin/util/perl";
  17 use File::Basename;
  18 use File::Spec::Functions qw/:DEFAULT abs2rel rel2abs splitdir/;
  19 use File::Path qw/mkpath/;
  20 use OpenSSL::fallback "$FindBin::Bin/external/perl/MODULES.txt";
  21 use OpenSSL::Glob;
  22 use OpenSSL::Template;
  23
  24 # see INSTALL for instructions.
  25
  26 my $orig_death_handler = $SIG{__DIE__};
  27 $SIG{__DIE__} = \&death_handler;
  28
  29 my $usage="Usage: Configure [no-<cipher> ...] [enable-<cipher> ...] [-Dxxx] [-lxxx] [-Lxxx] [-fxxx] [-Kxxx] [no-hw-xxx|no-hw] [[no-]threads] [[no-]shared] [[no-]zlib|zlib-dynamic] [no-asm] [no-egd] [sctp] [386] [--prefix=DIR] [--openssldir=OPENSSLDIR] [--with-xxx[=vvv]] [--config=FILE] os/compiler[:flags]\n";
  30
  31 # Options:
  32 #
  33 # --config      add the given configuration file, which will be read after
  34 #               any "Configurations*" files that are found in the same
  35 #               directory as this script.
  36 # --prefix      prefix for the OpenSSL installation, which includes the
  37 #               directories bin, lib, include, share/man, share/doc/openssl
  38 #               This becomes the value of INSTALLTOP in Makefile
  39 #               (Default: /usr/local)
  40 # --openssldir  OpenSSL data area, such as openssl.cnf, certificates and keys.
  41 #               If it's a relative directory, it will be added on the directory
  42 #               given with --prefix.
  43 #               This becomes the value of OPENSSLDIR in Makefile and in C.
  44 #               (Default: PREFIX/ssl)
  45 #
  46 # --cross-compile-prefix Add specified prefix to binutils components.
  47 #
  48 # --api         One of 0.9.8, 1.0.0, 1.0.1, 1.0.2, 1.1.0, 1.1.1, or 3.0.0 / 3.
  49 #               Do not compile support for interfaces deprecated as of the
  50 #               specified OpenSSL version.
  51 #
  52 # no-hw-xxx     do not compile support for specific crypto hardware.
  53 #               Generic OpenSSL-style methods relating to this support
  54 #               are always compiled but return NULL if the hardware
  55 #               support isn't compiled.
  56 # no-hw         do not compile support for any crypto hardware.
  57 # [no-]threads  [don't] try to create a library that is suitable for
  58 #               multithreaded applications (default is "threads" if we
  59 #               know how to do it)
  60 # [no-]shared   [don't] try to create shared libraries when supported.
  61 # [no-]pic      [don't] try to build position independent code when supported.
  62 #               If disabled, it also disables shared and dynamic-engine.
  63 # no-asm        do not use assembler
  64 # no-egd        do not compile support for the entropy-gathering daemon APIs
  65 # [no-]zlib     [don't] compile support for zlib compression.
  66 # zlib-dynamic  Like "zlib", but the zlib library is expected to be a shared
  67 #               library and will be loaded in run-time by the OpenSSL library.
  68 # sctp          include SCTP support
  69 # no-uplink     Don't build support for UPLINK interface.
  70 # enable-weak-ssl-ciphers
  71 #               Enable weak ciphers that are disabled by default.
  72 # 386           generate 80386 code in assembly modules
  73 # no-sse2       disables IA-32 SSE2 code in assembly modules, the above
  74 #               mentioned '386' option implies this one
  75 # no-<cipher>   build without specified algorithm (rsa, idea, rc5, ...)
  76 # -<xxx> +<xxx> All options which are unknown to the 'Configure' script are
  77 # /<xxx>        passed through to the compiler. Unix-style options beginning
  78 #               with a '-' or '+' are recognized, as well as Windows-style
  79 #               options beginning with a '/'. If the option contains arguments
  80 #               separated by spaces, then the URL-style notation %20 can be
  81 #               used for the space character in order to avoid having to quote
  82 #               the option. For example, -opt%20arg gets expanded to -opt arg.
  83 #               In fact, any ASCII character can be encoded as %xx using its
  84 #               hexadecimal encoding.
  85 # -static       while -static is also a pass-through compiler option (and
  86 #               as such is limited to environments where it's actually
  87 #               meaningful), it triggers a number configuration options,
  88 #               namely no-pic, no-shared and no-threads. It is
  89 #               argued that the only reason to produce statically linked
  90 #               binaries (and in context it means executables linked with
  91 #               -static flag, and not just executables linked with static
  92 #               libcrypto.a) is to eliminate dependency on specific run-time,
  93 #               a.k.a. libc version. The mentioned config options are meant
  94 #               to achieve just that. Unfortunately on Linux it's impossible
  95 #               to eliminate the dependency completely for openssl executable
  96 #               because of getaddrinfo and gethostbyname calls, which can
  97 #               invoke dynamically loadable library facility anyway to meet
  98 #               the lookup requests. For this reason on Linux statically
  99 #               linked openssl executable has rather debugging value than
 100 #               production quality.
 101 #
 102 # BN_LLONG      use the type 'long long' in crypto/bn/bn.h
 103 # RC4_CHAR      use 'char' instead of 'int' for RC4_INT in crypto/rc4/rc4.h
 104 # Following are set automatically by this script
 105 #
 106 # MD5_ASM       use some extra md5 assembler,
 107 # SHA1_ASM      use some extra sha1 assembler, must define L_ENDIAN for x86
 108 # RMD160_ASM    use some extra ripemd160 assembler,
 109 # SHA256_ASM    sha256_block is implemented in assembler
 110 # SHA512_ASM    sha512_block is implemented in assembler
 111 # AES_ASM       AES_[en|de]crypt is implemented in assembler
 112
 113 # Minimum warning options... any contributions to OpenSSL should at least
 114 # get past these.  Note that we only use these with C compilers, not with
 115 # C++ compilers.
 116
 117 # DEBUG_UNUSED enables __owur (warn unused result) checks.
 118 # -DPEDANTIC complements -pedantic and is meant to mask code that
 119 # is not strictly standard-compliant and/or implementation-specific,
 120 # e.g. inline assembly, disregards to alignment requirements, such
 121 # that -pedantic would complain about. Incidentally -DPEDANTIC has
 122 # to be used even in sanitized builds, because sanitizer too is
 123 # supposed to and does take notice of non-standard behaviour. Then
 124 # -pedantic with pre-C9x compiler would also complain about 'long
 125 # long' not being supported. As 64-bit algorithms are common now,
 126 # it grew impossible to resolve this without sizeable additional
 127 # code, so we just tell compiler to be pedantic about everything
 128 # but 'long long' type.
 129
 130 my @gcc_devteam_warn = qw(
 131     -DDEBUG_UNUSED
 132     -DPEDANTIC -pedantic -Wno-long-long
 133     -Wall
 134     -Wextra
 135     -Wno-unused-parameter
 136     -Wno-missing-field-initializers
 137     -Wswitch
 138     -Wsign-compare
 139     -Wshadow
 140     -Wformat
 141     -Wtype-limits
 142     -Wundef
 143     -Werror
 144     -Wmissing-prototypes
 145     -Wstrict-prototypes
 146 );
 147
 148 # These are used in addition to $gcc_devteam_warn when the compiler is clang.
 149 # TODO(openssl-team): fix problems and investigate if (at least) the
 150 # following warnings can also be enabled:
 151 #       -Wcast-align
 152 #       -Wunreachable-code -- no, too ugly/compiler-specific
 153 #       -Wlanguage-extension-token -- no, we use asm()
 154 #       -Wunused-macros -- no, too tricky for BN and _XOPEN_SOURCE etc
 155 #       -Wextended-offsetof -- no, needed in CMS ASN1 code
 156 my @clang_devteam_warn = qw(
 157     -Wno-unknown-warning-option
 158     -Wswitch-default
 159     -Wno-parentheses-equality
 160     -Wno-language-extension-token
 161     -Wno-extended-offsetof
 162     -Wconditional-uninitialized
 163     -Wincompatible-pointer-types-discards-qualifiers
 164     -Wmissing-variable-declarations
 165 );
 166
 167 # This adds backtrace information to the memory leak info.  Is only used
 168 # when crypto-mdebug-backtrace is enabled.
 169 my $memleak_devteam_backtrace = "-rdynamic";
 170
 171 my $strict_warnings = 0;
 172
 173 # As for $BSDthreads. Idea is to maintain "collective" set of flags,
 174 # which would cover all BSD flavors. -pthread applies to them all,
 175 # but is treated differently. OpenBSD expands is as -D_POSIX_THREAD
 176 # -lc_r, which is sufficient. FreeBSD 4.x expands it as -lc_r,
 177 # which has to be accompanied by explicit -D_THREAD_SAFE and
 178 # sometimes -D_REENTRANT. FreeBSD 5.x expands it as -lc_r, which
 179 # seems to be sufficient?
 180 our $BSDthreads="-pthread -D_THREAD_SAFE -D_REENTRANT";
 181
 182 #
 183 # API compatibility name to version number mapping.
 184 #
 185 my $maxapi = "3.0.0";           # API for "no-deprecated" builds
 186 my $apitable = {
 187     "3.0.0" => 3,
 188     "1.1.1" => 2,
 189     "1.1.0" => 2,
 190     "1.0.2" => 1,
 191     "1.0.1" => 1,
 192     "1.0.0" => 1,
 193     "0.9.8" => 0,
 194 };
 195
 196 our %table = ();
 197 our %config = ();
 198 our %withargs = ();
 199 our $now_printing;      # set to current entry's name in print_table_entry
 200                         # (todo: right thing would be to encapsulate name
 201                         # into %target [class] and make print_table_entry
 202                         # a method)
 203
 204 # Forward declarations ###############################################
 205
 206 # read_config(filename)
 207 #
 208 # Reads a configuration file and populates %table with the contents
 209 # (which the configuration file places in %targets).
 210 sub read_config;
 211
 212 # resolve_config(target)
 213 #
 214 # Resolves all the late evaluations, inheritances and so on for the
 215 # chosen target and any target it inherits from.
 216 sub resolve_config;
 217
 218
 219 # Information collection #############################################
 220
 221 # Unified build supports separate build dir
 222 my $srcdir = catdir(absolutedir(dirname($0))); # catdir ensures local syntax
 223 my $blddir = catdir(absolutedir("."));         # catdir ensures local syntax
 224 my $dofile = abs2rel(catfile($srcdir, "util/dofile.pl"));
 225
 226 my $local_config_envname = 'OPENSSL_LOCAL_CONFIG_DIR';
 227
 228 $config{sourcedir} = abs2rel($srcdir);
 229 $config{builddir} = abs2rel($blddir);
 230
 231 # Collect reconfiguration information if needed
 232 my @argvcopy=@ARGV;
 233
 234 if (grep /^reconf(igure)?$/, @argvcopy) {
 235     die "reconfiguring with other arguments present isn't supported"
 236         if scalar @argvcopy > 1;
 237     if (-f "./configdata.pm") {
 238         my $file = "./configdata.pm";
 239         unless (my $return = do $file) {
 240             die "couldn't parse $file: $@" if $@;
 241             die "couldn't do $file: $!"    unless defined $return;
 242             die "couldn't run $file"       unless $return;
 243         }
 244
 245         @argvcopy = defined($configdata::config{perlargv}) ?
 246             @{$configdata::config{perlargv}} : ();
 247         die "Incorrect data to reconfigure, please do a normal configuration\n"
 248             if (grep(/^reconf/,@argvcopy));
 249         $config{perlenv} = $configdata::config{perlenv} // {};
 250     } else {
 251         die "Insufficient data to reconfigure, please do a normal configuration\n";
 252     }
 253 }
 254
 255 $config{perlargv} = [ @argvcopy ];
 256
 257 # Collect version numbers
 258 my %version = ();
 259
 260 collect_information(
 261     collect_from_file(catfile($srcdir,'VERSION')),
 262     qr/\s*(\w+)\s*=\s*(.*?)\s*$/ =>
 263         sub {
 264             # Only define it if there is a value at all
 265             $version{uc $1} = $2 if $2 ne '';
 266         },
 267     "OTHERWISE" =>
 268         sub { die "Something wrong with this line:\n$_\nin $srcdir/VERSION" },
 269     );
 270
 271 $config{major} = $version{MAJOR} // 'unknown';
 272 $config{minor} = $version{MINOR} // 'unknown';
 273 $config{patch} = $version{PATCH} // 'unknown';
 274 $config{prerelease} =
 275     defined $version{PRE_RELEASE_TAG} ? "-$version{PRE_RELEASE_TAG}" : '';
 276 $config{build_metadata} =
 277     defined $version{BUILD_METADATA} ? "+$version{BUILD_METADATA}" : '';
 278 $config{shlib_version} = $version{SHLIB_VERSION} // 'unknown';
 279 $config{release_date} = $version{RELEASE_DATE} // 'xx XXX xxxx';
 280
 281 $config{version} = "$config{major}.$config{minor}.$config{patch}";
 282 $config{full_version} = "$config{version}$config{prerelease}$config{build_metadata}";
 283
 284 die "erroneous version information in VERSION: ",
 285     "$config{version}, $config{shlib_version}\n"
 286     unless (defined $version{MAJOR}
 287             && defined $version{MINOR}
 288             && defined $version{PATCH}
 289             && defined $version{SHLIB_VERSION});
 290
 291 # Collect target configurations
 292
 293 my $pattern = catfile(dirname($0), "Configurations", "*.conf");
 294 foreach (sort glob($pattern)) {
 295     &read_config($_);
 296 }
 297
 298 if (defined env($local_config_envname)) {
 299     if ($^O eq 'VMS') {
 300         # VMS environment variables are logical names,
 301         # which can be used as is
 302         $pattern = $local_config_envname . ':' . '*.conf';
 303     } else {
 304         $pattern = catfile(env($local_config_envname), '*.conf');
 305     }
 306
 307     foreach (sort glob($pattern)) {
 308         &read_config($_);
 309     }
 310 }
 311
 312 # Save away perl command information
 313 $config{perl_cmd} = $^X;
 314 $config{perl_version} = $Config{version};
 315 $config{perl_archname} = $Config{archname};
 316
 317 $config{prefix}="";
 318 $config{openssldir}="";
 319 $config{processor}="";
 320 $config{libdir}="";
 321 my $auto_threads=1;    # enable threads automatically? true by default
 322 my $default_ranlib;
 323
 324 # Known TLS and DTLS protocols
 325 my @tls = qw(ssl3 tls1 tls1_1 tls1_2 tls1_3);
 326 my @dtls = qw(dtls1 dtls1_2);
 327
 328 # Explicitly known options that are possible to disable.  They can
 329 # be regexps, and will be used like this: /^no-${option}$/
 330 # For developers: keep it sorted alphabetically
 331
 332 my @disablables = (
 333     "ktls",
 334     "afalgeng",
 335     "aria",
 336     "asan",
 337     "asm",
 338     "async",
 339     "autoalginit",
 340     "autoerrinit",
 341     "autoload-config",
 342     "bf",
 343     "blake2",
 344     "buildtest-c++",
 345     "camellia",
 346     "capieng",
 347     "cast",
 348     "chacha",
 349     "cmac",
 350     "cmp",
 351     "cms",
 352     "comp",
 353     "crypto-mdebug",
 354     "crypto-mdebug-backtrace",
 355     "ct",
 356     "deprecated",
 357     "des",
 358     "devcryptoeng",
 359     "dgram",
 360     "dh",
 361     "dsa",
 362     "dso",
 363     "dtls",
 364     "dynamic-engine",
 365     "ec",
 366     "ec2m",
 367     "ecdh",
 368     "ecdsa",
 369     "ec_nistp_64_gcc_128",
 370     "egd",
 371     "engine",
 372     "err",
 373     "external-tests",
 374     "filenames",
 375     "fips",
 376     "fuzz-libfuzzer",
 377     "fuzz-afl",
 378     "gost",
 379     "idea",
 380     "legacy",
 381     "makedepend",
 382     "md2",
 383     "md4",
 384     "mdc2",
 385     "module",
 386     "msan",
 387     "multiblock",
 388     "nextprotoneg",
 389     "pinshared",
 390     "ocb",
 391     "ocsp",
 392     "padlockeng",
 393     "pic",
 394     "poly1305",
 395     "posix-io",
 396     "psk",
 397     "rc2",
 398     "rc4",
 399     "rc5",
 400     "rdrand",
 401     "rfc3779",
 402     "rmd160",
 403     "scrypt",
 404     "sctp",
 405     "seed",
 406     "shared",
 407     "siphash",
 408     "siv",
 409     "sm2",
 410     "sm3",
 411     "sm4",
 412     "sock",
 413     "srp",
 414     "srtp",
 415     "sse2",
 416     "ssl",
 417     "ssl-trace",
 418     "static-engine",
 419     "stdio",
 420     "tests",
 421     "threads",
 422     "tls",
 423     "trace",
 424     "ts",
 425     "ubsan",
 426     "ui-console",
 427     "unit-test",
 428     "uplink",
 429     "whirlpool",
 430     "weak-ssl-ciphers",
 431     "zlib",
 432     "zlib-dynamic",
 433     );
 434 foreach my $proto ((@tls, @dtls))
 435         {
 436         push(@disablables, $proto);
 437         push(@disablables, "$proto-method") unless $proto eq "tls1_3";
 438         }
 439
 440 # Internal disablables, for aliasing purposes.  They serve no special
 441 # purpose here, but allow scripts to get to know them through configdata.pm,
 442 # where these are merged with @disablables.
 443 # The actual aliasing mechanism is done via %disable_cascades
 444 my @disablables_int = qw(
 445     crmf
 446     );
 447
 448 my %deprecated_disablables = (
 449     "ssl2" => undef,
 450     "buf-freelists" => undef,
 451     "hw" => "hw",               # causes cascade, but no macro
 452     "hw-padlock" => "padlockeng",
 453     "ripemd" => "rmd160",
 454     "ui" => "ui-console",
 455     "heartbeats" => undef,
 456     );
 457
 458 # All of the following are disabled by default:
 459
 460 our %disabled = ( # "what"         => "comment"
 461                   "asan"                => "default",
 462                   "buildtest-c++"       => "default",
 463                   "crypto-mdebug"       => "default",
 464                   "crypto-mdebug-backtrace" => "default",
 465                   "devcryptoeng"        => "default",
 466                   "ec_nistp_64_gcc_128" => "default",
 467                   "egd"                 => "default",
 468                   "external-tests"      => "default",
 469                   "fuzz-libfuzzer"      => "default",
 470                   "fuzz-afl"            => "default",
 471                   "md2"                 => "default",
 472                   "msan"                => "default",
 473                   "rc5"                 => "default",
 474                   "sctp"                => "default",
 475                   "ssl-trace"           => "default",
 476                   "ssl3"                => "default",
 477                   "ssl3-method"         => "default",
 478                   "trace"               => "default",
 479                   "ubsan"               => "default",
 480                   "unit-test"           => "default",
 481                   "weak-ssl-ciphers"    => "default",
 482                   "zlib"                => "default",
 483                   "zlib-dynamic"        => "default",
 484                   "ktls"                => "default",
 485                 );
 486
 487 # Note: => pair form used for aesthetics, not to truly make a hash table
 488 my @disable_cascades = (
 489     # "what"            => [ "cascade", ... ]
 490     sub { $config{processor} eq "386" }
 491                         => [ "sse2" ],
 492     "ssl"               => [ "ssl3" ],
 493     "ssl3-method"       => [ "ssl3" ],
 494     "zlib"              => [ "zlib-dynamic" ],
 495     "des"               => [ "mdc2" ],
 496     "ec"                => [ "ecdsa", "ecdh", "sm2" ],
 497     sub { $disabled{"ec"} && $disabled{"dh"} }
 498                         => [ "tls1_3" ],
 499     "dgram"             => [ "dtls", "sctp" ],
 500     "sock"              => [ "dgram" ],
 501     "dtls"              => [ @dtls ],
 502     sub { 0 == scalar grep { !$disabled{$_} } @dtls }
 503                         => [ "dtls" ],
 504
 505     "tls"               => [ @tls ],
 506     sub { 0 == scalar grep { !$disabled{$_} } @tls }
 507                         => [ "tls" ],
 508
 509     "crypto-mdebug"     => [ "crypto-mdebug-backtrace" ],
 510
 511     # If no modules, then no dynamic engines either
 512     "module"            => [ "dynamic-engine" ],
 513
 514     # Without shared libraries, dynamic engines aren't possible.
 515     # This is due to them having to link with libcrypto and register features
 516     # using the ENGINE functionality, and since that relies on global tables,
 517     # those *have* to be exacty the same as the ones accessed from the app,
 518     # which cannot be guaranteed if shared libraries aren't present.
 519     # (note that even with shared libraries, both the app and dynamic engines
 520     # must be linked with the same library)
 521     "shared"            => [ "dynamic-engine", "uplink" ],
 522     "dso"               => [ "dynamic-engine", "module" ],
 523     # Other modules don't necessarily have to link with libcrypto, so shared
 524     # libraries do not have to be a condition to produce those.
 525
 526     # Without position independent code, there can be no shared libraries
 527     # or modules.
 528     "pic"               => [ "shared", "module" ],
 529
 530     "module"            => [ "fips" ],
 531
 532     "engine"            => [ grep /eng$/, @disablables ],
 533     "hw"                => [ "padlockeng" ],
 534
 535     # no-autoalginit is only useful when building non-shared
 536     "autoalginit"       => [ "shared", "apps" ],
 537
 538     "stdio"             => [ "apps", "capieng", "egd" ],
 539     "apps"              => [ "tests" ],
 540     "tests"             => [ "external-tests" ],
 541     "comp"              => [ "zlib" ],
 542     "sm3"               => [ "sm2" ],
 543     sub { !$disabled{"unit-test"} } => [ "heartbeats" ],
 544
 545     sub { !$disabled{"msan"} } => [ "asm" ],
 546
 547     sub { $disabled{cmac}; } => [ "siv" ],
 548     "legacy"                 => [ "md2" ],
 549
 550     "cmp"               => [ "crmf" ],
 551     );
 552
 553 # Avoid protocol support holes.  Also disable all versions below N, if version
 554 # N is disabled while N+1 is enabled.
 555 #
 556 my @list = (reverse @tls);
 557 while ((my $first, my $second) = (shift @list, shift @list)) {
 558     last unless @list;
 559     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
 560                               => [ @list ] );
 561     unshift @list, $second;
 562 }
 563 my @list = (reverse @dtls);
 564 while ((my $first, my $second) = (shift @list, shift @list)) {
 565     last unless @list;
 566     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
 567                               => [ @list ] );
 568     unshift @list, $second;
 569 }
 570
 571 # Explicit "no-..." options will be collected in %disabled along with the defaults.
 572 # To remove something from %disabled, use "enable-foo".
 573 # For symmetry, "disable-foo" is a synonym for "no-foo".
 574
 575 &usage if ($#ARGV < 0);
 576
 577 # For the "make variables" CINCLUDES and CDEFINES, we support lists with
 578 # platform specific list separators.  Users from those platforms should
 579 # recognise those separators from how you set up the PATH to find executables.
 580 # The default is the Unix like separator, :, but as an exception, we also
 581 # support the space as separator.
 582 my $list_separator_re =
 583     { VMS           => qr/(?<!\^),/,
 584       MSWin32       => qr/(?<!\\);/ } -> {$^O} // qr/(?<!\\)[:\s]/;
 585 # All the "make variables" we support
 586 # Some get pre-populated for the sake of backward compatibility
 587 # (we supported those before the change to "make variable" support.
 588 my %user = (
 589     AR          => env('AR'),
 590     ARFLAGS     => [],
 591     AS          => undef,
 592     ASFLAGS     => [],
 593     CC          => env('CC'),
 594     CFLAGS      => [ env('CFLAGS') || () ],
 595     CXX         => env('CXX'),
 596     CXXFLAGS    => [ env('CXXFLAGS') || () ],
 597     CPP         => undef,
 598     CPPFLAGS    => [ env('CPPFLAGS') || () ],  # -D, -I, -Wp,
 599     CPPDEFINES  => [],  # Alternative for -D
 600     CPPINCLUDES => [],  # Alternative for -I
 601     CROSS_COMPILE => env('CROSS_COMPILE'),
 602     HASHBANGPERL=> env('HASHBANGPERL') || env('PERL'),
 603     LD          => undef,
 604     LDFLAGS     => [ env('LDFLAGS') || () ],  # -L, -Wl,
 605     LDLIBS      => [ env('LDLIBS') || () ],  # -l
 606     MT          => undef,
 607     MTFLAGS     => [],
 608     PERL        => env('PERL') || ($^O ne "VMS" ? $^X : "perl"),
 609     RANLIB      => env('RANLIB'),
 610     RC          => env('RC') || env('WINDRES'),
 611     RCFLAGS     => [ env('RCFLAGS') || () ],
 612     RM          => undef,
 613    );
 614 # Info about what "make variables" may be prefixed with the cross compiler
 615 # prefix.  This should NEVER mention any such variable with a list for value.
 616 my @user_crossable = qw ( AR AS CC CXX CPP LD MT RANLIB RC );
 617 # The same but for flags given as Configure options.  These are *additional*
 618 # input, as opposed to the VAR=string option that override the corresponding
 619 # config target attributes
 620 my %useradd = (
 621     CPPDEFINES  => [],
 622     CPPINCLUDES => [],
 623     CPPFLAGS    => [],
 624     CFLAGS      => [],
 625     CXXFLAGS    => [],
 626     LDFLAGS     => [],
 627     LDLIBS      => [],
 628     RCFLAGS     => [],
 629    );
 630
 631 my %user_synonyms = (
 632     HASHBANGPERL=> 'PERL',
 633     RC          => 'WINDRES',
 634    );
 635
 636 # Some target attributes have been renamed, this is the translation table
 637 my %target_attr_translate =(
 638     ar          => 'AR',
 639     as          => 'AS',
 640     cc          => 'CC',
 641     cxx         => 'CXX',
 642     cpp         => 'CPP',
 643     hashbangperl => 'HASHBANGPERL',
 644     ld          => 'LD',
 645     mt          => 'MT',
 646     ranlib      => 'RANLIB',
 647     rc          => 'RC',
 648     rm          => 'RM',
 649    );
 650
 651 # Initialisers coming from 'config' scripts
 652 $config{defines} = [ split(/$list_separator_re/, env('__CNF_CPPDEFINES')) ];
 653 $config{includes} = [ split(/$list_separator_re/, env('__CNF_CPPINCLUDES')) ];
 654 $config{cppflags} = [ env('__CNF_CPPFLAGS') || () ];
 655 $config{cflags} = [ env('__CNF_CFLAGS') || () ];
 656 $config{cxxflags} = [ env('__CNF_CXXFLAGS') || () ];
 657 $config{lflags} = [ env('__CNF_LDFLAGS') || () ];
 658 $config{ex_libs} = [ env('__CNF_LDLIBS') || () ];
 659
 660 $config{openssl_api_defines}=[];
 661 $config{openssl_sys_defines}=[];
 662 $config{openssl_feature_defines}=[];
 663 $config{options}="";
 664 $config{build_type} = "release";
 665 my $target="";
 666
 667 my %cmdvars = ();               # Stores FOO='blah' type arguments
 668 my %unsupported_options = ();
 669 my %deprecated_options = ();
 670 # If you change this, update apps/version.c
 671 my @known_seed_sources = qw(getrandom devrandom os egd none rdcpu librandom);
 672 my @seed_sources = ();
 673 while (@argvcopy)
 674         {
 675         $_ = shift @argvcopy;
 676
 677         # Support env variable assignments among the options
 678         if (m|^(\w+)=(.+)?$|)
 679                 {
 680                 $cmdvars{$1} = $2;
 681                 # Every time a variable is given as a configuration argument,
 682                 # it acts as a reset if the variable.
 683                 if (exists $user{$1})
 684                         {
 685                         $user{$1} = ref $user{$1} eq "ARRAY" ? [] : undef;
 686                         }
 687                 #if (exists $useradd{$1})
 688                 #       {
 689                 #       $useradd{$1} = [];
 690                 #       }
 691                 next;
 692                 }
 693
 694         # VMS is a case insensitive environment, and depending on settings
 695         # out of our control, we may receive options uppercased.  Let's
 696         # downcase at least the part before any equal sign.
 697         if ($^O eq "VMS")
 698                 {
 699                 s/^([^=]*)/lc($1)/e;
 700                 }
 701
 702         # some people just can't read the instructions, clang people have to...
 703         s/^-no-(?!integrated-as)/no-/;
 704
 705         # rewrite some options in "enable-..." form
 706         s /^-?-?shared$/enable-shared/;
 707         s /^sctp$/enable-sctp/;
 708         s /^threads$/enable-threads/;
 709         s /^zlib$/enable-zlib/;
 710         s /^zlib-dynamic$/enable-zlib-dynamic/;
 711
 712         if (/^(no|disable|enable)-(.+)$/)
 713                 {
 714                 my $word = $2;
 715                 if ($word !~ m|hw(?:-.+)| # special treatment for hw regexp opt
 716                         && !exists $deprecated_disablables{$word}
 717                         && !grep { $word eq $_ } @disablables)
 718                         {
 719                         $unsupported_options{$_} = 1;
 720                         next;
 721                         }
 722                 }
 723         if (/^no-(.+)$/ || /^disable-(.+)$/)
 724                 {
 725                 foreach my $proto ((@tls, @dtls))
 726                         {
 727                         if ($1 eq "$proto-method")
 728                                 {
 729                                 $disabled{"$proto"} = "option($proto-method)";
 730                                 last;
 731                                 }
 732                         }
 733                 if ($1 eq "dtls")
 734                         {
 735                         foreach my $proto (@dtls)
 736                                 {
 737                                 $disabled{$proto} = "option(dtls)";
 738                                 }
 739                         $disabled{"dtls"} = "option(dtls)";
 740                         }
 741                 elsif ($1 eq "ssl")
 742                         {
 743                         # Last one of its kind
 744                         $disabled{"ssl3"} = "option(ssl)";
 745                         }
 746                 elsif ($1 eq "tls")
 747                         {
 748                         # XXX: Tests will fail if all SSL/TLS
 749                         # protocols are disabled.
 750                         foreach my $proto (@tls)
 751                                 {
 752                                 $disabled{$proto} = "option(tls)";
 753                                 }
 754                         }
 755                 elsif ($1 eq "static-engine")
 756                         {
 757                         delete $disabled{"dynamic-engine"};
 758                         }
 759                 elsif ($1 eq "dynamic-engine")
 760                         {
 761                         $disabled{"dynamic-engine"} = "option";
 762                         }
 763                 elsif (exists $deprecated_disablables{$1})
 764                         {
 765                         $deprecated_options{$_} = 1;
 766                         if (defined $deprecated_disablables{$1})
 767                                 {
 768                                 $disabled{$deprecated_disablables{$1}} = "option";
 769                                 }
 770                         }
 771                 elsif ($1 =~ m|hw(?:-.+)|) # deprecate hw options in regexp form
 772                         {
 773                         $deprecated_options{$_} = 1;
 774                         }
 775                 else
 776                         {
 777                         $disabled{$1} = "option";
 778                         }
 779                 # No longer an automatic choice
 780                 $auto_threads = 0 if ($1 eq "threads");
 781                 }
 782         elsif (/^enable-(.+)$/)
 783                 {
 784                 if ($1 eq "static-engine")
 785                         {
 786                         $disabled{"dynamic-engine"} = "option";
 787                         }
 788                 elsif ($1 eq "dynamic-engine")
 789                         {
 790                         delete $disabled{"dynamic-engine"};
 791                         }
 792                 elsif ($1 eq "zlib-dynamic")
 793                         {
 794                         delete $disabled{"zlib"};
 795                         }
 796                 my $algo = $1;
 797                 delete $disabled{$algo};
 798
 799                 # No longer an automatic choice
 800                 $auto_threads = 0 if ($1 eq "threads");
 801                 }
 802         elsif (/^--strict-warnings$/)
 803                 {
 804                 # Pretend that our strict flags is a C flag, and replace it
 805                 # with the proper flags later on
 806                 push @{$useradd{CFLAGS}}, '--ossl-strict-warnings';
 807                 $strict_warnings=1;
 808                 }
 809         elsif (/^--debug$/)
 810                 {
 811                 $config{build_type} = "debug";
 812                 }
 813         elsif (/^--release$/)
 814                 {
 815                 $config{build_type} = "release";
 816                 }
 817         elsif (/^386$/)
 818                 { $config{processor}=386; }
 819         elsif (/^fips$/)
 820                 {
 821                 die "FIPS mode not supported\n";
 822                 }
 823         elsif (/^rsaref$/)
 824                 {
 825                 # No RSAref support any more since it's not needed.
 826                 # The check for the option is there so scripts aren't
 827                 # broken
 828                 }
 829         elsif (/^nofipscanistercheck$/)
 830                 {
 831                 die "FIPS mode not supported\n";
 832                 }
 833         elsif (m|^[-+/]|)
 834                 {
 835                 if (/^--prefix=(.*)$/)
 836                         {
 837                         $config{prefix}=$1;
 838                         die "Directory given with --prefix MUST be absolute\n"
 839                                 unless file_name_is_absolute($config{prefix});
 840                         }
 841                 elsif (/^--api=(.*)$/)
 842                         {
 843                         $config{api}=$1;
 844                         }
 845                 elsif (/^--libdir=(.*)$/)
 846                         {
 847                         $config{libdir}=$1;
 848                         }
 849                 elsif (/^--openssldir=(.*)$/)
 850                         {
 851                         $config{openssldir}=$1;
 852                         }
 853                 elsif (/^--with-zlib-lib=(.*)$/)
 854                         {
 855                         $withargs{zlib_lib}=$1;
 856                         }
 857                 elsif (/^--with-zlib-include=(.*)$/)
 858                         {
 859                         $withargs{zlib_include}=$1;
 860                         }
 861                 elsif (/^--with-fuzzer-lib=(.*)$/)
 862                         {
 863                         $withargs{fuzzer_lib}=$1;
 864                         }
 865                 elsif (/^--with-fuzzer-include=(.*)$/)
 866                         {
 867                         $withargs{fuzzer_include}=$1;
 868                         }
 869                 elsif (/^--with-rand-seed=(.*)$/)
 870                         {
 871                         foreach my $x (split(m|,|, $1))
 872                             {
 873                             die "Unknown --with-rand-seed choice $x\n"
 874                                 if ! grep { $x eq $_ } @known_seed_sources;
 875                             push @seed_sources, $x;
 876                             }
 877                         }
 878                 elsif (/^--cross-compile-prefix=(.*)$/)
 879                         {
 880                         $user{CROSS_COMPILE}=$1;
 881                         }
 882                 elsif (/^--config=(.*)$/)
 883                         {
 884                         read_config $1;
 885                         }
 886                 elsif (/^-l(.*)$/)
 887                         {
 888                         push @{$useradd{LDLIBS}}, $_;
 889                         }
 890                 elsif (/^-framework$/)
 891                         {
 892                         push @{$useradd{LDLIBS}}, $_, shift(@argvcopy);
 893                         }
 894                 elsif (/^-L(.*)$/ or /^-Wl,/)
 895                         {
 896                         push @{$useradd{LDFLAGS}}, $_;
 897                         }
 898                 elsif (/^-rpath$/ or /^-R$/)
 899                         # -rpath is the OSF1 rpath flag
 900                         # -R is the old Solaris rpath flag
 901                         {
 902                         my $rpath = shift(@argvcopy) || "";
 903                         $rpath .= " " if $rpath ne "";
 904                         push @{$useradd{LDFLAGS}}, $_, $rpath;
 905                         }
 906                 elsif (/^-static$/)
 907                         {
 908                         push @{$useradd{LDFLAGS}}, $_;
 909                         }
 910                 elsif (m|^[-/]D(.*)$|)
 911                         {
 912                         push @{$useradd{CPPDEFINES}}, $1;
 913                         }
 914                 elsif (m|^[-/]I(.*)$|)
 915                         {
 916                         push @{$useradd{CPPINCLUDES}}, $1;
 917                         }
 918                 elsif (/^-Wp,$/)
 919                         {
 920                         push @{$useradd{CPPFLAGS}}, $1;
 921                         }
 922                 else    # common if (/^[-+]/), just pass down...
 923                         {
 924                         # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
 925                         # This provides a simple way to pass options with arguments separated
 926                         # by spaces without quoting (e.g. -opt%20arg translates to -opt arg).
 927                         $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
 928                         push @{$useradd{CFLAGS}}, $_;
 929                         push @{$useradd{CXXFLAGS}}, $_;
 930                         }
 931                 }
 932         elsif (m|^/|)
 933                 {
 934                 # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
 935                 # This provides a simple way to pass options with arguments separated
 936                 # by spaces without quoting (e.g. /opt%20arg translates to /opt arg).
 937                 $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
 938                 push @{$useradd{CFLAGS}}, $_;
 939                 push @{$useradd{CXXFLAGS}}, $_;
 940                 }
 941         else
 942                 {
 943                 die "target already defined - $target (offending arg: $_)\n" if ($target ne "");
 944                 $target=$_;
 945                 }
 946         unless ($_ eq $target || /^no-/ || /^disable-/)
 947                 {
 948                 # "no-..." follows later after implied deactivations
 949                 # have been derived.  (Don't take this too seriously,
 950                 # we really only write OPTIONS to the Makefile out of
 951                 # nostalgia.)
 952
 953                 if ($config{options} eq "")
 954                         { $config{options} = $_; }
 955                 else
 956                         { $config{options} .= " ".$_; }
 957                 }
 958         }
 959
 960 if (defined($config{api}) && !exists $apitable->{$config{api}}) {
 961         die "***** Unsupported api compatibility level: $config{api}\n",
 962 }
 963
 964 if (keys %deprecated_options)
 965         {
 966         warn "***** Deprecated options: ",
 967                 join(", ", keys %deprecated_options), "\n";
 968         }
 969 if (keys %unsupported_options)
 970         {
 971         die "***** Unsupported options: ",
 972                 join(", ", keys %unsupported_options), "\n";
 973         }
 974
 975 # If any %useradd entry has been set, we must check that the "make
 976 # variables" haven't been set.  We start by checking of any %useradd entry
 977 # is set.
 978 if (grep { scalar @$_ > 0 } values %useradd) {
 979     # Hash of env / make variables names.  The possible values are:
 980     # 1 - "make vars"
 981     # 2 - %useradd entry set
 982     # 3 - both set
 983     my %detected_vars =
 984         map { my $v = 0;
 985               $v += 1 if $cmdvars{$_};
 986               $v += 2 if @{$useradd{$_}};
 987               $_ => $v }
 988         keys %useradd;
 989
 990     # If any of the corresponding "make variables" is set, we error
 991     if (grep { $_ & 1 } values %detected_vars) {
 992         my $names = join(', ', grep { $detected_vars{$_} > 0 }
 993                                sort keys %detected_vars);
 994         die <<"_____";
 995 ***** Mixing make variables and additional compiler/linker flags as
 996 ***** configure command line option is not permitted.
 997 ***** Affected make variables: $names
 998 _____
 999     }
1000 }
1001
1002 # Check through all supported command line variables to see if any of them
1003 # were set, and canonicalise the values we got.  If no compiler or linker
1004 # flag or anything else that affects %useradd was set, we also check the
1005 # environment for values.
1006 my $anyuseradd =
1007     grep { defined $_ && (ref $_ ne 'ARRAY' || @$_) } values %useradd;
1008 foreach (keys %user) {
1009     my $value = $cmdvars{$_};
1010     $value //= env($_) unless $anyuseradd;
1011     $value //=
1012         defined $user_synonyms{$_} ? $cmdvars{$user_synonyms{$_}} : undef;
1013     $value //= defined $user_synonyms{$_} ? env($user_synonyms{$_}) : undef
1014         unless $anyuseradd;
1015
1016     if (defined $value) {
1017         if (ref $user{$_} eq 'ARRAY') {
1018             $user{$_} = [ split /$list_separator_re/, $value ];
1019         } elsif (!defined $user{$_}) {
1020             $user{$_} = $value;
1021         }
1022     }
1023 }
1024
1025 if (grep { /-rpath\b/ } ($user{LDFLAGS} ? @{$user{LDFLAGS}} : ())
1026     && !$disabled{shared}
1027     && !($disabled{asan} && $disabled{msan} && $disabled{ubsan})) {
1028     die "***** Cannot simultaneously use -rpath, shared libraries, and\n",
1029         "***** any of asan, msan or ubsan\n";
1030 }
1031
1032 sub disable {
1033     my $disable_type = shift;
1034
1035     for (@_) {
1036         $disabled{$_} = $disable_type;
1037     }
1038
1039     my @tocheckfor = (@_ ? @_ : keys %disabled);
1040     while (@tocheckfor) {
1041         my %new_tocheckfor = ();
1042         my @cascade_copy = (@disable_cascades);
1043         while (@cascade_copy) {
1044             my ($test, $descendents) =
1045                 (shift @cascade_copy, shift @cascade_copy);
1046             if (ref($test) eq "CODE" ? $test->() : defined($disabled{$test})) {
1047                 foreach (grep { !defined($disabled{$_}) } @$descendents) {
1048                     $new_tocheckfor{$_} = 1; $disabled{$_} = "cascade";
1049                 }
1050             }
1051         }
1052         @tocheckfor = (keys %new_tocheckfor);
1053     }
1054 }
1055 disable();                     # First cascade run
1056
1057 our $die = sub { die @_; };
1058 if ($target eq "TABLE") {
1059     local $die = sub { warn @_; };
1060     foreach (sort keys %table) {
1061         print_table_entry($_, "TABLE");
1062     }
1063     exit 0;
1064 }
1065
1066 if ($target eq "LIST") {
1067     foreach (sort keys %table) {
1068         print $_,"\n" unless $table{$_}->{template};
1069     }
1070     exit 0;
1071 }
1072
1073 if ($target eq "HASH") {
1074     local $die = sub { warn @_; };
1075     print "%table = (\n";
1076     foreach (sort keys %table) {
1077         print_table_entry($_, "HASH");
1078     }
1079     exit 0;
1080 }
1081
1082 print "Configuring OpenSSL version $config{full_version} ";
1083 print "for target $target\n";
1084
1085 if (scalar(@seed_sources) == 0) {
1086     print "Using os-specific seed configuration\n";
1087     push @seed_sources, 'os';
1088 }
1089 if (scalar(grep { $_ eq 'none' } @seed_sources) > 0) {
1090     die "Cannot seed with none and anything else" if scalar(@seed_sources) > 1;
1091     warn <<_____ if scalar(@seed_sources) == 1;
1092
1093 ============================== WARNING ===============================
1094 You have selected the --with-rand-seed=none option, which effectively
1095 disables automatic reseeding of the OpenSSL random generator.
1096 All operations depending on the random generator such as creating keys
1097 will not work unless the random generator is seeded manually by the
1098 application.
1099
1100 Please read the 'Note on random number generation' section in the
1101 INSTALL instructions and the RAND_DRBG(7) manual page for more details.
1102 ============================== WARNING ===============================
1103
1104 _____
1105 }
1106 push @{$config{openssl_feature_defines}},
1107      map { (my $x = $_) =~ tr|[\-a-z]|[_A-Z]|; "OPENSSL_RAND_SEED_$x" }
1108         @seed_sources;
1109
1110 # Backward compatibility?
1111 if ($target =~ m/^CygWin32(-.*)$/) {
1112     $target = "Cygwin".$1;
1113 }
1114
1115 # Support for legacy targets having a name starting with 'debug-'
1116 my ($d, $t) = $target =~ m/^(debug-)?(.*)$/;
1117 if ($d) {
1118     $config{build_type} = "debug";
1119
1120     # If we do not find debug-foo in the table, the target is set to foo.
1121     if (!$table{$target}) {
1122         $target = $t;
1123     }
1124 }
1125
1126 &usage if !$table{$target} || $table{$target}->{template};
1127
1128 $config{target} = $target;
1129 my %target = resolve_config($target);
1130
1131 foreach (keys %target_attr_translate) {
1132     $target{$target_attr_translate{$_}} = $target{$_}
1133         if $target{$_};
1134     delete $target{$_};
1135 }
1136
1137 %target = ( %{$table{DEFAULTS}}, %target );
1138
1139 my %conf_files = map { $_ => 1 } (@{$target{_conf_fname_int}});
1140 $config{conf_files} = [ sort keys %conf_files ];
1141
1142 # Using sub disable within these loops may prove fragile, so we run
1143 # a cascade afterwards
1144 foreach my $feature (@{$target{disable}}) {
1145     if (exists $deprecated_disablables{$feature}) {
1146         warn "***** config $target disables deprecated feature $feature\n";
1147     } elsif (!grep { $feature eq $_ } @disablables) {
1148         die "***** config $target disables unknown feature $feature\n";
1149     }
1150     $disabled{$feature} = 'config';
1151 }
1152 foreach my $feature (@{$target{enable}}) {
1153     if ("default" eq ($disabled{$feature} // "")) {
1154         if (exists $deprecated_disablables{$feature}) {
1155             warn "***** config $target enables deprecated feature $feature\n";
1156         } elsif (!grep { $feature eq $_ } @disablables) {
1157             die "***** config $target enables unknown feature $feature\n";
1158         }
1159         delete $disabled{$feature};
1160     }
1161 }
1162
1163 # If uplink_arch isn't defined, disable uplink
1164 $disabled{uplink} = 'no uplink_arch' unless (defined $target{uplink_arch});
1165 # If asm_arch isn't defined, disable asm
1166 $disabled{asm} = 'no asm_arch' unless (defined $target{asm_arch});
1167
1168 disable();                      # Run a cascade now
1169
1170 $target{CXXFLAGS}//=$target{CFLAGS} if $target{CXX};
1171 $target{cxxflags}//=$target{cflags} if $target{CXX};
1172 $target{exe_extension}=".exe" if ($config{target} eq "DJGPP");
1173 $target{exe_extension}=".pm"  if ($config{target} =~ /vos/);
1174
1175 # Fill %config with values from %user, and in case those are undefined or
1176 # empty, use values from %target (acting as a default).
1177 foreach (keys %user) {
1178     my $ref_type = ref $user{$_};
1179
1180     # Temporary function.  Takes an intended ref type (empty string or "ARRAY")
1181     # and a value that's to be coerced into that type.
1182     my $mkvalue = sub {
1183         my $type = shift;
1184         my $value = shift;
1185         my $undef_p = shift;
1186
1187         die "Too many arguments for \$mkvalue" if @_;
1188
1189         while (ref $value eq 'CODE') {
1190             $value = $value->();
1191         }
1192
1193         if ($type eq 'ARRAY') {
1194             return undef unless defined $value;
1195             return undef if ref $value ne 'ARRAY' && !$value;
1196             return undef if ref $value eq 'ARRAY' && !@$value;
1197             return [ $value ] unless ref $value eq 'ARRAY';
1198         }
1199         return undef unless $value;
1200         return $value;
1201     };
1202
1203     $config{$_} =
1204         $mkvalue->($ref_type, $user{$_})
1205         || $mkvalue->($ref_type, $target{$_});
1206     delete $config{$_} unless defined $config{$_};
1207 }
1208
1209 # Finish up %config by appending things the user gave us on the command line
1210 # apart from "make variables"
1211 foreach (keys %useradd) {
1212     # The must all be lists, so we assert that here
1213     die "internal error: \$useradd{$_} isn't an ARRAY\n"
1214         unless ref $useradd{$_} eq 'ARRAY';
1215
1216     if (defined $config{$_}) {
1217         push @{$config{$_}}, @{$useradd{$_}};
1218     } else {
1219         $config{$_} = [ @{$useradd{$_}} ];
1220     }
1221 }
1222 # At this point, we can forget everything about %user and %useradd,
1223 # because it's now all been merged into the corresponding $config entry
1224
1225 # Allow overriding the build file name
1226 $config{build_file} = env('BUILDFILE') || $target{build_file} || "Makefile";
1227
1228 ######################################################################
1229 # Build up information for skipping certain directories depending on disabled
1230 # features, as well as setting up macros for disabled features.
1231
1232 # This is a tentative database of directories to skip.  Some entries may not
1233 # correspond to anything real, but that's ok, they will simply be ignored.
1234 # The actual processing of these entries is done in the build.info lookup
1235 # loop further down.
1236 #
1237 # The key is a Unix formatted path in the source tree, the value is an index
1238 # into %disabled_info, so any existing path gets added to a corresponding
1239 # 'skipped' entry in there with the list of skipped directories.
1240 my %skipdir = ();
1241 my %disabled_info = ();         # For configdata.pm
1242 foreach my $what (sort keys %disabled) {
1243     # There are deprecated disablables that translate to themselves.
1244     # They cause disabling cascades, but should otherwise not regiter.
1245     next if $deprecated_disablables{$what};
1246
1247     $config{options} .= " no-$what";
1248
1249     if (!grep { $what eq $_ } ( 'buildtest-c++', 'fips', 'threads', 'shared',
1250                                 'module', 'pic', 'dynamic-engine', 'makedepend',
1251                                 'zlib-dynamic', 'zlib', 'sse2', 'legacy' )) {
1252         (my $WHAT = uc $what) =~ s|-|_|g;
1253         my $skipdir = $what;
1254
1255         # fix-up crypto/directory name(s)
1256         $skipdir = "ripemd" if $what eq "rmd160";
1257         $skipdir = "whrlpool" if $what eq "whirlpool";
1258
1259         my $macro = $disabled_info{$what}->{macro} = "OPENSSL_NO_$WHAT";
1260         push @{$config{openssl_feature_defines}}, $macro;
1261
1262         $skipdir{engines} = $what if $what eq 'engine';
1263         $skipdir{"crypto/$skipdir"} = $what
1264             unless $what eq 'async' || $what eq 'err' || $what eq 'dso';
1265     }
1266 }
1267
1268 # Make sure build_scheme is consistent.
1269 $target{build_scheme} = [ $target{build_scheme} ]
1270     if ref($target{build_scheme}) ne "ARRAY";
1271
1272 my ($builder, $builder_platform, @builder_opts) =
1273     @{$target{build_scheme}};
1274
1275 foreach my $checker (($builder_platform."-".$target{build_file}."-checker.pm",
1276                       $builder_platform."-checker.pm")) {
1277     my $checker_path = catfile($srcdir, "Configurations", $checker);
1278     if (-f $checker_path) {
1279         my $fn = $ENV{CONFIGURE_CHECKER_WARN}
1280             ? sub { warn $@; } : sub { die $@; };
1281         if (! do $checker_path) {
1282             if ($@) {
1283                 $fn->($@);
1284             } elsif ($!) {
1285                 $fn->($!);
1286             } else {
1287                 $fn->("The detected tools didn't match the platform\n");
1288             }
1289         }
1290         last;
1291     }
1292 }
1293
1294 push @{$config{defines}}, "NDEBUG"    if $config{build_type} eq "release";
1295
1296 if ($target =~ /^mingw/ && `$config{CC} --target-help 2>&1` =~ m/-mno-cygwin/m)
1297         {
1298         push @{$config{cflags}}, "-mno-cygwin";
1299         push @{$config{cxxflags}}, "-mno-cygwin" if $config{CXX};
1300         push @{$config{shared_ldflag}}, "-mno-cygwin";
1301         }
1302
1303 if ($target =~ /linux.*-mips/ && !$disabled{asm}
1304         && !grep { $_ !~ /-m(ips|arch=)/ } (@{$config{CFLAGS}})) {
1305         # minimally required architecture flags for assembly modules
1306         my $value;
1307         $value = '-mips2' if ($target =~ /mips32/);
1308         $value = '-mips3' if ($target =~ /mips64/);
1309         unshift @{$config{cflags}}, $value;
1310         unshift @{$config{cxxflags}}, $value if $config{CXX};
1311 }
1312
1313 # If threads aren't disabled, check how possible they are
1314 unless ($disabled{threads}) {
1315     if ($auto_threads) {
1316         # Enabled by default, disable it forcibly if unavailable
1317         if ($target{thread_scheme} eq "(unknown)") {
1318             disable("unavailable", 'threads');
1319         }
1320     } else {
1321         # The user chose to enable threads explicitly, let's see
1322         # if there's a chance that's possible
1323         if ($target{thread_scheme} eq "(unknown)") {
1324             # If the user asked for "threads" and we don't have internal
1325             # knowledge how to do it, [s]he is expected to provide any
1326             # system-dependent compiler options that are necessary.  We
1327             # can't truly check that the given options are correct, but
1328             # we expect the user to know what [s]He is doing.
1329             if (!@{$config{CFLAGS}} && !@{$config{CPPDEFINES}}) {
1330                 die "You asked for multi-threading support, but didn't\n"
1331                     ,"provide any system-specific compiler options\n";
1332             }
1333         }
1334     }
1335 }
1336
1337 # Find out if clang's sanitizers have been enabled with -fsanitize
1338 # flags and ensure that the corresponding %disabled elements area
1339 # removed to reflect that the sanitizers are indeed enabled.
1340 my %detected_sanitizers = ();
1341 foreach (grep /^-fsanitize=/, @{$config{CFLAGS} || []}) {
1342     (my $checks = $_) =~ s/^-fsanitize=//;
1343     foreach (split /,/, $checks) {
1344         my $d = { address       => 'asan',
1345                   undefined     => 'ubsan',
1346                   memory        => 'msan' } -> {$_};
1347         next unless defined $d;
1348
1349         $detected_sanitizers{$d} = 1;
1350         if (defined $disabled{$d}) {
1351             die "***** Conflict between disabling $d and enabling $_ sanitizer"
1352                 if $disabled{$d} ne "default";
1353             delete $disabled{$d};
1354         }
1355     }
1356 }
1357
1358 # If threads still aren't disabled, add a C macro to ensure the source
1359 # code knows about it.  Any other flag is taken care of by the configs.
1360 unless($disabled{threads}) {
1361     push @{$config{openssl_feature_defines}}, "OPENSSL_THREADS";
1362 }
1363
1364 # With "deprecated" disable all deprecated features.
1365 if (defined($disabled{"deprecated"})) {
1366         $config{api} = $maxapi;
1367 }
1368
1369 my $no_shared_warn=0;
1370 if ($target{shared_target} eq "")
1371         {
1372         $no_shared_warn = 1
1373             if (!$disabled{shared} || !$disabled{"dynamic-engine"});
1374         disable('no-shared-target', 'pic');
1375         }
1376
1377 if ($disabled{"dynamic-engine"}) {
1378         push @{$config{openssl_feature_defines}}, "OPENSSL_NO_DYNAMIC_ENGINE";
1379         $config{dynamic_engines} = 0;
1380 } else {
1381         push @{$config{openssl_feature_defines}}, "OPENSSL_NO_STATIC_ENGINE";
1382         $config{dynamic_engines} = 1;
1383 }
1384
1385 unless ($disabled{asan} || defined $detected_sanitizers{asan}) {
1386     push @{$config{cflags}}, "-fsanitize=address";
1387 }
1388
1389 unless ($disabled{ubsan} || defined $detected_sanitizers{ubsan}) {
1390     # -DPEDANTIC or -fnosanitize=alignment may also be required on some
1391     # platforms.
1392     push @{$config{cflags}}, "-fsanitize=undefined", "-fno-sanitize-recover=all";
1393 }
1394
1395 unless ($disabled{msan} || defined $detected_sanitizers{msan}) {
1396   push @{$config{cflags}}, "-fsanitize=memory";
1397 }
1398
1399 unless ($disabled{"fuzz-libfuzzer"} && $disabled{"fuzz-afl"}
1400         && $disabled{asan} && $disabled{ubsan} && $disabled{msan}) {
1401     push @{$config{cflags}}, "-fno-omit-frame-pointer", "-g";
1402     push @{$config{cxxflags}}, "-fno-omit-frame-pointer", "-g" if $config{CXX};
1403 }
1404 #
1405 # Platform fix-ups
1406 #
1407
1408 # This saves the build files from having to check
1409 if ($disabled{pic})
1410         {
1411         foreach (qw(shared_cflag shared_cxxflag shared_cppflag
1412                     shared_defines shared_includes shared_ldflag
1413                     module_cflags module_cxxflags module_cppflags
1414                     module_defines module_includes module_lflags))
1415                 {
1416                 delete $config{$_};
1417                 $target{$_} = "";
1418                 }
1419         }
1420 else
1421         {
1422         push @{$config{lib_defines}}, "OPENSSL_PIC";
1423         }
1424
1425 if ($target{sys_id} ne "")
1426         {
1427         push @{$config{openssl_sys_defines}}, "OPENSSL_SYS_$target{sys_id}";
1428         }
1429
1430 unless ($disabled{asm}) {
1431 }
1432
1433 my %predefined_C = compiler_predefined($config{CROSS_COMPILE}.$config{CC});
1434 my %predefined_CXX = $config{CXX}
1435     ? compiler_predefined($config{CROSS_COMPILE}.$config{CXX})
1436     : ();
1437
1438 # Check for makedepend capabilities.
1439 if (!$disabled{makedepend}) {
1440     if ($config{target} =~ /^(VC|vms)-/) {
1441         # For VC- and vms- targets, there's nothing more to do here.  The
1442         # functionality is hard coded in the corresponding build files for
1443         # cl (Windows) and CC/DECC (VMS).
1444     } elsif (($predefined_C{__GNUC__} // -1) >= 3
1445              && !($predefined_C{__APPLE_CC__} && !$predefined_C{__clang__})) {
1446         # We know that GNU C version 3 and up as well as all clang
1447         # versions support dependency generation, but Xcode did not
1448         # handle $cc -M before clang support (but claims __GNUC__ = 3)
1449         $config{makedepprog} = "\$(CROSS_COMPILE)$config{CC}";
1450     } else {
1451         # In all other cases, we look for 'makedepend', and disable the
1452         # capability if not found.
1453         $config{makedepprog} = which('makedepend');
1454         disable('unavailable', 'makedepend') unless $config{makedepprog};
1455     }
1456 }
1457
1458 if (!$disabled{asm} && !$predefined_C{__MACH__} && $^O ne 'VMS') {
1459     # probe for -Wa,--noexecstack option...
1460     if ($predefined_C{__clang__}) {
1461         # clang has builtin assembler, which doesn't recognize --help,
1462         # but it apparently recognizes the option in question on all
1463         # supported platforms even when it's meaningless. In other words
1464         # probe would fail, but probed option always accepted...
1465         push @{$config{cflags}}, "-Wa,--noexecstack", "-Qunused-arguments";
1466     } else {
1467         my $cc = $config{CROSS_COMPILE}.$config{CC};
1468         open(PIPE, "$cc -Wa,--help -c -o null.$$.o -x assembler /dev/null 2>&1 |");
1469         while(<PIPE>) {
1470             if (m/--noexecstack/) {
1471                 push @{$config{cflags}}, "-Wa,--noexecstack";
1472                 last;
1473             }
1474         }
1475         close(PIPE);
1476         unlink("null.$$.o");
1477     }
1478 }
1479
1480 # Deal with bn_ops ###################################################
1481
1482 $config{bn_ll}                  =0;
1483 my $def_int="unsigned int";
1484 $config{rc4_int}                =$def_int;
1485 ($config{b64l},$config{b64},$config{b32})=(0,0,1);
1486
1487 my $count = 0;
1488 foreach (sort split(/\s+/,$target{bn_ops})) {
1489     $count++ if /SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT/;
1490     $config{bn_ll}=1                            if $_ eq 'BN_LLONG';
1491     $config{rc4_int}="unsigned char"            if $_ eq 'RC4_CHAR';
1492     ($config{b64l},$config{b64},$config{b32})
1493         =(0,1,0)                                if $_ eq 'SIXTY_FOUR_BIT';
1494     ($config{b64l},$config{b64},$config{b32})
1495         =(1,0,0)                                if $_ eq 'SIXTY_FOUR_BIT_LONG';
1496     ($config{b64l},$config{b64},$config{b32})
1497         =(0,0,1)                                if $_ eq 'THIRTY_TWO_BIT';
1498 }
1499 die "Exactly one of SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT can be set in bn_ops\n"
1500     if $count > 1;
1501
1502
1503 # Hack cflags for better warnings (dev option) #######################
1504
1505 # "Stringify" the C and C++ flags string.  This permits it to be made part of
1506 # a string and works as well on command lines.
1507 $config{cflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1508                         @{$config{cflags}} ];
1509 $config{cxxflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1510                           @{$config{cxxflags}} ] if $config{CXX};
1511
1512 $config{openssl_api_defines} = [
1513     "OPENSSL_MIN_API=".($apitable->{$config{api} // ""} // -1)
1514 ];
1515
1516 my @strict_warnings_collection=();
1517 if ($strict_warnings)
1518         {
1519         my $wopt;
1520         my $gccver = $predefined_C{__GNUC__} // -1;
1521
1522         warn "WARNING --strict-warnings requires gcc[>=4] or gcc-alike"
1523             unless $gccver >= 4;
1524         push @strict_warnings_collection, @gcc_devteam_warn;
1525         push @strict_warnings_collection, @clang_devteam_warn
1526             if (defined($predefined_C{__clang__}));
1527         }
1528
1529 if (grep { $_ eq '-static' } @{$config{LDFLAGS}}) {
1530     disable('static', 'pic', 'threads');
1531 }
1532
1533 $config{CFLAGS} = [ map { $_ eq '--ossl-strict-warnings'
1534                               ? @strict_warnings_collection
1535                               : ( $_ ) }
1536                     @{$config{CFLAGS}} ];
1537
1538 unless ($disabled{"crypto-mdebug-backtrace"})
1539         {
1540         foreach my $wopt (split /\s+/, $memleak_devteam_backtrace)
1541                 {
1542                 push @{$config{cflags}}, $wopt
1543                         unless grep { $_ eq $wopt } @{$config{cflags}};
1544                 }
1545         if ($target =~ /^BSD-/)
1546                 {
1547                 push @{$config{ex_libs}}, "-lexecinfo";
1548                 }
1549         }
1550
1551 unless ($disabled{afalgeng}) {
1552     $config{afalgeng}="";
1553     if (grep { $_ eq 'afalgeng' } @{$target{enable}}) {
1554         my $minver = 4*10000 + 1*100 + 0;
1555         if ($config{CROSS_COMPILE} eq "") {
1556             my $verstr = `uname -r`;
1557             my ($ma, $mi1, $mi2) = split("\\.", $verstr);
1558             ($mi2) = $mi2 =~ /(\d+)/;
1559             my $ver = $ma*10000 + $mi1*100 + $mi2;
1560             if ($ver < $minver) {
1561                 disable('too-old-kernel', 'afalgeng');
1562             } else {
1563                 push @{$config{engdirs}}, "afalg";
1564             }
1565         } else {
1566             disable('cross-compiling', 'afalgeng');
1567         }
1568     } else {
1569         disable('not-linux', 'afalgeng');
1570     }
1571 }
1572
1573 push @{$config{openssl_feature_defines}}, "OPENSSL_NO_AFALGENG" if ($disabled{afalgeng});
1574
1575 unless ($disabled{ktls}) {
1576     $config{ktls}="";
1577     if ($target =~ m/^linux/) {
1578         my $usr = "/usr/$config{cross_compile_prefix}";
1579         chop($usr);
1580         if ($config{cross_compile_prefix} eq "") {
1581             $usr = "/usr";
1582         }
1583         my $minver = (4 << 16) + (13 << 8) + 0;
1584         my @verstr = split(" ",`cat $usr/include/linux/version.h | grep LINUX_VERSION_CODE`);
1585
1586         if ($verstr[2] < $minver) {
1587             disable('too-old-kernel', 'ktls');
1588         }
1589     } elsif ($target =~ m/^BSD/) {
1590         my $cc = $config{CROSS_COMPILE}.$config{CC};
1591         system("printf '#include <sys/types.h>\n#include <sys/ktls.h>' | $cc -E - >/dev/null 2>&1");
1592         if ($? != 0) {
1593             disable('too-old-freebsd', 'ktls');
1594         }
1595     } else {
1596         disable('not-linux-or-freebsd', 'ktls');
1597     }
1598 }
1599
1600 push @{$config{openssl_other_defines}}, "OPENSSL_NO_KTLS" if ($disabled{ktls});
1601
1602 # Get the extra flags used when building shared libraries and modules.  We
1603 # do this late because some of them depend on %disabled.
1604
1605 # Make the flags to build DSOs the same as for shared libraries unless they
1606 # are already defined
1607 $target{module_cflags} = $target{shared_cflag} unless defined $target{module_cflags};
1608 $target{module_cxxflags} = $target{shared_cxxflag} unless defined $target{module_cxxflags};
1609 $target{module_ldflags} = $target{shared_ldflag} unless defined $target{module_ldflags};
1610 {
1611     my $shared_info_pl =
1612         catfile(dirname($0), "Configurations", "shared-info.pl");
1613     my %shared_info = read_eval_file($shared_info_pl);
1614     push @{$target{_conf_fname_int}}, $shared_info_pl;
1615     my $si = $target{shared_target};
1616     while (ref $si ne "HASH") {
1617         last if ! defined $si;
1618         if (ref $si eq "CODE") {
1619             $si = $si->();
1620         } else {
1621             $si = $shared_info{$si};
1622         }
1623     }
1624
1625     # Some of the 'shared_target' values don't have any entries in
1626     # %shared_info.  That's perfectly fine, AS LONG AS the build file
1627     # template knows how to handle this.  That is currently the case for
1628     # Windows and VMS.
1629     if (defined $si) {
1630         # Just as above, copy certain shared_* attributes to the corresponding
1631         # module_ attribute unless the latter is already defined
1632         $si->{module_cflags} = $si->{shared_cflag} unless defined $si->{module_cflags};
1633         $si->{module_cxxflags} = $si->{shared_cxxflag} unless defined $si->{module_cxxflags};
1634         $si->{module_ldflags} = $si->{shared_ldflag} unless defined $si->{module_ldflags};
1635         foreach (sort keys %$si) {
1636             $target{$_} = defined $target{$_}
1637                 ? add($si->{$_})->($target{$_})
1638                 : $si->{$_};
1639         }
1640     }
1641 }
1642
1643 # ALL MODIFICATIONS TO %disabled, %config and %target MUST BE DONE FROM HERE ON
1644
1645 # If we use the unified build, collect information from build.info files
1646 my %unified_info = ();
1647
1648 my $buildinfo_debug = defined($ENV{CONFIGURE_DEBUG_BUILDINFO});
1649 if ($builder eq "unified") {
1650     use Text::Template 1.46;
1651
1652     sub cleandir {
1653         my $base = shift;
1654         my $dir = shift;
1655         my $relativeto = shift || ".";
1656
1657         $dir = catdir($base,$dir) unless isabsolute($dir);
1658
1659         # Make sure the directories we're building in exists
1660         mkpath($dir);
1661
1662         my $res = abs2rel(absolutedir($dir), rel2abs($relativeto));
1663         #print STDERR "DEBUG[cleandir]: $dir , $base => $res\n";
1664         return $res;
1665     }
1666
1667     sub cleanfile {
1668         my $base = shift;
1669         my $file = shift;
1670         my $relativeto = shift || ".";
1671
1672         $file = catfile($base,$file) unless isabsolute($file);
1673
1674         my $d = dirname($file);
1675         my $f = basename($file);
1676
1677         # Make sure the directories we're building in exists
1678         mkpath($d);
1679
1680         my $res = abs2rel(catfile(absolutedir($d), $f), rel2abs($relativeto));
1681         #print STDERR "DEBUG[cleanfile]: $d , $f => $res\n";
1682         return $res;
1683     }
1684
1685     # Store the name of the template file we will build the build file from
1686     # in %config.  This may be useful for the build file itself.
1687     my @build_file_template_names =
1688         ( $builder_platform."-".$target{build_file}.".tmpl",
1689           $target{build_file}.".tmpl" );
1690     my @build_file_templates = ();
1691
1692     # First, look in the user provided directory, if given
1693     if (defined env($local_config_envname)) {
1694         @build_file_templates =
1695             map {
1696                 if ($^O eq 'VMS') {
1697                     # VMS environment variables are logical names,
1698                     # which can be used as is
1699                     $local_config_envname . ':' . $_;
1700                 } else {
1701                     catfile(env($local_config_envname), $_);
1702                 }
1703             }
1704             @build_file_template_names;
1705     }
1706     # Then, look in our standard directory
1707     push @build_file_templates,
1708         ( map { cleanfile($srcdir, catfile("Configurations", $_), $blddir) }
1709           @build_file_template_names );
1710
1711     my $build_file_template;
1712     for $_ (@build_file_templates) {
1713         $build_file_template = $_;
1714         last if -f $build_file_template;
1715
1716         $build_file_template = undef;
1717     }
1718     if (!defined $build_file_template) {
1719         die "*** Couldn't find any of:\n", join("\n", @build_file_templates), "\n";
1720     }
1721     $config{build_file_templates}
1722       = [ cleanfile($srcdir, catfile("Configurations", "common0.tmpl"),
1723                     $blddir),
1724           $build_file_template,
1725           cleanfile($srcdir, catfile("Configurations", "common.tmpl"),
1726                     $blddir) ];
1727
1728     my @build_dirs = ( [ ] );   # current directory
1729
1730     $config{build_infos} = [ ];
1731
1732     my %ordinals = ();
1733     while (@build_dirs) {
1734         my @curd = @{shift @build_dirs};
1735         my $sourced = catdir($srcdir, @curd);
1736         my $buildd = catdir($blddir, @curd);
1737
1738         my $unixdir = join('/', @curd);
1739         if (exists $skipdir{$unixdir}) {
1740             my $what = $skipdir{$unixdir};
1741             push @{$disabled_info{$what}->{skipped}}, catdir(@curd);
1742             next;
1743         }
1744
1745         mkpath($buildd);
1746
1747         my $f = 'build.info';
1748         # The basic things we're trying to build
1749         my @programs = ();
1750         my @libraries = ();
1751         my @modules = ();
1752         my @scripts = ();
1753
1754         my %sources = ();
1755         my %shared_sources = ();
1756         my %includes = ();
1757         my %defines = ();
1758         my %depends = ();
1759         my %generate = ();
1760
1761         # Support for $variablename in build.info files.
1762         # Embedded perl code is the ultimate master, still.  If its output
1763         # contains a dollar sign, it had better be escaped, or it will be
1764         # taken for a variable name prefix.
1765         my %variables = ();
1766         my $variable_re = qr/\$(?P<VARIABLE>[[:alpha:]][[:alnum:]_]*)/;
1767         my $expand_variables = sub {
1768             my $value = '';
1769             my $value_rest = shift;
1770
1771             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1772                 print STDERR
1773                     "DEBUG[\$expand_variables] Parsed '$value_rest' into:\n"
1774             }
1775             while ($value_rest =~ /(?<!\\)${variable_re}/) {
1776                 $value .= $`;
1777                 $value .= $variables{$+{VARIABLE}};
1778                 $value_rest = $';
1779             }
1780             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1781                 print STDERR
1782                     "DEBUG[\$expand_variables] ... '$value$value_rest'\n";
1783             }
1784             return $value . $value_rest;
1785         };
1786
1787         # Support for attributes in build.info files
1788         my %attributes = ();
1789         my $handle_attributes = sub {
1790             my $attr_str = shift;
1791             my $ref = shift;
1792             my @goals = @_;
1793
1794             return unless defined $attr_str;
1795
1796             my @a = tokenize($attr_str, qr|\s*,\s*|);
1797             foreach my $a (@a) {
1798                 my $ac = 1;
1799                 my $ak = $a;
1800                 my $av = 1;
1801                 if ($a =~ m|^(!)?(.*?)\s* = \s*(.*?)$|) {
1802                     $ac = ! $1;
1803                     $ak = $1;
1804                     $av = $2;
1805                 }
1806                 foreach my $g (@goals) {
1807                     if ($ac) {
1808                         $$ref->{$g}->{$ak} = $av;
1809                     } else {
1810                         delete $$ref->{$g}->{$ak};
1811                     }
1812                 }
1813             }
1814         };
1815
1816         # We want to detect configdata.pm in the source tree, so we
1817         # don't use it if the build tree is different.
1818         my $src_configdata = cleanfile($srcdir, "configdata.pm", $blddir);
1819
1820         push @{$config{build_infos}}, catfile(abs2rel($sourced, $blddir), $f);
1821         my $template =
1822             Text::Template->new(TYPE => 'FILE',
1823                                 SOURCE => catfile($sourced, $f),
1824                                 PREPEND => qq{use lib "$FindBin::Bin/util/perl";});
1825         die "Something went wrong with $sourced/$f: $!\n" unless $template;
1826         my @text =
1827             split /^/m,
1828             $template->fill_in(HASH => { config => \%config,
1829                                          target => \%target,
1830                                          disabled => \%disabled,
1831                                          withargs => \%withargs,
1832                                          builddir => abs2rel($buildd, $blddir),
1833                                          sourcedir => abs2rel($sourced, $blddir),
1834                                          buildtop => abs2rel($blddir, $blddir),
1835                                          sourcetop => abs2rel($srcdir, $blddir) },
1836                                DELIMITERS => [ "{-", "-}" ]);
1837
1838         # The top item of this stack has the following values
1839         # -2 positive already run and we found ELSE (following ELSIF should fail)
1840         # -1 positive already run (skip until ENDIF)
1841         # 0 negatives so far (if we're at a condition, check it)
1842         # 1 last was positive (don't skip lines until next ELSE, ELSIF or ENDIF)
1843         # 2 positive ELSE (following ELSIF should fail)
1844         my @skip = ();
1845
1846         # A few useful generic regexps
1847         my $index_re = qr/\[\s*(?P<INDEX>(?:\\.|.)*?)\s*\]/;
1848         my $cond_re = qr/\[\s*(?P<COND>(?:\\.|.)*?)\s*\]/;
1849         my $attribs_re = qr/(?:\{\s*(?P<ATTRIBS>(?:\\.|.)*?)\s*\})?/;
1850         my $value_re = qr/\s*(?P<VALUE>.*?)\s*/;
1851         collect_information(
1852             collect_from_array([ @text ],
1853                                qr/\\$/ => sub { my $l1 = shift; my $l2 = shift;
1854                                                 $l1 =~ s/\\$//; $l1.$l2 }),
1855             # Info we're looking for
1856             qr/^\s* IF ${cond_re} \s*$/x
1857             => sub {
1858                 if (! @skip || $skip[$#skip] > 0) {
1859                     push @skip, !! $expand_variables->($+{COND});
1860                 } else {
1861                     push @skip, -1;
1862                 }
1863             },
1864             qr/^\s* ELSIF ${cond_re} \s*$/x
1865             => sub { die "ELSIF out of scope" if ! @skip;
1866                      die "ELSIF following ELSE" if abs($skip[$#skip]) == 2;
1867                      $skip[$#skip] = -1 if $skip[$#skip] != 0;
1868                      $skip[$#skip] = !! $expand_variables->($+{COND})
1869                          if $skip[$#skip] == 0; },
1870             qr/^\s* ELSE \s*$/x
1871             => sub { die "ELSE out of scope" if ! @skip;
1872                      $skip[$#skip] = -2 if $skip[$#skip] != 0;
1873                      $skip[$#skip] = 2 if $skip[$#skip] == 0; },
1874             qr/^\s* ENDIF \s*$/x
1875             => sub { die "ENDIF out of scope" if ! @skip;
1876                      pop @skip; },
1877             qr/^\s* ${variable_re} \s* = ${value_re} $/x
1878             => sub {
1879                 if (!@skip || $skip[$#skip] > 0) {
1880                     $variables{$+{VARIABLE}} = $expand_variables->($+{VALUE});
1881                 }
1882             },
1883             qr/^\s* SUBDIRS \s* = ${value_re} $/x
1884             => sub {
1885                 if (!@skip || $skip[$#skip] > 0) {
1886                     foreach (tokenize($expand_variables->($+{VALUE}))) {
1887                         push @build_dirs, [ @curd, splitdir($_, 1) ];
1888                     }
1889                 }
1890             },
1891             qr/^\s* PROGRAMS ${attribs_re} \s* =  ${value_re} $/x
1892             => sub {
1893                 if (!@skip || $skip[$#skip] > 0) {
1894                     my @p = tokenize($expand_variables->($+{VALUE}));
1895                     push @programs, @p;
1896                     $handle_attributes->($+{ATTRIBS},
1897                                          \$attributes{programs},
1898                                          @p);
1899                 }
1900             },
1901             qr/^\s* LIBS ${attribs_re} \s* =  ${value_re} $/x
1902             => sub {
1903                 if (!@skip || $skip[$#skip] > 0) {
1904                     my @l = tokenize($expand_variables->($+{VALUE}));
1905                     push @libraries, @l;
1906                     $handle_attributes->($+{ATTRIBS},
1907                                          \$attributes{libraries},
1908                                          @l);
1909                 }
1910             },
1911             qr/^\s* MODULES ${attribs_re} \s* =  ${value_re} $/x
1912             => sub {
1913                 if (!@skip || $skip[$#skip] > 0) {
1914                     my @m = tokenize($expand_variables->($+{VALUE}));
1915                     push @modules, @m;
1916                     $handle_attributes->($+{ATTRIBS},
1917                                          \$attributes{modules},
1918                                          @m);
1919                 }
1920             },
1921             qr/^\s* SCRIPTS ${attribs_re} \s* =  ${value_re} $/x
1922             => sub {
1923                 if (!@skip || $skip[$#skip] > 0) {
1924                     my @s = tokenize($expand_variables->($+{VALUE}));
1925                     push @scripts, @s;
1926                     $handle_attributes->($+{ATTRIBS},
1927                                          \$attributes{scripts},
1928                                          @s);
1929                 }
1930             },
1931
1932             qr/^\s* ORDINALS ${index_re} = ${value_re} $/x
1933             => sub { push @{$ordinals{$expand_variables->($+{INDEX})}},
1934                          tokenize($expand_variables->($+{VALUE}))
1935                          if !@skip || $skip[$#skip] > 0 },
1936             qr/^\s* SOURCE ${index_re} = ${value_re} $/x
1937             => sub { push @{$sources{$expand_variables->($+{INDEX})}},
1938                          tokenize($expand_variables->($+{VALUE}))
1939                          if !@skip || $skip[$#skip] > 0 },
1940             qr/^\s* SHARED_SOURCE ${index_re} = ${value_re} $/x
1941             => sub { push @{$shared_sources{$expand_variables->($+{INDEX})}},
1942                          tokenize($expand_variables->($+{VALUE}))
1943                          if !@skip || $skip[$#skip] > 0 },
1944             qr/^\s* INCLUDE ${index_re} = ${value_re} $/x
1945             => sub { push @{$includes{$expand_variables->($+{INDEX})}},
1946                          tokenize($expand_variables->($+{VALUE}))
1947                          if !@skip || $skip[$#skip] > 0 },
1948             qr/^\s* DEFINE ${index_re} = ${value_re} $/x
1949             => sub { push @{$defines{$expand_variables->($+{INDEX})}},
1950                          tokenize($expand_variables->($+{VALUE}))
1951                          if !@skip || $skip[$#skip] > 0 },
1952             qr/^\s* DEPEND ${index_re} ${attribs_re} = ${value_re} $/x
1953             => sub {
1954                 if (!@skip || $skip[$#skip] > 0) {
1955                     my $i = $expand_variables->($+{INDEX});
1956                     my @d = tokenize($expand_variables->($+{VALUE}));
1957                     push @{$depends{$i}}, @d;
1958                     $handle_attributes->($+{ATTRIBS},
1959                                          \$attributes{depends}->{$i},
1960                                          @d);
1961                 }
1962             },
1963             qr/^\s* GENERATE ${index_re} = ${value_re} $/x
1964             => sub { push @{$generate{$expand_variables->($+{INDEX})}},
1965                          $+{VALUE}
1966                          if !@skip || $skip[$#skip] > 0 },
1967             qr/^\s* (?:\#.*)? $/x => sub { },
1968             "OTHERWISE" => sub { die "Something wrong with this line:\n$_\nat $sourced/$f" },
1969             "BEFORE" => sub {
1970                 if ($buildinfo_debug) {
1971                     print STDERR "DEBUG: Parsing ",join(" ", @_),"\n";
1972                     print STDERR "DEBUG: ... before parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
1973                 }
1974             },
1975             "AFTER" => sub {
1976                 if ($buildinfo_debug) {
1977                     print STDERR "DEBUG: .... after parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
1978                 }
1979             },
1980             );
1981         die "runaway IF?" if (@skip);
1982
1983         if (grep { defined $attributes{modules}->{$_}->{engine} } keys %attributes
1984                 and !$config{dynamic_engines}) {
1985             die <<"EOF"
1986 ENGINES can only be used if configured with 'dynamic-engine'.
1987 This is usually a fault in a build.info file.
1988 EOF
1989         }
1990
1991         {
1992             my %infos = ( programs  => [ @programs  ],
1993                           libraries => [ @libraries ],
1994                           modules   => [ @modules   ],
1995                           scripts   => [ @scripts   ] );
1996             foreach my $k (keys %infos) {
1997                 foreach (@{$infos{$k}}) {
1998                     my $item = cleanfile($buildd, $_, $blddir);
1999                     $unified_info{$k}->{$item} = 1;
2000
2001                     # Fix up associated attributes
2002                     $unified_info{attributes}->{$k}->{$item} =
2003                         $attributes{$k}->{$_}
2004                         if defined $attributes{$k}->{$_};
2005                 }
2006             }
2007         }
2008
2009         # Check that we haven't defined any library as both shared and
2010         # explicitly static.  That is forbidden.
2011         my @doubles = ();
2012         foreach (grep /\.a$/, keys %{$unified_info{libraries}}) {
2013             (my $l = $_) =~ s/\.a$//;
2014             push @doubles, $l if defined $unified_info{libraries}->{$l};
2015         }
2016         die "these libraries are both explicitly static and shared:\n  ",
2017             join(" ", @doubles), "\n"
2018             if @doubles;
2019
2020         foreach (keys %sources) {
2021             my $dest = $_;
2022             my $ddest = cleanfile($buildd, $_, $blddir);
2023             foreach (@{$sources{$dest}}) {
2024                 my $s = cleanfile($sourced, $_, $blddir);
2025
2026                 # If it isn't in the source tree, we assume it's generated
2027                 # in the build tree
2028                 if ($s eq $src_configdata || ! -f $s || $generate{$_}) {
2029                     $s = cleanfile($buildd, $_, $blddir);
2030                 }
2031                 # We recognise C++, C and asm files
2032                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2033                     my $o = $_;
2034                     $o =~ s/\.[csS]$/.o/; # C and assembler
2035                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2036                     $o = cleanfile($buildd, $o, $blddir);
2037                     $unified_info{sources}->{$ddest}->{$o} = -1;
2038                     $unified_info{sources}->{$o}->{$s} = -1;
2039                 } elsif ($s =~ /\.rc$/) {
2040                     # We also recognise resource files
2041                     my $o = $_;
2042                     $o =~ s/\.rc$/.res/; # Resource configuration
2043                     my $o = cleanfile($buildd, $o, $blddir);
2044                     $unified_info{sources}->{$ddest}->{$o} = -1;
2045                     $unified_info{sources}->{$o}->{$s} = -1;
2046                 } else {
2047                     $unified_info{sources}->{$ddest}->{$s} = 1;
2048                 }
2049             }
2050         }
2051
2052         foreach (keys %shared_sources) {
2053             my $dest = $_;
2054             my $ddest = cleanfile($buildd, $_, $blddir);
2055             foreach (@{$shared_sources{$dest}}) {
2056                 my $s = cleanfile($sourced, $_, $blddir);
2057
2058                 # If it isn't in the source tree, we assume it's generated
2059                 # in the build tree
2060                 if ($s eq $src_configdata || ! -f $s || $generate{$_}) {
2061                     $s = cleanfile($buildd, $_, $blddir);
2062                 }
2063
2064                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2065                     # We recognise C++, C and asm files
2066                     my $o = $_;
2067                     $o =~ s/\.[csS]$/.o/; # C and assembler
2068                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2069                     $o = cleanfile($buildd, $o, $blddir);
2070                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2071                     $unified_info{sources}->{$o}->{$s} = -1;
2072                 } elsif ($s =~ /\.rc$/) {
2073                     # We also recognise resource files
2074                     my $o = $_;
2075                     $o =~ s/\.rc$/.res/; # Resource configuration
2076                     my $o = cleanfile($buildd, $o, $blddir);
2077                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2078                     $unified_info{sources}->{$o}->{$s} = -1;
2079                 } elsif ($s =~ /\.ld$/) {
2080                     # We also recognise linker scripts (or corresponding)
2081                     # We know they are generated files
2082                     my $ld = cleanfile($buildd, $_, $blddir);
2083                     $unified_info{shared_sources}->{$ddest}->{$ld} = 1;
2084                 } else {
2085                     die "unrecognised source file type for shared library: $s\n";
2086                 }
2087             }
2088         }
2089
2090         foreach (keys %generate) {
2091             my $dest = $_;
2092             my $ddest = cleanfile($buildd, $_, $blddir);
2093             die "more than one generator for $dest: "
2094                     ,join(" ", @{$generate{$_}}),"\n"
2095                     if scalar @{$generate{$_}} > 1;
2096             my @generator = split /\s+/, $generate{$dest}->[0];
2097             $generator[0] = cleanfile($sourced, $generator[0], $blddir),
2098             $unified_info{generate}->{$ddest} = [ @generator ];
2099         }
2100
2101         foreach (keys %depends) {
2102             my $dest = $_;
2103             my $ddest = $dest eq "" ? "" : cleanfile($sourced, $_, $blddir);
2104
2105             # If the destination doesn't exist in source, it can only be
2106             # a generated file in the build tree.
2107             if ($ddest ne "" && ($ddest eq $src_configdata || ! -f $ddest)) {
2108                 $ddest = cleanfile($buildd, $_, $blddir);
2109             }
2110             foreach (@{$depends{$dest}}) {
2111                 my $d = cleanfile($sourced, $_, $blddir);
2112
2113                 # If we know it's generated, or assume it is because we can't
2114                 # find it in the source tree, we set file we depend on to be
2115                 # in the build tree rather than the source tree, and assume
2116                 # and that there are lines to build it in a BEGINRAW..ENDRAW
2117                 # section or in the Makefile template.
2118                 if ($d eq $src_configdata
2119                     || ! -f $d
2120                     || (grep { $d eq $_ }
2121                         map { cleanfile($srcdir, $_, $blddir) }
2122                         grep { /\.h$/ } keys %{$unified_info{generate}})) {
2123                     $d = cleanfile($buildd, $_, $blddir);
2124                 }
2125                 # Take note if the file to depend on is being renamed
2126                 # Take extra care with files ending with .a, they should
2127                 # be treated without that extension, and the extension
2128                 # should be added back after treatment.
2129                 $d =~ /(\.a)?$/;
2130                 my $e = $1 // "";
2131                 $d = $`.$e;
2132                 $unified_info{depends}->{$ddest}->{$d} = 1;
2133
2134                 # Fix up associated attributes
2135                 $unified_info{attributes}->{depends}->{$ddest}->{$d} =
2136                     $attributes{depends}->{$dest}->{$_}
2137                     if defined $attributes{depends}->{$dest}->{$_};
2138             }
2139         }
2140
2141         foreach (keys %includes) {
2142             my $dest = $_;
2143             my $ddest = cleanfile($sourced, $_, $blddir);
2144
2145             # If the destination doesn't exist in source, it can only be
2146             # a generated file in the build tree.
2147             if ($ddest eq $src_configdata || ! -f $ddest) {
2148                 $ddest = cleanfile($buildd, $_, $blddir);
2149             }
2150             foreach (@{$includes{$dest}}) {
2151                 my $is = cleandir($sourced, $_, $blddir);
2152                 my $ib = cleandir($buildd, $_, $blddir);
2153                 push @{$unified_info{includes}->{$ddest}->{source}}, $is
2154                     unless grep { $_ eq $is } @{$unified_info{includes}->{$ddest}->{source}};
2155                 push @{$unified_info{includes}->{$ddest}->{build}}, $ib
2156                     unless grep { $_ eq $ib } @{$unified_info{includes}->{$ddest}->{build}};
2157             }
2158         }
2159
2160         foreach my $dest (keys %defines) {
2161             my $ddest;
2162
2163             if ($dest ne "") {
2164                 $ddest = cleanfile($sourced, $dest, $blddir);
2165
2166                 # If the destination doesn't exist in source, it can only
2167                 # be a generated file in the build tree.
2168                 if (! -f $ddest) {
2169                     $ddest = cleanfile($buildd, $dest, $blddir);
2170                     if ($unified_info{rename}->{$ddest}) {
2171                         $ddest = $unified_info{rename}->{$ddest};
2172                     }
2173                 }
2174             }
2175             foreach my $v (@{$defines{$dest}}) {
2176                 $v =~ m|^([^=]*)(=.*)?$|;
2177                 die "0 length macro name not permitted\n" if $1 eq "";
2178                 if ($dest ne "") {
2179                     die "$1 defined more than once\n"
2180                         if defined $unified_info{defines}->{$ddest}->{$1};
2181                     $unified_info{defines}->{$ddest}->{$1} = $2;
2182                 } else {
2183                     die "$1 defined more than once\n"
2184                         if grep { $v eq $_ } @{$config{defines}};
2185                     push @{$config{defines}}, $v;
2186                 }
2187             }
2188         }
2189     }
2190
2191     my $ordinals_text = join(', ', sort keys %ordinals);
2192     warn <<"EOF" if $ordinals_text;
2193
2194 WARNING: ORDINALS were specified for $ordinals_text
2195 They are ignored and should be replaced with a combination of GENERATE,
2196 DEPEND and SHARED_SOURCE.
2197 EOF
2198
2199
2200     # Go through the sources of all libraries and check that the same basename
2201     # doesn't appear more than once.  Some static library archivers depend on
2202     # them being unique.
2203     {
2204         my $err = 0;
2205         foreach my $prod (keys %{$unified_info{libraries}}) {
2206             my @prod_sources =
2207                 map { keys %{$unified_info{sources}->{$_}} }
2208                 keys %{$unified_info{sources}->{$prod}};
2209             my %srccnt = ();
2210
2211             # Count how many times a given each source basename
2212             # appears for each product.
2213             foreach my $src (@prod_sources) {
2214                 $srccnt{basename $src}++;
2215             }
2216
2217             foreach my $src (keys %srccnt) {
2218                 if ((my $cnt = $srccnt{$src}) > 1) {
2219                     print STDERR "$src appears $cnt times for the product $prod\n";
2220                     $err++
2221                 }
2222             }
2223         }
2224         die if $err > 0;
2225     }
2226
2227     # Massage the result
2228
2229     # If we depend on a header file or a perl module, add an inclusion of
2230     # its directory to allow smoothe inclusion
2231     foreach my $dest (keys %{$unified_info{depends}}) {
2232         next if $dest eq "";
2233         foreach my $d (keys %{$unified_info{depends}->{$dest}}) {
2234             next unless $d =~ /\.(h|pm)$/;
2235             my $i = dirname($d);
2236             my $spot =
2237                 $d eq "configdata.pm" || defined($unified_info{generate}->{$d})
2238                 ? 'build' : 'source';
2239             push @{$unified_info{includes}->{$dest}->{$spot}}, $i
2240                 unless grep { $_ eq $i } @{$unified_info{includes}->{$dest}->{$spot}};
2241         }
2242     }
2243
2244     # Go through all intermediary files and change their names to something that
2245     # reflects what they will be built for.  Note that for some source files,
2246     # this leads to duplicate object files because they are used multiple times.
2247     # the goal is to rename all object files according to this scheme:
2248     #    {productname}-{midfix}-{origobjname}.[o|res]
2249     # the {midfix} is a keyword indicating the type of product, which is mostly
2250     # valuable for libraries since they come in two forms.
2251     #
2252     # This also reorganises the {sources} and {shared_sources} so that the
2253     # former only contains ALL object files that are supposed to end up in
2254     # static libraries and programs, while the latter contains ALL object files
2255     # that are supposed to end up in shared libraries and DSOs.
2256     # The main reason for having two different source structures is to allow
2257     # the same name to be used for the static and the shared variants of a
2258     # library.
2259     {
2260         # Take copies so we don't get interference from added stuff
2261         my %unified_copy = ();
2262         foreach (('sources', 'shared_sources')) {
2263             $unified_copy{$_} = { %{$unified_info{$_}} }
2264                 if defined($unified_info{$_});
2265             delete $unified_info{$_};
2266         }
2267         foreach my $prodtype (('programs', 'libraries', 'modules', 'scripts')) {
2268             # $intent serves multi purposes:
2269             # - give a prefix for the new object files names
2270             # - in the case of libraries, rearrange the object files so static
2271             #   libraries use the 'sources' structure exclusively, while shared
2272             #   libraries use the 'shared_sources' structure exclusively.
2273             my $intent = {
2274                 programs  => { bin    => { src => [ 'sources' ],
2275                                            dst => 'sources' } },
2276                 libraries => { lib    => { src => [ 'sources' ],
2277                                            dst => 'sources' },
2278                                shlib  => { prodselect =>
2279                                                sub { grep !/\.a$/, @_ },
2280                                            src => [ 'sources',
2281                                                     'shared_sources' ],
2282                                            dst => 'shared_sources' } },
2283                 modules   => { dso    => { src => [ 'sources' ],
2284                                            dst => 'sources' } },
2285                 scripts   => { script => { src => [ 'sources' ],
2286                                            dst => 'sources' } }
2287                } -> {$prodtype};
2288             foreach my $kind (keys %$intent) {
2289                 next if ($intent->{$kind}->{dst} eq 'shared_sources'
2290                              && $disabled{shared});
2291
2292                 my @src = @{$intent->{$kind}->{src}};
2293                 my $dst = $intent->{$kind}->{dst};
2294                 my $prodselect = $intent->{$kind}->{prodselect} // sub { @_ };
2295                 foreach my $prod ($prodselect->(keys %{$unified_info{$prodtype}})) {
2296                     # %prod_sources has all applicable objects as keys, and
2297                     # their corresponding sources as values
2298                     my %prod_sources =
2299                         map { $_ => [ keys %{$unified_copy{sources}->{$_}} ] }
2300                         map { keys %{$unified_copy{$_}->{$prod}} }
2301                         @src;
2302                     foreach (keys %prod_sources) {
2303                         # Only affect object files and resource files,
2304                         # the others simply get a new value
2305                         # (+1 instead of -1)
2306                         if ($_ =~ /\.(o|res)$/) {
2307                             (my $prodname = $prod) =~ s|\.a$||;
2308                             my $newobj =
2309                                 catfile(dirname($_),
2310                                         basename($prodname)
2311                                             . '-' . $kind
2312                                             . '-' . basename($_));
2313                             $unified_info{$dst}->{$prod}->{$newobj} = 1;
2314                             foreach my $src (@{$prod_sources{$_}}) {
2315                                 $unified_info{sources}->{$newobj}->{$src} = 1;
2316                             }
2317                             # Adjust dependencies
2318                             foreach my $deps (keys %{$unified_info{depends}->{$_}}) {
2319                                 $unified_info{depends}->{$_}->{$deps} = -1;
2320                                 $unified_info{depends}->{$newobj}->{$deps} = 1;
2321                             }
2322                             # Adjust includes
2323                             foreach my $k (('source', 'build')) {
2324                                 next unless
2325                                     defined($unified_info{includes}->{$_}->{$k});
2326                                 my @incs = @{$unified_info{includes}->{$_}->{$k}};
2327                                 $unified_info{includes}->{$newobj}->{$k} = [ @incs ];
2328                             }
2329                         } else {
2330                             $unified_info{$dst}->{$prod}->{$_} = 1;
2331                         }
2332                     }
2333                 }
2334             }
2335         }
2336     }
2337
2338     # At this point, we have a number of sources with the value -1.  They
2339     # aren't part of the local build and are probably meant for a different
2340     # platform, and can therefore be cleaned away.  That happens when making
2341     # %unified_info more efficient below.
2342
2343     ### Make unified_info a bit more efficient
2344     # One level structures
2345     foreach (("programs", "libraries", "modules", "scripts")) {
2346         $unified_info{$_} = [ sort keys %{$unified_info{$_}} ];
2347     }
2348     # Two level structures
2349     foreach my $l1 (("sources", "shared_sources", "ldadd", "depends")) {
2350         foreach my $l2 (sort keys %{$unified_info{$l1}}) {
2351             my @items =
2352                 sort
2353                 grep { $unified_info{$l1}->{$l2}->{$_} > 0 }
2354                 keys %{$unified_info{$l1}->{$l2}};
2355             if (@items) {
2356                 $unified_info{$l1}->{$l2} = [ @items ];
2357             } else {
2358                 delete $unified_info{$l1}->{$l2};
2359             }
2360         }
2361     }
2362     # Defines
2363     foreach my $dest (sort keys %{$unified_info{defines}}) {
2364         $unified_info{defines}->{$dest}
2365             = [ map { $_.$unified_info{defines}->{$dest}->{$_} }
2366                 sort keys %{$unified_info{defines}->{$dest}} ];
2367     }
2368     # Includes
2369     foreach my $dest (sort keys %{$unified_info{includes}}) {
2370         if (defined($unified_info{includes}->{$dest}->{build})) {
2371             my @source_includes = ();
2372             @source_includes = ( @{$unified_info{includes}->{$dest}->{source}} )
2373                 if defined($unified_info{includes}->{$dest}->{source});
2374             $unified_info{includes}->{$dest} =
2375                 [ @{$unified_info{includes}->{$dest}->{build}} ];
2376             foreach my $inc (@source_includes) {
2377                 push @{$unified_info{includes}->{$dest}}, $inc
2378                     unless grep { $_ eq $inc } @{$unified_info{includes}->{$dest}};
2379             }
2380         } elsif (defined($unified_info{includes}->{$dest}->{source})) {
2381             $unified_info{includes}->{$dest} =
2382                 [ @{$unified_info{includes}->{$dest}->{source}} ];
2383         } else {
2384             delete $unified_info{includes}->{$dest};
2385         }
2386     }
2387
2388     # For convenience collect information regarding directories where
2389     # files are generated, those generated files and the end product
2390     # they end up in where applicable.  Then, add build rules for those
2391     # directories
2392     my %loopinfo = ( "lib" => [ @{$unified_info{libraries}} ],
2393                      "dso" => [ @{$unified_info{modules}} ],
2394                      "bin" => [ @{$unified_info{programs}} ],
2395                      "script" => [ @{$unified_info{scripts}} ] );
2396     foreach my $type (keys %loopinfo) {
2397         foreach my $product (@{$loopinfo{$type}}) {
2398             my %dirs = ();
2399             my $pd = dirname($product);
2400
2401             foreach (@{$unified_info{sources}->{$product} // []},
2402                      @{$unified_info{shared_sources}->{$product} // []}) {
2403                 my $d = dirname($_);
2404
2405                 # We don't want to create targets for source directories
2406                 # when building out of source
2407                 next if ($config{sourcedir} ne $config{builddir}
2408                              && $d =~ m|^\Q$config{sourcedir}\E|);
2409                 # We already have a "test" target, and the current directory
2410                 # is just silly to make a target for
2411                 next if $d eq "test" || $d eq ".";
2412
2413                 $dirs{$d} = 1;
2414                 push @{$unified_info{dirinfo}->{$d}->{deps}}, $_
2415                     if $d ne $pd;
2416             }
2417             foreach (keys %dirs) {
2418                 push @{$unified_info{dirinfo}->{$_}->{products}->{$type}},
2419                     $product;
2420             }
2421         }
2422     }
2423 }
2424
2425 # For the schemes that need it, we provide the old *_obj configs
2426 # from the *_asm_obj ones
2427 foreach (grep /_(asm|aux)_src$/, keys %target) {
2428     my $src = $_;
2429     (my $obj = $_) =~ s/_(asm|aux)_src$/_obj/;
2430     $target{$obj} = $target{$src};
2431     $target{$obj} =~ s/\.[csS]\b/.o/g; # C and assembler
2432     $target{$obj} =~ s/\.(cc|cpp)\b/_cc.o/g; # C++
2433 }
2434
2435 # Write down our configuration where it fits #########################
2436
2437 my %template_vars = (
2438     config => \%config,
2439     target => \%target,
2440     disablables => \@disablables,
2441     disablables_int => \@disablables_int,
2442     disabled => \%disabled,
2443     withargs => \%withargs,
2444     unified_info => \%unified_info,
2445     tls => \@tls,
2446     dtls => \@dtls,
2447     makevars => [ sort keys %user ],
2448     disabled_info => \%disabled_info,
2449     user_crossable => \@user_crossable,
2450 );
2451 my $configdata_outname = 'configdata.pm';
2452 print "Creating $configdata_outname\n";
2453 open CONFIGDATA, ">$configdata_outname.new"
2454             or die "Trying to create $configdata_outname.new: $!";
2455 my $configdata_tmplname = cleanfile($srcdir, "configdata.pm.in", $blddir);
2456 my $configdata_tmpl =
2457     OpenSSL::Template->new(TYPE => 'FILE', SOURCE => $configdata_tmplname);
2458 $configdata_tmpl->fill_in(
2459     FILENAME => $configdata_tmplname,
2460     OUTPUT => \*CONFIGDATA,
2461     HASH => { %template_vars,
2462               autowarntext => [
2463                   'WARNING: do not edit!',
2464                   "Generated by Configure from $configdata_tmplname",
2465               ] }
2466 ) or die $Text::Template::ERROR;
2467 close CONFIGDATA;
2468 rename "$configdata_outname.new", $configdata_outname;
2469 if ($builder_platform eq 'unix') {
2470     my $mode = (0755 & ~umask);
2471     chmod $mode, 'configdata.pm'
2472         or warn sprintf("WARNING: Couldn't change mode for 'configdata.pm' to 0%03o: %s\n",$mode,$!);
2473 }
2474
2475 print "Running $configdata_outname\n";
2476 my $perlcmd = (quotify("maybeshell", $config{PERL}))[0];
2477 my $cmd = "$perlcmd $configdata_outname";
2478 #print STDERR "DEBUG[run_dofile]: \$cmd = $cmd\n";
2479 system($cmd);
2480 exit 1 if $? != 0;
2481
2482 $SIG{__DIE__} = $orig_death_handler;
2483
2484 print <<"EOF" if ($disabled{threads} eq "unavailable");
2485
2486 The library could not be configured for supporting multi-threaded
2487 applications as the compiler options required on this system are not known.
2488 See file INSTALL for details if you need multi-threading.
2489 EOF
2490
2491 print <<"EOF" if ($no_shared_warn);
2492
2493 The options 'shared', 'pic' and 'dynamic-engine' aren't supported on this
2494 platform, so we will pretend you gave the option 'no-pic', which also disables
2495 'shared' and 'dynamic-engine'.  If you know how to implement shared libraries
2496 or position independent code, please let us know (but please first make sure
2497 you have tried with a current version of OpenSSL).
2498 EOF
2499
2500 print <<"EOF";
2501
2502 **********************************************************************
2503 ***                                                                ***
2504 ***   OpenSSL has been successfully configured                     ***
2505 ***                                                                ***
2506 ***   If you encounter a problem while building, please open an    ***
2507 ***   issue on GitHub <https://github.com/openssl/openssl/issues>  ***
2508 ***   and include the output from the following command:           ***
2509 ***                                                                ***
2510 ***       perl configdata.pm --dump                                ***
2511 ***                                                                ***
2512 ***   (If you are new to OpenSSL, you might want to consult the    ***
2513 ***   'Troubleshooting' section in the INSTALL file first)         ***
2514 ***                                                                ***
2515 **********************************************************************
2516 EOF
2517
2518 exit(0);
2519
2520 ######################################################################
2521 #
2522 # Helpers and utility functions
2523 #
2524
2525 # Death handler, to print a helpful message in case of failure #######
2526 #
2527 sub death_handler {
2528     die @_ if $^S;              # To prevent the added message in eval blocks
2529     my $build_file = $target{build_file} // "build file";
2530     my @message = ( <<"_____", @_ );
2531
2532 Failure!  $build_file wasn't produced.
2533 Please read INSTALL and associated NOTES files.  You may also have to look over
2534 your available compiler tool chain or change your configuration.
2535
2536 _____
2537
2538     # Dying is terminal, so it's ok to reset the signal handler here.
2539     $SIG{__DIE__} = $orig_death_handler;
2540     die @message;
2541 }
2542
2543 # Configuration file reading #########################################
2544
2545 # Note: All of the helper functions are for lazy evaluation.  They all
2546 # return a CODE ref, which will return the intended value when evaluated.
2547 # Thus, whenever there's mention of a returned value, it's about that
2548 # intended value.
2549
2550 # Helper function to implement conditional value variants, with a default
2551 # plus additional values based on the value of $config{build_type}.
2552 # Arguments are given in hash table form:
2553 #
2554 #       picker(default => "Basic string: ",
2555 #              debug   => "debug",
2556 #              release => "release")
2557 #
2558 # When configuring with --debug, the resulting string will be
2559 # "Basic string: debug", and when not, it will be "Basic string: release"
2560 #
2561 # This can be used to create variants of sets of flags according to the
2562 # build type:
2563 #
2564 #       cflags => picker(default => "-Wall",
2565 #                        debug   => "-g -O0",
2566 #                        release => "-O3")
2567 #
2568 sub picker {
2569     my %opts = @_;
2570     return sub { add($opts{default} || (),
2571                      $opts{$config{build_type}} || ())->(); }
2572 }
2573
2574 # Helper function to combine several values of different types into one.
2575 # This is useful if you want to combine a string with the result of a
2576 # lazy function, such as:
2577 #
2578 #       cflags => combine("-Wall", sub { $disabled{zlib} ? () : "-DZLIB" })
2579 #
2580 sub combine {
2581     my @stuff = @_;
2582     return sub { add(@stuff)->(); }
2583 }
2584
2585 # Helper function to implement conditional values depending on the value
2586 # of $disabled{threads}.  Can be used as follows:
2587 #
2588 #       cflags => combine("-Wall", threads("-pthread"))
2589 #
2590 sub threads {
2591     my @flags = @_;
2592     return sub { add($disabled{threads} ? () : @flags)->(); }
2593 }
2594
2595 sub shared {
2596     my @flags = @_;
2597     return sub { add($disabled{shared} ? () : @flags)->(); }
2598 }
2599
2600 our $add_called = 0;
2601 # Helper function to implement adding values to already existing configuration
2602 # values.  It handles elements that are ARRAYs, CODEs and scalars
2603 sub _add {
2604     my $separator = shift;
2605
2606     # If there's any ARRAY in the collection of values OR the separator
2607     # is undef, we will return an ARRAY of combined values, otherwise a
2608     # string of joined values with $separator as the separator.
2609     my $found_array = !defined($separator);
2610
2611     my @values =
2612         map {
2613             my $res = $_;
2614             while (ref($res) eq "CODE") {
2615                 $res = $res->();
2616             }
2617             if (defined($res)) {
2618                 if (ref($res) eq "ARRAY") {
2619                     $found_array = 1;
2620                     @$res;
2621                 } else {
2622                     $res;
2623                 }
2624             } else {
2625                 ();
2626             }
2627     } (@_);
2628
2629     $add_called = 1;
2630
2631     if ($found_array) {
2632         [ @values ];
2633     } else {
2634         join($separator, grep { defined($_) && $_ ne "" } @values);
2635     }
2636 }
2637 sub add_before {
2638     my $separator = " ";
2639     if (ref($_[$#_]) eq "HASH") {
2640         my $opts = pop;
2641         $separator = $opts->{separator};
2642     }
2643     my @x = @_;
2644     sub { _add($separator, @x, @_) };
2645 }
2646 sub add {
2647     my $separator = " ";
2648     if (ref($_[$#_]) eq "HASH") {
2649         my $opts = pop;
2650         $separator = $opts->{separator};
2651     }
2652     my @x = @_;
2653     sub { _add($separator, @_, @x) };
2654 }
2655
2656 sub read_eval_file {
2657     my $fname = shift;
2658     my $content;
2659     my @result;
2660
2661     open F, "< $fname" or die "Can't open '$fname': $!\n";
2662     {
2663         undef local $/;
2664         $content = <F>;
2665     }
2666     close F;
2667     {
2668         local $@;
2669
2670         @result = ( eval $content );
2671         warn $@ if $@;
2672     }
2673     return wantarray ? @result : $result[0];
2674 }
2675
2676 # configuration reader, evaluates the input file as a perl script and expects
2677 # it to fill %targets with target configurations.  Those are then added to
2678 # %table.
2679 sub read_config {
2680     my $fname = shift;
2681     my %targets;
2682
2683     {
2684         # Protect certain tables from tampering
2685         local %table = ();
2686
2687         %targets = read_eval_file($fname);
2688     }
2689     my %preexisting = ();
2690     foreach (sort keys %targets) {
2691         $preexisting{$_} = 1 if $table{$_};
2692     }
2693     die <<"EOF",
2694 The following config targets from $fname
2695 shadow pre-existing config targets with the same name:
2696 EOF
2697         map { "  $_\n" } sort keys %preexisting
2698         if %preexisting;
2699
2700
2701     # For each target, check that it's configured with a hash table.
2702     foreach (keys %targets) {
2703         if (ref($targets{$_}) ne "HASH") {
2704             if (ref($targets{$_}) eq "") {
2705                 warn "Deprecated target configuration for $_, ignoring...\n";
2706             } else {
2707                 warn "Misconfigured target configuration for $_ (should be a hash table), ignoring...\n";
2708             }
2709             delete $targets{$_};
2710         } else {
2711             $targets{$_}->{_conf_fname_int} = add([ $fname ]);
2712         }
2713     }
2714
2715     %table = (%table, %targets);
2716
2717 }
2718
2719 # configuration resolver.  Will only resolve all the lazy evaluation
2720 # codeblocks for the chosen target and all those it inherits from,
2721 # recursively
2722 sub resolve_config {
2723     my $target = shift;
2724     my @breadcrumbs = @_;
2725
2726 #    my $extra_checks = defined($ENV{CONFIGURE_EXTRA_CHECKS});
2727
2728     if (grep { $_ eq $target } @breadcrumbs) {
2729         die "inherit_from loop!  target backtrace:\n  "
2730             ,$target,"\n  ",join("\n  ", @breadcrumbs),"\n";
2731     }
2732
2733     if (!defined($table{$target})) {
2734         warn "Warning! target $target doesn't exist!\n";
2735         return ();
2736     }
2737     # Recurse through all inheritances.  They will be resolved on the
2738     # fly, so when this operation is done, they will all just be a
2739     # bunch of attributes with string values.
2740     # What we get here, though, are keys with references to lists of
2741     # the combined values of them all.  We will deal with lists after
2742     # this stage is done.
2743     my %combined_inheritance = ();
2744     if ($table{$target}->{inherit_from}) {
2745         my @inherit_from =
2746             map { ref($_) eq "CODE" ? $_->() : $_ } @{$table{$target}->{inherit_from}};
2747         foreach (@inherit_from) {
2748             my %inherited_config = resolve_config($_, $target, @breadcrumbs);
2749
2750             # 'template' is a marker that's considered private to
2751             # the config that had it.
2752             delete $inherited_config{template};
2753
2754             foreach (keys %inherited_config) {
2755                 if (!$combined_inheritance{$_}) {
2756                     $combined_inheritance{$_} = [];
2757                 }
2758                 push @{$combined_inheritance{$_}}, $inherited_config{$_};
2759             }
2760         }
2761     }
2762
2763     # We won't need inherit_from in this target any more, since we've
2764     # resolved all the inheritances that lead to this
2765     delete $table{$target}->{inherit_from};
2766
2767     # Now is the time to deal with those lists.  Here's the place to
2768     # decide what shall be done with those lists, all based on the
2769     # values of the target we're currently dealing with.
2770     # - If a value is a coderef, it will be executed with the list of
2771     #   inherited values as arguments.
2772     # - If the corresponding key doesn't have a value at all or is the
2773     #   empty string, the inherited value list will be run through the
2774     #   default combiner (below), and the result becomes this target's
2775     #   value.
2776     # - Otherwise, this target's value is assumed to be a string that
2777     #   will simply override the inherited list of values.
2778     my $default_combiner = add();
2779
2780     my %all_keys =
2781         map { $_ => 1 } (keys %combined_inheritance,
2782                          keys %{$table{$target}});
2783
2784     sub process_values {
2785         my $object    = shift;
2786         my $inherited = shift;  # Always a [ list ]
2787         my $target    = shift;
2788         my $entry     = shift;
2789
2790         $add_called = 0;
2791
2792         while(ref($object) eq "CODE") {
2793             $object = $object->(@$inherited);
2794         }
2795         if (!defined($object)) {
2796             return ();
2797         }
2798         elsif (ref($object) eq "ARRAY") {
2799             local $add_called;  # To make sure recursive calls don't affect it
2800             return [ map { process_values($_, $inherited, $target, $entry) }
2801                      @$object ];
2802         } elsif (ref($object) eq "") {
2803             return $object;
2804         } else {
2805             die "cannot handle reference type ",ref($object)
2806                 ," found in target ",$target," -> ",$entry,"\n";
2807         }
2808     }
2809
2810     foreach (sort keys %all_keys) {
2811         my $previous = $combined_inheritance{$_};
2812
2813         # Current target doesn't have a value for the current key?
2814         # Assign it the default combiner, the rest of this loop body
2815         # will handle it just like any other coderef.
2816         if (!exists $table{$target}->{$_}) {
2817             $table{$target}->{$_} = $default_combiner;
2818         }
2819
2820         $table{$target}->{$_} = process_values($table{$target}->{$_},
2821                                                $combined_inheritance{$_},
2822                                                $target, $_);
2823         unless(defined($table{$target}->{$_})) {
2824             delete $table{$target}->{$_};
2825         }
2826 #        if ($extra_checks &&
2827 #            $previous && !($add_called ||  $previous ~~ $table{$target}->{$_})) {
2828 #            warn "$_ got replaced in $target\n";
2829 #        }
2830     }
2831
2832     # Finally done, return the result.
2833     return %{$table{$target}};
2834 }
2835
2836 sub usage
2837         {
2838         print STDERR $usage;
2839         print STDERR "\npick os/compiler from:\n";
2840         my $j=0;
2841         my $i;
2842         my $k=0;
2843         foreach $i (sort keys %table)
2844                 {
2845                 next if $table{$i}->{template};
2846                 next if $i =~ /^debug/;
2847                 $k += length($i) + 1;
2848                 if ($k > 78)
2849                         {
2850                         print STDERR "\n";
2851                         $k=length($i);
2852                         }
2853                 print STDERR $i . " ";
2854                 }
2855         foreach $i (sort keys %table)
2856                 {
2857                 next if $table{$i}->{template};
2858                 next if $i !~ /^debug/;
2859                 $k += length($i) + 1;
2860                 if ($k > 78)
2861                         {
2862                         print STDERR "\n";
2863                         $k=length($i);
2864                         }
2865                 print STDERR $i . " ";
2866                 }
2867         print STDERR "\n\nNOTE: If in doubt, on Unix-ish systems use './config'.\n";
2868         exit(1);
2869         }
2870
2871 sub compiler_predefined {
2872     state %predefined;
2873     my $cc = shift;
2874
2875     return () if $^O eq 'VMS';
2876
2877     die 'compiler_predefined called without a compiler command'
2878         unless $cc;
2879
2880     if (! $predefined{$cc}) {
2881
2882         $predefined{$cc} = {};
2883
2884         # collect compiler pre-defines from gcc or gcc-alike...
2885         open(PIPE, "$cc -dM -E -x c /dev/null 2>&1 |");
2886         while (my $l = <PIPE>) {
2887             $l =~ m/^#define\s+(\w+(?:\(\w+\))?)(?:\s+(.+))?/ or last;
2888             $predefined{$cc}->{$1} = $2 // '';
2889         }
2890         close(PIPE);
2891     }
2892
2893     return %{$predefined{$cc}};
2894 }
2895
2896 sub which
2897 {
2898     my ($name)=@_;
2899
2900     if (eval { require IPC::Cmd; 1; }) {
2901         IPC::Cmd->import();
2902         return scalar IPC::Cmd::can_run($name);
2903     } else {
2904         # if there is $directories component in splitpath,
2905         # then it's not something to test with $PATH...
2906         return $name if (File::Spec->splitpath($name))[1];
2907
2908         foreach (File::Spec->path()) {
2909             my $fullpath = catfile($_, "$name$target{exe_extension}");
2910             if (-f $fullpath and -x $fullpath) {
2911                 return $fullpath;
2912             }
2913         }
2914     }
2915 }
2916
2917 sub env
2918 {
2919     my $name = shift;
2920     my %opts = @_;
2921
2922     unless ($opts{cacheonly}) {
2923         # Note that if $ENV{$name} doesn't exist or is undefined,
2924         # $config{perlenv}->{$name} will be created with the value
2925         # undef.  This is intentional.
2926
2927         $config{perlenv}->{$name} = $ENV{$name}
2928             if ! exists $config{perlenv}->{$name};
2929     }
2930     return $config{perlenv}->{$name};
2931 }
2932
2933 # Configuration printer ##############################################
2934
2935 sub print_table_entry
2936 {
2937     local $now_printing = shift;
2938     my %target = resolve_config($now_printing);
2939     my $type = shift;
2940
2941     # Don't print the templates
2942     return if $target{template};
2943
2944     my @sequence = (
2945         "sys_id",
2946         "cpp",
2947         "cppflags",
2948         "defines",
2949         "includes",
2950         "cc",
2951         "cflags",
2952         "ld",
2953         "lflags",
2954         "loutflag",
2955         "ex_libs",
2956         "bn_ops",
2957         "poly1035_asm_src",
2958         "thread_scheme",
2959         "perlasm_scheme",
2960         "dso_scheme",
2961         "shared_target",
2962         "shared_cflag",
2963         "shared_defines",
2964         "shared_ldflag",
2965         "shared_rcflag",
2966         "shared_extension",
2967         "dso_extension",
2968         "obj_extension",
2969         "exe_extension",
2970         "ranlib",
2971         "ar",
2972         "arflags",
2973         "aroutflag",
2974         "rc",
2975         "rcflags",
2976         "rcoutflag",
2977         "mt",
2978         "mtflags",
2979         "mtinflag",
2980         "mtoutflag",
2981         "multilib",
2982         "build_scheme",
2983         );
2984
2985     if ($type eq "TABLE") {
2986         print "\n";
2987         print "*** $now_printing\n";
2988         foreach (@sequence) {
2989             if (ref($target{$_}) eq "ARRAY") {
2990                 printf "\$%-12s = %s\n", $_, join(" ", @{$target{$_}});
2991             } else {
2992                 printf "\$%-12s = %s\n", $_, $target{$_};
2993             }
2994         }
2995     } elsif ($type eq "HASH") {
2996         my $largest =
2997             length((sort { length($a) <=> length($b) } @sequence)[-1]);
2998         print "    '$now_printing' => {\n";
2999         foreach (@sequence) {
3000             if ($target{$_}) {
3001                 if (ref($target{$_}) eq "ARRAY") {
3002                     print "      '",$_,"'"," " x ($largest - length($_))," => [ ",join(", ", map { "'$_'" } @{$target{$_}})," ],\n";
3003                 } else {
3004                     print "      '",$_,"'"," " x ($largest - length($_))," => '",$target{$_},"',\n";
3005                 }
3006             }
3007         }
3008         print "    },\n";
3009     }
3010 }
3011
3012 # Utility routines ###################################################
3013
3014 # On VMS, if the given file is a logical name, File::Spec::Functions
3015 # will consider it an absolute path.  There are cases when we want a
3016 # purely syntactic check without checking the environment.
3017 sub isabsolute {
3018     my $file = shift;
3019
3020     # On non-platforms, we just use file_name_is_absolute().
3021     return file_name_is_absolute($file) unless $^O eq "VMS";
3022
3023     # If the file spec includes a device or a directory spec,
3024     # file_name_is_absolute() is perfectly safe.
3025     return file_name_is_absolute($file) if $file =~ m|[:\[]|;
3026
3027     # Here, we know the given file spec isn't absolute
3028     return 0;
3029 }
3030
3031 # Makes a directory absolute and cleans out /../ in paths like foo/../bar
3032 # On some platforms, this uses rel2abs(), while on others, realpath() is used.
3033 # realpath() requires that at least all path components except the last is an
3034 # existing directory.  On VMS, the last component of the directory spec must
3035 # exist.
3036 sub absolutedir {
3037     my $dir = shift;
3038
3039     # realpath() is quite buggy on VMS.  It uses LIB$FID_TO_NAME, which
3040     # will return the volume name for the device, no matter what.  Also,
3041     # it will return an incorrect directory spec if the argument is a
3042     # directory that doesn't exist.
3043     if ($^O eq "VMS") {
3044         return rel2abs($dir);
3045     }
3046
3047     # We use realpath() on Unix, since no other will properly clean out
3048     # a directory spec.
3049     use Cwd qw/realpath/;
3050
3051     return realpath($dir);
3052 }
3053
3054 sub quotify {
3055     my %processors = (
3056         perl    => sub { my $x = shift;
3057                          $x =~ s/([\\\$\@"])/\\$1/g;
3058                          return '"'.$x.'"'; },
3059         maybeshell => sub { my $x = shift;
3060                             (my $y = $x) =~ s/([\\\"])/\\$1/g;
3061                             if ($x ne $y || $x =~ m|\s|) {
3062                                 return '"'.$y.'"';
3063                             } else {
3064                                 return $x;
3065                             }
3066                         },
3067         );
3068     my $for = shift;
3069     my $processor =
3070         defined($processors{$for}) ? $processors{$for} : sub { shift; };
3071
3072     return map { $processor->($_); } @_;
3073 }
3074
3075 # collect_from_file($filename, $line_concat_cond_re, $line_concat)
3076 # $filename is a file name to read from
3077 # $line_concat_cond_re is a regexp detecting a line continuation ending
3078 # $line_concat is a CODEref that takes care of concatenating two lines
3079 sub collect_from_file {
3080     my $filename = shift;
3081     my $line_concat_cond_re = shift;
3082     my $line_concat = shift;
3083
3084     open my $fh, $filename || die "unable to read $filename: $!\n";
3085     return sub {
3086         my $saved_line = "";
3087         $_ = "";
3088         while (<$fh>) {
3089             s|\R$||;
3090             if (defined $line_concat) {
3091                 $_ = $line_concat->($saved_line, $_);
3092                 $saved_line = "";
3093             }
3094             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3095                 $saved_line = $_;
3096                 next;
3097             }
3098             return $_;
3099         }
3100         die "$filename ending with continuation line\n" if $_;
3101         close $fh;
3102         return undef;
3103     }
3104 }
3105
3106 # collect_from_array($array, $line_concat_cond_re, $line_concat)
3107 # $array is an ARRAYref of lines
3108 # $line_concat_cond_re is a regexp detecting a line continuation ending
3109 # $line_concat is a CODEref that takes care of concatenating two lines
3110 sub collect_from_array {
3111     my $array = shift;
3112     my $line_concat_cond_re = shift;
3113     my $line_concat = shift;
3114     my @array = (@$array);
3115
3116     return sub {
3117         my $saved_line = "";
3118         $_ = "";
3119         while (defined($_ = shift @array)) {
3120             s|\R$||;
3121             if (defined $line_concat) {
3122                 $_ = $line_concat->($saved_line, $_);
3123                 $saved_line = "";
3124             }
3125             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3126                 $saved_line = $_;
3127                 next;
3128             }
3129             return $_;
3130         }
3131         die "input text ending with continuation line\n" if $_;
3132         return undef;
3133     }
3134 }
3135
3136 # collect_information($lineiterator, $line_continue, $regexp => $CODEref, ...)
3137 # $lineiterator is a CODEref that delivers one line at a time.
3138 # All following arguments are regex/CODEref pairs, where the regexp detects a
3139 # line and the CODEref does something with the result of the regexp.
3140 sub collect_information {
3141     my $lineiterator = shift;
3142     my %collectors = @_;
3143
3144     while(defined($_ = $lineiterator->())) {
3145         s|\R$||;
3146         my $found = 0;
3147         if ($collectors{"BEFORE"}) {
3148             $collectors{"BEFORE"}->($_);
3149         }
3150         foreach my $re (keys %collectors) {
3151             if ($re !~ /^OTHERWISE|BEFORE|AFTER$/ && /$re/) {
3152                 $collectors{$re}->($lineiterator);
3153                 $found = 1;
3154             };
3155         }
3156         if ($collectors{"OTHERWISE"}) {
3157             $collectors{"OTHERWISE"}->($lineiterator, $_)
3158                 unless $found || !defined $collectors{"OTHERWISE"};
3159         }
3160         if ($collectors{"AFTER"}) {
3161             $collectors{"AFTER"}->($_);
3162         }
3163     }
3164 }
3165
3166 # tokenize($line)
3167 # tokenize($line,$separator)
3168 # $line is a line of text to split up into tokens
3169 # $separator [optional] is a regular expression that separates the tokens,
3170 # the default being spaces.  Do not use quotes of any kind as separators,
3171 # that will give undefined results.
3172 # Returns a list of tokens.
3173 #
3174 # Tokens are divided by separator (spaces by default).  If the tokens include
3175 # the separators, they have to be quoted with single or double quotes.
3176 # Double quotes inside a double quoted token must be escaped.  Escaping is done
3177 # with backslash.
3178 # Basically, the same quoting rules apply for " and ' as in any
3179 # Unix shell.
3180 sub tokenize {
3181     my $line = my $debug_line = shift;
3182     my $separator = shift // qr|\s+|;
3183     my @result = ();
3184
3185     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3186         print STDERR "DEBUG[tokenize]: \$separator = $separator\n";
3187     }
3188
3189     while ($line =~ s|^${separator}||, $line ne "") {
3190         my $token = "";
3191     again:
3192         $line =~ m/^(.*?)(${separator}|"|'|$)/;
3193         $token .= $1;
3194         $line = $2.$';
3195
3196         if ($line =~ m/^"((?:[^"\\]+|\\.)*)"/) {
3197             $token .= $1;
3198             $line = $';
3199             goto again;
3200         } elsif ($line =~ m/^'([^']*)'/) {
3201             $token .= $1;
3202             $line = $';
3203             goto again;
3204         }
3205         push @result, $token;
3206     }
3207
3208     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3209         print STDERR "DEBUG[tokenize]: Parsed '$debug_line' into:\n";
3210         print STDERR "DEBUG[tokenize]: ('", join("', '", @result), "')\n";
3211     }
3212     return @result;
3213 }