Configuration: only produce a new configdata.pm if it has changed contents
[openssl.git] / Configure
1 #! /usr/bin/env perl
2 # -*- mode: perl; -*-
3 # Copyright 2016-2022 The OpenSSL Project Authors. All Rights Reserved.
4 #
5 # Licensed under the Apache License 2.0 (the "License").  You may not use
6 # this file except in compliance with the License.  You can obtain a copy
7 # in the file LICENSE in the source distribution or at
8 # https://www.openssl.org/source/license.html
9
10 ##  Configure -- OpenSSL source tree configuration script
11
12 use 5.10.0;
13 use strict;
14 use Config;
15 use FindBin;
16 use lib "$FindBin::Bin/util/perl";
17 use File::Basename;
18 use File::Spec::Functions qw/:DEFAULT abs2rel rel2abs splitdir/;
19 use File::Path qw/mkpath/;
20 use File::Compare qw(compare_text);
21 use OpenSSL::fallback "$FindBin::Bin/external/perl/MODULES.txt";
22 use OpenSSL::Glob;
23 use OpenSSL::Template;
24 use OpenSSL::config;
25
26 # see INSTALL.md for instructions.
27
28 my $orig_death_handler = $SIG{__DIE__};
29 $SIG{__DIE__} = \&death_handler;
30
31 my $usage="Usage: Configure [no-<cipher> ...] [enable-<cipher> ...] [-Dxxx] [-lxxx] [-Lxxx] [-fxxx] [-Kxxx] [no-hw-xxx|no-hw] [[no-]threads] [[no-]shared] [[no-]zlib|zlib-dynamic] [no-asm] [no-egd] [sctp] [386] [--prefix=DIR] [--openssldir=OPENSSLDIR] [--with-xxx[=vvv]] [--config=FILE] os/compiler[:flags]\n";
32
33 my $banner = <<"EOF";
34
35 **********************************************************************
36 ***                                                                ***
37 ***   OpenSSL has been successfully configured                     ***
38 ***                                                                ***
39 ***   If you encounter a problem while building, please open an    ***
40 ***   issue on GitHub <https://github.com/openssl/openssl/issues>  ***
41 ***   and include the output from the following command:           ***
42 ***                                                                ***
43 ***       perl configdata.pm --dump                                ***
44 ***                                                                ***
45 ***   (If you are new to OpenSSL, you might want to consult the    ***
46 ***   'Troubleshooting' section in the INSTALL.md file first)      ***
47 ***                                                                ***
48 **********************************************************************
49 EOF
50
51 # Options:
52 #
53 # --config      add the given configuration file, which will be read after
54 #               any "Configurations*" files that are found in the same
55 #               directory as this script.
56 # --prefix      prefix for the OpenSSL installation, which includes the
57 #               directories bin, lib, include, share/man, share/doc/openssl
58 #               This becomes the value of INSTALLTOP in Makefile
59 #               (Default: /usr/local)
60 # --openssldir  OpenSSL data area, such as openssl.cnf, certificates and keys.
61 #               If it's a relative directory, it will be added on the directory
62 #               given with --prefix.
63 #               This becomes the value of OPENSSLDIR in Makefile and in C.
64 #               (Default: PREFIX/ssl)
65 # --banner=".." Output specified text instead of default completion banner
66 #
67 # -w            Don't wait after showing a Configure warning
68 #
69 # --cross-compile-prefix Add specified prefix to binutils components.
70 #
71 # --api         One of 0.9.8, 1.0.0, 1.0.1, 1.0.2, 1.1.0, 1.1.1, or 3.0
72 #               Define the public APIs as they were for that version
73 #               including patch releases.  If 'no-deprecated' is also
74 #               given, do not compile support for interfaces deprecated
75 #               up to and including the specified OpenSSL version.
76 #
77 # no-hw-xxx     do not compile support for specific crypto hardware.
78 #               Generic OpenSSL-style methods relating to this support
79 #               are always compiled but return NULL if the hardware
80 #               support isn't compiled.
81 # no-hw         do not compile support for any crypto hardware.
82 # [no-]threads  [don't] try to create a library that is suitable for
83 #               multithreaded applications (default is "threads" if we
84 #               know how to do it)
85 # [no-]shared   [don't] try to create shared libraries when supported.
86 # [no-]pic      [don't] try to build position independent code when supported.
87 #               If disabled, it also disables shared and dynamic-engine.
88 # no-asm        do not use assembler
89 # no-egd        do not compile support for the entropy-gathering daemon APIs
90 # [no-]zlib     [don't] compile support for zlib compression.
91 # zlib-dynamic  Like "zlib", but the zlib library is expected to be a shared
92 #               library and will be loaded in run-time by the OpenSSL library.
93 # sctp          include SCTP support
94 # no-uplink     Don't build support for UPLINK interface.
95 # enable-weak-ssl-ciphers
96 #               Enable weak ciphers that are disabled by default.
97 # 386           generate 80386 code in assembly modules
98 # no-sse2       disables IA-32 SSE2 code in assembly modules, the above
99 #               mentioned '386' option implies this one
100 # no-<cipher>   build without specified algorithm (dsa, idea, rc5, ...)
101 # -<xxx> +<xxx> All options which are unknown to the 'Configure' script are
102 # /<xxx>        passed through to the compiler. Unix-style options beginning
103 #               with a '-' or '+' are recognized, as well as Windows-style
104 #               options beginning with a '/'. If the option contains arguments
105 #               separated by spaces, then the URL-style notation %20 can be
106 #               used for the space character in order to avoid having to quote
107 #               the option. For example, -opt%20arg gets expanded to -opt arg.
108 #               In fact, any ASCII character can be encoded as %xx using its
109 #               hexadecimal encoding.
110 # -static       while -static is also a pass-through compiler option (and
111 #               as such is limited to environments where it's actually
112 #               meaningful), it triggers a number configuration options,
113 #               namely no-pic, no-shared and no-threads. It is
114 #               argued that the only reason to produce statically linked
115 #               binaries (and in context it means executables linked with
116 #               -static flag, and not just executables linked with static
117 #               libcrypto.a) is to eliminate dependency on specific run-time,
118 #               a.k.a. libc version. The mentioned config options are meant
119 #               to achieve just that. Unfortunately on Linux it's impossible
120 #               to eliminate the dependency completely for openssl executable
121 #               because of getaddrinfo and gethostbyname calls, which can
122 #               invoke dynamically loadable library facility anyway to meet
123 #               the lookup requests. For this reason on Linux statically
124 #               linked openssl executable has rather debugging value than
125 #               production quality.
126 #
127 # BN_LLONG      use the type 'long long' in crypto/bn/bn.h
128 # RC4_CHAR      use 'char' instead of 'int' for RC4_INT in crypto/rc4/rc4.h
129 # Following are set automatically by this script
130 #
131 # MD5_ASM       use some extra md5 assembler,
132 # SHA1_ASM      use some extra sha1 assembler, must define L_ENDIAN for x86
133 # RMD160_ASM    use some extra ripemd160 assembler,
134 # SHA256_ASM    sha256_block is implemented in assembler
135 # SHA512_ASM    sha512_block is implemented in assembler
136 # AES_ASM       AES_[en|de]crypt is implemented in assembler
137
138 # Minimum warning options... any contributions to OpenSSL should at least
139 # get past these.  Note that we only use these with C compilers, not with
140 # C++ compilers.
141
142 # -DPEDANTIC complements -pedantic and is meant to mask code that
143 # is not strictly standard-compliant and/or implementation-specific,
144 # e.g. inline assembly, disregards to alignment requirements, such
145 # that -pedantic would complain about. Incidentally -DPEDANTIC has
146 # to be used even in sanitized builds, because sanitizer too is
147 # supposed to and does take notice of non-standard behaviour. Then
148 # -pedantic with pre-C9x compiler would also complain about 'long
149 # long' not being supported. As 64-bit algorithms are common now,
150 # it grew impossible to resolve this without sizeable additional
151 # code, so we just tell compiler to be pedantic about everything
152 # but 'long long' type.
153
154 my @gcc_devteam_warn = qw(
155     -DPEDANTIC -pedantic -Wno-long-long -DUNUSEDRESULT_DEBUG
156     -Wall
157     -Wmissing-declarations
158     -Wextra
159     -Wno-unused-parameter
160     -Wno-missing-field-initializers
161     -Wswitch
162     -Wsign-compare
163     -Wshadow
164     -Wformat
165     -Wtype-limits
166     -Wundef
167     -Werror
168     -Wmissing-prototypes
169     -Wstrict-prototypes
170 );
171
172 # These are used in addition to $gcc_devteam_warn when the compiler is clang.
173 # TODO(openssl-team): fix problems and investigate if (at least) the
174 # following warnings can also be enabled:
175 #       -Wcast-align
176 #       -Wunreachable-code -- no, too ugly/compiler-specific
177 #       -Wlanguage-extension-token -- no, we use asm()
178 #       -Wunused-macros -- no, too tricky for BN and _XOPEN_SOURCE etc
179 #       -Wextended-offsetof -- no, needed in CMS ASN1 code
180 my @clang_devteam_warn = qw(
181     -Wno-unknown-warning-option
182     -Wswitch-default
183     -Wno-parentheses-equality
184     -Wno-language-extension-token
185     -Wno-extended-offsetof
186     -Wconditional-uninitialized
187     -Wincompatible-pointer-types-discards-qualifiers
188     -Wmissing-variable-declarations
189 );
190
191 my @cl_devteam_warn = qw(
192     /WX
193 );
194
195 my $strict_warnings = 0;
196
197 # As for $BSDthreads. Idea is to maintain "collective" set of flags,
198 # which would cover all BSD flavors. -pthread applies to them all,
199 # but is treated differently. OpenBSD expands is as -D_POSIX_THREAD
200 # -lc_r, which is sufficient. FreeBSD 4.x expands it as -lc_r,
201 # which has to be accompanied by explicit -D_THREAD_SAFE and
202 # sometimes -D_REENTRANT. FreeBSD 5.x expands it as -lc_r, which
203 # seems to be sufficient?
204 our $BSDthreads="-pthread -D_THREAD_SAFE -D_REENTRANT";
205
206 #
207 # API compatibility name to version number mapping.
208 #
209 my $apitable = {
210     # This table expresses when API additions or changes can occur.
211     # The numbering used changes from 3.0 and on because we updated
212     # (solidified) our version numbering scheme at that point.
213
214     # From 3.0 and on, we internalise the given version number in decimal
215     # as MAJOR * 10000 + MINOR * 100 + 0
216     "3.0.0" => 30000,
217     "3.0"   => 30000,
218
219     # Note that before 3.0, we didn't have the same version number scheme.
220     # Still, the numbering we use here covers what we need.
221     "1.1.1" => 10101,
222     "1.1.0" => 10100,
223     "1.0.2" => 10002,
224     "1.0.1" => 10001,
225     "1.0.0" => 10000,
226     "0.9.8" =>   908,
227 };
228
229 # For OpenSSL::config::get_platform
230 my %guess_opts = ();
231
232 my $dryrun = 0;
233
234 our %table = ();
235 our %config = ();
236 our %withargs = ();
237 our $now_printing;      # set to current entry's name in print_table_entry
238                         # (todo: right thing would be to encapsulate name
239                         # into %target [class] and make print_table_entry
240                         # a method)
241
242 # Forward declarations ###############################################
243
244 # read_config(filename)
245 #
246 # Reads a configuration file and populates %table with the contents
247 # (which the configuration file places in %targets).
248 sub read_config;
249
250 # resolve_config(target)
251 #
252 # Resolves all the late evaluations, inheritances and so on for the
253 # chosen target and any target it inherits from.
254 sub resolve_config;
255
256
257 # Information collection #############################################
258
259 # Unified build supports separate build dir
260 my $srcdir = catdir(absolutedir(dirname($0))); # catdir ensures local syntax
261 my $blddir = catdir(absolutedir("."));         # catdir ensures local syntax
262
263 # File::Spec::Unix doesn't detect case insensitivity, so we make sure to
264 # check if the source and build directory are really the same, and make
265 # them so.  This avoids all kinds of confusion later on.
266 # We must check @File::Spec::ISA rather than using File::Spec->isa() to
267 # know if File::Spec ended up loading File::Spec::Unix.
268 $srcdir = $blddir
269     if (grep(/::Unix$/, @File::Spec::ISA)
270         && samedir($srcdir, $blddir));
271
272 my $dofile = abs2rel(catfile($srcdir, "util/dofile.pl"));
273
274 my $local_config_envname = 'OPENSSL_LOCAL_CONFIG_DIR';
275
276 $config{sourcedir} = abs2rel($srcdir, $blddir);
277 $config{builddir} = abs2rel($blddir, $blddir);
278 # echo -n 'holy hand grenade of antioch' | openssl sha256
279 $config{FIPSKEY} =
280     'f4556650ac31d35461610bac4ed81b1a181b2d8a43ea2854cbae22ca74560813';
281
282 # Collect reconfiguration information if needed
283 my @argvcopy=@ARGV;
284
285 if (grep /^reconf(igure)?$/, @argvcopy) {
286     die "reconfiguring with other arguments present isn't supported"
287         if scalar @argvcopy > 1;
288     if (-f "./configdata.pm") {
289         my $file = "./configdata.pm";
290         unless (my $return = do $file) {
291             die "couldn't parse $file: $@" if $@;
292             die "couldn't do $file: $!"    unless defined $return;
293             die "couldn't run $file"       unless $return;
294         }
295
296         @argvcopy = defined($configdata::config{perlargv}) ?
297             @{$configdata::config{perlargv}} : ();
298         die "Incorrect data to reconfigure, please do a normal configuration\n"
299             if (grep(/^reconf/,@argvcopy));
300         $config{perlenv} = $configdata::config{perlenv} // {};
301     } else {
302         die "Insufficient data to reconfigure, please do a normal configuration\n";
303     }
304 }
305
306 $config{perlargv} = [ @argvcopy ];
307
308 # Historical: if known directories in crypto/ have been removed, it means
309 # that those sub-systems are disabled.
310 # (the other option would be to removed them from the SUBDIRS statement in
311 # crypto/build.info)
312 # We reverse the input list for cosmetic purely reasons, to compensate that
313 # 'unshift' adds at the front of the list (i.e. in reverse input order).
314 foreach ( reverse sort( 'aes', 'aria', 'bf', 'camellia', 'cast', 'des', 'dh',
315                         'dsa', 'ec', 'hmac', 'idea', 'md2', 'md5', 'mdc2',
316                         'rc2', 'rc4', 'rc5', 'ripemd', 'seed', 'sha',
317                         'sm2', 'sm3', 'sm4') ) {
318     unshift @argvcopy, "no-$_" if ! -d catdir($srcdir, 'crypto', $_);
319 }
320
321 # Collect version numbers
322 my %version = ();
323
324 collect_information(
325     collect_from_file(catfile($srcdir,'VERSION.dat')),
326     qr/\s*(\w+)\s*=\s*(.*?)\s*$/ =>
327         sub {
328             # Only define it if there is a value at all
329             if ($2 ne '') {
330                 my $k = $1;
331                 my $v = $2;
332                 # Some values are quoted.  Trim the quotes
333                 $v = $1 if $v =~ /^"(.*)"$/;
334                 $version{uc $k} = $v;
335             }
336         },
337     "OTHERWISE" =>
338         sub { die "Something wrong with this line:\n$_\nin $srcdir/VERSION.dat" },
339     );
340
341 $config{major} = $version{MAJOR} // 'unknown';
342 $config{minor} = $version{MINOR} // 'unknown';
343 $config{patch} = $version{PATCH} // 'unknown';
344 $config{prerelease} =
345     defined $version{PRE_RELEASE_TAG} ? "-$version{PRE_RELEASE_TAG}" : '';
346 $config{build_metadata} =
347     defined $version{BUILD_METADATA} ? "+$version{BUILD_METADATA}" : '';
348 $config{shlib_version} = $version{SHLIB_VERSION} // 'unknown';
349 $config{release_date} = $version{RELEASE_DATE} // 'xx XXX xxxx';
350
351 $config{version} = "$config{major}.$config{minor}.$config{patch}";
352 $config{full_version} = "$config{version}$config{prerelease}$config{build_metadata}";
353
354 die "erroneous version information in VERSION.dat: ",
355     "$config{version}, $config{shlib_version}\n"
356     unless (defined $version{MAJOR}
357             && defined $version{MINOR}
358             && defined $version{PATCH}
359             && defined $version{SHLIB_VERSION});
360
361 # Collect target configurations
362
363 my $pattern = catfile(dirname($0), "Configurations", "*.conf");
364 foreach (sort glob($pattern)) {
365     &read_config($_);
366 }
367
368 if (defined env($local_config_envname)) {
369     if ($^O eq 'VMS') {
370         # VMS environment variables are logical names,
371         # which can be used as is
372         $pattern = $local_config_envname . ':' . '*.conf';
373     } else {
374         $pattern = catfile(env($local_config_envname), '*.conf');
375     }
376
377     foreach (sort glob($pattern)) {
378         &read_config($_);
379     }
380 }
381
382 # Save away perl command information
383 $config{perl_cmd} = $^X;
384 $config{perl_version} = $Config{version};
385 $config{perl_archname} = $Config{archname};
386
387 $config{prefix}="";
388 $config{openssldir}="";
389 $config{processor}="";
390 $config{libdir}="";
391 my $auto_threads=1;    # enable threads automatically? true by default
392 my $default_ranlib;
393
394 # Known TLS and DTLS protocols
395 my @tls = qw(ssl3 tls1 tls1_1 tls1_2 tls1_3);
396 my @dtls = qw(dtls1 dtls1_2);
397
398 # Explicitly known options that are possible to disable.  They can
399 # be regexps, and will be used like this: /^no-${option}$/
400 # For developers: keep it sorted alphabetically
401
402 my @disablables = (
403     "acvp-tests",
404     "afalgeng",
405     "aria",
406     "asan",
407     "asm",
408     "async",
409     "autoalginit",
410     "autoerrinit",
411     "autoload-config",
412     "bf",
413     "blake2",
414     "buildtest-c++",
415     "bulk",
416     "cached-fetch",
417     "camellia",
418     "capieng",
419     "cast",
420     "chacha",
421     "cmac",
422     "cmp",
423     "cms",
424     "comp",
425     "crypto-mdebug",
426     "ct",
427     "deprecated",
428     "des",
429     "devcryptoeng",
430     "dgram",
431     "dh",
432     "dsa",
433     "dso",
434     "dtls",
435     "dynamic-engine",
436     "ec",
437     "ec2m",
438     "ec_nistp_64_gcc_128",
439     "ecdh",
440     "ecdsa",
441     "egd",
442     "engine",
443     "err",
444     "external-tests",
445     "filenames",
446     "fips",
447     "fips-securitychecks",
448     "fuzz-afl",
449     "fuzz-libfuzzer",
450     "gost",
451     "idea",
452     "ktls",
453     "legacy",
454     "loadereng",
455     "makedepend",
456     "md2",
457     "md4",
458     "mdc2",
459     "module",
460     "msan",
461     "multiblock",
462     "nextprotoneg",
463     "ocb",
464     "ocsp",
465     "padlockeng",
466     "pic",
467     "pinshared",
468     "poly1305",
469     "posix-io",
470     "psk",
471     "rc2",
472     "rc4",
473     "rc5",
474     "rdrand",
475     "rfc3779",
476     "rmd160",
477     "scrypt",
478     "sctp",
479     "secure-memory",
480     "seed",
481     "shared",
482     "siphash",
483     "siv",
484     "sm2",
485     "sm3",
486     "sm4",
487     "sock",
488     "srp",
489     "srtp",
490     "sse2",
491     "ssl",
492     "ssl-trace",
493     "static-engine",
494     "stdio",
495     "tests",
496     "tfo",
497     "threads",
498     "tls",
499     "trace",
500     "ts",
501     "ubsan",
502     "ui-console",
503     "unit-test",
504     "uplink",
505     "weak-ssl-ciphers",
506     "whirlpool",
507     "zlib",
508     "zlib-dynamic",
509     );
510 foreach my $proto ((@tls, @dtls))
511         {
512         push(@disablables, $proto);
513         push(@disablables, "$proto-method") unless $proto eq "tls1_3";
514         }
515
516 # Internal disablables, for aliasing purposes.  They serve no special
517 # purpose here, but allow scripts to get to know them through configdata.pm,
518 # where these are merged with @disablables.
519 # The actual aliasing mechanism is done via %disable_cascades
520 my @disablables_int = qw(
521     crmf
522     );
523
524 my %deprecated_disablables = (
525     "ssl2" => undef,
526     "buf-freelists" => undef,
527     "crypto-mdebug-backtrace" => undef,
528     "hw" => "hw",               # causes cascade, but no macro
529     "hw-padlock" => "padlockeng",
530     "ripemd" => "rmd160",
531     "ui" => "ui-console",
532     "heartbeats" => undef,
533     );
534
535 # All of the following are disabled by default:
536
537 our %disabled = ( # "what"         => "comment"
538                   "fips"                => "default",
539                   "asan"                => "default",
540                   "buildtest-c++"       => "default",
541                   "crypto-mdebug"       => "default",
542                   "crypto-mdebug-backtrace" => "default",
543                   "devcryptoeng"        => "default",
544                   "ec_nistp_64_gcc_128" => "default",
545                   "egd"                 => "default",
546                   "external-tests"      => "default",
547                   "fuzz-afl"            => "default",
548                   "fuzz-libfuzzer"      => "default",
549                   "ktls"                => "default",
550                   "md2"                 => "default",
551                   "msan"                => "default",
552                   "rc5"                 => "default",
553                   "sctp"                => "default",
554                   "ssl3"                => "default",
555                   "ssl3-method"         => "default",
556                   "tfo"                 => "default",
557                   "trace"               => "default",
558                   "ubsan"               => "default",
559                   "unit-test"           => "default",
560                   "weak-ssl-ciphers"    => "default",
561                   "zlib"                => "default",
562                   "zlib-dynamic"        => "default",
563                 );
564
565 # Note: => pair form used for aesthetics, not to truly make a hash table
566 my @disable_cascades = (
567     # "what"            => [ "cascade", ... ]
568     "bulk"              => [ "shared", "dso",
569                              "aria", "async", "autoload-config",
570                              "blake2", "bf", "camellia", "cast", "chacha",
571                              "cmac", "cms", "cmp", "comp", "ct",
572                              "des", "dgram", "dh", "dsa",
573                              "ec", "engine",
574                              "filenames",
575                              "idea", "ktls",
576                              "md4", "multiblock", "nextprotoneg",
577                              "ocsp", "ocb", "poly1305", "psk",
578                              "rc2", "rc4", "rmd160",
579                              "seed", "siphash", "siv",
580                              "sm3", "sm4", "srp",
581                              "srtp", "ssl3-method", "ssl-trace",
582                              "tfo",
583                              "ts", "ui-console", "whirlpool",
584                              "fips-securitychecks" ],
585     sub { $config{processor} eq "386" }
586                         => [ "sse2" ],
587     "ssl"               => [ "ssl3" ],
588     "ssl3-method"       => [ "ssl3" ],
589     "zlib"              => [ "zlib-dynamic" ],
590     "des"               => [ "mdc2" ],
591     "ec"                => [ "ec2m", "ecdsa", "ecdh", "sm2", "gost" ],
592     "dgram"             => [ "dtls", "sctp" ],
593     "sock"              => [ "dgram", "tfo" ],
594     "dtls"              => [ @dtls ],
595     sub { 0 == scalar grep { !$disabled{$_} } @dtls }
596                         => [ "dtls" ],
597
598     "tls"               => [ @tls ],
599     sub { 0 == scalar grep { !$disabled{$_} } @tls }
600                         => [ "tls" ],
601
602     "crypto-mdebug"     => [ "crypto-mdebug-backtrace" ],
603
604     # If no modules, then no dynamic engines either
605     "module"            => [ "dynamic-engine" ],
606
607     # Without shared libraries, dynamic engines aren't possible.
608     # This is due to them having to link with libcrypto and register features
609     # using the ENGINE functionality, and since that relies on global tables,
610     # those *have* to be exactly the same as the ones accessed from the app,
611     # which cannot be guaranteed if shared libraries aren't present.
612     # (note that even with shared libraries, both the app and dynamic engines
613     # must be linked with the same library)
614     "shared"            => [ "dynamic-engine", "uplink" ],
615     "dso"               => [ "dynamic-engine", "module" ],
616     # Other modules don't necessarily have to link with libcrypto, so shared
617     # libraries do not have to be a condition to produce those.
618
619     # Without position independent code, there can be no shared libraries
620     # or modules.
621     "pic"               => [ "shared", "module" ],
622
623     "module"            => [ "fips", "dso" ],
624
625     "engine"            => [ "dynamic-engine", grep(/eng$/, @disablables) ],
626     "dynamic-engine"    => [ "loadereng" ],
627     "hw"                => [ "padlockeng" ],
628
629     # no-autoalginit is only useful when building non-shared
630     "autoalginit"       => [ "shared", "apps", "fips" ],
631
632     "stdio"             => [ "apps", "capieng", "egd" ],
633     "apps"              => [ "tests" ],
634     "tests"             => [ "external-tests" ],
635     "comp"              => [ "zlib" ],
636     "sm3"               => [ "sm2" ],
637     sub { !$disabled{"unit-test"} } => [ "heartbeats" ],
638
639     sub { !$disabled{"msan"} } => [ "asm" ],
640
641     "cmac"              => [ "siv" ],
642     "legacy"            => [ "md2" ],
643
644     "cmp"               => [ "crmf" ],
645
646     "fips"              => [ "fips-securitychecks", "acvp-tests" ],
647
648     "deprecated-3.0"    => [ "engine", "srp" ]
649     );
650
651 # Avoid protocol support holes.  Also disable all versions below N, if version
652 # N is disabled while N+1 is enabled.
653 #
654 my @list = (reverse @tls);
655 while ((my $first, my $second) = (shift @list, shift @list)) {
656     last unless @list;
657     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
658                               => [ @list ] );
659     unshift @list, $second;
660 }
661 my @list = (reverse @dtls);
662 while ((my $first, my $second) = (shift @list, shift @list)) {
663     last unless @list;
664     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
665                               => [ @list ] );
666     unshift @list, $second;
667 }
668
669 # Explicit "no-..." options will be collected in %disabled along with the defaults.
670 # To remove something from %disabled, use "enable-foo".
671 # For symmetry, "disable-foo" is a synonym for "no-foo".
672
673 # For the "make variables" CPPINCLUDES and CPPDEFINES, we support lists with
674 # platform specific list separators.  Users from those platforms should
675 # recognise those separators from how you set up the PATH to find executables.
676 # The default is the Unix like separator, :, but as an exception, we also
677 # support the space as separator.
678 my $list_separator_re =
679     { VMS           => qr/(?<!\^),/,
680       MSWin32       => qr/(?<!\\);/ } -> {$^O} // qr/(?<!\\)[:\s]/;
681 # All the "make variables" we support
682 # Some get pre-populated for the sake of backward compatibility
683 # (we supported those before the change to "make variable" support.
684 my %user = (
685     AR          => env('AR'),
686     ARFLAGS     => [],
687     AS          => undef,
688     ASFLAGS     => [],
689     CC          => env('CC'),
690     CFLAGS      => [ env('CFLAGS') || () ],
691     CXX         => env('CXX'),
692     CXXFLAGS    => [ env('CXXFLAGS') || () ],
693     CPP         => undef,
694     CPPFLAGS    => [ env('CPPFLAGS') || () ],  # -D, -I, -Wp,
695     CPPDEFINES  => [],  # Alternative for -D
696     CPPINCLUDES => [],  # Alternative for -I
697     CROSS_COMPILE => env('CROSS_COMPILE'),
698     HASHBANGPERL=> env('HASHBANGPERL') || env('PERL'),
699     LD          => undef,
700     LDFLAGS     => [ env('LDFLAGS') || () ],  # -L, -Wl,
701     LDLIBS      => [ env('LDLIBS') || () ],  # -l
702     MT          => undef,
703     MTFLAGS     => [],
704     PERL        => env('PERL') || ($^O ne "VMS" ? $^X : "perl"),
705     RANLIB      => env('RANLIB'),
706     RC          => env('RC') || env('WINDRES'),
707     RCFLAGS     => [ env('RCFLAGS') || () ],
708     RM          => undef,
709    );
710 # Info about what "make variables" may be prefixed with the cross compiler
711 # prefix.  This should NEVER mention any such variable with a list for value.
712 my @user_crossable = qw ( AR AS CC CXX CPP LD MT RANLIB RC );
713 # The same but for flags given as Configure options.  These are *additional*
714 # input, as opposed to the VAR=string option that override the corresponding
715 # config target attributes
716 my %useradd = (
717     CPPDEFINES  => [],
718     CPPINCLUDES => [],
719     CPPFLAGS    => [],
720     CFLAGS      => [],
721     CXXFLAGS    => [],
722     LDFLAGS     => [],
723     LDLIBS      => [],
724     RCFLAGS     => [],
725    );
726
727 my %user_synonyms = (
728     HASHBANGPERL=> 'PERL',
729     RC          => 'WINDRES',
730    );
731
732 # Some target attributes have been renamed, this is the translation table
733 my %target_attr_translate =(
734     ar          => 'AR',
735     as          => 'AS',
736     cc          => 'CC',
737     cxx         => 'CXX',
738     cpp         => 'CPP',
739     hashbangperl => 'HASHBANGPERL',
740     ld          => 'LD',
741     mt          => 'MT',
742     ranlib      => 'RANLIB',
743     rc          => 'RC',
744     rm          => 'RM',
745    );
746
747 # Initialisers coming from 'config' scripts
748 $config{defines} = [ split(/$list_separator_re/, env('__CNF_CPPDEFINES')) ];
749 $config{includes} = [ split(/$list_separator_re/, env('__CNF_CPPINCLUDES')) ];
750 $config{cppflags} = [ env('__CNF_CPPFLAGS') || () ];
751 $config{cflags} = [ env('__CNF_CFLAGS') || () ];
752 $config{cxxflags} = [ env('__CNF_CXXFLAGS') || () ];
753 $config{lflags} = [ env('__CNF_LDFLAGS') || () ];
754 $config{ex_libs} = [ env('__CNF_LDLIBS') || () ];
755
756 $config{openssl_api_defines}=[];
757 $config{openssl_sys_defines}=[];
758 $config{openssl_feature_defines}=[];
759 $config{options}="";
760 $config{build_type} = "release";
761 my $target="";
762
763 my %cmdvars = ();               # Stores FOO='blah' type arguments
764 my %unsupported_options = ();
765 my %deprecated_options = ();
766 # If you change this, update apps/version.c
767 my @known_seed_sources = qw(getrandom devrandom os egd none rdcpu librandom);
768 my @seed_sources = ();
769 while (@argvcopy)
770         {
771         $_ = shift @argvcopy;
772
773         # Support env variable assignments among the options
774         if (m|^(\w+)=(.+)?$|)
775                 {
776                 $cmdvars{$1} = $2;
777                 # Every time a variable is given as a configuration argument,
778                 # it acts as a reset if the variable.
779                 if (exists $user{$1})
780                         {
781                         $user{$1} = ref $user{$1} eq "ARRAY" ? [] : undef;
782                         }
783                 #if (exists $useradd{$1})
784                 #       {
785                 #       $useradd{$1} = [];
786                 #       }
787                 next;
788                 }
789
790         # VMS is a case insensitive environment, and depending on settings
791         # out of our control, we may receive options uppercased.  Let's
792         # downcase at least the part before any equal sign.
793         if ($^O eq "VMS")
794                 {
795                 s/^([^=]*)/lc($1)/e;
796                 }
797
798         # some people just can't read the instructions, clang people have to...
799         s/^-no-(?!integrated-as)/no-/;
800
801         # rewrite some options in "enable-..." form
802         s /^-?-?shared$/enable-shared/;
803         s /^sctp$/enable-sctp/;
804         s /^threads$/enable-threads/;
805         s /^zlib$/enable-zlib/;
806         s /^zlib-dynamic$/enable-zlib-dynamic/;
807         s /^fips$/enable-fips/;
808
809         if (/^(no|disable|enable)-(.+)$/)
810                 {
811                 my $word = $2;
812                 if ($word !~ m|hw(?:-.+)| # special treatment for hw regexp opt
813                         && !exists $deprecated_disablables{$word}
814                         && !grep { $word eq $_ } @disablables)
815                         {
816                         $unsupported_options{$_} = 1;
817                         next;
818                         }
819                 }
820         if (/^no-(.+)$/ || /^disable-(.+)$/)
821                 {
822                 foreach my $proto ((@tls, @dtls))
823                         {
824                         if ($1 eq "$proto-method")
825                                 {
826                                 $disabled{"$proto"} = "option($proto-method)";
827                                 last;
828                                 }
829                         }
830                 if ($1 eq "dtls")
831                         {
832                         foreach my $proto (@dtls)
833                                 {
834                                 $disabled{$proto} = "option(dtls)";
835                                 }
836                         $disabled{"dtls"} = "option(dtls)";
837                         }
838                 elsif ($1 eq "ssl")
839                         {
840                         # Last one of its kind
841                         $disabled{"ssl3"} = "option(ssl)";
842                         }
843                 elsif ($1 eq "tls")
844                         {
845                         # XXX: Tests will fail if all SSL/TLS
846                         # protocols are disabled.
847                         foreach my $proto (@tls)
848                                 {
849                                 $disabled{$proto} = "option(tls)";
850                                 }
851                         }
852                 elsif ($1 eq "static-engine")
853                         {
854                         delete $disabled{"dynamic-engine"};
855                         }
856                 elsif ($1 eq "dynamic-engine")
857                         {
858                         $disabled{"dynamic-engine"} = "option";
859                         }
860                 elsif (exists $deprecated_disablables{$1})
861                         {
862                         $deprecated_options{$_} = 1;
863                         if (defined $deprecated_disablables{$1})
864                                 {
865                                 $disabled{$deprecated_disablables{$1}} = "option";
866                                 }
867                         }
868                 elsif ($1 =~ m|hw(?:-.+)|) # deprecate hw options in regexp form
869                         {
870                         $deprecated_options{$_} = 1;
871                         }
872                 else
873                         {
874                         $disabled{$1} = "option";
875                         }
876                 # No longer an automatic choice
877                 $auto_threads = 0 if ($1 eq "threads");
878                 }
879         elsif (/^enable-(.+)$/)
880                 {
881                 if ($1 eq "static-engine")
882                         {
883                         $disabled{"dynamic-engine"} = "option";
884                         }
885                 elsif ($1 eq "dynamic-engine")
886                         {
887                         delete $disabled{"dynamic-engine"};
888                         }
889                 elsif ($1 eq "zlib-dynamic")
890                         {
891                         delete $disabled{"zlib"};
892                         }
893                 my $algo = $1;
894                 delete $disabled{$algo};
895
896                 # No longer an automatic choice
897                 $auto_threads = 0 if ($1 eq "threads");
898                 }
899         elsif (/^-d$/)          # From older 'config'
900                 {
901                 $config{build_type} = "debug";
902                 }
903         elsif (/^-v$/)          # From older 'config'
904                 {
905                 $guess_opts{verbose} = 1;
906                 }
907         elsif (/^-w$/)
908                 {
909                 $guess_opts{nowait} = 1;
910                 }
911         elsif (/^-t$/)          # From older 'config'
912                 {
913                 $dryrun = 1;
914                 }
915         elsif (/^--strict-warnings$/)
916                 {
917                 # Pretend that our strict flags is a C flag, and replace it
918                 # with the proper flags later on
919                 push @{$useradd{CFLAGS}}, '--ossl-strict-warnings';
920                 $strict_warnings=1;
921                 }
922         elsif (/^--debug$/)
923                 {
924                 $config{build_type} = "debug";
925                 }
926         elsif (/^--release$/)
927                 {
928                 $config{build_type} = "release";
929                 }
930         elsif (/^386$/)
931                 { $config{processor}=386; }
932         elsif (/^rsaref$/)
933                 {
934                 # No RSAref support any more since it's not needed.
935                 # The check for the option is there so scripts aren't
936                 # broken
937                 }
938         elsif (m|^[-+/]|)
939                 {
940                 if (/^--prefix=(.*)$/)
941                         {
942                         $config{prefix}=$1;
943                         die "Directory given with --prefix MUST be absolute\n"
944                                 unless file_name_is_absolute($config{prefix});
945                         }
946                 elsif (/^--api=(.*)$/)
947                         {
948                         my $api = $1;
949                         die "Unknown API compatibility level $api"
950                                 unless defined $apitable->{$api};
951                         $config{api}=$apitable->{$api};
952                         }
953                 elsif (/^--libdir=(.*)$/)
954                         {
955                         $config{libdir}=$1;
956                         }
957                 elsif (/^--openssldir=(.*)$/)
958                         {
959                         $config{openssldir}=$1;
960                         }
961                 elsif (/^--with-zlib-lib=(.*)$/)
962                         {
963                         $withargs{zlib_lib}=$1;
964                         }
965                 elsif (/^--with-zlib-include=(.*)$/)
966                         {
967                         $withargs{zlib_include}=$1;
968                         }
969                 elsif (/^--with-fuzzer-lib=(.*)$/)
970                         {
971                         $withargs{fuzzer_lib}=$1;
972                         }
973                 elsif (/^--with-fuzzer-include=(.*)$/)
974                         {
975                         $withargs{fuzzer_include}=$1;
976                         }
977                 elsif (/^--with-rand-seed=(.*)$/)
978                         {
979                         foreach my $x (split(m|,|, $1))
980                             {
981                             die "Unknown --with-rand-seed choice $x\n"
982                                 if ! grep { $x eq $_ } @known_seed_sources;
983                             push @seed_sources, $x;
984                             }
985                         }
986                 elsif (/^--fips-key=(.*)$/)
987                         {
988                         $user{FIPSKEY}=lc($1);
989                         die "Non-hex character in FIPS key\n"
990                            if $user{FIPSKEY} =~ /[^a-f0-9]/;
991                         die "FIPS key must have even number of characters\n"
992                            if length $1 & 1;
993                         die "FIPS key too long (64 bytes max)\n"
994                            if length $1 > 64;
995                         }
996                 elsif (/^--banner=(.*)$/)
997                         {
998                         $banner = $1 . "\n";
999                         }
1000                 elsif (/^--cross-compile-prefix=(.*)$/)
1001                         {
1002                         $user{CROSS_COMPILE}=$1;
1003                         }
1004                 elsif (/^--config=(.*)$/)
1005                         {
1006                         read_config $1;
1007                         }
1008                 elsif (/^-l(.*)$/)
1009                         {
1010                         push @{$useradd{LDLIBS}}, $_;
1011                         }
1012                 elsif (/^-framework$/)
1013                         {
1014                         push @{$useradd{LDLIBS}}, $_, shift(@argvcopy);
1015                         }
1016                 elsif (/^-L(.*)$/ or /^-Wl,/)
1017                         {
1018                         push @{$useradd{LDFLAGS}}, $_;
1019                         }
1020                 elsif (/^-rpath$/ or /^-R$/)
1021                         # -rpath is the OSF1 rpath flag
1022                         # -R is the old Solaris rpath flag
1023                         {
1024                         my $rpath = shift(@argvcopy) || "";
1025                         $rpath .= " " if $rpath ne "";
1026                         push @{$useradd{LDFLAGS}}, $_, $rpath;
1027                         }
1028                 elsif (/^-static$/)
1029                         {
1030                         push @{$useradd{LDFLAGS}}, $_;
1031                         }
1032                 elsif (m|^[-/]D(.*)$|)
1033                         {
1034                         push @{$useradd{CPPDEFINES}}, $1;
1035                         }
1036                 elsif (m|^[-/]I(.*)$|)
1037                         {
1038                         push @{$useradd{CPPINCLUDES}}, $1;
1039                         }
1040                 elsif (/^-Wp,$/)
1041                         {
1042                         push @{$useradd{CPPFLAGS}}, $1;
1043                         }
1044                 else    # common if (/^[-+]/), just pass down...
1045                         {
1046                         # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1047                         # This provides a simple way to pass options with arguments separated
1048                         # by spaces without quoting (e.g. -opt%20arg translates to -opt arg).
1049                         $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1050                         push @{$useradd{CFLAGS}}, $_;
1051                         push @{$useradd{CXXFLAGS}}, $_;
1052                         }
1053                 }
1054         elsif (m|^/|)
1055                 {
1056                 # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1057                 # This provides a simple way to pass options with arguments separated
1058                 # by spaces without quoting (e.g. /opt%20arg translates to /opt arg).
1059                 $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1060                 push @{$useradd{CFLAGS}}, $_;
1061                 push @{$useradd{CXXFLAGS}}, $_;
1062                 }
1063         else
1064                 {
1065                 die "target already defined - $target (offending arg: $_)\n" if ($target ne "");
1066                 $target=$_;
1067                 }
1068         unless ($_ eq $target || /^no-/ || /^disable-/)
1069                 {
1070                 # "no-..." follows later after implied deactivations
1071                 # have been derived.  (Don't take this too seriously,
1072                 # we really only write OPTIONS to the Makefile out of
1073                 # nostalgia.)
1074
1075                 if ($config{options} eq "")
1076                         { $config{options} = $_; }
1077                 else
1078                         { $config{options} .= " ".$_; }
1079                 }
1080         }
1081
1082 if (keys %deprecated_options)
1083         {
1084         warn "***** Deprecated options: ",
1085                 join(", ", keys %deprecated_options), "\n";
1086         }
1087 if (keys %unsupported_options)
1088         {
1089         die "***** Unsupported options: ",
1090                 join(", ", keys %unsupported_options), "\n";
1091         }
1092
1093 # If any %useradd entry has been set, we must check that the "make
1094 # variables" haven't been set.  We start by checking of any %useradd entry
1095 # is set.
1096 if (grep { scalar @$_ > 0 } values %useradd) {
1097     # Hash of env / make variables names.  The possible values are:
1098     # 1 - "make vars"
1099     # 2 - %useradd entry set
1100     # 3 - both set
1101     my %detected_vars =
1102         map { my $v = 0;
1103               $v += 1 if $cmdvars{$_};
1104               $v += 2 if @{$useradd{$_}};
1105               $_ => $v }
1106         keys %useradd;
1107
1108     # If any of the corresponding "make variables" is set, we error
1109     if (grep { $_ & 1 } values %detected_vars) {
1110         my $names = join(', ', grep { $detected_vars{$_} > 0 }
1111                                sort keys %detected_vars);
1112         die <<"_____";
1113 ***** Mixing make variables and additional compiler/linker flags as
1114 ***** configure command line option is not permitted.
1115 ***** Affected make variables: $names
1116 _____
1117     }
1118 }
1119
1120 # Check through all supported command line variables to see if any of them
1121 # were set, and canonicalise the values we got.  If no compiler or linker
1122 # flag or anything else that affects %useradd was set, we also check the
1123 # environment for values.
1124 my $anyuseradd =
1125     grep { defined $_ && (ref $_ ne 'ARRAY' || @$_) } values %useradd;
1126 foreach (keys %user) {
1127     my $value = $cmdvars{$_};
1128     $value //= env($_) unless $anyuseradd;
1129     $value //=
1130         defined $user_synonyms{$_} ? $cmdvars{$user_synonyms{$_}} : undef;
1131     $value //= defined $user_synonyms{$_} ? env($user_synonyms{$_}) : undef
1132         unless $anyuseradd;
1133
1134     if (defined $value) {
1135         if (ref $user{$_} eq 'ARRAY') {
1136             if ($_ eq 'CPPDEFINES' || $_ eq 'CPPINCLUDES') {
1137                 $user{$_} = [ split /$list_separator_re/, $value ];
1138             } else {
1139                 $user{$_} = [ $value ];
1140             }
1141         } elsif (!defined $user{$_}) {
1142             $user{$_} = $value;
1143         }
1144     }
1145 }
1146
1147 if (grep { /-rpath\b/ } ($user{LDFLAGS} ? @{$user{LDFLAGS}} : ())
1148     && !$disabled{shared}
1149     && !($disabled{asan} && $disabled{msan} && $disabled{ubsan})) {
1150     die "***** Cannot simultaneously use -rpath, shared libraries, and\n",
1151         "***** any of asan, msan or ubsan\n";
1152 }
1153
1154 # If no target was given, try guessing.
1155 unless ($target) {
1156     my %system_config = OpenSSL::config::get_platform(%guess_opts, %user);
1157
1158     # The $system_config{disable} is used to populate %disabled with
1159     # entries that aren't already there.
1160     foreach ( @{$system_config{disable} // []} ) {
1161         $disabled{$_} = 'system' unless defined $disabled{$_};
1162     }
1163     delete $system_config{disable};
1164
1165     # Override config entries with stuff from the guesser.
1166     # It's assumed that this really is nothing new.
1167     %config = ( %config, %system_config );
1168     $target = $system_config{target};
1169 }
1170
1171 sub disable {
1172     my $disable_type = shift;
1173
1174     for (@_) {
1175         $disabled{$_} = $disable_type;
1176     }
1177
1178     my @tocheckfor = (@_ ? @_ : keys %disabled);
1179     while (@tocheckfor) {
1180         my %new_tocheckfor = ();
1181         my @cascade_copy = (@disable_cascades);
1182         while (@cascade_copy) {
1183             my ($test, $descendents) =
1184                 (shift @cascade_copy, shift @cascade_copy);
1185             if (ref($test) eq "CODE" ? $test->() : defined($disabled{$test})) {
1186                 foreach (grep { !defined($disabled{$_}) } @$descendents) {
1187                     $new_tocheckfor{$_} = 1; $disabled{$_} = "cascade";
1188                 }
1189             }
1190         }
1191         @tocheckfor = (keys %new_tocheckfor);
1192     }
1193 }
1194 disable();                     # First cascade run
1195
1196 our $die = sub { die @_; };
1197 if ($target eq "TABLE") {
1198     local $die = sub { warn @_; };
1199     foreach (sort keys %table) {
1200         print_table_entry($_, "TABLE");
1201     }
1202     exit 0;
1203 }
1204
1205 if ($target eq "LIST") {
1206     foreach (sort keys %table) {
1207         print $_,"\n" unless $table{$_}->{template};
1208     }
1209     exit 0;
1210 }
1211
1212 if ($target eq "HASH") {
1213     local $die = sub { warn @_; };
1214     print "%table = (\n";
1215     foreach (sort keys %table) {
1216         print_table_entry($_, "HASH");
1217     }
1218     exit 0;
1219 }
1220
1221 print "Configuring OpenSSL version $config{full_version} ";
1222 print "for target $target\n";
1223
1224 if (scalar(@seed_sources) == 0) {
1225     print "Using os-specific seed configuration\n";
1226     push @seed_sources, 'os';
1227 }
1228 if (scalar(grep { $_ eq 'egd' } @seed_sources) > 0) {
1229     delete $disabled{'egd'};
1230 }
1231 if (scalar(grep { $_ eq 'none' } @seed_sources) > 0) {
1232     die "Cannot seed with none and anything else" if scalar(@seed_sources) > 1;
1233     warn <<_____ if scalar(@seed_sources) == 1;
1234
1235 ============================== WARNING ===============================
1236 You have selected the --with-rand-seed=none option, which effectively
1237 disables automatic reseeding of the OpenSSL random generator.
1238 All operations depending on the random generator such as creating keys
1239 will not work unless the random generator is seeded manually by the
1240 application.
1241
1242 Please read the 'Note on random number generation' section in the
1243 INSTALL.md instructions and the RAND_DRBG(7) manual page for more
1244 details.
1245 ============================== WARNING ===============================
1246
1247 _____
1248 }
1249 push @{$config{openssl_feature_defines}},
1250      map { (my $x = $_) =~ tr|[\-a-z]|[_A-Z]|; "OPENSSL_RAND_SEED_$x" }
1251         @seed_sources;
1252
1253 # Backward compatibility?
1254 if ($target =~ m/^CygWin32(-.*)$/) {
1255     $target = "Cygwin".$1;
1256 }
1257
1258 # Support for legacy targets having a name starting with 'debug-'
1259 my ($d, $t) = $target =~ m/^(debug-)?(.*)$/;
1260 if ($d) {
1261     $config{build_type} = "debug";
1262
1263     # If we do not find debug-foo in the table, the target is set to foo.
1264     if (!$table{$target}) {
1265         $target = $t;
1266     }
1267 }
1268
1269 if ($target) {
1270     # It's possible that we have different config targets for specific
1271     # toolchains, so we try to detect them, and go for the plain config
1272     # target if not.
1273     my $found;
1274     foreach ( ( "$target-$user{CC}", "$target", undef ) ) {
1275         $found=$_ if $table{$_} && !$table{$_}->{template};
1276         last if $found;
1277     }
1278     $target = $found;
1279 } else {
1280     # If we don't have a config target now, we try the C compiler as we
1281     # fallback
1282     my $cc = $user{CC} // 'cc';
1283     $target = $cc if $table{$cc} && !$table{$cc}->{template};
1284 }
1285
1286 &usage unless $target;
1287
1288 exit 0 if $dryrun;              # From older 'config'
1289
1290 $config{target} = $target;
1291 my %target = resolve_config($target);
1292
1293 foreach (keys %target_attr_translate) {
1294     $target{$target_attr_translate{$_}} = $target{$_}
1295         if $target{$_};
1296     delete $target{$_};
1297 }
1298
1299 %target = ( %{$table{DEFAULTS}}, %target );
1300
1301 my %conf_files = map { $_ => 1 } (@{$target{_conf_fname_int}});
1302 $config{conf_files} = [ sort keys %conf_files ];
1303
1304 # Using sub disable within these loops may prove fragile, so we run
1305 # a cascade afterwards
1306 foreach my $feature (@{$target{disable}}) {
1307     if (exists $deprecated_disablables{$feature}) {
1308         warn "***** config $target disables deprecated feature $feature\n";
1309     } elsif (!grep { $feature eq $_ } @disablables) {
1310         die "***** config $target disables unknown feature $feature\n";
1311     }
1312     $disabled{$feature} = 'config';
1313 }
1314 foreach my $feature (@{$target{enable}}) {
1315     if ("default" eq ($disabled{$feature} // "")) {
1316         if (exists $deprecated_disablables{$feature}) {
1317             warn "***** config $target enables deprecated feature $feature\n";
1318         } elsif (!grep { $feature eq $_ } @disablables) {
1319             die "***** config $target enables unknown feature $feature\n";
1320         }
1321         delete $disabled{$feature};
1322     }
1323 }
1324
1325 # If uplink_arch isn't defined, disable uplink
1326 $disabled{uplink} = 'no uplink_arch' unless (defined $target{uplink_arch});
1327 # If asm_arch isn't defined, disable asm
1328 $disabled{asm} = 'no asm_arch' unless (defined $target{asm_arch});
1329
1330 disable();                      # Run a cascade now
1331
1332 $target{CXXFLAGS}//=$target{CFLAGS} if $target{CXX};
1333 $target{cxxflags}//=$target{cflags} if $target{CXX};
1334 $target{exe_extension}=".exe" if ($config{target} eq "DJGPP");
1335 $target{exe_extension}=".pm"  if ($config{target} =~ /vos/);
1336
1337 # Fill %config with values from %user, and in case those are undefined or
1338 # empty, use values from %target (acting as a default).
1339 foreach (keys %user) {
1340     my $ref_type = ref $user{$_};
1341
1342     # Temporary function.  Takes an intended ref type (empty string or "ARRAY")
1343     # and a value that's to be coerced into that type.
1344     my $mkvalue = sub {
1345         my $type = shift;
1346         my $value = shift;
1347         my $undef_p = shift;
1348
1349         die "Too many arguments for \$mkvalue" if @_;
1350
1351         while (ref $value eq 'CODE') {
1352             $value = $value->();
1353         }
1354
1355         if ($type eq 'ARRAY') {
1356             return undef unless defined $value;
1357             return undef if ref $value ne 'ARRAY' && !$value;
1358             return undef if ref $value eq 'ARRAY' && !@$value;
1359             return [ $value ] unless ref $value eq 'ARRAY';
1360         }
1361         return undef unless $value;
1362         return $value;
1363     };
1364
1365     $config{$_} =
1366         $mkvalue->($ref_type, $user{$_})
1367         || $mkvalue->($ref_type, $target{$_});
1368     delete $config{$_} unless defined $config{$_};
1369 }
1370
1371 # Finish up %config by appending things the user gave us on the command line
1372 # apart from "make variables"
1373 foreach (keys %useradd) {
1374     # The must all be lists, so we assert that here
1375     die "internal error: \$useradd{$_} isn't an ARRAY\n"
1376         unless ref $useradd{$_} eq 'ARRAY';
1377
1378     if (defined $config{$_}) {
1379         push @{$config{$_}}, @{$useradd{$_}};
1380     } else {
1381         $config{$_} = [ @{$useradd{$_}} ];
1382     }
1383 }
1384 # At this point, we can forget everything about %user and %useradd,
1385 # because it's now all been merged into the corresponding $config entry
1386
1387 if (grep { $_ =~ /(?:^|\s)-static(?:\s|$)/ } @{$config{LDFLAGS}}) {
1388     disable('static', 'pic', 'threads');
1389 }
1390
1391 # Allow overriding the build file name
1392 $config{build_file} = env('BUILDFILE') || $target{build_file} || "Makefile";
1393
1394 # Make sure build_scheme is consistent.
1395 $target{build_scheme} = [ $target{build_scheme} ]
1396     if ref($target{build_scheme}) ne "ARRAY";
1397
1398 my ($builder, $builder_platform, @builder_opts) =
1399     @{$target{build_scheme}};
1400
1401 foreach my $checker (($builder_platform."-".$target{build_file}."-checker.pm",
1402                       $builder_platform."-checker.pm")) {
1403     my $checker_path = catfile($srcdir, "Configurations", $checker);
1404     if (-f $checker_path) {
1405         my $fn = $ENV{CONFIGURE_CHECKER_WARN}
1406             ? sub { warn $@; } : sub { die $@; };
1407         if (! do $checker_path) {
1408             if ($@) {
1409                 $fn->($@);
1410             } elsif ($!) {
1411                 $fn->($!);
1412             } else {
1413                 $fn->("The detected tools didn't match the platform\n");
1414             }
1415         }
1416         last;
1417     }
1418 }
1419
1420 push @{$config{defines}}, "NDEBUG"    if $config{build_type} eq "release";
1421
1422 if ($target =~ /^mingw/ && `$config{CC} --target-help 2>&1` =~ m/-mno-cygwin/m)
1423         {
1424         push @{$config{cflags}}, "-mno-cygwin";
1425         push @{$config{cxxflags}}, "-mno-cygwin" if $config{CXX};
1426         push @{$config{shared_ldflag}}, "-mno-cygwin";
1427         }
1428
1429 if ($target =~ /linux.*-mips/ && !$disabled{asm}
1430         && !grep { $_ !~ /-m(ips|arch=)/ } (@{$config{CFLAGS}})) {
1431         # minimally required architecture flags for assembly modules
1432         my $value;
1433         $value = '-mips2' if ($target =~ /mips32/);
1434         $value = '-mips3' if ($target =~ /mips64/);
1435         unshift @{$config{cflags}}, $value;
1436         unshift @{$config{cxxflags}}, $value if $config{CXX};
1437 }
1438
1439 # If threads aren't disabled, check how possible they are
1440 unless ($disabled{threads}) {
1441     if ($auto_threads) {
1442         # Enabled by default, disable it forcibly if unavailable
1443         if ($target{thread_scheme} eq "(unknown)") {
1444             disable("unavailable", 'threads');
1445         }
1446     } else {
1447         # The user chose to enable threads explicitly, let's see
1448         # if there's a chance that's possible
1449         if ($target{thread_scheme} eq "(unknown)") {
1450             # If the user asked for "threads" and we don't have internal
1451             # knowledge how to do it, [s]he is expected to provide any
1452             # system-dependent compiler options that are necessary.  We
1453             # can't truly check that the given options are correct, but
1454             # we expect the user to know what [s]He is doing.
1455             if (!@{$config{CFLAGS}} && !@{$config{CPPDEFINES}}) {
1456                 die "You asked for multi-threading support, but didn't\n"
1457                     ,"provide any system-specific compiler options\n";
1458             }
1459         }
1460     }
1461 }
1462
1463 # Find out if clang's sanitizers have been enabled with -fsanitize
1464 # flags and ensure that the corresponding %disabled elements area
1465 # removed to reflect that the sanitizers are indeed enabled.
1466 my %detected_sanitizers = ();
1467 foreach (grep /^-fsanitize=/, @{$config{CFLAGS} || []}) {
1468     (my $checks = $_) =~ s/^-fsanitize=//;
1469     foreach (split /,/, $checks) {
1470         my $d = { address       => 'asan',
1471                   undefined     => 'ubsan',
1472                   memory        => 'msan' } -> {$_};
1473         next unless defined $d;
1474
1475         $detected_sanitizers{$d} = 1;
1476         if (defined $disabled{$d}) {
1477             die "***** Conflict between disabling $d and enabling $_ sanitizer"
1478                 if $disabled{$d} ne "default";
1479             delete $disabled{$d};
1480         }
1481     }
1482 }
1483
1484 # If threads still aren't disabled, add a C macro to ensure the source
1485 # code knows about it.  Any other flag is taken care of by the configs.
1486 unless($disabled{threads}) {
1487     push @{$config{openssl_feature_defines}}, "OPENSSL_THREADS";
1488 }
1489
1490 my $no_shared_warn=0;
1491 if (($target{shared_target} // '') eq "")
1492         {
1493         $no_shared_warn = 1
1494             if (!$disabled{shared} || !$disabled{"dynamic-engine"});
1495         disable('no-shared-target', 'pic');
1496         }
1497
1498 if ($disabled{"dynamic-engine"}) {
1499         $config{dynamic_engines} = 0;
1500 } else {
1501         $config{dynamic_engines} = 1;
1502 }
1503
1504 unless ($disabled{asan} || defined $detected_sanitizers{asan}) {
1505     push @{$config{cflags}}, "-fsanitize=address";
1506 }
1507
1508 unless ($disabled{ubsan} || defined $detected_sanitizers{ubsan}) {
1509     # -DPEDANTIC or -fnosanitize=alignment may also be required on some
1510     # platforms.
1511     push @{$config{cflags}}, "-fsanitize=undefined", "-fno-sanitize-recover=all";
1512 }
1513
1514 unless ($disabled{msan} || defined $detected_sanitizers{msan}) {
1515   push @{$config{cflags}}, "-fsanitize=memory";
1516 }
1517
1518 unless ($disabled{"fuzz-libfuzzer"} && $disabled{"fuzz-afl"}
1519         && $disabled{asan} && $disabled{ubsan} && $disabled{msan}) {
1520     push @{$config{cflags}}, "-fno-omit-frame-pointer", "-g";
1521     push @{$config{cxxflags}}, "-fno-omit-frame-pointer", "-g" if $config{CXX};
1522 }
1523 #
1524 # Platform fix-ups
1525 #
1526
1527 # This saves the build files from having to check
1528 if ($disabled{pic})
1529         {
1530         foreach (qw(shared_cflag shared_cxxflag shared_cppflag
1531                     shared_defines shared_includes shared_ldflag
1532                     module_cflags module_cxxflags module_cppflags
1533                     module_defines module_includes module_lflags))
1534                 {
1535                 delete $config{$_};
1536                 $target{$_} = "";
1537                 }
1538         }
1539 else
1540         {
1541         push @{$config{lib_defines}}, "OPENSSL_PIC";
1542         }
1543
1544 if ($target{sys_id} ne "")
1545         {
1546         push @{$config{openssl_sys_defines}}, "OPENSSL_SYS_$target{sys_id}";
1547         }
1548
1549 my %predefined_C = compiler_predefined($config{CROSS_COMPILE}.$config{CC});
1550 my %predefined_CXX = $config{CXX}
1551     ? compiler_predefined($config{CROSS_COMPILE}.$config{CXX})
1552     : ();
1553
1554 unless ($disabled{asm}) {
1555     # big endian systems can use ELFv2 ABI
1556     if ($target eq "linux-ppc64" || $target eq "BSD-ppc64") {
1557         $target{perlasm_scheme} = "linux64v2" if ($predefined_C{_CALL_ELF} == 2);
1558     }
1559 }
1560
1561 # Check for makedepend capabilities.
1562 if (!$disabled{makedepend}) {
1563     # If the attribute makedep_scheme is defined, then we assume that the
1564     # config target and its associated build file are programmed to deal
1565     # with it.
1566     # If makedep_scheme is undefined, we go looking for GCC compatible
1567     # dependency making, and if that's not available, we try to fall back
1568     # on 'makedepend'.
1569     if ($target{makedep_scheme}) {
1570         $config{makedep_scheme} = $target{makedep_scheme};
1571         # If the makedepcmd attribute is defined, copy it.  If not, the
1572         # build files will have to fend for themselves.
1573         $config{makedepcmd} = $target{makedepcmd} if $target{makedepcmd};
1574     } elsif (($predefined_C{__GNUC__} // -1) >= 3
1575              && !($predefined_C{__APPLE_CC__} && !$predefined_C{__clang__})) {
1576         # We know that GNU C version 3 and up as well as all clang
1577         # versions support dependency generation, but Xcode did not
1578         # handle $cc -M before clang support (but claims __GNUC__ = 3)
1579         $config{makedep_scheme} = 'gcc';
1580     } else {
1581         # In all other cases, we look for 'makedepend', and set the
1582         # makedep_scheme value if we found it.
1583         $config{makedepcmd} = which('makedepend');
1584         $config{makedep_scheme} = 'makedepend' if $config{makedepcmd};
1585     }
1586
1587     # If no depend scheme is set, we disable makedepend
1588     disable('unavailable', 'makedepend') unless $config{makedep_scheme};
1589 }
1590
1591 if (!$disabled{asm} && !$predefined_C{__MACH__} && $^O ne 'VMS') {
1592     # probe for -Wa,--noexecstack option...
1593     if ($predefined_C{__clang__}) {
1594         # clang has builtin assembler, which doesn't recognize --help,
1595         # but it apparently recognizes the option in question on all
1596         # supported platforms even when it's meaningless. In other words
1597         # probe would fail, but probed option always accepted...
1598         push @{$config{cflags}}, "-Wa,--noexecstack", "-Qunused-arguments";
1599     } else {
1600         my $cc = $config{CROSS_COMPILE}.$config{CC};
1601         open(PIPE, "$cc -Wa,--help -c -o null.$$.o -x assembler /dev/null 2>&1 |");
1602         while(<PIPE>) {
1603             if (m/--noexecstack/) {
1604                 push @{$config{cflags}}, "-Wa,--noexecstack";
1605                 last;
1606             }
1607         }
1608         close(PIPE);
1609         unlink("null.$$.o");
1610     }
1611 }
1612
1613 # Deal with bn_ops ###################################################
1614
1615 $config{bn_ll}                  =0;
1616 my $def_int="unsigned int";
1617 $config{rc4_int}                =$def_int;
1618 ($config{b64l},$config{b64},$config{b32})=(0,0,1);
1619
1620 my $count = 0;
1621 foreach (sort split(/\s+/,$target{bn_ops})) {
1622     $count++ if /SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT/;
1623     $config{bn_ll}=1                            if $_ eq 'BN_LLONG';
1624     $config{rc4_int}="unsigned char"            if $_ eq 'RC4_CHAR';
1625     ($config{b64l},$config{b64},$config{b32})
1626         =(0,1,0)                                if $_ eq 'SIXTY_FOUR_BIT';
1627     ($config{b64l},$config{b64},$config{b32})
1628         =(1,0,0)                                if $_ eq 'SIXTY_FOUR_BIT_LONG';
1629     ($config{b64l},$config{b64},$config{b32})
1630         =(0,0,1)                                if $_ eq 'THIRTY_TWO_BIT';
1631 }
1632 die "Exactly one of SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT can be set in bn_ops\n"
1633     if $count > 1;
1634
1635 $config{api} = $config{major} * 10000 + $config{minor} * 100
1636     unless $config{api};
1637 foreach (keys %$apitable) {
1638     $disabled{"deprecated-$_"} = "deprecation"
1639         if $disabled{deprecated} && $config{api} >= $apitable->{$_};
1640 }
1641
1642 disable();                      # Run a cascade now
1643
1644 # Hack cflags for better warnings (dev option) #######################
1645
1646 # "Stringify" the C and C++ flags string.  This permits it to be made part of
1647 # a string and works as well on command lines.
1648 $config{cflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1649                         @{$config{cflags}} ];
1650 $config{cxxflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1651                           @{$config{cxxflags}} ] if $config{CXX};
1652
1653 $config{openssl_api_defines} = [
1654     "OPENSSL_CONFIGURED_API=".$config{api},
1655 ];
1656
1657 my @strict_warnings_collection=();
1658 if ($strict_warnings)
1659         {
1660         my $wopt;
1661         my $gccver = $predefined_C{__GNUC__} // -1;
1662
1663         if ($gccver >= 4)
1664                 {
1665                 push @strict_warnings_collection, @gcc_devteam_warn;
1666                 push @strict_warnings_collection, @clang_devteam_warn
1667                     if (defined($predefined_C{__clang__}));
1668                 }
1669         elsif ($config{target} =~ /^VC-/)
1670                 {
1671                 push @strict_warnings_collection, @cl_devteam_warn;
1672                 }
1673         else
1674                 {
1675                 warn "WARNING --strict-warnings requires gcc[>=4] or gcc-alike, or MSVC"
1676                 }
1677         }
1678
1679 $config{CFLAGS} = [ map { $_ eq '--ossl-strict-warnings'
1680                               ? @strict_warnings_collection
1681                               : ( $_ ) }
1682                     @{$config{CFLAGS}} ];
1683
1684 unless ($disabled{afalgeng}) {
1685     $config{afalgeng}="";
1686     if (grep { $_ eq 'afalgeng' } @{$target{enable}}) {
1687         push @{$config{engdirs}}, "afalg";
1688     } else {
1689         disable('not-linux', 'afalgeng');
1690     }
1691 }
1692
1693 unless ($disabled{devcryptoeng}) {
1694     if ($target =~ m/^BSD/) {
1695         my $maxver = 5*100 + 7;
1696         my $sysstr = `uname -s`;
1697         my $verstr = `uname -r`;
1698         $sysstr =~ s|\R$||;
1699         $verstr =~ s|\R$||;
1700         my ($ma, $mi, @rest) = split m|\.|, $verstr;
1701         my $ver = $ma*100 + $mi;
1702         if ($sysstr eq 'OpenBSD' && $ver >= $maxver) {
1703             disable('too-new-kernel', 'devcryptoeng');
1704         }
1705     }
1706 }
1707
1708 unless ($disabled{ktls}) {
1709     $config{ktls}="";
1710     if ($target =~ m/^linux/) {
1711         my $usr = "/usr/$config{cross_compile_prefix}";
1712         chop($usr);
1713         if ($config{cross_compile_prefix} eq "") {
1714             $usr = "/usr";
1715         }
1716         my $minver = (4 << 16) + (13 << 8) + 0;
1717         my @verstr = split(" ",`cat $usr/include/linux/version.h | grep LINUX_VERSION_CODE`);
1718
1719         if ($verstr[2] < $minver) {
1720             disable('too-old-kernel', 'ktls');
1721         }
1722     } elsif ($target =~ m/^BSD/) {
1723         my $cc = $config{CROSS_COMPILE}.$config{CC};
1724         system("printf '#include <sys/types.h>\n#include <sys/ktls.h>' | $cc -E - >/dev/null 2>&1");
1725         if ($? != 0) {
1726             disable('too-old-freebsd', 'ktls');
1727         }
1728     } else {
1729         disable('not-linux-or-freebsd', 'ktls');
1730     }
1731 }
1732
1733 push @{$config{openssl_other_defines}}, "OPENSSL_NO_KTLS" if ($disabled{ktls});
1734
1735 # Get the extra flags used when building shared libraries and modules.  We
1736 # do this late because some of them depend on %disabled.
1737
1738 # Make the flags to build DSOs the same as for shared libraries unless they
1739 # are already defined
1740 $target{module_cflags} = $target{shared_cflag} unless defined $target{module_cflags};
1741 $target{module_cxxflags} = $target{shared_cxxflag} unless defined $target{module_cxxflags};
1742 $target{module_ldflags} = $target{shared_ldflag} unless defined $target{module_ldflags};
1743 {
1744     my $shared_info_pl =
1745         catfile(dirname($0), "Configurations", "shared-info.pl");
1746     my %shared_info = read_eval_file($shared_info_pl);
1747     push @{$target{_conf_fname_int}}, $shared_info_pl;
1748     my $si = $target{shared_target};
1749     while (ref $si ne "HASH") {
1750         last if ! defined $si;
1751         if (ref $si eq "CODE") {
1752             $si = $si->();
1753         } else {
1754             $si = $shared_info{$si};
1755         }
1756     }
1757
1758     # Some of the 'shared_target' values don't have any entries in
1759     # %shared_info.  That's perfectly fine, AS LONG AS the build file
1760     # template knows how to handle this.  That is currently the case for
1761     # Windows and VMS.
1762     if (defined $si) {
1763         # Just as above, copy certain shared_* attributes to the corresponding
1764         # module_ attribute unless the latter is already defined
1765         $si->{module_cflags} = $si->{shared_cflag} unless defined $si->{module_cflags};
1766         $si->{module_cxxflags} = $si->{shared_cxxflag} unless defined $si->{module_cxxflags};
1767         $si->{module_ldflags} = $si->{shared_ldflag} unless defined $si->{module_ldflags};
1768         foreach (sort keys %$si) {
1769             $target{$_} = defined $target{$_}
1770                 ? add($si->{$_})->($target{$_})
1771                 : $si->{$_};
1772         }
1773     }
1774 }
1775
1776 # ALL MODIFICATIONS TO %disabled, %config and %target MUST BE DONE FROM HERE ON
1777
1778 ######################################################################
1779 # Build up information for skipping certain directories depending on disabled
1780 # features, as well as setting up macros for disabled features.
1781
1782 # This is a tentative database of directories to skip.  Some entries may not
1783 # correspond to anything real, but that's ok, they will simply be ignored.
1784 # The actual processing of these entries is done in the build.info lookup
1785 # loop further down.
1786 #
1787 # The key is a Unix formatted path in the source tree, the value is an index
1788 # into %disabled_info, so any existing path gets added to a corresponding
1789 # 'skipped' entry in there with the list of skipped directories.
1790 my %skipdir = ();
1791 my %disabled_info = ();         # For configdata.pm
1792 foreach my $what (sort keys %disabled) {
1793     # There are deprecated disablables that translate to themselves.
1794     # They cause disabling cascades, but should otherwise not register.
1795     next if $deprecated_disablables{$what};
1796     # The generated $disabled{"deprecated-x.y"} entries are special
1797     # and treated properly elsewhere
1798     next if $what =~ m|^deprecated-|;
1799
1800     $config{options} .= " no-$what";
1801
1802     if (!grep { $what eq $_ } ( 'buildtest-c++', 'fips', 'threads', 'shared',
1803                                 'module', 'pic', 'dynamic-engine', 'makedepend',
1804                                 'zlib-dynamic', 'zlib', 'sse2', 'legacy' )) {
1805         (my $WHAT = uc $what) =~ s|-|_|g;
1806         my $skipdir = $what;
1807
1808         # fix-up crypto/directory name(s)
1809         $skipdir = "ripemd" if $what eq "rmd160";
1810         $skipdir = "whrlpool" if $what eq "whirlpool";
1811
1812         my $macro = $disabled_info{$what}->{macro} = "OPENSSL_NO_$WHAT";
1813         push @{$config{openssl_feature_defines}}, $macro;
1814
1815         $skipdir{engines} = $what if $what eq 'engine';
1816         $skipdir{"crypto/$skipdir"} = $what
1817             unless $what eq 'async' || $what eq 'err' || $what eq 'dso';
1818     }
1819 }
1820
1821 if ($disabled{"dynamic-engine"}) {
1822     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_DYNAMIC_ENGINE";
1823 } else {
1824     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_STATIC_ENGINE";
1825 }
1826
1827 # If we use the unified build, collect information from build.info files
1828 my %unified_info = ();
1829
1830 my $buildinfo_debug = defined($ENV{CONFIGURE_DEBUG_BUILDINFO});
1831 if ($builder eq "unified") {
1832     use Text::Template 1.46;
1833
1834     sub cleandir {
1835         my $base = shift;
1836         my $dir = shift;
1837         my $relativeto = shift || ".";
1838
1839         $dir = catdir($base,$dir) unless isabsolute($dir);
1840
1841         # Make sure the directories we're building in exists
1842         mkpath($dir);
1843
1844         my $res = abs2rel(absolutedir($dir), rel2abs($relativeto));
1845         #print STDERR "DEBUG[cleandir]: $dir , $base => $res\n";
1846         return $res;
1847     }
1848
1849     sub cleanfile {
1850         my $base = shift;
1851         my $file = shift;
1852         my $relativeto = shift || ".";
1853
1854         $file = catfile($base,$file) unless isabsolute($file);
1855
1856         my $d = dirname($file);
1857         my $f = basename($file);
1858
1859         # Make sure the directories we're building in exists
1860         mkpath($d);
1861
1862         my $res = abs2rel(catfile(absolutedir($d), $f), rel2abs($relativeto));
1863         #print STDERR "DEBUG[cleanfile]: $d , $f => $res\n";
1864         return $res;
1865     }
1866
1867     # Store the name of the template file we will build the build file from
1868     # in %config.  This may be useful for the build file itself.
1869     my @build_file_template_names =
1870         ( $builder_platform."-".$target{build_file}.".tmpl",
1871           $target{build_file}.".tmpl" );
1872     my @build_file_templates = ();
1873
1874     # First, look in the user provided directory, if given
1875     if (defined env($local_config_envname)) {
1876         @build_file_templates =
1877             map {
1878                 if ($^O eq 'VMS') {
1879                     # VMS environment variables are logical names,
1880                     # which can be used as is
1881                     $local_config_envname . ':' . $_;
1882                 } else {
1883                     catfile(env($local_config_envname), $_);
1884                 }
1885             }
1886             @build_file_template_names;
1887     }
1888     # Then, look in our standard directory
1889     push @build_file_templates,
1890         ( map { cleanfile($srcdir, catfile("Configurations", $_), $blddir) }
1891           @build_file_template_names );
1892
1893     my $build_file_template;
1894     for $_ (@build_file_templates) {
1895         $build_file_template = $_;
1896         last if -f $build_file_template;
1897
1898         $build_file_template = undef;
1899     }
1900     if (!defined $build_file_template) {
1901         die "*** Couldn't find any of:\n", join("\n", @build_file_templates), "\n";
1902     }
1903     $config{build_file_templates}
1904       = [ cleanfile($srcdir, catfile("Configurations", "common0.tmpl"),
1905                     $blddir),
1906            $build_file_template ];
1907
1908     my @build_dirs = ( [ ] );   # current directory
1909
1910     $config{build_infos} = [ ];
1911
1912     # We want to detect configdata.pm in the source tree, so we
1913     # don't use it if the build tree is different.
1914     my $src_configdata = cleanfile($srcdir, "configdata.pm", $blddir);
1915
1916     # Any source file that we recognise is placed in this hash table, with
1917     # the list of its intended destinations as value.  When everything has
1918     # been collected, there's a routine that checks that these source files
1919     # exist, or if they are generated, that the generator exists.
1920     my %check_exist = ();
1921     my %check_generate = ();
1922
1923     my %ordinals = ();
1924     while (@build_dirs) {
1925         my @curd = @{shift @build_dirs};
1926         my $sourced = catdir($srcdir, @curd);
1927         my $buildd = catdir($blddir, @curd);
1928
1929         my $unixdir = join('/', @curd);
1930         if (exists $skipdir{$unixdir}) {
1931             my $what = $skipdir{$unixdir};
1932             push @{$disabled_info{$what}->{skipped}}, catdir(@curd);
1933             next;
1934         }
1935
1936         mkpath($buildd);
1937
1938         my $f = 'build.info';
1939         # The basic things we're trying to build
1940         my @programs = ();
1941         my @libraries = ();
1942         my @modules = ();
1943         my @scripts = ();
1944
1945         my %sources = ();
1946         my %shared_sources = ();
1947         my %includes = ();
1948         my %defines = ();
1949         my %depends = ();
1950         my %generate = ();
1951         my %imagedocs = ();
1952         my %htmldocs = ();
1953         my %mandocs = ();
1954
1955         # Support for $variablename in build.info files.
1956         # Embedded perl code is the ultimate master, still.  If its output
1957         # contains a dollar sign, it had better be escaped, or it will be
1958         # taken for a variable name prefix.
1959         my %variables = ();
1960         # Variable name syntax
1961         my $variable_name_re = qr/(?P<VARIABLE>[[:alpha:]][[:alnum:]_]*)/;
1962         # Value modifier syntaxes
1963         my $variable_subst_re = qr/\/(?P<RE>(?:\\\/|.)*?)\/(?P<SUBST>.*?)/;
1964         # Variable reference
1965         my $variable_simple_re = qr/(?<!\\)\$${variable_name_re}/;
1966         my $variable_w_mod_re =
1967             qr/(?<!\\)\$\{${variable_name_re}(?P<MOD>(?:\\\/|.)*?)\}/;
1968         # Tie it all together
1969         my $variable_re = qr/${variable_simple_re}|${variable_w_mod_re}/;
1970
1971         my $expand_variables = sub {
1972             my $value = '';
1973             my $value_rest = shift;
1974
1975             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1976                 print STDERR
1977                     "DEBUG[\$expand_variables] Parsed '$value_rest' ...\n"
1978             }
1979
1980             while ($value_rest =~ /${variable_re}/) {
1981                 # We must save important regexp values, because the next
1982                 # regexp clears them
1983                 my $mod = $+{MOD};
1984                 my $variable_value = $variables{$+{VARIABLE}};
1985
1986                 $value_rest = $';
1987                 $value .= $`;
1988
1989                 # Process modifier expressions, if present
1990                 if (defined $mod) {
1991                     if ($mod =~ /^${variable_subst_re}$/) {
1992                         my $re = $+{RE};
1993                         my $subst = $+{SUBST};
1994
1995                         $variable_value =~ s/\Q$re\E/$subst/g;
1996
1997                         if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1998                             print STDERR
1999                                 "DEBUG[\$expand_variables] ... and substituted ",
2000                                 "'$re' with '$subst'\n";
2001                         }
2002                     }
2003                 }
2004
2005                 $value .= $variable_value;
2006             }
2007             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
2008                 print STDERR
2009                     "DEBUG[\$expand_variables] ... into: '$value$value_rest'\n";
2010             }
2011             return $value . $value_rest;
2012         };
2013
2014         # Support for attributes in build.info files
2015         my %attributes = ();
2016         my $handle_attributes = sub {
2017             my $attr_str = shift;
2018             my $ref = shift;
2019             my @goals = @_;
2020
2021             return unless defined $attr_str;
2022
2023             my @a = tokenize($attr_str, qr|\s*,\s*|);
2024             foreach my $a (@a) {
2025                 my $ac = 1;
2026                 my $ak = $a;
2027                 my $av = 1;
2028                 if ($a =~ m|^(!)?(.*?)\s* = \s*(.*?)$|x) {
2029                     $ac = ! $1;
2030                     $ak = $2;
2031                     $av = $3;
2032                 }
2033                 foreach my $g (@goals) {
2034                     if ($ac) {
2035                         $$ref->{$g}->{$ak} = $av;
2036                     } else {
2037                         delete $$ref->{$g}->{$ak};
2038                     }
2039                 }
2040             }
2041         };
2042
2043         # Support for pushing values on multiple indexes of a given hash
2044         # array.
2045         my $push_to = sub {
2046             my $valueref = shift;
2047             my $index_str = shift; # May be undef or empty
2048             my $attrref = shift;   # May be undef
2049             my $attr_str = shift;
2050             my @values = @_;
2051
2052             if (defined $index_str) {
2053                 my @indexes = ( '' );
2054                 if ($index_str !~ m|^\s*$|) {
2055                     @indexes = tokenize($index_str);
2056                 }
2057                 foreach (@indexes) {
2058                     push @{$valueref->{$_}}, @values;
2059                     if (defined $attrref) {
2060                         $handle_attributes->($attr_str, \$$attrref->{$_},
2061                                              @values);
2062                     }
2063                 }
2064             } else {
2065                 push @$valueref, @values;
2066                 $handle_attributes->($attr_str, $attrref, @values)
2067                     if defined $attrref;
2068             }
2069         };
2070
2071         if ($buildinfo_debug) {
2072             print STDERR "DEBUG: Reading ",catfile($sourced, $f),"\n";
2073         }
2074         push @{$config{build_infos}}, catfile(abs2rel($sourced, $blddir), $f);
2075         my $template =
2076             Text::Template->new(TYPE => 'FILE',
2077                                 SOURCE => catfile($sourced, $f),
2078                                 PREPEND => qq{use lib "$FindBin::Bin/util/perl";});
2079         die "Something went wrong with $sourced/$f: $!\n" unless $template;
2080         my @text =
2081             split /^/m,
2082             $template->fill_in(HASH => { config => \%config,
2083                                          target => \%target,
2084                                          disabled => \%disabled,
2085                                          withargs => \%withargs,
2086                                          builddir => abs2rel($buildd, $blddir),
2087                                          sourcedir => abs2rel($sourced, $blddir),
2088                                          buildtop => abs2rel($blddir, $blddir),
2089                                          sourcetop => abs2rel($srcdir, $blddir) },
2090                                DELIMITERS => [ "{-", "-}" ]);
2091
2092         # The top item of this stack has the following values
2093         # -2 positive already run and we found ELSE (following ELSIF should fail)
2094         # -1 positive already run (skip until ENDIF)
2095         # 0 negatives so far (if we're at a condition, check it)
2096         # 1 last was positive (don't skip lines until next ELSE, ELSIF or ENDIF)
2097         # 2 positive ELSE (following ELSIF should fail)
2098         my @skip = ();
2099
2100         # A few useful generic regexps
2101         my $index_re = qr/\[\s*(?P<INDEX>(?:\\.|.)*?)\s*\]/;
2102         my $cond_re = qr/\[\s*(?P<COND>(?:\\.|.)*?)\s*\]/;
2103         my $attribs_re = qr/(?:\{\s*(?P<ATTRIBS>(?:\\.|.)*?)\s*\})?/;
2104         my $value_re = qr/(?P<VALUE>.*?)/;
2105         collect_information(
2106             collect_from_array([ @text ],
2107                                qr/\\$/ => sub { my $l1 = shift; my $l2 = shift;
2108                                                 $l1 =~ s/\\$//; $l1.$l2 }),
2109             # Info we're looking for
2110             qr/^\s* IF ${cond_re} \s*$/x
2111             => sub {
2112                 if (! @skip || $skip[$#skip] > 0) {
2113                     push @skip, !! $expand_variables->($+{COND});
2114                 } else {
2115                     push @skip, -1;
2116                 }
2117             },
2118             qr/^\s* ELSIF ${cond_re} \s*$/x
2119             => sub { die "ELSIF out of scope" if ! @skip;
2120                      die "ELSIF following ELSE" if abs($skip[$#skip]) == 2;
2121                      $skip[$#skip] = -1 if $skip[$#skip] != 0;
2122                      $skip[$#skip] = !! $expand_variables->($+{COND})
2123                          if $skip[$#skip] == 0; },
2124             qr/^\s* ELSE \s*$/x
2125             => sub { die "ELSE out of scope" if ! @skip;
2126                      $skip[$#skip] = -2 if $skip[$#skip] != 0;
2127                      $skip[$#skip] = 2 if $skip[$#skip] == 0; },
2128             qr/^\s* ENDIF \s*$/x
2129             => sub { die "ENDIF out of scope" if ! @skip;
2130                      pop @skip; },
2131             qr/^\s* ${variable_re} \s* = \s* ${value_re} \s* $/x
2132             => sub {
2133                 if (!@skip || $skip[$#skip] > 0) {
2134                     $variables{$+{VARIABLE}} = $expand_variables->($+{VALUE});
2135                 }
2136             },
2137             qr/^\s* SUBDIRS \s* = \s* ${value_re} \s* $/x
2138             => sub {
2139                 if (!@skip || $skip[$#skip] > 0) {
2140                     foreach (tokenize($expand_variables->($+{VALUE}))) {
2141                         push @build_dirs, [ @curd, splitdir($_, 1) ];
2142                     }
2143                 }
2144             },
2145             qr/^\s* PROGRAMS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2146             => sub { $push_to->(\@programs, undef,
2147                                 \$attributes{programs}, $+{ATTRIBS},
2148                                 tokenize($expand_variables->($+{VALUE})))
2149                          if !@skip || $skip[$#skip] > 0; },
2150             qr/^\s* LIBS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2151             => sub { $push_to->(\@libraries, undef,
2152                                 \$attributes{libraries}, $+{ATTRIBS},
2153                                 tokenize($expand_variables->($+{VALUE})))
2154                          if !@skip || $skip[$#skip] > 0; },
2155             qr/^\s* MODULES ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2156             => sub { $push_to->(\@modules, undef,
2157                                 \$attributes{modules}, $+{ATTRIBS},
2158                                 tokenize($expand_variables->($+{VALUE})))
2159                          if !@skip || $skip[$#skip] > 0; },
2160             qr/^\s* SCRIPTS ${attribs_re} \s* = \s* ${value_re} \s* $/x
2161             => sub { $push_to->(\@scripts, undef,
2162                                 \$attributes{scripts}, $+{ATTRIBS},
2163                                 tokenize($expand_variables->($+{VALUE})))
2164                          if !@skip || $skip[$#skip] > 0; },
2165             qr/^\s* IMAGEDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2166             => sub { $push_to->(\%imagedocs, $expand_variables->($+{INDEX}),
2167                                 undef, undef,
2168                                 tokenize($expand_variables->($+{VALUE})))
2169                          if !@skip || $skip[$#skip] > 0; },
2170             qr/^\s* HTMLDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2171             => sub { $push_to->(\%htmldocs, $expand_variables->($+{INDEX}),
2172                                 undef, undef,
2173                                 tokenize($expand_variables->($+{VALUE})))
2174                          if !@skip || $skip[$#skip] > 0; },
2175             qr/^\s* MANDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2176             => sub { $push_to->(\%mandocs, $expand_variables->($+{INDEX}),
2177                                 undef, undef,
2178                                 tokenize($expand_variables->($+{VALUE})))
2179                          if !@skip || $skip[$#skip] > 0; },
2180             qr/^\s* SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2181             => sub { $push_to->(\%sources, $expand_variables->($+{INDEX}),
2182                                 \$attributes{sources}, $+{ATTRIBS},
2183                                 tokenize($expand_variables->($+{VALUE})))
2184                          if !@skip || $skip[$#skip] > 0; },
2185             qr/^\s* SHARED_SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2186             => sub { $push_to->(\%shared_sources, $expand_variables->($+{INDEX}),
2187                                 \$attributes{sources}, $+{ATTRIBS},
2188                                 tokenize($expand_variables->($+{VALUE})))
2189                          if !@skip || $skip[$#skip] > 0; },
2190             qr/^\s* INCLUDE ${index_re} \s* = \s* ${value_re} \s* $/x
2191             => sub { $push_to->(\%includes, $expand_variables->($+{INDEX}),
2192                                 undef, undef,
2193                                 tokenize($expand_variables->($+{VALUE})))
2194                          if !@skip || $skip[$#skip] > 0; },
2195             qr/^\s* DEFINE ${index_re} \s* = \s* ${value_re} \s* $/x
2196             => sub { $push_to->(\%defines, $expand_variables->($+{INDEX}),
2197                                 undef, undef,
2198                                 tokenize($expand_variables->($+{VALUE})))
2199                          if !@skip || $skip[$#skip] > 0; },
2200             qr/^\s* DEPEND ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2201             => sub { $push_to->(\%depends, $expand_variables->($+{INDEX}),
2202                                 \$attributes{depends}, $+{ATTRIBS},
2203                                 tokenize($expand_variables->($+{VALUE})))
2204                          if !@skip || $skip[$#skip] > 0; },
2205             qr/^\s* GENERATE ${index_re} \s* = \s* ${value_re} \s* $/x
2206             => sub { $push_to->(\%generate, $expand_variables->($+{INDEX}),
2207                                 undef, undef, $expand_variables->($+{VALUE}))
2208                          if !@skip || $skip[$#skip] > 0; },
2209             qr/^\s* (?:\#.*)? $/x => sub { },
2210             "OTHERWISE" => sub { die "Something wrong with this line:\n$_\nat $sourced/$f" },
2211             "BEFORE" => sub {
2212                 if ($buildinfo_debug) {
2213                     print STDERR "DEBUG: Parsing ",join(" ", @_),"\n";
2214                     print STDERR "DEBUG: ... before parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2215                 }
2216             },
2217             "AFTER" => sub {
2218                 if ($buildinfo_debug) {
2219                     print STDERR "DEBUG: .... after parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2220                 }
2221             },
2222             );
2223         die "runaway IF?" if (@skip);
2224
2225         if (grep { defined $attributes{modules}->{$_}->{engine} } keys %attributes
2226                 and !$config{dynamic_engines}) {
2227             die <<"EOF"
2228 ENGINES can only be used if configured with 'dynamic-engine'.
2229 This is usually a fault in a build.info file.
2230 EOF
2231         }
2232
2233         {
2234             my %infos = ( programs  => [ @programs  ],
2235                           libraries => [ @libraries ],
2236                           modules   => [ @modules   ],
2237                           scripts   => [ @scripts   ] );
2238             foreach my $k (keys %infos) {
2239                 foreach (@{$infos{$k}}) {
2240                     my $item = cleanfile($buildd, $_, $blddir);
2241                     $unified_info{$k}->{$item} = 1;
2242
2243                     # Fix up associated attributes
2244                     $unified_info{attributes}->{$k}->{$item} =
2245                         $attributes{$k}->{$_}
2246                         if defined $attributes{$k}->{$_};
2247                 }
2248             }
2249         }
2250
2251         # Check that we haven't defined any library as both shared and
2252         # explicitly static.  That is forbidden.
2253         my @doubles = ();
2254         foreach (grep /\.a$/, keys %{$unified_info{libraries}}) {
2255             (my $l = $_) =~ s/\.a$//;
2256             push @doubles, $l if defined $unified_info{libraries}->{$l};
2257         }
2258         die "these libraries are both explicitly static and shared:\n  ",
2259             join(" ", @doubles), "\n"
2260             if @doubles;
2261
2262         foreach (keys %sources) {
2263             my $dest = $_;
2264             my $ddest = cleanfile($buildd, $_, $blddir);
2265             foreach (@{$sources{$dest}}) {
2266                 my $s = cleanfile($sourced, $_, $blddir);
2267
2268                 # If it's generated or we simply don't find it in the source
2269                 # tree, we assume it's in the build tree.
2270                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2271                     $s = cleanfile($buildd, $_, $blddir);
2272                 }
2273                 my $o = $_;
2274                 # We recognise C++, C and asm files
2275                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2276                     push @{$check_exist{$s}}, $ddest;
2277                     $o =~ s/\.[csS]$/.o/; # C and assembler
2278                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2279                     $o = cleanfile($buildd, $o, $blddir);
2280                     $unified_info{sources}->{$ddest}->{$o} = -1;
2281                     $unified_info{sources}->{$o}->{$s} = -1;
2282                 } elsif ($s =~ /\.rc$/) {
2283                     # We also recognise resource files
2284                     push @{$check_exist{$s}}, $ddest;
2285                     $o =~ s/\.rc$/.res/; # Resource configuration
2286                     $o = cleanfile($buildd, $o, $blddir);
2287                     $unified_info{sources}->{$ddest}->{$o} = -1;
2288                     $unified_info{sources}->{$o}->{$s} = -1;
2289                 } else {
2290                     push @{$check_exist{$s}}, $ddest;
2291                     $unified_info{sources}->{$ddest}->{$s} = 1;
2292                 }
2293                 # Fix up associated attributes
2294                 if ($o ne $_) {
2295                     $unified_info{attributes}->{sources}->{$ddest}->{$o} =
2296                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2297                         $attributes{sources}->{$dest}->{$_}
2298                         if defined $attributes{sources}->{$dest}->{$_};
2299                 } else {
2300                     $unified_info{attributes}->{sources}->{$ddest}->{$s} =
2301                         $attributes{sources}->{$dest}->{$_}
2302                         if defined $attributes{sources}->{$dest}->{$_};
2303                 }
2304             }
2305         }
2306
2307         foreach (keys %shared_sources) {
2308             my $dest = $_;
2309             my $ddest = cleanfile($buildd, $_, $blddir);
2310             foreach (@{$shared_sources{$dest}}) {
2311                 my $s = cleanfile($sourced, $_, $blddir);
2312
2313                 # If it's generated or we simply don't find it in the source
2314                 # tree, we assume it's in the build tree.
2315                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2316                     $s = cleanfile($buildd, $_, $blddir);
2317                 }
2318
2319                 my $o = $_;
2320                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2321                     # We recognise C++, C and asm files
2322                     push @{$check_exist{$s}}, $ddest;
2323                     $o =~ s/\.[csS]$/.o/; # C and assembler
2324                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2325                     $o = cleanfile($buildd, $o, $blddir);
2326                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2327                     $unified_info{sources}->{$o}->{$s} = -1;
2328                 } elsif ($s =~ /\.rc$/) {
2329                     # We also recognise resource files
2330                     push @{$check_exist{$s}}, $ddest;
2331                     $o =~ s/\.rc$/.res/; # Resource configuration
2332                     $o = cleanfile($buildd, $o, $blddir);
2333                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2334                     $unified_info{sources}->{$o}->{$s} = -1;
2335                 } elsif ($s =~ /\.ld$/) {
2336                     # We also recognise linker scripts (or corresponding)
2337                     # We know they are generated files
2338                     push @{$check_exist{$s}}, $ddest;
2339                     $o = cleanfile($buildd, $_, $blddir);
2340                     $unified_info{shared_sources}->{$ddest}->{$o} = 1;
2341                 } else {
2342                     die "unrecognised source file type for shared library: $s\n";
2343                 }
2344                 # Fix up associated attributes
2345                 if ($o ne $_) {
2346                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2347                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2348                         $attributes{sources}->{$dest}->{$_}
2349                         if defined $attributes{sources}->{$dest}->{$_};
2350                 } else {
2351                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2352                         $attributes{sources}->{$dest}->{$_}
2353                         if defined $attributes{sources}->{$dest}->{$_};
2354                 }
2355             }
2356         }
2357
2358         foreach (keys %generate) {
2359             my $dest = $_;
2360             my $ddest = cleanfile($buildd, $_, $blddir);
2361             die "more than one generator for $dest: "
2362                 ,join(" ", @{$generate{$_}}),"\n"
2363                 if scalar @{$generate{$_}} > 1;
2364             my @generator = split /\s+/, $generate{$dest}->[0];
2365             my $gen = $generator[0];
2366             $generator[0] = cleanfile($sourced, $gen, $blddir);
2367
2368             # If the generator is itself generated, it's in the build tree
2369             if ($generate{$gen} || ! -f $generator[0]) {
2370                 $generator[0] = cleanfile($buildd, $gen, $blddir);
2371             }
2372             $check_generate{$ddest}->{$generator[0]}++;
2373
2374             $unified_info{generate}->{$ddest} = [ @generator ];
2375         }
2376
2377         foreach (keys %depends) {
2378             my $dest = $_;
2379             my $ddest = $dest;
2380
2381             if ($dest =~ /^\|(.*)\|$/) {
2382                 # Collect the raw target
2383                 $unified_info{targets}->{$1} = 1;
2384                 $ddest = $1;
2385             } elsif ($dest eq '') {
2386                 $ddest = '';
2387             } else {
2388                 $ddest = cleanfile($sourced, $_, $blddir);
2389
2390                 # If the destination doesn't exist in source, it can only be
2391                 # a generated file in the build tree.
2392                 if ($ddest eq $src_configdata || ! -f $ddest) {
2393                     $ddest = cleanfile($buildd, $_, $blddir);
2394                 }
2395             }
2396             foreach (@{$depends{$dest}}) {
2397                 my $d = cleanfile($sourced, $_, $blddir);
2398                 my $d2 = cleanfile($buildd, $_, $blddir);
2399
2400                 # If we know it's generated, or assume it is because we can't
2401                 # find it in the source tree, we set file we depend on to be
2402                 # in the build tree rather than the source tree.
2403                 if ($d eq $src_configdata
2404                     || (grep { $d2 eq $_ }
2405                         keys %{$unified_info{generate}})
2406                     || ! -f $d) {
2407                     $d = $d2;
2408                 }
2409                 $unified_info{depends}->{$ddest}->{$d} = 1;
2410
2411                 # Fix up associated attributes
2412                 $unified_info{attributes}->{depends}->{$ddest}->{$d} =
2413                     $attributes{depends}->{$dest}->{$_}
2414                     if defined $attributes{depends}->{$dest}->{$_};
2415             }
2416         }
2417
2418         foreach (keys %includes) {
2419             my $dest = $_;
2420             my $ddest = cleanfile($sourced, $_, $blddir);
2421
2422             # If the destination doesn't exist in source, it can only be
2423             # a generated file in the build tree.
2424             if ($ddest eq $src_configdata || ! -f $ddest) {
2425                 $ddest = cleanfile($buildd, $_, $blddir);
2426             }
2427             foreach (@{$includes{$dest}}) {
2428                 my $is = cleandir($sourced, $_, $blddir);
2429                 my $ib = cleandir($buildd, $_, $blddir);
2430                 push @{$unified_info{includes}->{$ddest}->{source}}, $is
2431                     unless grep { $_ eq $is } @{$unified_info{includes}->{$ddest}->{source}};
2432                 push @{$unified_info{includes}->{$ddest}->{build}}, $ib
2433                     unless grep { $_ eq $ib } @{$unified_info{includes}->{$ddest}->{build}};
2434             }
2435         }
2436
2437         foreach my $dest (keys %defines) {
2438             my $ddest;
2439
2440             if ($dest ne "") {
2441                 $ddest = cleanfile($sourced, $dest, $blddir);
2442
2443                 # If the destination doesn't exist in source, it can only
2444                 # be a generated file in the build tree.
2445                 if (! -f $ddest) {
2446                     $ddest = cleanfile($buildd, $dest, $blddir);
2447                 }
2448             }
2449             foreach my $v (@{$defines{$dest}}) {
2450                 $v =~ m|^([^=]*)(=.*)?$|;
2451                 die "0 length macro name not permitted\n" if $1 eq "";
2452                 if ($dest ne "") {
2453                     die "$1 defined more than once\n"
2454                         if defined $unified_info{defines}->{$ddest}->{$1};
2455                     $unified_info{defines}->{$ddest}->{$1} = $2;
2456                 } else {
2457                     die "$1 defined more than once\n"
2458                         if grep { $v eq $_ } @{$config{defines}};
2459                     push @{$config{defines}}, $v;
2460                 }
2461             }
2462         }
2463
2464         foreach my $section (keys %imagedocs) {
2465             foreach (@{$imagedocs{$section}}) {
2466                 my $imagedocs = cleanfile($buildd, $_, $blddir);
2467                 $unified_info{imagedocs}->{$section}->{$imagedocs} = 1;
2468             }
2469         }
2470
2471         foreach my $section (keys %htmldocs) {
2472             foreach (@{$htmldocs{$section}}) {
2473                 my $htmldocs = cleanfile($buildd, $_, $blddir);
2474                 $unified_info{htmldocs}->{$section}->{$htmldocs} = 1;
2475             }
2476         }
2477
2478         foreach my $section (keys %mandocs) {
2479             foreach (@{$mandocs{$section}}) {
2480                 my $mandocs = cleanfile($buildd, $_, $blddir);
2481                 $unified_info{mandocs}->{$section}->{$mandocs} = 1;
2482             }
2483         }
2484     }
2485
2486     my $ordinals_text = join(', ', sort keys %ordinals);
2487     warn <<"EOF" if $ordinals_text;
2488
2489 WARNING: ORDINALS were specified for $ordinals_text
2490 They are ignored and should be replaced with a combination of GENERATE,
2491 DEPEND and SHARED_SOURCE.
2492 EOF
2493
2494     # Check that each generated file is only generated once
2495     my $ambiguous_generation = 0;
2496     foreach (sort keys %check_generate) {
2497         my @generators = sort keys %{$check_generate{$_}};
2498         my $generators_txt = join(', ', @generators);
2499         if (scalar @generators > 1) {
2500             warn "$_ is GENERATEd by more than one generator ($generators_txt)\n";
2501             $ambiguous_generation++;
2502         }
2503         if ($check_generate{$_}->{$generators[0]} > 1) {
2504             warn "INFO: $_ has more than one GENERATE declaration (same generator)\n"
2505         }
2506     }
2507     die "There are ambiguous source file generations\n"
2508         if $ambiguous_generation > 0;
2509
2510     # All given source files should exist, or if generated, their
2511     # generator should exist.  This loop ensures this is true.
2512     my $missing = 0;
2513     foreach my $orig (sort keys %check_exist) {
2514         foreach my $dest (@{$check_exist{$orig}}) {
2515             if ($orig ne $src_configdata) {
2516                 if ($orig =~ /\.a$/) {
2517                     # Static library names may be used as sources, so we
2518                     # need to detect those and give them special treatment.
2519                     unless (grep { $_ eq $orig }
2520                             keys %{$unified_info{libraries}}) {
2521                         warn "$orig is given as source for $dest, but no such library is built\n";
2522                         $missing++;
2523                     }
2524                 } else {
2525                     # A source may be generated, and its generator may be
2526                     # generated as well.  We therefore loop to dig out the
2527                     # first generator.
2528                     my $gen = $orig;
2529
2530                     while (my @next = keys %{$check_generate{$gen}}) {
2531                         $gen = $next[0];
2532                     }
2533
2534                     if (! -f $gen) {
2535                         if ($gen ne $orig) {
2536                             $missing++;
2537                             warn "$orig is given as source for $dest, but its generator (leading to $gen) is missing\n";
2538                         } else {
2539                             $missing++;
2540                             warn "$orig is given as source for $dest, but is missing\n";
2541                         }
2542                     }
2543                 }
2544             }
2545         }
2546     }
2547     die "There are files missing\n" if $missing > 0;
2548
2549     # Go through the sources of all libraries and check that the same basename
2550     # doesn't appear more than once.  Some static library archivers depend on
2551     # them being unique.
2552     {
2553         my $err = 0;
2554         foreach my $prod (keys %{$unified_info{libraries}}) {
2555             my @prod_sources =
2556                 map { keys %{$unified_info{sources}->{$_}} }
2557                 keys %{$unified_info{sources}->{$prod}};
2558             my %srccnt = ();
2559
2560             # Count how many times a given each source basename
2561             # appears for each product.
2562             foreach my $src (@prod_sources) {
2563                 $srccnt{basename $src}++;
2564             }
2565
2566             foreach my $src (keys %srccnt) {
2567                 if ((my $cnt = $srccnt{$src}) > 1) {
2568                     print STDERR "$src appears $cnt times for the product $prod\n";
2569                     $err++
2570                 }
2571             }
2572         }
2573         die if $err > 0;
2574     }
2575
2576     # Massage the result
2577
2578     # If we depend on a header file or a perl module, add an inclusion of
2579     # its directory to allow smoothe inclusion
2580     foreach my $dest (keys %{$unified_info{depends}}) {
2581         next if $dest eq "";
2582         foreach my $d (keys %{$unified_info{depends}->{$dest}}) {
2583             next unless $d =~ /\.(h|pm)$/;
2584             my $i = dirname($d);
2585             my $spot =
2586                 $d eq "configdata.pm" || defined($unified_info{generate}->{$d})
2587                 ? 'build' : 'source';
2588             push @{$unified_info{includes}->{$dest}->{$spot}}, $i
2589                 unless grep { $_ eq $i } @{$unified_info{includes}->{$dest}->{$spot}};
2590         }
2591     }
2592
2593     # Go through all intermediary files and change their names to something that
2594     # reflects what they will be built for.  Note that for some source files,
2595     # this leads to duplicate object files because they are used multiple times.
2596     # the goal is to rename all object files according to this scheme:
2597     #    {productname}-{midfix}-{origobjname}.[o|res]
2598     # the {midfix} is a keyword indicating the type of product, which is mostly
2599     # valuable for libraries since they come in two forms.
2600     #
2601     # This also reorganises the {sources} and {shared_sources} so that the
2602     # former only contains ALL object files that are supposed to end up in
2603     # static libraries and programs, while the latter contains ALL object files
2604     # that are supposed to end up in shared libraries and DSOs.
2605     # The main reason for having two different source structures is to allow
2606     # the same name to be used for the static and the shared variants of a
2607     # library.
2608     {
2609         # Take copies so we don't get interference from added stuff
2610         my %unified_copy = ();
2611         foreach (('sources', 'shared_sources')) {
2612             $unified_copy{$_} = { %{$unified_info{$_}} }
2613                 if defined($unified_info{$_});
2614             delete $unified_info{$_};
2615         }
2616         foreach my $prodtype (('programs', 'libraries', 'modules', 'scripts')) {
2617             # $intent serves multi purposes:
2618             # - give a prefix for the new object files names
2619             # - in the case of libraries, rearrange the object files so static
2620             #   libraries use the 'sources' structure exclusively, while shared
2621             #   libraries use the 'shared_sources' structure exclusively.
2622             my $intent = {
2623                 programs  => { bin    => { src => [ 'sources' ],
2624                                            dst => 'sources' } },
2625                 libraries => { lib    => { src => [ 'sources' ],
2626                                            dst => 'sources' },
2627                                shlib  => { prodselect =>
2628                                                sub { grep !/\.a$/, @_ },
2629                                            src => [ 'sources',
2630                                                     'shared_sources' ],
2631                                            dst => 'shared_sources' } },
2632                 modules   => { dso    => { src => [ 'sources' ],
2633                                            dst => 'sources' } },
2634                 scripts   => { script => { src => [ 'sources' ],
2635                                            dst => 'sources' } }
2636                } -> {$prodtype};
2637             foreach my $kind (keys %$intent) {
2638                 next if ($intent->{$kind}->{dst} eq 'shared_sources'
2639                              && $disabled{shared});
2640
2641                 my @src = @{$intent->{$kind}->{src}};
2642                 my $dst = $intent->{$kind}->{dst};
2643                 my $prodselect = $intent->{$kind}->{prodselect} // sub { @_ };
2644                 foreach my $prod ($prodselect->(keys %{$unified_info{$prodtype}})) {
2645                     # %prod_sources has all applicable objects as keys, and
2646                     # their corresponding sources as values
2647                     my %prod_sources =
2648                         map { $_ => [ keys %{$unified_copy{sources}->{$_}} ] }
2649                         map { keys %{$unified_copy{$_}->{$prod}} }
2650                         @src;
2651                     foreach (keys %prod_sources) {
2652                         # Only affect object files and resource files,
2653                         # the others simply get a new value
2654                         # (+1 instead of -1)
2655                         if ($_ =~ /\.(o|res)$/) {
2656                             (my $prodname = $prod) =~ s|\.a$||;
2657                             my $newobj =
2658                                 catfile(dirname($_),
2659                                         basename($prodname)
2660                                             . '-' . $kind
2661                                             . '-' . basename($_));
2662                             $unified_info{$dst}->{$prod}->{$newobj} = 1;
2663                             foreach my $src (@{$prod_sources{$_}}) {
2664                                 $unified_info{sources}->{$newobj}->{$src} = 1;
2665                                 # Adjust source attributes
2666                                 my $attrs = $unified_info{attributes}->{sources};
2667                                 if (defined $attrs->{$prod}
2668                                     && defined $attrs->{$prod}->{$_}) {
2669                                     $attrs->{$prod}->{$newobj} =
2670                                         $attrs->{$prod}->{$_};
2671                                     delete $attrs->{$prod}->{$_};
2672                                 }
2673                                 foreach my $objsrc (keys %{$attrs->{$_} // {}}) {
2674                                     $attrs->{$newobj}->{$objsrc} =
2675                                         $attrs->{$_}->{$objsrc};
2676                                     delete $attrs->{$_}->{$objsrc};
2677                                 }
2678                             }
2679                             # Adjust dependencies
2680                             foreach my $deps (keys %{$unified_info{depends}->{$_}}) {
2681                                 $unified_info{depends}->{$_}->{$deps} = -1;
2682                                 $unified_info{depends}->{$newobj}->{$deps} = 1;
2683                             }
2684                             # Adjust includes
2685                             foreach my $k (('source', 'build')) {
2686                                 next unless
2687                                     defined($unified_info{includes}->{$_}->{$k});
2688                                 my @incs = @{$unified_info{includes}->{$_}->{$k}};
2689                                 $unified_info{includes}->{$newobj}->{$k} = [ @incs ];
2690                             }
2691                         } else {
2692                             $unified_info{$dst}->{$prod}->{$_} = 1;
2693                         }
2694                     }
2695                 }
2696             }
2697         }
2698     }
2699
2700     # At this point, we have a number of sources with the value -1.  They
2701     # aren't part of the local build and are probably meant for a different
2702     # platform, and can therefore be cleaned away.  That happens when making
2703     # %unified_info more efficient below.
2704
2705     ### Make unified_info a bit more efficient
2706     # One level structures
2707     foreach (("programs", "libraries", "modules", "scripts", "targets")) {
2708         $unified_info{$_} = [ sort keys %{$unified_info{$_}} ];
2709     }
2710     # Two level structures
2711     foreach my $l1 (("sources", "shared_sources", "ldadd", "depends",
2712                      "imagedocs", "htmldocs", "mandocs")) {
2713         foreach my $l2 (sort keys %{$unified_info{$l1}}) {
2714             my @items =
2715                 sort
2716                 grep { $unified_info{$l1}->{$l2}->{$_} > 0 }
2717                 keys %{$unified_info{$l1}->{$l2}};
2718             if (@items) {
2719                 $unified_info{$l1}->{$l2} = [ @items ];
2720             } else {
2721                 delete $unified_info{$l1}->{$l2};
2722             }
2723         }
2724     }
2725     # Defines
2726     foreach my $dest (sort keys %{$unified_info{defines}}) {
2727         $unified_info{defines}->{$dest}
2728             = [ map { $_.$unified_info{defines}->{$dest}->{$_} }
2729                 sort keys %{$unified_info{defines}->{$dest}} ];
2730     }
2731     # Includes
2732     foreach my $dest (sort keys %{$unified_info{includes}}) {
2733         if (defined($unified_info{includes}->{$dest}->{build})) {
2734             my @source_includes = ();
2735             @source_includes = ( @{$unified_info{includes}->{$dest}->{source}} )
2736                 if defined($unified_info{includes}->{$dest}->{source});
2737             $unified_info{includes}->{$dest} =
2738                 [ @{$unified_info{includes}->{$dest}->{build}} ];
2739             foreach my $inc (@source_includes) {
2740                 push @{$unified_info{includes}->{$dest}}, $inc
2741                     unless grep { $_ eq $inc } @{$unified_info{includes}->{$dest}};
2742             }
2743         } elsif (defined($unified_info{includes}->{$dest}->{source})) {
2744             $unified_info{includes}->{$dest} =
2745                 [ @{$unified_info{includes}->{$dest}->{source}} ];
2746         } else {
2747             delete $unified_info{includes}->{$dest};
2748         }
2749     }
2750
2751     # For convenience collect information regarding directories where
2752     # files are generated, those generated files and the end product
2753     # they end up in where applicable.  Then, add build rules for those
2754     # directories
2755     my %loopinfo = ( "lib" => [ @{$unified_info{libraries}} ],
2756                      "dso" => [ @{$unified_info{modules}} ],
2757                      "bin" => [ @{$unified_info{programs}} ],
2758                      "script" => [ @{$unified_info{scripts}} ],
2759                      "docs" => [ (map { @{$unified_info{imagedocs}->{$_} // []} }
2760                                   keys %{$unified_info{imagedocs} // {}}),
2761                                  (map { @{$unified_info{htmldocs}->{$_} // []} }
2762                                   keys %{$unified_info{htmldocs} // {}}),
2763                                  (map { @{$unified_info{mandocs}->{$_} // []} }
2764                                   keys %{$unified_info{mandocs} // {}}) ] );
2765     foreach my $type (sort keys %loopinfo) {
2766         foreach my $product (@{$loopinfo{$type}}) {
2767             my %dirs = ();
2768             my $pd = dirname($product);
2769
2770             foreach (@{$unified_info{sources}->{$product} // []},
2771                      @{$unified_info{shared_sources}->{$product} // []}) {
2772                 my $d = dirname($_);
2773
2774                 # We don't want to create targets for source directories
2775                 # when building out of source
2776                 next if ($config{sourcedir} ne $config{builddir}
2777                              && $d =~ m|^\Q$config{sourcedir}\E|);
2778                 # We already have a "test" target, and the current directory
2779                 # is just silly to make a target for
2780                 next if $d eq "test" || $d eq ".";
2781
2782                 $dirs{$d} = 1;
2783                 push @{$unified_info{dirinfo}->{$d}->{deps}}, $_
2784                     if $d ne $pd;
2785             }
2786             foreach (sort keys %dirs) {
2787                 push @{$unified_info{dirinfo}->{$_}->{products}->{$type}},
2788                     $product;
2789             }
2790         }
2791     }
2792 }
2793
2794 # For the schemes that need it, we provide the old *_obj configs
2795 # from the *_asm_obj ones
2796 foreach (grep /_(asm|aux)_src$/, keys %target) {
2797     my $src = $_;
2798     (my $obj = $_) =~ s/_(asm|aux)_src$/_obj/;
2799     $target{$obj} = $target{$src};
2800     $target{$obj} =~ s/\.[csS]\b/.o/g; # C and assembler
2801     $target{$obj} =~ s/\.(cc|cpp)\b/_cc.o/g; # C++
2802 }
2803
2804 # Write down our configuration where it fits #########################
2805
2806 my %template_vars = (
2807     config => \%config,
2808     target => \%target,
2809     disablables => \@disablables,
2810     disablables_int => \@disablables_int,
2811     disabled => \%disabled,
2812     withargs => \%withargs,
2813     unified_info => \%unified_info,
2814     tls => \@tls,
2815     dtls => \@dtls,
2816     makevars => [ sort keys %user ],
2817     disabled_info => \%disabled_info,
2818     user_crossable => \@user_crossable,
2819 );
2820 my $configdata_outname = 'configdata.pm';
2821 open CONFIGDATA, ">$configdata_outname.new"
2822     or die "Trying to create $configdata_outname.new: $!";
2823 my $configdata_tmplname = cleanfile($srcdir, "configdata.pm.in", $blddir);
2824 my $configdata_tmpl =
2825     OpenSSL::Template->new(TYPE => 'FILE', SOURCE => $configdata_tmplname);
2826 $configdata_tmpl->fill_in(
2827     FILENAME => $configdata_tmplname,
2828     OUTPUT => \*CONFIGDATA,
2829     HASH => { %template_vars,
2830               autowarntext => [
2831                   'WARNING: do not edit!',
2832                   "Generated by Configure from $configdata_tmplname",
2833               ] }
2834 ) or die $Text::Template::ERROR;
2835 close CONFIGDATA;
2836
2837 # When using stat() on Windows, we can get it to perform better by avoid some
2838 # data.  This doesn't affect the mtime field, so we're not losing anything...
2839 ${^WIN32_SLOPPY_STAT} = 1;
2840
2841 my $update_configdata = 0;
2842 my $run_configdata = 0;
2843 if (-f $configdata_outname) {
2844     my $Configure_mtime = (stat($0))[9];
2845     my $configdata_mtime = (stat($configdata_outname))[9];
2846
2847     # If this script was updated after the last configdata.pm, or if
2848     # configdata.pm.new differs from configdata.pm, we update configdata.pm
2849     if ($configdata_mtime < $Configure_mtime
2850         || compare_text("$configdata_outname.new", $configdata_outname) != 0) {
2851         $update_configdata = 1;
2852     } else {
2853         # If nothing has changed, let's just drop the new one and pretend
2854         # like nothing happened
2855         unlink "$configdata_outname.new";
2856
2857         # We still run configdata.pm if the build file (Makefile) is missing
2858         $run_configdata = !( -f $target{build_file} );
2859     }
2860 } else {
2861     $update_configdata = 1;
2862 }
2863
2864 if ($update_configdata) {
2865     # If something did change, or there was no previous configdata.pm, we
2866     # rename the new one, set permissions as needed, and run it.
2867     rename "$configdata_outname.new", $configdata_outname;
2868     if ($builder_platform eq 'unix') {
2869         my $mode = (0755 & ~umask);
2870         chmod $mode, 'configdata.pm'
2871             or warn sprintf("WARNING: Couldn't change mode for 'configdata.pm' to 0%03o: %s\n",$mode,$!);
2872     }
2873     $run_configdata = 1;
2874     print "Created $configdata_outname\n";
2875 }
2876
2877 if ($run_configdata) {
2878     print "Running $configdata_outname\n";
2879     my $perlcmd = (quotify("maybeshell", $config{PERL}))[0];
2880     my $cmd = "$perlcmd $configdata_outname";
2881     #print STDERR "DEBUG[run_dofile]: \$cmd = $cmd\n";
2882     system($cmd);
2883     exit 1 if $? != 0;
2884 } else {
2885     print "No changes in $configdata_outname, no need to run it\n";
2886 }
2887
2888 $SIG{__DIE__} = $orig_death_handler;
2889
2890 print <<"EOF" if ($disabled{threads} eq "unavailable");
2891
2892 The library could not be configured for supporting multi-threaded
2893 applications as the compiler options required on this system are not known.
2894 See file INSTALL.md for details if you need multi-threading.
2895 EOF
2896
2897 print <<"EOF" if ($no_shared_warn);
2898
2899 The options 'shared', 'pic' and 'dynamic-engine' aren't supported on this
2900 platform, so we will pretend you gave the option 'no-pic', which also disables
2901 'shared' and 'dynamic-engine'.  If you know how to implement shared libraries
2902 or position independent code, please let us know (but please first make sure
2903 you have tried with a current version of OpenSSL).
2904 EOF
2905
2906 print $banner;
2907
2908 exit(0);
2909
2910 ######################################################################
2911 #
2912 # Helpers and utility functions
2913 #
2914
2915 # Death handler, to print a helpful message in case of failure #######
2916 #
2917 sub death_handler {
2918     die @_ if $^S;              # To prevent the added message in eval blocks
2919     my $build_file = $target{build_file} // "build file";
2920     my @message = ( <<"_____", @_ );
2921
2922 Failure!  $build_file wasn't produced.
2923 Please read INSTALL.md and associated NOTES-* files.  You may also have to
2924 look over your available compiler tool chain or change your configuration.
2925
2926 _____
2927
2928     # Dying is terminal, so it's ok to reset the signal handler here.
2929     $SIG{__DIE__} = $orig_death_handler;
2930     die @message;
2931 }
2932
2933 # Configuration file reading #########################################
2934
2935 # Note: All of the helper functions are for lazy evaluation.  They all
2936 # return a CODE ref, which will return the intended value when evaluated.
2937 # Thus, whenever there's mention of a returned value, it's about that
2938 # intended value.
2939
2940 # Helper function to implement conditional value variants, with a default
2941 # plus additional values based on the value of $config{build_type}.
2942 # Arguments are given in hash table form:
2943 #
2944 #       picker(default => "Basic string: ",
2945 #              debug   => "debug",
2946 #              release => "release")
2947 #
2948 # When configuring with --debug, the resulting string will be
2949 # "Basic string: debug", and when not, it will be "Basic string: release"
2950 #
2951 # This can be used to create variants of sets of flags according to the
2952 # build type:
2953 #
2954 #       cflags => picker(default => "-Wall",
2955 #                        debug   => "-g -O0",
2956 #                        release => "-O3")
2957 #
2958 sub picker {
2959     my %opts = @_;
2960     return sub { add($opts{default} || (),
2961                      $opts{$config{build_type}} || ())->(); }
2962 }
2963
2964 # Helper function to combine several values of different types into one.
2965 # This is useful if you want to combine a string with the result of a
2966 # lazy function, such as:
2967 #
2968 #       cflags => combine("-Wall", sub { $disabled{zlib} ? () : "-DZLIB" })
2969 #
2970 sub combine {
2971     my @stuff = @_;
2972     return sub { add(@stuff)->(); }
2973 }
2974
2975 # Helper function to implement conditional values depending on the value
2976 # of $disabled{threads}.  Can be used as follows:
2977 #
2978 #       cflags => combine("-Wall", threads("-pthread"))
2979 #
2980 sub threads {
2981     my @flags = @_;
2982     return sub { add($disabled{threads} ? () : @flags)->(); }
2983 }
2984
2985 sub shared {
2986     my @flags = @_;
2987     return sub { add($disabled{shared} ? () : @flags)->(); }
2988 }
2989
2990 our $add_called = 0;
2991 # Helper function to implement adding values to already existing configuration
2992 # values.  It handles elements that are ARRAYs, CODEs and scalars
2993 sub _add {
2994     my $separator = shift;
2995
2996     # If there's any ARRAY in the collection of values OR the separator
2997     # is undef, we will return an ARRAY of combined values, otherwise a
2998     # string of joined values with $separator as the separator.
2999     my $found_array = !defined($separator);
3000
3001     my @values =
3002         map {
3003             my $res = $_;
3004             while (ref($res) eq "CODE") {
3005                 $res = $res->();
3006             }
3007             if (defined($res)) {
3008                 if (ref($res) eq "ARRAY") {
3009                     $found_array = 1;
3010                     @$res;
3011                 } else {
3012                     $res;
3013                 }
3014             } else {
3015                 ();
3016             }
3017     } (@_);
3018
3019     $add_called = 1;
3020
3021     if ($found_array) {
3022         [ @values ];
3023     } else {
3024         join($separator, grep { defined($_) && $_ ne "" } @values);
3025     }
3026 }
3027 sub add_before {
3028     my $separator = " ";
3029     if (ref($_[$#_]) eq "HASH") {
3030         my $opts = pop;
3031         $separator = $opts->{separator};
3032     }
3033     my @x = @_;
3034     sub { _add($separator, @x, @_) };
3035 }
3036 sub add {
3037     my $separator = " ";
3038     if (ref($_[$#_]) eq "HASH") {
3039         my $opts = pop;
3040         $separator = $opts->{separator};
3041     }
3042     my @x = @_;
3043     sub { _add($separator, @_, @x) };
3044 }
3045
3046 sub read_eval_file {
3047     my $fname = shift;
3048     my $content;
3049     my @result;
3050
3051     open F, "< $fname" or die "Can't open '$fname': $!\n";
3052     {
3053         undef local $/;
3054         $content = <F>;
3055     }
3056     close F;
3057     {
3058         local $@;
3059
3060         @result = ( eval $content );
3061         warn $@ if $@;
3062     }
3063     return wantarray ? @result : $result[0];
3064 }
3065
3066 # configuration reader, evaluates the input file as a perl script and expects
3067 # it to fill %targets with target configurations.  Those are then added to
3068 # %table.
3069 sub read_config {
3070     my $fname = shift;
3071     my %targets;
3072
3073     {
3074         # Protect certain tables from tampering
3075         local %table = ();
3076
3077         %targets = read_eval_file($fname);
3078     }
3079     my %preexisting = ();
3080     foreach (sort keys %targets) {
3081         $preexisting{$_} = 1 if $table{$_};
3082     }
3083     die <<"EOF",
3084 The following config targets from $fname
3085 shadow pre-existing config targets with the same name:
3086 EOF
3087         map { "  $_\n" } sort keys %preexisting
3088         if %preexisting;
3089
3090
3091     # For each target, check that it's configured with a hash table.
3092     foreach (keys %targets) {
3093         if (ref($targets{$_}) ne "HASH") {
3094             if (ref($targets{$_}) eq "") {
3095                 warn "Deprecated target configuration for $_, ignoring...\n";
3096             } else {
3097                 warn "Misconfigured target configuration for $_ (should be a hash table), ignoring...\n";
3098             }
3099             delete $targets{$_};
3100         } else {
3101             $targets{$_}->{_conf_fname_int} = add([ $fname ]);
3102         }
3103     }
3104
3105     %table = (%table, %targets);
3106
3107 }
3108
3109 # configuration resolver.  Will only resolve all the lazy evaluation
3110 # codeblocks for the chosen target and all those it inherits from,
3111 # recursively
3112 sub resolve_config {
3113     my $target = shift;
3114     my @breadcrumbs = @_;
3115
3116 #    my $extra_checks = defined($ENV{CONFIGURE_EXTRA_CHECKS});
3117
3118     if (grep { $_ eq $target } @breadcrumbs) {
3119         die "inherit_from loop!  target backtrace:\n  "
3120             ,$target,"\n  ",join("\n  ", @breadcrumbs),"\n";
3121     }
3122
3123     if (!defined($table{$target})) {
3124         warn "Warning! target $target doesn't exist!\n";
3125         return ();
3126     }
3127     # Recurse through all inheritances.  They will be resolved on the
3128     # fly, so when this operation is done, they will all just be a
3129     # bunch of attributes with string values.
3130     # What we get here, though, are keys with references to lists of
3131     # the combined values of them all.  We will deal with lists after
3132     # this stage is done.
3133     my %combined_inheritance = ();
3134     if ($table{$target}->{inherit_from}) {
3135         my @inherit_from =
3136             map { ref($_) eq "CODE" ? $_->() : $_ } @{$table{$target}->{inherit_from}};
3137         foreach (@inherit_from) {
3138             my %inherited_config = resolve_config($_, $target, @breadcrumbs);
3139
3140             # 'template' is a marker that's considered private to
3141             # the config that had it.
3142             delete $inherited_config{template};
3143
3144             foreach (keys %inherited_config) {
3145                 if (!$combined_inheritance{$_}) {
3146                     $combined_inheritance{$_} = [];
3147                 }
3148                 push @{$combined_inheritance{$_}}, $inherited_config{$_};
3149             }
3150         }
3151     }
3152
3153     # We won't need inherit_from in this target any more, since we've
3154     # resolved all the inheritances that lead to this
3155     delete $table{$target}->{inherit_from};
3156
3157     # Now is the time to deal with those lists.  Here's the place to
3158     # decide what shall be done with those lists, all based on the
3159     # values of the target we're currently dealing with.
3160     # - If a value is a coderef, it will be executed with the list of
3161     #   inherited values as arguments.
3162     # - If the corresponding key doesn't have a value at all or is the
3163     #   empty string, the inherited value list will be run through the
3164     #   default combiner (below), and the result becomes this target's
3165     #   value.
3166     # - Otherwise, this target's value is assumed to be a string that
3167     #   will simply override the inherited list of values.
3168     my $default_combiner = add();
3169
3170     my %all_keys =
3171         map { $_ => 1 } (keys %combined_inheritance,
3172                          keys %{$table{$target}});
3173
3174     sub process_values {
3175         my $object    = shift;
3176         my $inherited = shift;  # Always a [ list ]
3177         my $target    = shift;
3178         my $entry     = shift;
3179
3180         $add_called = 0;
3181
3182         while(ref($object) eq "CODE") {
3183             $object = $object->(@$inherited);
3184         }
3185         if (!defined($object)) {
3186             return ();
3187         }
3188         elsif (ref($object) eq "ARRAY") {
3189             local $add_called;  # To make sure recursive calls don't affect it
3190             return [ map { process_values($_, $inherited, $target, $entry) }
3191                      @$object ];
3192         } elsif (ref($object) eq "") {
3193             return $object;
3194         } else {
3195             die "cannot handle reference type ",ref($object)
3196                 ," found in target ",$target," -> ",$entry,"\n";
3197         }
3198     }
3199
3200     foreach my $key (sort keys %all_keys) {
3201         my $previous = $combined_inheritance{$key};
3202
3203         # Current target doesn't have a value for the current key?
3204         # Assign it the default combiner, the rest of this loop body
3205         # will handle it just like any other coderef.
3206         if (!exists $table{$target}->{$key}) {
3207             $table{$target}->{$key} = $default_combiner;
3208         }
3209
3210         $table{$target}->{$key} = process_values($table{$target}->{$key},
3211                                                $combined_inheritance{$key},
3212                                                $target, $key);
3213         unless(defined($table{$target}->{$key})) {
3214             delete $table{$target}->{$key};
3215         }
3216 #        if ($extra_checks &&
3217 #            $previous && !($add_called ||  $previous ~~ $table{$target}->{$key})) {
3218 #            warn "$key got replaced in $target\n";
3219 #        }
3220     }
3221
3222     # Finally done, return the result.
3223     return %{$table{$target}};
3224 }
3225
3226 sub usage
3227         {
3228         print STDERR $usage;
3229         print STDERR "\npick os/compiler from:\n";
3230         my $j=0;
3231         my $i;
3232         my $k=0;
3233         foreach $i (sort keys %table)
3234                 {
3235                 next if $table{$i}->{template};
3236                 next if $i =~ /^debug/;
3237                 $k += length($i) + 1;
3238                 if ($k > 78)
3239                         {
3240                         print STDERR "\n";
3241                         $k=length($i);
3242                         }
3243                 print STDERR $i . " ";
3244                 }
3245         foreach $i (sort keys %table)
3246                 {
3247                 next if $table{$i}->{template};
3248                 next if $i !~ /^debug/;
3249                 $k += length($i) + 1;
3250                 if ($k > 78)
3251                         {
3252                         print STDERR "\n";
3253                         $k=length($i);
3254                         }
3255                 print STDERR $i . " ";
3256                 }
3257         exit(1);
3258         }
3259
3260 sub compiler_predefined {
3261     state %predefined;
3262     my $cc = shift;
3263
3264     return () if $^O eq 'VMS';
3265
3266     die 'compiler_predefined called without a compiler command'
3267         unless $cc;
3268
3269     if (! $predefined{$cc}) {
3270
3271         $predefined{$cc} = {};
3272
3273         # collect compiler pre-defines from gcc or gcc-alike...
3274         open(PIPE, "$cc -dM -E -x c /dev/null 2>&1 |");
3275         while (my $l = <PIPE>) {
3276             $l =~ m/^#define\s+(\w+(?:\(\w+\))?)(?:\s+(.+))?/ or last;
3277             $predefined{$cc}->{$1} = $2 // '';
3278         }
3279         close(PIPE);
3280     }
3281
3282     return %{$predefined{$cc}};
3283 }
3284
3285 sub which
3286 {
3287     my ($name)=@_;
3288
3289     if (eval { require IPC::Cmd; 1; }) {
3290         IPC::Cmd->import();
3291         return scalar IPC::Cmd::can_run($name);
3292     } else {
3293         # if there is $directories component in splitpath,
3294         # then it's not something to test with $PATH...
3295         return $name if (File::Spec->splitpath($name))[1];
3296
3297         foreach (File::Spec->path()) {
3298             my $fullpath = catfile($_, "$name$target{exe_extension}");
3299             if (-f $fullpath and -x $fullpath) {
3300                 return $fullpath;
3301             }
3302         }
3303     }
3304 }
3305
3306 sub env
3307 {
3308     my $name = shift;
3309     my %opts = @_;
3310
3311     unless ($opts{cacheonly}) {
3312         # Note that if $ENV{$name} doesn't exist or is undefined,
3313         # $config{perlenv}->{$name} will be created with the value
3314         # undef.  This is intentional.
3315
3316         $config{perlenv}->{$name} = $ENV{$name}
3317             if ! exists $config{perlenv}->{$name};
3318     }
3319     return $config{perlenv}->{$name};
3320 }
3321
3322 # Configuration printer ##############################################
3323
3324 sub print_table_entry
3325 {
3326     local $now_printing = shift;
3327     my %target = resolve_config($now_printing);
3328     my $type = shift;
3329
3330     # Don't print the templates
3331     return if $target{template};
3332
3333     my @sequence = (
3334         "sys_id",
3335         "cpp",
3336         "cppflags",
3337         "defines",
3338         "includes",
3339         "cc",
3340         "cflags",
3341         "ld",
3342         "lflags",
3343         "loutflag",
3344         "ex_libs",
3345         "bn_ops",
3346         "enable",
3347         "disable",
3348         "poly1035_asm_src",
3349         "thread_scheme",
3350         "perlasm_scheme",
3351         "dso_scheme",
3352         "shared_target",
3353         "shared_cflag",
3354         "shared_defines",
3355         "shared_ldflag",
3356         "shared_rcflag",
3357         "shared_extension",
3358         "dso_extension",
3359         "obj_extension",
3360         "exe_extension",
3361         "ranlib",
3362         "ar",
3363         "arflags",
3364         "aroutflag",
3365         "rc",
3366         "rcflags",
3367         "rcoutflag",
3368         "mt",
3369         "mtflags",
3370         "mtinflag",
3371         "mtoutflag",
3372         "multilib",
3373         "build_scheme",
3374         );
3375
3376     if ($type eq "TABLE") {
3377         print "\n";
3378         print "*** $now_printing\n";
3379         foreach (@sequence) {
3380             if (ref($target{$_}) eq "ARRAY") {
3381                 printf "\$%-12s = %s\n", $_, join(" ", @{$target{$_}});
3382             } else {
3383                 printf "\$%-12s = %s\n", $_, $target{$_};
3384             }
3385         }
3386     } elsif ($type eq "HASH") {
3387         my $largest =
3388             length((sort { length($a) <=> length($b) } @sequence)[-1]);
3389         print "    '$now_printing' => {\n";
3390         foreach (@sequence) {
3391             if ($target{$_}) {
3392                 if (ref($target{$_}) eq "ARRAY") {
3393                     print "      '",$_,"'"," " x ($largest - length($_))," => [ ",join(", ", map { "'$_'" } @{$target{$_}})," ],\n";
3394                 } else {
3395                     print "      '",$_,"'"," " x ($largest - length($_))," => '",$target{$_},"',\n";
3396                 }
3397             }
3398         }
3399         print "    },\n";
3400     }
3401 }
3402
3403 # Utility routines ###################################################
3404
3405 # On VMS, if the given file is a logical name, File::Spec::Functions
3406 # will consider it an absolute path.  There are cases when we want a
3407 # purely syntactic check without checking the environment.
3408 sub isabsolute {
3409     my $file = shift;
3410
3411     # On non-platforms, we just use file_name_is_absolute().
3412     return file_name_is_absolute($file) unless $^O eq "VMS";
3413
3414     # If the file spec includes a device or a directory spec,
3415     # file_name_is_absolute() is perfectly safe.
3416     return file_name_is_absolute($file) if $file =~ m|[:\[]|;
3417
3418     # Here, we know the given file spec isn't absolute
3419     return 0;
3420 }
3421
3422 # Makes a directory absolute and cleans out /../ in paths like foo/../bar
3423 # On some platforms, this uses rel2abs(), while on others, realpath() is used.
3424 # realpath() requires that at least all path components except the last is an
3425 # existing directory.  On VMS, the last component of the directory spec must
3426 # exist.
3427 sub absolutedir {
3428     my $dir = shift;
3429
3430     # realpath() is quite buggy on VMS.  It uses LIB$FID_TO_NAME, which
3431     # will return the volume name for the device, no matter what.  Also,
3432     # it will return an incorrect directory spec if the argument is a
3433     # directory that doesn't exist.
3434     if ($^O eq "VMS") {
3435         return rel2abs($dir);
3436     }
3437
3438     # We use realpath() on Unix, since no other will properly clean out
3439     # a directory spec.
3440     use Cwd qw/realpath/;
3441
3442     return realpath($dir);
3443 }
3444
3445 # Check if all paths are one and the same, using stat.  They must both exist
3446 # We need this for the cases when File::Spec doesn't detect case insensitivity
3447 # (File::Spec::Unix assumes case sensitivity)
3448 sub samedir {
3449     die "samedir expects two arguments\n" unless scalar @_ == 2;
3450
3451     my @stat0 = stat($_[0]);    # First argument
3452     my @stat1 = stat($_[1]);    # Second argument
3453
3454     die "Couldn't stat $_[0]" unless @stat0;
3455     die "Couldn't stat $_[1]" unless @stat1;
3456
3457     # Compare device number
3458     return 0 unless ($stat0[0] == $stat1[0]);
3459     # Compare "inode".  The perl manual recommends comparing as
3460     # string rather than as number.
3461     return 0 unless ($stat0[1] eq $stat1[1]);
3462
3463     return 1;                   # All the same
3464 }
3465
3466 sub quotify {
3467     my %processors = (
3468         perl    => sub { my $x = shift;
3469                          $x =~ s/([\\\$\@"])/\\$1/g;
3470                          return '"'.$x.'"'; },
3471         maybeshell => sub { my $x = shift;
3472                             (my $y = $x) =~ s/([\\\"])/\\$1/g;
3473                             if ($x ne $y || $x =~ m|\s|) {
3474                                 return '"'.$y.'"';
3475                             } else {
3476                                 return $x;
3477                             }
3478                         },
3479         );
3480     my $for = shift;
3481     my $processor =
3482         defined($processors{$for}) ? $processors{$for} : sub { shift; };
3483
3484     return map { $processor->($_); } @_;
3485 }
3486
3487 # collect_from_file($filename, $line_concat_cond_re, $line_concat)
3488 # $filename is a file name to read from
3489 # $line_concat_cond_re is a regexp detecting a line continuation ending
3490 # $line_concat is a CODEref that takes care of concatenating two lines
3491 sub collect_from_file {
3492     my $filename = shift;
3493     my $line_concat_cond_re = shift;
3494     my $line_concat = shift;
3495
3496     open my $fh, $filename || die "unable to read $filename: $!\n";
3497     return sub {
3498         my $saved_line = "";
3499         $_ = "";
3500         while (<$fh>) {
3501             s|\R$||;
3502             if (defined $line_concat) {
3503                 $_ = $line_concat->($saved_line, $_);
3504                 $saved_line = "";
3505             }
3506             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3507                 $saved_line = $_;
3508                 next;
3509             }
3510             return $_;
3511         }
3512         die "$filename ending with continuation line\n" if $_;
3513         close $fh;
3514         return undef;
3515     }
3516 }
3517
3518 # collect_from_array($array, $line_concat_cond_re, $line_concat)
3519 # $array is an ARRAYref of lines
3520 # $line_concat_cond_re is a regexp detecting a line continuation ending
3521 # $line_concat is a CODEref that takes care of concatenating two lines
3522 sub collect_from_array {
3523     my $array = shift;
3524     my $line_concat_cond_re = shift;
3525     my $line_concat = shift;
3526     my @array = (@$array);
3527
3528     return sub {
3529         my $saved_line = "";
3530         $_ = "";
3531         while (defined($_ = shift @array)) {
3532             s|\R$||;
3533             if (defined $line_concat) {
3534                 $_ = $line_concat->($saved_line, $_);
3535                 $saved_line = "";
3536             }
3537             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3538                 $saved_line = $_;
3539                 next;
3540             }
3541             return $_;
3542         }
3543         die "input text ending with continuation line\n" if $_;
3544         return undef;
3545     }
3546 }
3547
3548 # collect_information($lineiterator, $line_continue, $regexp => $CODEref, ...)
3549 # $lineiterator is a CODEref that delivers one line at a time.
3550 # All following arguments are regex/CODEref pairs, where the regexp detects a
3551 # line and the CODEref does something with the result of the regexp.
3552 sub collect_information {
3553     my $lineiterator = shift;
3554     my %collectors = @_;
3555
3556     while(defined($_ = $lineiterator->())) {
3557         s|\R$||;
3558         my $found = 0;
3559         if ($collectors{"BEFORE"}) {
3560             $collectors{"BEFORE"}->($_);
3561         }
3562         foreach my $re (keys %collectors) {
3563             if ($re !~ /^OTHERWISE|BEFORE|AFTER$/ && /$re/) {
3564                 $collectors{$re}->($lineiterator);
3565                 $found = 1;
3566             };
3567         }
3568         if ($collectors{"OTHERWISE"}) {
3569             $collectors{"OTHERWISE"}->($lineiterator, $_)
3570                 unless $found || !defined $collectors{"OTHERWISE"};
3571         }
3572         if ($collectors{"AFTER"}) {
3573             $collectors{"AFTER"}->($_);
3574         }
3575     }
3576 }
3577
3578 # tokenize($line)
3579 # tokenize($line,$separator)
3580 # $line is a line of text to split up into tokens
3581 # $separator [optional] is a regular expression that separates the tokens,
3582 # the default being spaces.  Do not use quotes of any kind as separators,
3583 # that will give undefined results.
3584 # Returns a list of tokens.
3585 #
3586 # Tokens are divided by separator (spaces by default).  If the tokens include
3587 # the separators, they have to be quoted with single or double quotes.
3588 # Double quotes inside a double quoted token must be escaped.  Escaping is done
3589 # with backslash.
3590 # Basically, the same quoting rules apply for " and ' as in any
3591 # Unix shell.
3592 sub tokenize {
3593     my $line = my $debug_line = shift;
3594     my $separator = shift // qr|\s+|;
3595     my @result = ();
3596
3597     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3598         print STDERR "DEBUG[tokenize]: \$separator = $separator\n";
3599     }
3600
3601     while ($line =~ s|^${separator}||, $line ne "") {
3602         my $token = "";
3603     again:
3604         $line =~ m/^(.*?)(${separator}|"|'|$)/;
3605         $token .= $1;
3606         $line = $2.$';
3607
3608         if ($line =~ m/^"((?:[^"\\]+|\\.)*)"/) {
3609             $token .= $1;
3610             $line = $';
3611             goto again;
3612         } elsif ($line =~ m/^'([^']*)'/) {
3613             $token .= $1;
3614             $line = $';
3615             goto again;
3616         }
3617         push @result, $token;
3618     }
3619
3620     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3621         print STDERR "DEBUG[tokenize]: Parsed '$debug_line' into:\n";
3622         print STDERR "DEBUG[tokenize]: ('", join("', '", @result), "')\n";
3623     }
3624     return @result;
3625 }