Building: For the FIPS module checksum, keep track of configuration,h
[openssl.git] / Configure
1 #! /usr/bin/env perl
2 # -*- mode: perl; -*-
3 # Copyright 2016-2022 The OpenSSL Project Authors. All Rights Reserved.
4 #
5 # Licensed under the Apache License 2.0 (the "License").  You may not use
6 # this file except in compliance with the License.  You can obtain a copy
7 # in the file LICENSE in the source distribution or at
8 # https://www.openssl.org/source/license.html
9
10 ##  Configure -- OpenSSL source tree configuration script
11
12 use 5.10.0;
13 use strict;
14 use Config;
15 use FindBin;
16 use lib "$FindBin::Bin/util/perl";
17 use File::Basename;
18 use File::Spec::Functions qw/:DEFAULT abs2rel rel2abs splitdir/;
19 use File::Path qw/mkpath/;
20 use File::Compare qw(compare_text);
21 use OpenSSL::fallback "$FindBin::Bin/external/perl/MODULES.txt";
22 use OpenSSL::Glob;
23 use OpenSSL::Template;
24 use OpenSSL::config;
25
26 # see INSTALL.md for instructions.
27
28 my $orig_death_handler = $SIG{__DIE__};
29 $SIG{__DIE__} = \&death_handler;
30
31 my $usage="Usage: Configure [no-<cipher> ...] [enable-<cipher> ...] [-Dxxx] [-lxxx] [-Lxxx] [-fxxx] [-Kxxx] [no-hw-xxx|no-hw] [[no-]threads] [[no-]shared] [[no-]zlib|zlib-dynamic] [no-asm] [no-egd] [sctp] [386] [--prefix=DIR] [--openssldir=OPENSSLDIR] [--with-xxx[=vvv]] [--config=FILE] os/compiler[:flags]\n";
32
33 my $banner = <<"EOF";
34
35 **********************************************************************
36 ***                                                                ***
37 ***   OpenSSL has been successfully configured                     ***
38 ***                                                                ***
39 ***   If you encounter a problem while building, please open an    ***
40 ***   issue on GitHub <https://github.com/openssl/openssl/issues>  ***
41 ***   and include the output from the following command:           ***
42 ***                                                                ***
43 ***       perl configdata.pm --dump                                ***
44 ***                                                                ***
45 ***   (If you are new to OpenSSL, you might want to consult the    ***
46 ***   'Troubleshooting' section in the INSTALL.md file first)      ***
47 ***                                                                ***
48 **********************************************************************
49 EOF
50
51 # Options:
52 #
53 # --config      add the given configuration file, which will be read after
54 #               any "Configurations*" files that are found in the same
55 #               directory as this script.
56 # --prefix      prefix for the OpenSSL installation, which includes the
57 #               directories bin, lib, include, share/man, share/doc/openssl
58 #               This becomes the value of INSTALLTOP in Makefile
59 #               (Default: /usr/local)
60 # --openssldir  OpenSSL data area, such as openssl.cnf, certificates and keys.
61 #               If it's a relative directory, it will be added on the directory
62 #               given with --prefix.
63 #               This becomes the value of OPENSSLDIR in Makefile and in C.
64 #               (Default: PREFIX/ssl)
65 # --banner=".." Output specified text instead of default completion banner
66 #
67 # -w            Don't wait after showing a Configure warning
68 #
69 # --cross-compile-prefix Add specified prefix to binutils components.
70 #
71 # --api         One of 0.9.8, 1.0.0, 1.0.1, 1.0.2, 1.1.0, 1.1.1, or 3.0
72 #               Define the public APIs as they were for that version
73 #               including patch releases.  If 'no-deprecated' is also
74 #               given, do not compile support for interfaces deprecated
75 #               up to and including the specified OpenSSL version.
76 #
77 # no-hw-xxx     do not compile support for specific crypto hardware.
78 #               Generic OpenSSL-style methods relating to this support
79 #               are always compiled but return NULL if the hardware
80 #               support isn't compiled.
81 # no-hw         do not compile support for any crypto hardware.
82 # [no-]threads  [don't] try to create a library that is suitable for
83 #               multithreaded applications (default is "threads" if we
84 #               know how to do it)
85 # [no-]shared   [don't] try to create shared libraries when supported.
86 # [no-]pic      [don't] try to build position independent code when supported.
87 #               If disabled, it also disables shared and dynamic-engine.
88 # no-asm        do not use assembler
89 # no-egd        do not compile support for the entropy-gathering daemon APIs
90 # [no-]zlib     [don't] compile support for zlib compression.
91 # zlib-dynamic  Like "zlib", but the zlib library is expected to be a shared
92 #               library and will be loaded in run-time by the OpenSSL library.
93 # sctp          include SCTP support
94 # no-uplink     Don't build support for UPLINK interface.
95 # enable-weak-ssl-ciphers
96 #               Enable weak ciphers that are disabled by default.
97 # 386           generate 80386 code in assembly modules
98 # no-sse2       disables IA-32 SSE2 code in assembly modules, the above
99 #               mentioned '386' option implies this one
100 # no-<cipher>   build without specified algorithm (dsa, idea, rc5, ...)
101 # -<xxx> +<xxx> All options which are unknown to the 'Configure' script are
102 # /<xxx>        passed through to the compiler. Unix-style options beginning
103 #               with a '-' or '+' are recognized, as well as Windows-style
104 #               options beginning with a '/'. If the option contains arguments
105 #               separated by spaces, then the URL-style notation %20 can be
106 #               used for the space character in order to avoid having to quote
107 #               the option. For example, -opt%20arg gets expanded to -opt arg.
108 #               In fact, any ASCII character can be encoded as %xx using its
109 #               hexadecimal encoding.
110 # -static       while -static is also a pass-through compiler option (and
111 #               as such is limited to environments where it's actually
112 #               meaningful), it triggers a number configuration options,
113 #               namely no-pic, no-shared and no-threads. It is
114 #               argued that the only reason to produce statically linked
115 #               binaries (and in context it means executables linked with
116 #               -static flag, and not just executables linked with static
117 #               libcrypto.a) is to eliminate dependency on specific run-time,
118 #               a.k.a. libc version. The mentioned config options are meant
119 #               to achieve just that. Unfortunately on Linux it's impossible
120 #               to eliminate the dependency completely for openssl executable
121 #               because of getaddrinfo and gethostbyname calls, which can
122 #               invoke dynamically loadable library facility anyway to meet
123 #               the lookup requests. For this reason on Linux statically
124 #               linked openssl executable has rather debugging value than
125 #               production quality.
126 #
127 # BN_LLONG      use the type 'long long' in crypto/bn/bn.h
128 # RC4_CHAR      use 'char' instead of 'int' for RC4_INT in crypto/rc4/rc4.h
129 # Following are set automatically by this script
130 #
131 # MD5_ASM       use some extra md5 assembler,
132 # SHA1_ASM      use some extra sha1 assembler, must define L_ENDIAN for x86
133 # RMD160_ASM    use some extra ripemd160 assembler,
134 # SHA256_ASM    sha256_block is implemented in assembler
135 # SHA512_ASM    sha512_block is implemented in assembler
136 # AES_ASM       AES_[en|de]crypt is implemented in assembler
137
138 # Minimum warning options... any contributions to OpenSSL should at least
139 # get past these.  Note that we only use these with C compilers, not with
140 # C++ compilers.
141
142 # -DPEDANTIC complements -pedantic and is meant to mask code that
143 # is not strictly standard-compliant and/or implementation-specific,
144 # e.g. inline assembly, disregards to alignment requirements, such
145 # that -pedantic would complain about. Incidentally -DPEDANTIC has
146 # to be used even in sanitized builds, because sanitizer too is
147 # supposed to and does take notice of non-standard behaviour. Then
148 # -pedantic with pre-C9x compiler would also complain about 'long
149 # long' not being supported. As 64-bit algorithms are common now,
150 # it grew impossible to resolve this without sizeable additional
151 # code, so we just tell compiler to be pedantic about everything
152 # but 'long long' type.
153
154 my @gcc_devteam_warn = qw(
155     -DPEDANTIC -pedantic -Wno-long-long -DUNUSEDRESULT_DEBUG
156     -Wall
157     -Wmissing-declarations
158     -Wextra
159     -Wno-unused-parameter
160     -Wno-missing-field-initializers
161     -Wswitch
162     -Wsign-compare
163     -Wshadow
164     -Wformat
165     -Wtype-limits
166     -Wundef
167     -Werror
168     -Wmissing-prototypes
169     -Wstrict-prototypes
170 );
171
172 # These are used in addition to $gcc_devteam_warn when the compiler is clang.
173 # TODO(openssl-team): fix problems and investigate if (at least) the
174 # following warnings can also be enabled:
175 #       -Wcast-align
176 #       -Wunreachable-code -- no, too ugly/compiler-specific
177 #       -Wlanguage-extension-token -- no, we use asm()
178 #       -Wunused-macros -- no, too tricky for BN and _XOPEN_SOURCE etc
179 #       -Wextended-offsetof -- no, needed in CMS ASN1 code
180 my @clang_devteam_warn = qw(
181     -Wno-unknown-warning-option
182     -Wswitch-default
183     -Wno-parentheses-equality
184     -Wno-language-extension-token
185     -Wno-extended-offsetof
186     -Wconditional-uninitialized
187     -Wincompatible-pointer-types-discards-qualifiers
188     -Wmissing-variable-declarations
189 );
190
191 my @cl_devteam_warn = qw(
192     /WX
193 );
194
195 my $strict_warnings = 0;
196
197 # As for $BSDthreads. Idea is to maintain "collective" set of flags,
198 # which would cover all BSD flavors. -pthread applies to them all,
199 # but is treated differently. OpenBSD expands is as -D_POSIX_THREAD
200 # -lc_r, which is sufficient. FreeBSD 4.x expands it as -lc_r,
201 # which has to be accompanied by explicit -D_THREAD_SAFE and
202 # sometimes -D_REENTRANT. FreeBSD 5.x expands it as -lc_r, which
203 # seems to be sufficient?
204 our $BSDthreads="-pthread -D_THREAD_SAFE -D_REENTRANT";
205
206 #
207 # API compatibility name to version number mapping.
208 #
209 my $apitable = {
210     # This table expresses when API additions or changes can occur.
211     # The numbering used changes from 3.0 and on because we updated
212     # (solidified) our version numbering scheme at that point.
213
214     # From 3.0 and on, we internalise the given version number in decimal
215     # as MAJOR * 10000 + MINOR * 100 + 0
216     "3.0.0" => 30000,
217     "3.0"   => 30000,
218
219     # Note that before 3.0, we didn't have the same version number scheme.
220     # Still, the numbering we use here covers what we need.
221     "1.1.1" => 10101,
222     "1.1.0" => 10100,
223     "1.0.2" => 10002,
224     "1.0.1" => 10001,
225     "1.0.0" => 10000,
226     "0.9.8" =>   908,
227 };
228
229 # For OpenSSL::config::get_platform
230 my %guess_opts = ();
231
232 my $dryrun = 0;
233
234 our %table = ();
235 our %config = ();
236 our %withargs = ();
237 our $now_printing;      # set to current entry's name in print_table_entry
238                         # (todo: right thing would be to encapsulate name
239                         # into %target [class] and make print_table_entry
240                         # a method)
241
242 # Forward declarations ###############################################
243
244 # read_config(filename)
245 #
246 # Reads a configuration file and populates %table with the contents
247 # (which the configuration file places in %targets).
248 sub read_config;
249
250 # resolve_config(target)
251 #
252 # Resolves all the late evaluations, inheritances and so on for the
253 # chosen target and any target it inherits from.
254 sub resolve_config;
255
256
257 # Information collection #############################################
258
259 # Unified build supports separate build dir
260 my $srcdir = catdir(absolutedir(dirname($0))); # catdir ensures local syntax
261 my $blddir = catdir(absolutedir("."));         # catdir ensures local syntax
262
263 # File::Spec::Unix doesn't detect case insensitivity, so we make sure to
264 # check if the source and build directory are really the same, and make
265 # them so.  This avoids all kinds of confusion later on.
266 # We must check @File::Spec::ISA rather than using File::Spec->isa() to
267 # know if File::Spec ended up loading File::Spec::Unix.
268 $srcdir = $blddir
269     if (grep(/::Unix$/, @File::Spec::ISA)
270         && samedir($srcdir, $blddir));
271
272 my $dofile = abs2rel(catfile($srcdir, "util/dofile.pl"));
273
274 my $local_config_envname = 'OPENSSL_LOCAL_CONFIG_DIR';
275
276 $config{sourcedir} = abs2rel($srcdir, $blddir);
277 $config{builddir} = abs2rel($blddir, $blddir);
278 # echo -n 'holy hand grenade of antioch' | openssl sha256
279 $config{FIPSKEY} =
280     'f4556650ac31d35461610bac4ed81b1a181b2d8a43ea2854cbae22ca74560813';
281
282 # Collect reconfiguration information if needed
283 my @argvcopy=@ARGV;
284
285 if (grep /^reconf(igure)?$/, @argvcopy) {
286     die "reconfiguring with other arguments present isn't supported"
287         if scalar @argvcopy > 1;
288     if (-f "./configdata.pm") {
289         my $file = "./configdata.pm";
290         unless (my $return = do $file) {
291             die "couldn't parse $file: $@" if $@;
292             die "couldn't do $file: $!"    unless defined $return;
293             die "couldn't run $file"       unless $return;
294         }
295
296         @argvcopy = defined($configdata::config{perlargv}) ?
297             @{$configdata::config{perlargv}} : ();
298         die "Incorrect data to reconfigure, please do a normal configuration\n"
299             if (grep(/^reconf/,@argvcopy));
300         $config{perlenv} = $configdata::config{perlenv} // {};
301     } else {
302         die "Insufficient data to reconfigure, please do a normal configuration\n";
303     }
304 }
305
306 $config{perlargv} = [ @argvcopy ];
307
308 # Historical: if known directories in crypto/ have been removed, it means
309 # that those sub-systems are disabled.
310 # (the other option would be to removed them from the SUBDIRS statement in
311 # crypto/build.info)
312 # We reverse the input list for cosmetic purely reasons, to compensate that
313 # 'unshift' adds at the front of the list (i.e. in reverse input order).
314 foreach ( reverse sort( 'aes', 'aria', 'bf', 'camellia', 'cast', 'des', 'dh',
315                         'dsa', 'ec', 'hmac', 'idea', 'md2', 'md5', 'mdc2',
316                         'rc2', 'rc4', 'rc5', 'ripemd', 'seed', 'sha',
317                         'sm2', 'sm3', 'sm4') ) {
318     unshift @argvcopy, "no-$_" if ! -d catdir($srcdir, 'crypto', $_);
319 }
320
321 # Collect version numbers
322 my %version = ();
323
324 collect_information(
325     collect_from_file(catfile($srcdir,'VERSION.dat')),
326     qr/\s*(\w+)\s*=\s*(.*?)\s*$/ =>
327         sub {
328             # Only define it if there is a value at all
329             if ($2 ne '') {
330                 my $k = $1;
331                 my $v = $2;
332                 # Some values are quoted.  Trim the quotes
333                 $v = $1 if $v =~ /^"(.*)"$/;
334                 $version{uc $k} = $v;
335             }
336         },
337     "OTHERWISE" =>
338         sub { die "Something wrong with this line:\n$_\nin $srcdir/VERSION.dat" },
339     );
340
341 $config{major} = $version{MAJOR} // 'unknown';
342 $config{minor} = $version{MINOR} // 'unknown';
343 $config{patch} = $version{PATCH} // 'unknown';
344 $config{prerelease} =
345     defined $version{PRE_RELEASE_TAG} ? "-$version{PRE_RELEASE_TAG}" : '';
346 $config{build_metadata} =
347     defined $version{BUILD_METADATA} ? "+$version{BUILD_METADATA}" : '';
348 $config{shlib_version} = $version{SHLIB_VERSION} // 'unknown';
349 $config{release_date} = $version{RELEASE_DATE} // 'xx XXX xxxx';
350
351 $config{version} = "$config{major}.$config{minor}.$config{patch}";
352 $config{full_version} = "$config{version}$config{prerelease}$config{build_metadata}";
353
354 die "erroneous version information in VERSION.dat: ",
355     "$config{version}, $config{shlib_version}\n"
356     unless (defined $version{MAJOR}
357             && defined $version{MINOR}
358             && defined $version{PATCH}
359             && defined $version{SHLIB_VERSION});
360
361 # Collect target configurations
362
363 my $pattern = catfile(dirname($0), "Configurations", "*.conf");
364 foreach (sort glob($pattern)) {
365     &read_config($_);
366 }
367
368 if (defined env($local_config_envname)) {
369     if ($^O eq 'VMS') {
370         # VMS environment variables are logical names,
371         # which can be used as is
372         $pattern = $local_config_envname . ':' . '*.conf';
373     } else {
374         $pattern = catfile(env($local_config_envname), '*.conf');
375     }
376
377     foreach (sort glob($pattern)) {
378         &read_config($_);
379     }
380 }
381
382 # Save away perl command information
383 $config{perl_cmd} = $^X;
384 $config{perl_version} = $Config{version};
385 $config{perl_archname} = $Config{archname};
386
387 $config{prefix}="";
388 $config{openssldir}="";
389 $config{processor}="";
390 $config{libdir}="";
391 my $auto_threads=1;    # enable threads automatically? true by default
392 my $default_ranlib;
393
394 # Known TLS and DTLS protocols
395 my @tls = qw(ssl3 tls1 tls1_1 tls1_2 tls1_3);
396 my @dtls = qw(dtls1 dtls1_2);
397
398 # Explicitly known options that are possible to disable.  They can
399 # be regexps, and will be used like this: /^no-${option}$/
400 # For developers: keep it sorted alphabetically
401
402 my @disablables = (
403     "acvp-tests",
404     "afalgeng",
405     "aria",
406     "asan",
407     "asm",
408     "async",
409     "autoalginit",
410     "autoerrinit",
411     "autoload-config",
412     "bf",
413     "blake2",
414     "buildtest-c++",
415     "bulk",
416     "cached-fetch",
417     "camellia",
418     "capieng",
419     "cast",
420     "chacha",
421     "cmac",
422     "cmp",
423     "cms",
424     "comp",
425     "crypto-mdebug",
426     "ct",
427     "deprecated",
428     "des",
429     "devcryptoeng",
430     "dgram",
431     "dh",
432     "dsa",
433     "dso",
434     "dtls",
435     "dynamic-engine",
436     "ec",
437     "ec2m",
438     "ec_nistp_64_gcc_128",
439     "ecdh",
440     "ecdsa",
441     "egd",
442     "engine",
443     "err",
444     "external-tests",
445     "filenames",
446     "fips",
447     "fips-securitychecks",
448     "fuzz-afl",
449     "fuzz-libfuzzer",
450     "gost",
451     "idea",
452     "ktls",
453     "legacy",
454     "loadereng",
455     "makedepend",
456     "md2",
457     "md4",
458     "mdc2",
459     "module",
460     "msan",
461     "multiblock",
462     "nextprotoneg",
463     "ocb",
464     "ocsp",
465     "padlockeng",
466     "pic",
467     "pinshared",
468     "poly1305",
469     "posix-io",
470     "psk",
471     "rc2",
472     "rc4",
473     "rc5",
474     "rdrand",
475     "rfc3779",
476     "rmd160",
477     "scrypt",
478     "sctp",
479     "secure-memory",
480     "seed",
481     "shared",
482     "siphash",
483     "siv",
484     "sm2",
485     "sm3",
486     "sm4",
487     "sock",
488     "srp",
489     "srtp",
490     "sse2",
491     "ssl",
492     "ssl-trace",
493     "static-engine",
494     "stdio",
495     "tests",
496     "tfo",
497     "threads",
498     "tls",
499     "trace",
500     "ts",
501     "ubsan",
502     "ui-console",
503     "unit-test",
504     "uplink",
505     "weak-ssl-ciphers",
506     "whirlpool",
507     "zlib",
508     "zlib-dynamic",
509     );
510 foreach my $proto ((@tls, @dtls))
511         {
512         push(@disablables, $proto);
513         push(@disablables, "$proto-method") unless $proto eq "tls1_3";
514         }
515
516 # Internal disablables, for aliasing purposes.  They serve no special
517 # purpose here, but allow scripts to get to know them through configdata.pm,
518 # where these are merged with @disablables.
519 # The actual aliasing mechanism is done via %disable_cascades
520 my @disablables_int = qw(
521     crmf
522     );
523
524 my %deprecated_disablables = (
525     "ssl2" => undef,
526     "buf-freelists" => undef,
527     "crypto-mdebug-backtrace" => undef,
528     "hw" => "hw",               # causes cascade, but no macro
529     "hw-padlock" => "padlockeng",
530     "ripemd" => "rmd160",
531     "ui" => "ui-console",
532     "heartbeats" => undef,
533     );
534
535 # All of the following are disabled by default:
536
537 our %disabled = ( # "what"         => "comment"
538                   "fips"                => "default",
539                   "asan"                => "default",
540                   "buildtest-c++"       => "default",
541                   "crypto-mdebug"       => "default",
542                   "crypto-mdebug-backtrace" => "default",
543                   "devcryptoeng"        => "default",
544                   "ec_nistp_64_gcc_128" => "default",
545                   "egd"                 => "default",
546                   "external-tests"      => "default",
547                   "fuzz-afl"            => "default",
548                   "fuzz-libfuzzer"      => "default",
549                   "ktls"                => "default",
550                   "md2"                 => "default",
551                   "msan"                => "default",
552                   "rc5"                 => "default",
553                   "sctp"                => "default",
554                   "ssl3"                => "default",
555                   "ssl3-method"         => "default",
556                   "tfo"                 => "default",
557                   "trace"               => "default",
558                   "ubsan"               => "default",
559                   "unit-test"           => "default",
560                   "weak-ssl-ciphers"    => "default",
561                   "zlib"                => "default",
562                   "zlib-dynamic"        => "default",
563                 );
564
565 # Note: => pair form used for aesthetics, not to truly make a hash table
566 my @disable_cascades = (
567     # "what"            => [ "cascade", ... ]
568     "bulk"              => [ "shared", "dso",
569                              "aria", "async", "autoload-config",
570                              "blake2", "bf", "camellia", "cast", "chacha",
571                              "cmac", "cms", "cmp", "comp", "ct",
572                              "des", "dgram", "dh", "dsa",
573                              "ec", "engine",
574                              "filenames",
575                              "idea", "ktls",
576                              "md4", "multiblock", "nextprotoneg",
577                              "ocsp", "ocb", "poly1305", "psk",
578                              "rc2", "rc4", "rmd160",
579                              "seed", "siphash", "siv",
580                              "sm3", "sm4", "srp",
581                              "srtp", "ssl3-method", "ssl-trace",
582                              "tfo",
583                              "ts", "ui-console", "whirlpool",
584                              "fips-securitychecks" ],
585     sub { $config{processor} eq "386" }
586                         => [ "sse2" ],
587     "ssl"               => [ "ssl3" ],
588     "ssl3-method"       => [ "ssl3" ],
589     "zlib"              => [ "zlib-dynamic" ],
590     "des"               => [ "mdc2" ],
591     "ec"                => [ "ec2m", "ecdsa", "ecdh", "sm2", "gost" ],
592     "dgram"             => [ "dtls", "sctp" ],
593     "sock"              => [ "dgram", "tfo" ],
594     "dtls"              => [ @dtls ],
595     sub { 0 == scalar grep { !$disabled{$_} } @dtls }
596                         => [ "dtls" ],
597
598     "tls"               => [ @tls ],
599     sub { 0 == scalar grep { !$disabled{$_} } @tls }
600                         => [ "tls" ],
601
602     "crypto-mdebug"     => [ "crypto-mdebug-backtrace" ],
603
604     # If no modules, then no dynamic engines either
605     "module"            => [ "dynamic-engine" ],
606
607     # Without shared libraries, dynamic engines aren't possible.
608     # This is due to them having to link with libcrypto and register features
609     # using the ENGINE functionality, and since that relies on global tables,
610     # those *have* to be exactly the same as the ones accessed from the app,
611     # which cannot be guaranteed if shared libraries aren't present.
612     # (note that even with shared libraries, both the app and dynamic engines
613     # must be linked with the same library)
614     "shared"            => [ "dynamic-engine", "uplink" ],
615     "dso"               => [ "dynamic-engine", "module" ],
616     # Other modules don't necessarily have to link with libcrypto, so shared
617     # libraries do not have to be a condition to produce those.
618
619     # Without position independent code, there can be no shared libraries
620     # or modules.
621     "pic"               => [ "shared", "module" ],
622
623     "module"            => [ "fips", "dso" ],
624
625     "engine"            => [ "dynamic-engine", grep(/eng$/, @disablables) ],
626     "dynamic-engine"    => [ "loadereng" ],
627     "hw"                => [ "padlockeng" ],
628
629     # no-autoalginit is only useful when building non-shared
630     "autoalginit"       => [ "shared", "apps", "fips" ],
631
632     "stdio"             => [ "apps", "capieng", "egd" ],
633     "apps"              => [ "tests" ],
634     "tests"             => [ "external-tests" ],
635     "comp"              => [ "zlib" ],
636     "sm3"               => [ "sm2" ],
637     sub { !$disabled{"unit-test"} } => [ "heartbeats" ],
638
639     sub { !$disabled{"msan"} } => [ "asm" ],
640
641     "cmac"              => [ "siv" ],
642     "legacy"            => [ "md2" ],
643
644     "cmp"               => [ "crmf" ],
645
646     "fips"              => [ "fips-securitychecks", "acvp-tests" ],
647
648     "deprecated-3.0"    => [ "engine", "srp" ]
649     );
650
651 # Avoid protocol support holes.  Also disable all versions below N, if version
652 # N is disabled while N+1 is enabled.
653 #
654 my @list = (reverse @tls);
655 while ((my $first, my $second) = (shift @list, shift @list)) {
656     last unless @list;
657     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
658                               => [ @list ] );
659     unshift @list, $second;
660 }
661 my @list = (reverse @dtls);
662 while ((my $first, my $second) = (shift @list, shift @list)) {
663     last unless @list;
664     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
665                               => [ @list ] );
666     unshift @list, $second;
667 }
668
669 # Explicit "no-..." options will be collected in %disabled along with the defaults.
670 # To remove something from %disabled, use "enable-foo".
671 # For symmetry, "disable-foo" is a synonym for "no-foo".
672
673 # For the "make variables" CPPINCLUDES and CPPDEFINES, we support lists with
674 # platform specific list separators.  Users from those platforms should
675 # recognise those separators from how you set up the PATH to find executables.
676 # The default is the Unix like separator, :, but as an exception, we also
677 # support the space as separator.
678 my $list_separator_re =
679     { VMS           => qr/(?<!\^),/,
680       MSWin32       => qr/(?<!\\);/ } -> {$^O} // qr/(?<!\\)[:\s]/;
681 # All the "make variables" we support
682 # Some get pre-populated for the sake of backward compatibility
683 # (we supported those before the change to "make variable" support.
684 my %user = (
685     AR          => env('AR'),
686     ARFLAGS     => [],
687     AS          => undef,
688     ASFLAGS     => [],
689     CC          => env('CC'),
690     CFLAGS      => [ env('CFLAGS') || () ],
691     CXX         => env('CXX'),
692     CXXFLAGS    => [ env('CXXFLAGS') || () ],
693     CPP         => undef,
694     CPPFLAGS    => [ env('CPPFLAGS') || () ],  # -D, -I, -Wp,
695     CPPDEFINES  => [],  # Alternative for -D
696     CPPINCLUDES => [],  # Alternative for -I
697     CROSS_COMPILE => env('CROSS_COMPILE'),
698     HASHBANGPERL=> env('HASHBANGPERL') || env('PERL'),
699     LD          => undef,
700     LDFLAGS     => [ env('LDFLAGS') || () ],  # -L, -Wl,
701     LDLIBS      => [ env('LDLIBS') || () ],  # -l
702     MT          => undef,
703     MTFLAGS     => [],
704     PERL        => env('PERL') || ($^O ne "VMS" ? $^X : "perl"),
705     RANLIB      => env('RANLIB'),
706     RC          => env('RC') || env('WINDRES'),
707     RCFLAGS     => [ env('RCFLAGS') || () ],
708     RM          => undef,
709    );
710 # Info about what "make variables" may be prefixed with the cross compiler
711 # prefix.  This should NEVER mention any such variable with a list for value.
712 my @user_crossable = qw ( AR AS CC CXX CPP LD MT RANLIB RC );
713 # The same but for flags given as Configure options.  These are *additional*
714 # input, as opposed to the VAR=string option that override the corresponding
715 # config target attributes
716 my %useradd = (
717     CPPDEFINES  => [],
718     CPPINCLUDES => [],
719     CPPFLAGS    => [],
720     CFLAGS      => [],
721     CXXFLAGS    => [],
722     LDFLAGS     => [],
723     LDLIBS      => [],
724     RCFLAGS     => [],
725    );
726
727 my %user_synonyms = (
728     HASHBANGPERL=> 'PERL',
729     RC          => 'WINDRES',
730    );
731
732 # Some target attributes have been renamed, this is the translation table
733 my %target_attr_translate =(
734     ar          => 'AR',
735     as          => 'AS',
736     cc          => 'CC',
737     cxx         => 'CXX',
738     cpp         => 'CPP',
739     hashbangperl => 'HASHBANGPERL',
740     ld          => 'LD',
741     mt          => 'MT',
742     ranlib      => 'RANLIB',
743     rc          => 'RC',
744     rm          => 'RM',
745    );
746
747 # Initialisers coming from 'config' scripts
748 $config{defines} = [ split(/$list_separator_re/, env('__CNF_CPPDEFINES')) ];
749 $config{includes} = [ split(/$list_separator_re/, env('__CNF_CPPINCLUDES')) ];
750 $config{cppflags} = [ env('__CNF_CPPFLAGS') || () ];
751 $config{cflags} = [ env('__CNF_CFLAGS') || () ];
752 $config{cxxflags} = [ env('__CNF_CXXFLAGS') || () ];
753 $config{lflags} = [ env('__CNF_LDFLAGS') || () ];
754 $config{ex_libs} = [ env('__CNF_LDLIBS') || () ];
755
756 $config{openssl_api_defines}=[];
757 $config{openssl_sys_defines}=[];
758 $config{openssl_feature_defines}=[];
759 $config{options}="";
760 $config{build_type} = "release";
761 my $target="";
762
763 my %cmdvars = ();               # Stores FOO='blah' type arguments
764 my %unsupported_options = ();
765 my %deprecated_options = ();
766 # If you change this, update apps/version.c
767 my @known_seed_sources = qw(getrandom devrandom os egd none rdcpu librandom);
768 my @seed_sources = ();
769 while (@argvcopy)
770         {
771         $_ = shift @argvcopy;
772
773         # Support env variable assignments among the options
774         if (m|^(\w+)=(.+)?$|)
775                 {
776                 $cmdvars{$1} = $2;
777                 # Every time a variable is given as a configuration argument,
778                 # it acts as a reset if the variable.
779                 if (exists $user{$1})
780                         {
781                         $user{$1} = ref $user{$1} eq "ARRAY" ? [] : undef;
782                         }
783                 #if (exists $useradd{$1})
784                 #       {
785                 #       $useradd{$1} = [];
786                 #       }
787                 next;
788                 }
789
790         # VMS is a case insensitive environment, and depending on settings
791         # out of our control, we may receive options uppercased.  Let's
792         # downcase at least the part before any equal sign.
793         if ($^O eq "VMS")
794                 {
795                 s/^([^=]*)/lc($1)/e;
796                 }
797
798         # some people just can't read the instructions, clang people have to...
799         s/^-no-(?!integrated-as)/no-/;
800
801         # rewrite some options in "enable-..." form
802         s /^-?-?shared$/enable-shared/;
803         s /^sctp$/enable-sctp/;
804         s /^threads$/enable-threads/;
805         s /^zlib$/enable-zlib/;
806         s /^zlib-dynamic$/enable-zlib-dynamic/;
807         s /^fips$/enable-fips/;
808
809         if (/^(no|disable|enable)-(.+)$/)
810                 {
811                 my $word = $2;
812                 if ($word !~ m|hw(?:-.+)| # special treatment for hw regexp opt
813                         && !exists $deprecated_disablables{$word}
814                         && !grep { $word eq $_ } @disablables)
815                         {
816                         $unsupported_options{$_} = 1;
817                         next;
818                         }
819                 }
820         if (/^no-(.+)$/ || /^disable-(.+)$/)
821                 {
822                 foreach my $proto ((@tls, @dtls))
823                         {
824                         if ($1 eq "$proto-method")
825                                 {
826                                 $disabled{"$proto"} = "option($proto-method)";
827                                 last;
828                                 }
829                         }
830                 if ($1 eq "dtls")
831                         {
832                         foreach my $proto (@dtls)
833                                 {
834                                 $disabled{$proto} = "option(dtls)";
835                                 }
836                         $disabled{"dtls"} = "option(dtls)";
837                         }
838                 elsif ($1 eq "ssl")
839                         {
840                         # Last one of its kind
841                         $disabled{"ssl3"} = "option(ssl)";
842                         }
843                 elsif ($1 eq "tls")
844                         {
845                         # XXX: Tests will fail if all SSL/TLS
846                         # protocols are disabled.
847                         foreach my $proto (@tls)
848                                 {
849                                 $disabled{$proto} = "option(tls)";
850                                 }
851                         }
852                 elsif ($1 eq "static-engine")
853                         {
854                         delete $disabled{"dynamic-engine"};
855                         }
856                 elsif ($1 eq "dynamic-engine")
857                         {
858                         $disabled{"dynamic-engine"} = "option";
859                         }
860                 elsif (exists $deprecated_disablables{$1})
861                         {
862                         $deprecated_options{$_} = 1;
863                         if (defined $deprecated_disablables{$1})
864                                 {
865                                 $disabled{$deprecated_disablables{$1}} = "option";
866                                 }
867                         }
868                 elsif ($1 =~ m|hw(?:-.+)|) # deprecate hw options in regexp form
869                         {
870                         $deprecated_options{$_} = 1;
871                         }
872                 else
873                         {
874                         $disabled{$1} = "option";
875                         }
876                 # No longer an automatic choice
877                 $auto_threads = 0 if ($1 eq "threads");
878                 }
879         elsif (/^enable-(.+)$/)
880                 {
881                 if ($1 eq "static-engine")
882                         {
883                         $disabled{"dynamic-engine"} = "option";
884                         }
885                 elsif ($1 eq "dynamic-engine")
886                         {
887                         delete $disabled{"dynamic-engine"};
888                         }
889                 elsif ($1 eq "zlib-dynamic")
890                         {
891                         delete $disabled{"zlib"};
892                         }
893                 my $algo = $1;
894                 delete $disabled{$algo};
895
896                 # No longer an automatic choice
897                 $auto_threads = 0 if ($1 eq "threads");
898                 }
899         elsif (/^-d$/)          # From older 'config'
900                 {
901                 $config{build_type} = "debug";
902                 }
903         elsif (/^-v$/)          # From older 'config'
904                 {
905                 $guess_opts{verbose} = 1;
906                 }
907         elsif (/^-w$/)
908                 {
909                 $guess_opts{nowait} = 1;
910                 }
911         elsif (/^-t$/)          # From older 'config'
912                 {
913                 $dryrun = 1;
914                 }
915         elsif (/^--strict-warnings$/)
916                 {
917                 # Pretend that our strict flags is a C flag, and replace it
918                 # with the proper flags later on
919                 push @{$useradd{CFLAGS}}, '--ossl-strict-warnings';
920                 $strict_warnings=1;
921                 }
922         elsif (/^--debug$/)
923                 {
924                 $config{build_type} = "debug";
925                 }
926         elsif (/^--release$/)
927                 {
928                 $config{build_type} = "release";
929                 }
930         elsif (/^386$/)
931                 { $config{processor}=386; }
932         elsif (/^rsaref$/)
933                 {
934                 # No RSAref support any more since it's not needed.
935                 # The check for the option is there so scripts aren't
936                 # broken
937                 }
938         elsif (m|^[-+/]|)
939                 {
940                 if (/^--prefix=(.*)$/)
941                         {
942                         $config{prefix}=$1;
943                         die "Directory given with --prefix MUST be absolute\n"
944                                 unless file_name_is_absolute($config{prefix});
945                         }
946                 elsif (/^--api=(.*)$/)
947                         {
948                         my $api = $1;
949                         die "Unknown API compatibility level $api"
950                                 unless defined $apitable->{$api};
951                         $config{api}=$apitable->{$api};
952                         }
953                 elsif (/^--libdir=(.*)$/)
954                         {
955                         $config{libdir}=$1;
956                         }
957                 elsif (/^--openssldir=(.*)$/)
958                         {
959                         $config{openssldir}=$1;
960                         }
961                 elsif (/^--with-zlib-lib=(.*)$/)
962                         {
963                         $withargs{zlib_lib}=$1;
964                         }
965                 elsif (/^--with-zlib-include=(.*)$/)
966                         {
967                         $withargs{zlib_include}=$1;
968                         }
969                 elsif (/^--with-fuzzer-lib=(.*)$/)
970                         {
971                         $withargs{fuzzer_lib}=$1;
972                         }
973                 elsif (/^--with-fuzzer-include=(.*)$/)
974                         {
975                         $withargs{fuzzer_include}=$1;
976                         }
977                 elsif (/^--with-rand-seed=(.*)$/)
978                         {
979                         foreach my $x (split(m|,|, $1))
980                             {
981                             die "Unknown --with-rand-seed choice $x\n"
982                                 if ! grep { $x eq $_ } @known_seed_sources;
983                             push @seed_sources, $x;
984                             }
985                         }
986                 elsif (/^--fips-key=(.*)$/)
987                         {
988                         $user{FIPSKEY}=lc($1);
989                         die "Non-hex character in FIPS key\n"
990                            if $user{FIPSKEY} =~ /[^a-f0-9]/;
991                         die "FIPS key must have even number of characters\n"
992                            if length $1 & 1;
993                         die "FIPS key too long (64 bytes max)\n"
994                            if length $1 > 64;
995                         }
996                 elsif (/^--banner=(.*)$/)
997                         {
998                         $banner = $1 . "\n";
999                         }
1000                 elsif (/^--cross-compile-prefix=(.*)$/)
1001                         {
1002                         $user{CROSS_COMPILE}=$1;
1003                         }
1004                 elsif (/^--config=(.*)$/)
1005                         {
1006                         read_config $1;
1007                         }
1008                 elsif (/^-l(.*)$/)
1009                         {
1010                         push @{$useradd{LDLIBS}}, $_;
1011                         }
1012                 elsif (/^-framework$/)
1013                         {
1014                         push @{$useradd{LDLIBS}}, $_, shift(@argvcopy);
1015                         }
1016                 elsif (/^-L(.*)$/ or /^-Wl,/)
1017                         {
1018                         push @{$useradd{LDFLAGS}}, $_;
1019                         }
1020                 elsif (/^-rpath$/ or /^-R$/)
1021                         # -rpath is the OSF1 rpath flag
1022                         # -R is the old Solaris rpath flag
1023                         {
1024                         my $rpath = shift(@argvcopy) || "";
1025                         $rpath .= " " if $rpath ne "";
1026                         push @{$useradd{LDFLAGS}}, $_, $rpath;
1027                         }
1028                 elsif (/^-static$/)
1029                         {
1030                         push @{$useradd{LDFLAGS}}, $_;
1031                         }
1032                 elsif (m|^[-/]D(.*)$|)
1033                         {
1034                         push @{$useradd{CPPDEFINES}}, $1;
1035                         }
1036                 elsif (m|^[-/]I(.*)$|)
1037                         {
1038                         push @{$useradd{CPPINCLUDES}}, $1;
1039                         }
1040                 elsif (/^-Wp,$/)
1041                         {
1042                         push @{$useradd{CPPFLAGS}}, $1;
1043                         }
1044                 else    # common if (/^[-+]/), just pass down...
1045                         {
1046                         # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1047                         # This provides a simple way to pass options with arguments separated
1048                         # by spaces without quoting (e.g. -opt%20arg translates to -opt arg).
1049                         $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1050                         push @{$useradd{CFLAGS}}, $_;
1051                         push @{$useradd{CXXFLAGS}}, $_;
1052                         }
1053                 }
1054         elsif (m|^/|)
1055                 {
1056                 # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1057                 # This provides a simple way to pass options with arguments separated
1058                 # by spaces without quoting (e.g. /opt%20arg translates to /opt arg).
1059                 $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1060                 push @{$useradd{CFLAGS}}, $_;
1061                 push @{$useradd{CXXFLAGS}}, $_;
1062                 }
1063         else
1064                 {
1065                 die "target already defined - $target (offending arg: $_)\n" if ($target ne "");
1066                 $target=$_;
1067                 }
1068         unless ($_ eq $target || /^no-/ || /^disable-/)
1069                 {
1070                 # "no-..." follows later after implied deactivations
1071                 # have been derived.  (Don't take this too seriously,
1072                 # we really only write OPTIONS to the Makefile out of
1073                 # nostalgia.)
1074
1075                 if ($config{options} eq "")
1076                         { $config{options} = $_; }
1077                 else
1078                         { $config{options} .= " ".$_; }
1079                 }
1080         }
1081
1082 if (keys %deprecated_options)
1083         {
1084         warn "***** Deprecated options: ",
1085                 join(", ", keys %deprecated_options), "\n";
1086         }
1087 if (keys %unsupported_options)
1088         {
1089         die "***** Unsupported options: ",
1090                 join(", ", keys %unsupported_options), "\n";
1091         }
1092
1093 # If any %useradd entry has been set, we must check that the "make
1094 # variables" haven't been set.  We start by checking of any %useradd entry
1095 # is set.
1096 if (grep { scalar @$_ > 0 } values %useradd) {
1097     # Hash of env / make variables names.  The possible values are:
1098     # 1 - "make vars"
1099     # 2 - %useradd entry set
1100     # 3 - both set
1101     my %detected_vars =
1102         map { my $v = 0;
1103               $v += 1 if $cmdvars{$_};
1104               $v += 2 if @{$useradd{$_}};
1105               $_ => $v }
1106         keys %useradd;
1107
1108     # If any of the corresponding "make variables" is set, we error
1109     if (grep { $_ & 1 } values %detected_vars) {
1110         my $names = join(', ', grep { $detected_vars{$_} > 0 }
1111                                sort keys %detected_vars);
1112         die <<"_____";
1113 ***** Mixing make variables and additional compiler/linker flags as
1114 ***** configure command line option is not permitted.
1115 ***** Affected make variables: $names
1116 _____
1117     }
1118 }
1119
1120 # Check through all supported command line variables to see if any of them
1121 # were set, and canonicalise the values we got.  If no compiler or linker
1122 # flag or anything else that affects %useradd was set, we also check the
1123 # environment for values.
1124 my $anyuseradd =
1125     grep { defined $_ && (ref $_ ne 'ARRAY' || @$_) } values %useradd;
1126 foreach (keys %user) {
1127     my $value = $cmdvars{$_};
1128     $value //= env($_) unless $anyuseradd;
1129     $value //=
1130         defined $user_synonyms{$_} ? $cmdvars{$user_synonyms{$_}} : undef;
1131     $value //= defined $user_synonyms{$_} ? env($user_synonyms{$_}) : undef
1132         unless $anyuseradd;
1133
1134     if (defined $value) {
1135         if (ref $user{$_} eq 'ARRAY') {
1136             if ($_ eq 'CPPDEFINES' || $_ eq 'CPPINCLUDES') {
1137                 $user{$_} = [ split /$list_separator_re/, $value ];
1138             } else {
1139                 $user{$_} = [ $value ];
1140             }
1141         } elsif (!defined $user{$_}) {
1142             $user{$_} = $value;
1143         }
1144     }
1145 }
1146
1147 if (grep { /-rpath\b/ } ($user{LDFLAGS} ? @{$user{LDFLAGS}} : ())
1148     && !$disabled{shared}
1149     && !($disabled{asan} && $disabled{msan} && $disabled{ubsan})) {
1150     die "***** Cannot simultaneously use -rpath, shared libraries, and\n",
1151         "***** any of asan, msan or ubsan\n";
1152 }
1153
1154 # If no target was given, try guessing.
1155 unless ($target) {
1156     my %system_config = OpenSSL::config::get_platform(%guess_opts, %user);
1157
1158     # The $system_config{disable} is used to populate %disabled with
1159     # entries that aren't already there.
1160     foreach ( @{$system_config{disable} // []} ) {
1161         $disabled{$_} = 'system' unless defined $disabled{$_};
1162     }
1163     delete $system_config{disable};
1164
1165     # Override config entries with stuff from the guesser.
1166     # It's assumed that this really is nothing new.
1167     %config = ( %config, %system_config );
1168     $target = $system_config{target};
1169 }
1170
1171 sub disable {
1172     my $disable_type = shift;
1173
1174     for (@_) {
1175         $disabled{$_} = $disable_type;
1176     }
1177
1178     my @tocheckfor = (@_ ? @_ : keys %disabled);
1179     while (@tocheckfor) {
1180         my %new_tocheckfor = ();
1181         my @cascade_copy = (@disable_cascades);
1182         while (@cascade_copy) {
1183             my ($test, $descendents) =
1184                 (shift @cascade_copy, shift @cascade_copy);
1185             if (ref($test) eq "CODE" ? $test->() : defined($disabled{$test})) {
1186                 foreach (grep { !defined($disabled{$_}) } @$descendents) {
1187                     $new_tocheckfor{$_} = 1; $disabled{$_} = "cascade";
1188                 }
1189             }
1190         }
1191         @tocheckfor = (keys %new_tocheckfor);
1192     }
1193 }
1194 disable();                     # First cascade run
1195
1196 our $die = sub { die @_; };
1197 if ($target eq "TABLE") {
1198     local $die = sub { warn @_; };
1199     foreach (sort keys %table) {
1200         print_table_entry($_, "TABLE");
1201     }
1202     exit 0;
1203 }
1204
1205 if ($target eq "LIST") {
1206     foreach (sort keys %table) {
1207         print $_,"\n" unless $table{$_}->{template};
1208     }
1209     exit 0;
1210 }
1211
1212 if ($target eq "HASH") {
1213     local $die = sub { warn @_; };
1214     print "%table = (\n";
1215     foreach (sort keys %table) {
1216         print_table_entry($_, "HASH");
1217     }
1218     exit 0;
1219 }
1220
1221 print "Configuring OpenSSL version $config{full_version} ";
1222 print "for target $target\n";
1223
1224 if (scalar(@seed_sources) == 0) {
1225     print "Using os-specific seed configuration\n";
1226     push @seed_sources, 'os';
1227 }
1228 if (scalar(grep { $_ eq 'egd' } @seed_sources) > 0) {
1229     delete $disabled{'egd'};
1230 }
1231 if (scalar(grep { $_ eq 'none' } @seed_sources) > 0) {
1232     die "Cannot seed with none and anything else" if scalar(@seed_sources) > 1;
1233     warn <<_____ if scalar(@seed_sources) == 1;
1234
1235 ============================== WARNING ===============================
1236 You have selected the --with-rand-seed=none option, which effectively
1237 disables automatic reseeding of the OpenSSL random generator.
1238 All operations depending on the random generator such as creating keys
1239 will not work unless the random generator is seeded manually by the
1240 application.
1241
1242 Please read the 'Note on random number generation' section in the
1243 INSTALL.md instructions and the RAND_DRBG(7) manual page for more
1244 details.
1245 ============================== WARNING ===============================
1246
1247 _____
1248 }
1249 push @{$config{openssl_feature_defines}},
1250      map { (my $x = $_) =~ tr|[\-a-z]|[_A-Z]|; "OPENSSL_RAND_SEED_$x" }
1251         @seed_sources;
1252
1253 # Backward compatibility?
1254 if ($target =~ m/^CygWin32(-.*)$/) {
1255     $target = "Cygwin".$1;
1256 }
1257
1258 # Support for legacy targets having a name starting with 'debug-'
1259 my ($d, $t) = $target =~ m/^(debug-)?(.*)$/;
1260 if ($d) {
1261     $config{build_type} = "debug";
1262
1263     # If we do not find debug-foo in the table, the target is set to foo.
1264     if (!$table{$target}) {
1265         $target = $t;
1266     }
1267 }
1268
1269 if ($target) {
1270     # It's possible that we have different config targets for specific
1271     # toolchains, so we try to detect them, and go for the plain config
1272     # target if not.
1273     my $found;
1274     foreach ( ( "$target-$user{CC}", "$target", undef ) ) {
1275         $found=$_ if $table{$_} && !$table{$_}->{template};
1276         last if $found;
1277     }
1278     $target = $found;
1279 } else {
1280     # If we don't have a config target now, we try the C compiler as we
1281     # fallback
1282     my $cc = $user{CC} // 'cc';
1283     $target = $cc if $table{$cc} && !$table{$cc}->{template};
1284 }
1285
1286 &usage unless $target;
1287
1288 exit 0 if $dryrun;              # From older 'config'
1289
1290 $config{target} = $target;
1291 my %target = resolve_config($target);
1292
1293 foreach (keys %target_attr_translate) {
1294     $target{$target_attr_translate{$_}} = $target{$_}
1295         if $target{$_};
1296     delete $target{$_};
1297 }
1298
1299 %target = ( %{$table{DEFAULTS}}, %target );
1300
1301 my %conf_files = map { $_ => 1 } (@{$target{_conf_fname_int}});
1302 $config{conf_files} = [ sort keys %conf_files ];
1303
1304 # Using sub disable within these loops may prove fragile, so we run
1305 # a cascade afterwards
1306 foreach my $feature (@{$target{disable}}) {
1307     if (exists $deprecated_disablables{$feature}) {
1308         warn "***** config $target disables deprecated feature $feature\n";
1309     } elsif (!grep { $feature eq $_ } @disablables) {
1310         die "***** config $target disables unknown feature $feature\n";
1311     }
1312     $disabled{$feature} = 'config';
1313 }
1314 foreach my $feature (@{$target{enable}}) {
1315     if ("default" eq ($disabled{$feature} // "")) {
1316         if (exists $deprecated_disablables{$feature}) {
1317             warn "***** config $target enables deprecated feature $feature\n";
1318         } elsif (!grep { $feature eq $_ } @disablables) {
1319             die "***** config $target enables unknown feature $feature\n";
1320         }
1321         delete $disabled{$feature};
1322     }
1323 }
1324
1325 # If uplink_arch isn't defined, disable uplink
1326 $disabled{uplink} = 'no uplink_arch' unless (defined $target{uplink_arch});
1327 # If asm_arch isn't defined, disable asm
1328 $disabled{asm} = 'no asm_arch' unless (defined $target{asm_arch});
1329
1330 disable();                      # Run a cascade now
1331
1332 $target{CXXFLAGS}//=$target{CFLAGS} if $target{CXX};
1333 $target{cxxflags}//=$target{cflags} if $target{CXX};
1334 $target{exe_extension}=".exe" if ($config{target} eq "DJGPP");
1335 $target{exe_extension}=".pm"  if ($config{target} =~ /vos/);
1336
1337 # Fill %config with values from %user, and in case those are undefined or
1338 # empty, use values from %target (acting as a default).
1339 foreach (keys %user) {
1340     my $ref_type = ref $user{$_};
1341
1342     # Temporary function.  Takes an intended ref type (empty string or "ARRAY")
1343     # and a value that's to be coerced into that type.
1344     my $mkvalue = sub {
1345         my $type = shift;
1346         my $value = shift;
1347         my $undef_p = shift;
1348
1349         die "Too many arguments for \$mkvalue" if @_;
1350
1351         while (ref $value eq 'CODE') {
1352             $value = $value->();
1353         }
1354
1355         if ($type eq 'ARRAY') {
1356             return undef unless defined $value;
1357             return undef if ref $value ne 'ARRAY' && !$value;
1358             return undef if ref $value eq 'ARRAY' && !@$value;
1359             return [ $value ] unless ref $value eq 'ARRAY';
1360         }
1361         return undef unless $value;
1362         return $value;
1363     };
1364
1365     $config{$_} =
1366         $mkvalue->($ref_type, $user{$_})
1367         || $mkvalue->($ref_type, $target{$_});
1368     delete $config{$_} unless defined $config{$_};
1369 }
1370
1371 # Finish up %config by appending things the user gave us on the command line
1372 # apart from "make variables"
1373 foreach (keys %useradd) {
1374     # The must all be lists, so we assert that here
1375     die "internal error: \$useradd{$_} isn't an ARRAY\n"
1376         unless ref $useradd{$_} eq 'ARRAY';
1377
1378     if (defined $config{$_}) {
1379         push @{$config{$_}}, @{$useradd{$_}};
1380     } else {
1381         $config{$_} = [ @{$useradd{$_}} ];
1382     }
1383 }
1384 # At this point, we can forget everything about %user and %useradd,
1385 # because it's now all been merged into the corresponding $config entry
1386
1387 if (grep { $_ =~ /(?:^|\s)-static(?:\s|$)/ } @{$config{LDFLAGS}}) {
1388     disable('static', 'pic', 'threads');
1389 }
1390
1391 # Allow overriding the build file name
1392 $config{build_file} = env('BUILDFILE') || $target{build_file} || "Makefile";
1393
1394 # Make sure build_scheme is consistent.
1395 $target{build_scheme} = [ $target{build_scheme} ]
1396     if ref($target{build_scheme}) ne "ARRAY";
1397
1398 my ($builder, $builder_platform, @builder_opts) =
1399     @{$target{build_scheme}};
1400
1401 foreach my $checker (($builder_platform."-".$target{build_file}."-checker.pm",
1402                       $builder_platform."-checker.pm")) {
1403     my $checker_path = catfile($srcdir, "Configurations", $checker);
1404     if (-f $checker_path) {
1405         my $fn = $ENV{CONFIGURE_CHECKER_WARN}
1406             ? sub { warn $@; } : sub { die $@; };
1407         if (! do $checker_path) {
1408             if ($@) {
1409                 $fn->($@);
1410             } elsif ($!) {
1411                 $fn->($!);
1412             } else {
1413                 $fn->("The detected tools didn't match the platform\n");
1414             }
1415         }
1416         last;
1417     }
1418 }
1419
1420 push @{$config{defines}}, "NDEBUG"    if $config{build_type} eq "release";
1421
1422 if ($target =~ /^mingw/ && `$config{CC} --target-help 2>&1` =~ m/-mno-cygwin/m)
1423         {
1424         push @{$config{cflags}}, "-mno-cygwin";
1425         push @{$config{cxxflags}}, "-mno-cygwin" if $config{CXX};
1426         push @{$config{shared_ldflag}}, "-mno-cygwin";
1427         }
1428
1429 if ($target =~ /linux.*-mips/ && !$disabled{asm}
1430         && !grep { $_ !~ /-m(ips|arch=)/ } (@{$config{CFLAGS}})) {
1431         # minimally required architecture flags for assembly modules
1432         my $value;
1433         $value = '-mips2' if ($target =~ /mips32/);
1434         $value = '-mips3' if ($target =~ /mips64/);
1435         unshift @{$config{cflags}}, $value;
1436         unshift @{$config{cxxflags}}, $value if $config{CXX};
1437 }
1438
1439 # If threads aren't disabled, check how possible they are
1440 unless ($disabled{threads}) {
1441     if ($auto_threads) {
1442         # Enabled by default, disable it forcibly if unavailable
1443         if ($target{thread_scheme} eq "(unknown)") {
1444             disable("unavailable", 'threads');
1445         }
1446     } else {
1447         # The user chose to enable threads explicitly, let's see
1448         # if there's a chance that's possible
1449         if ($target{thread_scheme} eq "(unknown)") {
1450             # If the user asked for "threads" and we don't have internal
1451             # knowledge how to do it, [s]he is expected to provide any
1452             # system-dependent compiler options that are necessary.  We
1453             # can't truly check that the given options are correct, but
1454             # we expect the user to know what [s]He is doing.
1455             if (!@{$config{CFLAGS}} && !@{$config{CPPDEFINES}}) {
1456                 die "You asked for multi-threading support, but didn't\n"
1457                     ,"provide any system-specific compiler options\n";
1458             }
1459         }
1460     }
1461 }
1462
1463 # Find out if clang's sanitizers have been enabled with -fsanitize
1464 # flags and ensure that the corresponding %disabled elements area
1465 # removed to reflect that the sanitizers are indeed enabled.
1466 my %detected_sanitizers = ();
1467 foreach (grep /^-fsanitize=/, @{$config{CFLAGS} || []}) {
1468     (my $checks = $_) =~ s/^-fsanitize=//;
1469     foreach (split /,/, $checks) {
1470         my $d = { address       => 'asan',
1471                   undefined     => 'ubsan',
1472                   memory        => 'msan' } -> {$_};
1473         next unless defined $d;
1474
1475         $detected_sanitizers{$d} = 1;
1476         if (defined $disabled{$d}) {
1477             die "***** Conflict between disabling $d and enabling $_ sanitizer"
1478                 if $disabled{$d} ne "default";
1479             delete $disabled{$d};
1480         }
1481     }
1482 }
1483
1484 # If threads still aren't disabled, add a C macro to ensure the source
1485 # code knows about it.  Any other flag is taken care of by the configs.
1486 unless($disabled{threads}) {
1487     push @{$config{openssl_feature_defines}}, "OPENSSL_THREADS";
1488 }
1489
1490 my $no_shared_warn=0;
1491 if (($target{shared_target} // '') eq "")
1492         {
1493         $no_shared_warn = 1
1494             if (!$disabled{shared} || !$disabled{"dynamic-engine"});
1495         disable('no-shared-target', 'pic');
1496         }
1497
1498 if ($disabled{"dynamic-engine"}) {
1499         $config{dynamic_engines} = 0;
1500 } else {
1501         $config{dynamic_engines} = 1;
1502 }
1503
1504 unless ($disabled{asan} || defined $detected_sanitizers{asan}) {
1505     push @{$config{cflags}}, "-fsanitize=address";
1506 }
1507
1508 unless ($disabled{ubsan} || defined $detected_sanitizers{ubsan}) {
1509     # -DPEDANTIC or -fnosanitize=alignment may also be required on some
1510     # platforms.
1511     push @{$config{cflags}}, "-fsanitize=undefined", "-fno-sanitize-recover=all";
1512 }
1513
1514 unless ($disabled{msan} || defined $detected_sanitizers{msan}) {
1515   push @{$config{cflags}}, "-fsanitize=memory";
1516 }
1517
1518 unless ($disabled{"fuzz-libfuzzer"} && $disabled{"fuzz-afl"}
1519         && $disabled{asan} && $disabled{ubsan} && $disabled{msan}) {
1520     push @{$config{cflags}}, "-fno-omit-frame-pointer", "-g";
1521     push @{$config{cxxflags}}, "-fno-omit-frame-pointer", "-g" if $config{CXX};
1522 }
1523 #
1524 # Platform fix-ups
1525 #
1526
1527 # This saves the build files from having to check
1528 if ($disabled{pic})
1529         {
1530         foreach (qw(shared_cflag shared_cxxflag shared_cppflag
1531                     shared_defines shared_includes shared_ldflag
1532                     module_cflags module_cxxflags module_cppflags
1533                     module_defines module_includes module_lflags))
1534                 {
1535                 delete $config{$_};
1536                 $target{$_} = "";
1537                 }
1538         }
1539 else
1540         {
1541         push @{$config{lib_defines}}, "OPENSSL_PIC";
1542         }
1543
1544 if ($target{sys_id} ne "")
1545         {
1546         push @{$config{openssl_sys_defines}}, "OPENSSL_SYS_$target{sys_id}";
1547         }
1548
1549 my %predefined_C = compiler_predefined($config{CROSS_COMPILE}.$config{CC});
1550 my %predefined_CXX = $config{CXX}
1551     ? compiler_predefined($config{CROSS_COMPILE}.$config{CXX})
1552     : ();
1553
1554 unless ($disabled{asm}) {
1555     # big endian systems can use ELFv2 ABI
1556     if ($target eq "linux-ppc64" || $target eq "BSD-ppc64") {
1557         $target{perlasm_scheme} = "linux64v2" if ($predefined_C{_CALL_ELF} == 2);
1558     }
1559 }
1560
1561 # Check for makedepend capabilities.
1562 if (!$disabled{makedepend}) {
1563     # If the attribute makedep_scheme is defined, then we assume that the
1564     # config target and its associated build file are programmed to deal
1565     # with it.
1566     # If makedep_scheme is undefined, we go looking for GCC compatible
1567     # dependency making, and if that's not available, we try to fall back
1568     # on 'makedepend'.
1569     if ($target{makedep_scheme}) {
1570         $config{makedep_scheme} = $target{makedep_scheme};
1571         # If the makedepcmd attribute is defined, copy it.  If not, the
1572         # build files will have to fend for themselves.
1573         $config{makedepcmd} = $target{makedepcmd} if $target{makedepcmd};
1574     } elsif (($predefined_C{__GNUC__} // -1) >= 3
1575              && !($predefined_C{__APPLE_CC__} && !$predefined_C{__clang__})) {
1576         # We know that GNU C version 3 and up as well as all clang
1577         # versions support dependency generation, but Xcode did not
1578         # handle $cc -M before clang support (but claims __GNUC__ = 3)
1579         $config{makedep_scheme} = 'gcc';
1580     } else {
1581         # In all other cases, we look for 'makedepend', and set the
1582         # makedep_scheme value if we found it.
1583         $config{makedepcmd} = which('makedepend');
1584         $config{makedep_scheme} = 'makedepend' if $config{makedepcmd};
1585     }
1586
1587     # If no depend scheme is set, we disable makedepend
1588     disable('unavailable', 'makedepend') unless $config{makedep_scheme};
1589 }
1590
1591 if (!$disabled{asm} && !$predefined_C{__MACH__} && $^O ne 'VMS') {
1592     # probe for -Wa,--noexecstack option...
1593     if ($predefined_C{__clang__}) {
1594         # clang has builtin assembler, which doesn't recognize --help,
1595         # but it apparently recognizes the option in question on all
1596         # supported platforms even when it's meaningless. In other words
1597         # probe would fail, but probed option always accepted...
1598         push @{$config{cflags}}, "-Wa,--noexecstack", "-Qunused-arguments";
1599     } else {
1600         my $cc = $config{CROSS_COMPILE}.$config{CC};
1601         open(PIPE, "$cc -Wa,--help -c -o null.$$.o -x assembler /dev/null 2>&1 |");
1602         while(<PIPE>) {
1603             if (m/--noexecstack/) {
1604                 push @{$config{cflags}}, "-Wa,--noexecstack";
1605                 last;
1606             }
1607         }
1608         close(PIPE);
1609         unlink("null.$$.o");
1610     }
1611 }
1612
1613 # Deal with bn_ops ###################################################
1614
1615 $config{bn_ll}                  =0;
1616 my $def_int="unsigned int";
1617 $config{rc4_int}                =$def_int;
1618 ($config{b64l},$config{b64},$config{b32})=(0,0,1);
1619
1620 my $count = 0;
1621 foreach (sort split(/\s+/,$target{bn_ops})) {
1622     $count++ if /SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT/;
1623     $config{bn_ll}=1                            if $_ eq 'BN_LLONG';
1624     $config{rc4_int}="unsigned char"            if $_ eq 'RC4_CHAR';
1625     ($config{b64l},$config{b64},$config{b32})
1626         =(0,1,0)                                if $_ eq 'SIXTY_FOUR_BIT';
1627     ($config{b64l},$config{b64},$config{b32})
1628         =(1,0,0)                                if $_ eq 'SIXTY_FOUR_BIT_LONG';
1629     ($config{b64l},$config{b64},$config{b32})
1630         =(0,0,1)                                if $_ eq 'THIRTY_TWO_BIT';
1631 }
1632 die "Exactly one of SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT can be set in bn_ops\n"
1633     if $count > 1;
1634
1635 $config{api} = $config{major} * 10000 + $config{minor} * 100
1636     unless $config{api};
1637 foreach (keys %$apitable) {
1638     $disabled{"deprecated-$_"} = "deprecation"
1639         if $disabled{deprecated} && $config{api} >= $apitable->{$_};
1640 }
1641
1642 disable();                      # Run a cascade now
1643
1644 # Hack cflags for better warnings (dev option) #######################
1645
1646 # "Stringify" the C and C++ flags string.  This permits it to be made part of
1647 # a string and works as well on command lines.
1648 $config{cflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1649                         @{$config{cflags}} ];
1650 $config{cxxflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1651                           @{$config{cxxflags}} ] if $config{CXX};
1652
1653 $config{openssl_api_defines} = [
1654     "OPENSSL_CONFIGURED_API=".$config{api},
1655 ];
1656
1657 my @strict_warnings_collection=();
1658 if ($strict_warnings)
1659         {
1660         my $wopt;
1661         my $gccver = $predefined_C{__GNUC__} // -1;
1662
1663         if ($gccver >= 4)
1664                 {
1665                 push @strict_warnings_collection, @gcc_devteam_warn;
1666                 push @strict_warnings_collection, @clang_devteam_warn
1667                     if (defined($predefined_C{__clang__}));
1668                 }
1669         elsif ($config{target} =~ /^VC-/)
1670                 {
1671                 push @strict_warnings_collection, @cl_devteam_warn;
1672                 }
1673         else
1674                 {
1675                 warn "WARNING --strict-warnings requires gcc[>=4] or gcc-alike, or MSVC"
1676                 }
1677         }
1678
1679 $config{CFLAGS} = [ map { $_ eq '--ossl-strict-warnings'
1680                               ? @strict_warnings_collection
1681                               : ( $_ ) }
1682                     @{$config{CFLAGS}} ];
1683
1684 unless ($disabled{afalgeng}) {
1685     $config{afalgeng}="";
1686     if (grep { $_ eq 'afalgeng' } @{$target{enable}}) {
1687         push @{$config{engdirs}}, "afalg";
1688     } else {
1689         disable('not-linux', 'afalgeng');
1690     }
1691 }
1692
1693 unless ($disabled{devcryptoeng}) {
1694     if ($target =~ m/^BSD/) {
1695         my $maxver = 5*100 + 7;
1696         my $sysstr = `uname -s`;
1697         my $verstr = `uname -r`;
1698         $sysstr =~ s|\R$||;
1699         $verstr =~ s|\R$||;
1700         my ($ma, $mi, @rest) = split m|\.|, $verstr;
1701         my $ver = $ma*100 + $mi;
1702         if ($sysstr eq 'OpenBSD' && $ver >= $maxver) {
1703             disable('too-new-kernel', 'devcryptoeng');
1704         }
1705     }
1706 }
1707
1708 unless ($disabled{ktls}) {
1709     $config{ktls}="";
1710     if ($target =~ m/^linux/) {
1711         my $usr = "/usr/$config{cross_compile_prefix}";
1712         chop($usr);
1713         if ($config{cross_compile_prefix} eq "") {
1714             $usr = "/usr";
1715         }
1716         my $minver = (4 << 16) + (13 << 8) + 0;
1717         my @verstr = split(" ",`cat $usr/include/linux/version.h | grep LINUX_VERSION_CODE`);
1718
1719         if ($verstr[2] < $minver) {
1720             disable('too-old-kernel', 'ktls');
1721         }
1722     } elsif ($target =~ m/^BSD/) {
1723         my $cc = $config{CROSS_COMPILE}.$config{CC};
1724         system("printf '#include <sys/types.h>\n#include <sys/ktls.h>' | $cc -E - >/dev/null 2>&1");
1725         if ($? != 0) {
1726             disable('too-old-freebsd', 'ktls');
1727         }
1728     } else {
1729         disable('not-linux-or-freebsd', 'ktls');
1730     }
1731 }
1732
1733 push @{$config{openssl_other_defines}}, "OPENSSL_NO_KTLS" if ($disabled{ktls});
1734
1735 # Get the extra flags used when building shared libraries and modules.  We
1736 # do this late because some of them depend on %disabled.
1737
1738 # Make the flags to build DSOs the same as for shared libraries unless they
1739 # are already defined
1740 $target{module_cflags} = $target{shared_cflag} unless defined $target{module_cflags};
1741 $target{module_cxxflags} = $target{shared_cxxflag} unless defined $target{module_cxxflags};
1742 $target{module_ldflags} = $target{shared_ldflag} unless defined $target{module_ldflags};
1743 {
1744     my $shared_info_pl =
1745         catfile(dirname($0), "Configurations", "shared-info.pl");
1746     my %shared_info = read_eval_file($shared_info_pl);
1747     push @{$target{_conf_fname_int}}, $shared_info_pl;
1748     my $si = $target{shared_target};
1749     while (ref $si ne "HASH") {
1750         last if ! defined $si;
1751         if (ref $si eq "CODE") {
1752             $si = $si->();
1753         } else {
1754             $si = $shared_info{$si};
1755         }
1756     }
1757
1758     # Some of the 'shared_target' values don't have any entries in
1759     # %shared_info.  That's perfectly fine, AS LONG AS the build file
1760     # template knows how to handle this.  That is currently the case for
1761     # Windows and VMS.
1762     if (defined $si) {
1763         # Just as above, copy certain shared_* attributes to the corresponding
1764         # module_ attribute unless the latter is already defined
1765         $si->{module_cflags} = $si->{shared_cflag} unless defined $si->{module_cflags};
1766         $si->{module_cxxflags} = $si->{shared_cxxflag} unless defined $si->{module_cxxflags};
1767         $si->{module_ldflags} = $si->{shared_ldflag} unless defined $si->{module_ldflags};
1768         foreach (sort keys %$si) {
1769             $target{$_} = defined $target{$_}
1770                 ? add($si->{$_})->($target{$_})
1771                 : $si->{$_};
1772         }
1773     }
1774 }
1775
1776 # ALL MODIFICATIONS TO %disabled, %config and %target MUST BE DONE FROM HERE ON
1777
1778 ######################################################################
1779 # Build up information for skipping certain directories depending on disabled
1780 # features, as well as setting up macros for disabled features.
1781
1782 # This is a tentative database of directories to skip.  Some entries may not
1783 # correspond to anything real, but that's ok, they will simply be ignored.
1784 # The actual processing of these entries is done in the build.info lookup
1785 # loop further down.
1786 #
1787 # The key is a Unix formatted path in the source tree, the value is an index
1788 # into %disabled_info, so any existing path gets added to a corresponding
1789 # 'skipped' entry in there with the list of skipped directories.
1790 my %skipdir = ();
1791 my %disabled_info = ();         # For configdata.pm
1792 foreach my $what (sort keys %disabled) {
1793     # There are deprecated disablables that translate to themselves.
1794     # They cause disabling cascades, but should otherwise not register.
1795     next if $deprecated_disablables{$what};
1796     # The generated $disabled{"deprecated-x.y"} entries are special
1797     # and treated properly elsewhere
1798     next if $what =~ m|^deprecated-|;
1799
1800     $config{options} .= " no-$what";
1801
1802     if (!grep { $what eq $_ } ( 'buildtest-c++', 'fips', 'threads', 'shared',
1803                                 'module', 'pic', 'dynamic-engine', 'makedepend',
1804                                 'zlib-dynamic', 'zlib', 'sse2', 'legacy' )) {
1805         (my $WHAT = uc $what) =~ s|-|_|g;
1806         my $skipdir = $what;
1807
1808         # fix-up crypto/directory name(s)
1809         $skipdir = "ripemd" if $what eq "rmd160";
1810         $skipdir = "whrlpool" if $what eq "whirlpool";
1811
1812         my $macro = $disabled_info{$what}->{macro} = "OPENSSL_NO_$WHAT";
1813         push @{$config{openssl_feature_defines}}, $macro;
1814
1815         $skipdir{engines} = $what if $what eq 'engine';
1816         $skipdir{"crypto/$skipdir"} = $what
1817             unless $what eq 'async' || $what eq 'err' || $what eq 'dso';
1818     }
1819 }
1820
1821 if ($disabled{"dynamic-engine"}) {
1822     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_DYNAMIC_ENGINE";
1823 } else {
1824     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_STATIC_ENGINE";
1825 }
1826
1827 # If we use the unified build, collect information from build.info files
1828 my %unified_info = ();
1829
1830 my $buildinfo_debug = defined($ENV{CONFIGURE_DEBUG_BUILDINFO});
1831 if ($builder eq "unified") {
1832     use Text::Template 1.46;
1833
1834     sub cleandir {
1835         my $base = shift;
1836         my $dir = shift;
1837         my $relativeto = shift || ".";
1838
1839         $dir = catdir($base,$dir) unless isabsolute($dir);
1840
1841         # Make sure the directories we're building in exists
1842         mkpath($dir);
1843
1844         my $res = abs2rel(absolutedir($dir), rel2abs($relativeto));
1845         #print STDERR "DEBUG[cleandir]: $dir , $base => $res\n";
1846         return $res;
1847     }
1848
1849     sub cleanfile {
1850         my $base = shift;
1851         my $file = shift;
1852         my $relativeto = shift || ".";
1853
1854         $file = catfile($base,$file) unless isabsolute($file);
1855
1856         my $d = dirname($file);
1857         my $f = basename($file);
1858
1859         # Make sure the directories we're building in exists
1860         mkpath($d);
1861
1862         my $res = abs2rel(catfile(absolutedir($d), $f), rel2abs($relativeto));
1863         #print STDERR "DEBUG[cleanfile]: $d , $f => $res\n";
1864         return $res;
1865     }
1866
1867     # Store the name of the template file we will build the build file from
1868     # in %config.  This may be useful for the build file itself.
1869     my @build_file_template_names =
1870         ( $builder_platform."-".$target{build_file}.".tmpl",
1871           $target{build_file}.".tmpl" );
1872     my @build_file_templates = ();
1873
1874     # First, look in the user provided directory, if given
1875     if (defined env($local_config_envname)) {
1876         @build_file_templates =
1877             map {
1878                 if ($^O eq 'VMS') {
1879                     # VMS environment variables are logical names,
1880                     # which can be used as is
1881                     $local_config_envname . ':' . $_;
1882                 } else {
1883                     catfile(env($local_config_envname), $_);
1884                 }
1885             }
1886             @build_file_template_names;
1887     }
1888     # Then, look in our standard directory
1889     push @build_file_templates,
1890         ( map { cleanfile($srcdir, catfile("Configurations", $_), $blddir) }
1891           @build_file_template_names );
1892
1893     my $build_file_template;
1894     for $_ (@build_file_templates) {
1895         $build_file_template = $_;
1896         last if -f $build_file_template;
1897
1898         $build_file_template = undef;
1899     }
1900     if (!defined $build_file_template) {
1901         die "*** Couldn't find any of:\n", join("\n", @build_file_templates), "\n";
1902     }
1903     $config{build_file_templates}
1904       = [ cleanfile($srcdir, catfile("Configurations", "common0.tmpl"),
1905                     $blddir),
1906            $build_file_template ];
1907
1908     my @build_dirs = ( [ ] );   # current directory
1909
1910     $config{build_infos} = [ ];
1911
1912     # We want to detect configdata.pm in the source tree, so we
1913     # don't use it if the build tree is different.
1914     my $src_configdata = cleanfile($srcdir, "configdata.pm", $blddir);
1915
1916     # Any source file that we recognise is placed in this hash table, with
1917     # the list of its intended destinations as value.  When everything has
1918     # been collected, there's a routine that checks that these source files
1919     # exist, or if they are generated, that the generator exists.
1920     my %check_exist = ();
1921     my %check_generate = ();
1922
1923     my %ordinals = ();
1924     while (@build_dirs) {
1925         my @curd = @{shift @build_dirs};
1926         my $sourced = catdir($srcdir, @curd);
1927         my $buildd = catdir($blddir, @curd);
1928
1929         my $unixdir = join('/', @curd);
1930         if (exists $skipdir{$unixdir}) {
1931             my $what = $skipdir{$unixdir};
1932             push @{$disabled_info{$what}->{skipped}}, catdir(@curd);
1933             next;
1934         }
1935
1936         mkpath($buildd);
1937
1938         my $f = 'build.info';
1939         # The basic things we're trying to build
1940         my @programs = ();
1941         my @libraries = ();
1942         my @modules = ();
1943         my @scripts = ();
1944
1945         my %sources = ();
1946         my %shared_sources = ();
1947         my %includes = ();
1948         my %defines = ();
1949         my %depends = ();
1950         my %generate = ();
1951         my %imagedocs = ();
1952         my %htmldocs = ();
1953         my %mandocs = ();
1954
1955         # Support for $variablename in build.info files.
1956         # Embedded perl code is the ultimate master, still.  If its output
1957         # contains a dollar sign, it had better be escaped, or it will be
1958         # taken for a variable name prefix.
1959         my %variables = ();
1960         # Variable name syntax
1961         my $variable_name_re = qr/(?P<VARIABLE>[[:alpha:]][[:alnum:]_]*)/;
1962         # Value modifier syntaxes
1963         my $variable_subst_re = qr/\/(?P<RE>(?:\\\/|.)*?)\/(?P<SUBST>.*?)/;
1964         # Variable reference
1965         my $variable_simple_re = qr/(?<!\\)\$${variable_name_re}/;
1966         my $variable_w_mod_re =
1967             qr/(?<!\\)\$\{${variable_name_re}(?P<MOD>(?:\\\/|.)*?)\}/;
1968         # Tie it all together
1969         my $variable_re = qr/${variable_simple_re}|${variable_w_mod_re}/;
1970
1971         my $expand_variables = sub {
1972             my $value = '';
1973             my $value_rest = shift;
1974
1975             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1976                 print STDERR
1977                     "DEBUG[\$expand_variables] Parsed '$value_rest' ...\n"
1978             }
1979
1980             while ($value_rest =~ /${variable_re}/) {
1981                 # We must save important regexp values, because the next
1982                 # regexp clears them
1983                 my $mod = $+{MOD};
1984                 my $variable_value = $variables{$+{VARIABLE}};
1985
1986                 $value_rest = $';
1987                 $value .= $`;
1988
1989                 # Process modifier expressions, if present
1990                 if (defined $mod) {
1991                     if ($mod =~ /^${variable_subst_re}$/) {
1992                         my $re = $+{RE};
1993                         my $subst = $+{SUBST};
1994
1995                         $variable_value =~ s/\Q$re\E/$subst/g;
1996
1997                         if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1998                             print STDERR
1999                                 "DEBUG[\$expand_variables] ... and substituted ",
2000                                 "'$re' with '$subst'\n";
2001                         }
2002                     }
2003                 }
2004
2005                 $value .= $variable_value;
2006             }
2007             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
2008                 print STDERR
2009                     "DEBUG[\$expand_variables] ... into: '$value$value_rest'\n";
2010             }
2011             return $value . $value_rest;
2012         };
2013
2014         # Support for attributes in build.info files
2015         my %attributes = ();
2016         my $handle_attributes = sub {
2017             my $attr_str = shift;
2018             my $ref = shift;
2019             my @goals = @_;
2020
2021             return unless defined $attr_str;
2022
2023             my @a = tokenize($attr_str, qr|\s*,\s*|);
2024             foreach my $a (@a) {
2025                 my $ac = 1;
2026                 my $ak = $a;
2027                 my $av = 1;
2028                 if ($a =~ m|^(!)?(.*?)\s* = \s*(.*?)$|x) {
2029                     $ac = ! $1;
2030                     $ak = $2;
2031                     $av = $3;
2032                 }
2033                 foreach my $g (@goals) {
2034                     if ($ac) {
2035                         $$ref->{$g}->{$ak} = $av;
2036                     } else {
2037                         delete $$ref->{$g}->{$ak};
2038                     }
2039                 }
2040             }
2041         };
2042
2043         # Support for pushing values on multiple indexes of a given hash
2044         # array.
2045         my $push_to = sub {
2046             my $valueref = shift;
2047             my $index_str = shift; # May be undef or empty
2048             my $attrref = shift;   # May be undef
2049             my $attr_str = shift;
2050             my @values = @_;
2051
2052             if (defined $index_str) {
2053                 my @indexes = ( '' );
2054                 if ($index_str !~ m|^\s*$|) {
2055                     @indexes = tokenize($index_str);
2056                 }
2057                 foreach (@indexes) {
2058                     push @{$valueref->{$_}}, @values;
2059                     if (defined $attrref) {
2060                         $handle_attributes->($attr_str, \$$attrref->{$_},
2061                                              @values);
2062                     }
2063                 }
2064             } else {
2065                 push @$valueref, @values;
2066                 $handle_attributes->($attr_str, $attrref, @values)
2067                     if defined $attrref;
2068             }
2069         };
2070
2071         if ($buildinfo_debug) {
2072             print STDERR "DEBUG: Reading ",catfile($sourced, $f),"\n";
2073         }
2074         push @{$config{build_infos}}, catfile(abs2rel($sourced, $blddir), $f);
2075         my $template =
2076             Text::Template->new(TYPE => 'FILE',
2077                                 SOURCE => catfile($sourced, $f),
2078                                 PREPEND => qq{use lib "$FindBin::Bin/util/perl";});
2079         die "Something went wrong with $sourced/$f: $!\n" unless $template;
2080         my @text =
2081             split /^/m,
2082             $template->fill_in(HASH => { config => \%config,
2083                                          target => \%target,
2084                                          disabled => \%disabled,
2085                                          withargs => \%withargs,
2086                                          builddir => abs2rel($buildd, $blddir),
2087                                          sourcedir => abs2rel($sourced, $blddir),
2088                                          buildtop => abs2rel($blddir, $blddir),
2089                                          sourcetop => abs2rel($srcdir, $blddir) },
2090                                DELIMITERS => [ "{-", "-}" ]);
2091
2092         # The top item of this stack has the following values
2093         # -2 positive already run and we found ELSE (following ELSIF should fail)
2094         # -1 positive already run (skip until ENDIF)
2095         # 0 negatives so far (if we're at a condition, check it)
2096         # 1 last was positive (don't skip lines until next ELSE, ELSIF or ENDIF)
2097         # 2 positive ELSE (following ELSIF should fail)
2098         my @skip = ();
2099
2100         # A few useful generic regexps
2101         my $index_re = qr/\[\s*(?P<INDEX>(?:\\.|.)*?)\s*\]/;
2102         my $cond_re = qr/\[\s*(?P<COND>(?:\\.|.)*?)\s*\]/;
2103         my $attribs_re = qr/(?:\{\s*(?P<ATTRIBS>(?:\\.|.)*?)\s*\})?/;
2104         my $value_re = qr/(?P<VALUE>.*?)/;
2105         collect_information(
2106             collect_from_array([ @text ],
2107                                qr/\\$/ => sub { my $l1 = shift; my $l2 = shift;
2108                                                 $l1 =~ s/\\$//; $l1.$l2 }),
2109             # Info we're looking for
2110             qr/^\s* IF ${cond_re} \s*$/x
2111             => sub {
2112                 if (! @skip || $skip[$#skip] > 0) {
2113                     push @skip, !! $expand_variables->($+{COND});
2114                 } else {
2115                     push @skip, -1;
2116                 }
2117             },
2118             qr/^\s* ELSIF ${cond_re} \s*$/x
2119             => sub { die "ELSIF out of scope" if ! @skip;
2120                      die "ELSIF following ELSE" if abs($skip[$#skip]) == 2;
2121                      $skip[$#skip] = -1 if $skip[$#skip] != 0;
2122                      $skip[$#skip] = !! $expand_variables->($+{COND})
2123                          if $skip[$#skip] == 0; },
2124             qr/^\s* ELSE \s*$/x
2125             => sub { die "ELSE out of scope" if ! @skip;
2126                      $skip[$#skip] = -2 if $skip[$#skip] != 0;
2127                      $skip[$#skip] = 2 if $skip[$#skip] == 0; },
2128             qr/^\s* ENDIF \s*$/x
2129             => sub { die "ENDIF out of scope" if ! @skip;
2130                      pop @skip; },
2131             qr/^\s* ${variable_re} \s* = \s* ${value_re} \s* $/x
2132             => sub {
2133                 if (!@skip || $skip[$#skip] > 0) {
2134                     $variables{$+{VARIABLE}} = $expand_variables->($+{VALUE});
2135                 }
2136             },
2137             qr/^\s* SUBDIRS \s* = \s* ${value_re} \s* $/x
2138             => sub {
2139                 if (!@skip || $skip[$#skip] > 0) {
2140                     foreach (tokenize($expand_variables->($+{VALUE}))) {
2141                         push @build_dirs, [ @curd, splitdir($_, 1) ];
2142                     }
2143                 }
2144             },
2145             qr/^\s* PROGRAMS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2146             => sub { $push_to->(\@programs, undef,
2147                                 \$attributes{programs}, $+{ATTRIBS},
2148                                 tokenize($expand_variables->($+{VALUE})))
2149                          if !@skip || $skip[$#skip] > 0; },
2150             qr/^\s* LIBS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2151             => sub { $push_to->(\@libraries, undef,
2152                                 \$attributes{libraries}, $+{ATTRIBS},
2153                                 tokenize($expand_variables->($+{VALUE})))
2154                          if !@skip || $skip[$#skip] > 0; },
2155             qr/^\s* MODULES ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2156             => sub { $push_to->(\@modules, undef,
2157                                 \$attributes{modules}, $+{ATTRIBS},
2158                                 tokenize($expand_variables->($+{VALUE})))
2159                          if !@skip || $skip[$#skip] > 0; },
2160             qr/^\s* SCRIPTS ${attribs_re} \s* = \s* ${value_re} \s* $/x
2161             => sub { $push_to->(\@scripts, undef,
2162                                 \$attributes{scripts}, $+{ATTRIBS},
2163                                 tokenize($expand_variables->($+{VALUE})))
2164                          if !@skip || $skip[$#skip] > 0; },
2165             qr/^\s* IMAGEDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2166             => sub { $push_to->(\%imagedocs, $expand_variables->($+{INDEX}),
2167                                 undef, undef,
2168                                 tokenize($expand_variables->($+{VALUE})))
2169                          if !@skip || $skip[$#skip] > 0; },
2170             qr/^\s* HTMLDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2171             => sub { $push_to->(\%htmldocs, $expand_variables->($+{INDEX}),
2172                                 undef, undef,
2173                                 tokenize($expand_variables->($+{VALUE})))
2174                          if !@skip || $skip[$#skip] > 0; },
2175             qr/^\s* MANDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2176             => sub { $push_to->(\%mandocs, $expand_variables->($+{INDEX}),
2177                                 undef, undef,
2178                                 tokenize($expand_variables->($+{VALUE})))
2179                          if !@skip || $skip[$#skip] > 0; },
2180             qr/^\s* SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2181             => sub { $push_to->(\%sources, $expand_variables->($+{INDEX}),
2182                                 \$attributes{sources}, $+{ATTRIBS},
2183                                 tokenize($expand_variables->($+{VALUE})))
2184                          if !@skip || $skip[$#skip] > 0; },
2185             qr/^\s* SHARED_SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2186             => sub { $push_to->(\%shared_sources, $expand_variables->($+{INDEX}),
2187                                 \$attributes{sources}, $+{ATTRIBS},
2188                                 tokenize($expand_variables->($+{VALUE})))
2189                          if !@skip || $skip[$#skip] > 0; },
2190             qr/^\s* INCLUDE ${index_re} \s* = \s* ${value_re} \s* $/x
2191             => sub { $push_to->(\%includes, $expand_variables->($+{INDEX}),
2192                                 undef, undef,
2193                                 tokenize($expand_variables->($+{VALUE})))
2194                          if !@skip || $skip[$#skip] > 0; },
2195             qr/^\s* DEFINE ${index_re} \s* = \s* ${value_re} \s* $/x
2196             => sub { $push_to->(\%defines, $expand_variables->($+{INDEX}),
2197                                 undef, undef,
2198                                 tokenize($expand_variables->($+{VALUE})))
2199                          if !@skip || $skip[$#skip] > 0; },
2200             qr/^\s* DEPEND ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2201             => sub { $push_to->(\%depends, $expand_variables->($+{INDEX}),
2202                                 \$attributes{depends}, $+{ATTRIBS},
2203                                 tokenize($expand_variables->($+{VALUE})))
2204                          if !@skip || $skip[$#skip] > 0; },
2205             qr/^\s* GENERATE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2206             => sub { $push_to->(\%generate, $expand_variables->($+{INDEX}),
2207                                 \$attributes{generate}, $+{ATTRIBS},
2208                                 $expand_variables->($+{VALUE}))
2209                          if !@skip || $skip[$#skip] > 0; },
2210             qr/^\s* (?:\#.*)? $/x => sub { },
2211             "OTHERWISE" => sub { die "Something wrong with this line:\n$_\nat $sourced/$f" },
2212             "BEFORE" => sub {
2213                 if ($buildinfo_debug) {
2214                     print STDERR "DEBUG: Parsing ",join(" ", @_),"\n";
2215                     print STDERR "DEBUG: ... before parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2216                 }
2217             },
2218             "AFTER" => sub {
2219                 if ($buildinfo_debug) {
2220                     print STDERR "DEBUG: .... after parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2221                 }
2222             },
2223             );
2224         die "runaway IF?" if (@skip);
2225
2226         if (grep { defined $attributes{modules}->{$_}->{engine} } keys %attributes
2227                 and !$config{dynamic_engines}) {
2228             die <<"EOF"
2229 ENGINES can only be used if configured with 'dynamic-engine'.
2230 This is usually a fault in a build.info file.
2231 EOF
2232         }
2233
2234         {
2235             my %infos = ( programs  => [ @programs  ],
2236                           libraries => [ @libraries ],
2237                           modules   => [ @modules   ],
2238                           scripts   => [ @scripts   ] );
2239             foreach my $k (keys %infos) {
2240                 foreach (@{$infos{$k}}) {
2241                     my $item = cleanfile($buildd, $_, $blddir);
2242                     $unified_info{$k}->{$item} = 1;
2243
2244                     # Fix up associated attributes
2245                     $unified_info{attributes}->{$k}->{$item} =
2246                         $attributes{$k}->{$_}
2247                         if defined $attributes{$k}->{$_};
2248                 }
2249             }
2250         }
2251
2252         # Check that we haven't defined any library as both shared and
2253         # explicitly static.  That is forbidden.
2254         my @doubles = ();
2255         foreach (grep /\.a$/, keys %{$unified_info{libraries}}) {
2256             (my $l = $_) =~ s/\.a$//;
2257             push @doubles, $l if defined $unified_info{libraries}->{$l};
2258         }
2259         die "these libraries are both explicitly static and shared:\n  ",
2260             join(" ", @doubles), "\n"
2261             if @doubles;
2262
2263         foreach (keys %sources) {
2264             my $dest = $_;
2265             my $ddest = cleanfile($buildd, $_, $blddir);
2266             foreach (@{$sources{$dest}}) {
2267                 my $s = cleanfile($sourced, $_, $blddir);
2268
2269                 # If it's generated or we simply don't find it in the source
2270                 # tree, we assume it's in the build tree.
2271                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2272                     $s = cleanfile($buildd, $_, $blddir);
2273                 }
2274                 my $o = $_;
2275                 # We recognise C++, C and asm files
2276                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2277                     push @{$check_exist{$s}}, $ddest;
2278                     $o =~ s/\.[csS]$/.o/; # C and assembler
2279                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2280                     $o = cleanfile($buildd, $o, $blddir);
2281                     $unified_info{sources}->{$ddest}->{$o} = -1;
2282                     $unified_info{sources}->{$o}->{$s} = -1;
2283                 } elsif ($s =~ /\.rc$/) {
2284                     # We also recognise resource files
2285                     push @{$check_exist{$s}}, $ddest;
2286                     $o =~ s/\.rc$/.res/; # Resource configuration
2287                     $o = cleanfile($buildd, $o, $blddir);
2288                     $unified_info{sources}->{$ddest}->{$o} = -1;
2289                     $unified_info{sources}->{$o}->{$s} = -1;
2290                 } else {
2291                     push @{$check_exist{$s}}, $ddest;
2292                     $unified_info{sources}->{$ddest}->{$s} = 1;
2293                 }
2294                 # Fix up associated attributes
2295                 if ($o ne $_) {
2296                     $unified_info{attributes}->{sources}->{$ddest}->{$o} =
2297                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2298                         $attributes{sources}->{$dest}->{$_}
2299                         if defined $attributes{sources}->{$dest}->{$_};
2300                 } else {
2301                     $unified_info{attributes}->{sources}->{$ddest}->{$s} =
2302                         $attributes{sources}->{$dest}->{$_}
2303                         if defined $attributes{sources}->{$dest}->{$_};
2304                 }
2305             }
2306         }
2307
2308         foreach (keys %shared_sources) {
2309             my $dest = $_;
2310             my $ddest = cleanfile($buildd, $_, $blddir);
2311             foreach (@{$shared_sources{$dest}}) {
2312                 my $s = cleanfile($sourced, $_, $blddir);
2313
2314                 # If it's generated or we simply don't find it in the source
2315                 # tree, we assume it's in the build tree.
2316                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2317                     $s = cleanfile($buildd, $_, $blddir);
2318                 }
2319
2320                 my $o = $_;
2321                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2322                     # We recognise C++, C and asm files
2323                     push @{$check_exist{$s}}, $ddest;
2324                     $o =~ s/\.[csS]$/.o/; # C and assembler
2325                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2326                     $o = cleanfile($buildd, $o, $blddir);
2327                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2328                     $unified_info{sources}->{$o}->{$s} = -1;
2329                 } elsif ($s =~ /\.rc$/) {
2330                     # We also recognise resource files
2331                     push @{$check_exist{$s}}, $ddest;
2332                     $o =~ s/\.rc$/.res/; # Resource configuration
2333                     $o = cleanfile($buildd, $o, $blddir);
2334                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2335                     $unified_info{sources}->{$o}->{$s} = -1;
2336                 } elsif ($s =~ /\.ld$/) {
2337                     # We also recognise linker scripts (or corresponding)
2338                     # We know they are generated files
2339                     push @{$check_exist{$s}}, $ddest;
2340                     $o = cleanfile($buildd, $_, $blddir);
2341                     $unified_info{shared_sources}->{$ddest}->{$o} = 1;
2342                 } else {
2343                     die "unrecognised source file type for shared library: $s\n";
2344                 }
2345                 # Fix up associated attributes
2346                 if ($o ne $_) {
2347                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2348                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2349                         $attributes{sources}->{$dest}->{$_}
2350                         if defined $attributes{sources}->{$dest}->{$_};
2351                 } else {
2352                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2353                         $attributes{sources}->{$dest}->{$_}
2354                         if defined $attributes{sources}->{$dest}->{$_};
2355                 }
2356             }
2357         }
2358
2359         foreach (keys %generate) {
2360             my $dest = $_;
2361             my $ddest = cleanfile($buildd, $_, $blddir);
2362             die "more than one generator for $dest: "
2363                 ,join(" ", @{$generate{$_}}),"\n"
2364                 if scalar @{$generate{$_}} > 1;
2365             my @generator = split /\s+/, $generate{$dest}->[0];
2366             my $gen = $generator[0];
2367             $generator[0] = cleanfile($sourced, $gen, $blddir);
2368
2369             # If the generator is itself generated, it's in the build tree
2370             if ($generate{$gen} || ! -f $generator[0]) {
2371                 $generator[0] = cleanfile($buildd, $gen, $blddir);
2372             }
2373             $check_generate{$ddest}->{$generator[0]}++;
2374
2375             $unified_info{generate}->{$ddest} = [ @generator ];
2376             # Fix up associated attributes
2377             $unified_info{attributes}->{generate}->{$ddest} =
2378                 $attributes{generate}->{$dest}->{$gen}
2379                 if defined $attributes{generate}->{$dest}->{$gen};
2380         }
2381
2382         foreach (keys %depends) {
2383             my $dest = $_;
2384             my $ddest = $dest;
2385
2386             if ($dest =~ /^\|(.*)\|$/) {
2387                 # Collect the raw target
2388                 $unified_info{targets}->{$1} = 1;
2389                 $ddest = $1;
2390             } elsif ($dest eq '') {
2391                 $ddest = '';
2392             } else {
2393                 $ddest = cleanfile($sourced, $_, $blddir);
2394
2395                 # If the destination doesn't exist in source, it can only be
2396                 # a generated file in the build tree.
2397                 if ($ddest eq $src_configdata || ! -f $ddest) {
2398                     $ddest = cleanfile($buildd, $_, $blddir);
2399                 }
2400             }
2401             foreach (@{$depends{$dest}}) {
2402                 my $d = cleanfile($sourced, $_, $blddir);
2403                 my $d2 = cleanfile($buildd, $_, $blddir);
2404
2405                 # If we know it's generated, or assume it is because we can't
2406                 # find it in the source tree, we set file we depend on to be
2407                 # in the build tree rather than the source tree.
2408                 if ($d eq $src_configdata
2409                     || (grep { $d2 eq $_ }
2410                         keys %{$unified_info{generate}})
2411                     || ! -f $d) {
2412                     $d = $d2;
2413                 }
2414                 $unified_info{depends}->{$ddest}->{$d} = 1;
2415
2416                 # Fix up associated attributes
2417                 $unified_info{attributes}->{depends}->{$ddest}->{$d} =
2418                     $attributes{depends}->{$dest}->{$_}
2419                     if defined $attributes{depends}->{$dest}->{$_};
2420             }
2421         }
2422
2423         foreach (keys %includes) {
2424             my $dest = $_;
2425             my $ddest = cleanfile($sourced, $_, $blddir);
2426
2427             # If the destination doesn't exist in source, it can only be
2428             # a generated file in the build tree.
2429             if ($ddest eq $src_configdata || ! -f $ddest) {
2430                 $ddest = cleanfile($buildd, $_, $blddir);
2431             }
2432             foreach (@{$includes{$dest}}) {
2433                 my $is = cleandir($sourced, $_, $blddir);
2434                 my $ib = cleandir($buildd, $_, $blddir);
2435                 push @{$unified_info{includes}->{$ddest}->{source}}, $is
2436                     unless grep { $_ eq $is } @{$unified_info{includes}->{$ddest}->{source}};
2437                 push @{$unified_info{includes}->{$ddest}->{build}}, $ib
2438                     unless grep { $_ eq $ib } @{$unified_info{includes}->{$ddest}->{build}};
2439             }
2440         }
2441
2442         foreach my $dest (keys %defines) {
2443             my $ddest;
2444
2445             if ($dest ne "") {
2446                 $ddest = cleanfile($sourced, $dest, $blddir);
2447
2448                 # If the destination doesn't exist in source, it can only
2449                 # be a generated file in the build tree.
2450                 if (! -f $ddest) {
2451                     $ddest = cleanfile($buildd, $dest, $blddir);
2452                 }
2453             }
2454             foreach my $v (@{$defines{$dest}}) {
2455                 $v =~ m|^([^=]*)(=.*)?$|;
2456                 die "0 length macro name not permitted\n" if $1 eq "";
2457                 if ($dest ne "") {
2458                     die "$1 defined more than once\n"
2459                         if defined $unified_info{defines}->{$ddest}->{$1};
2460                     $unified_info{defines}->{$ddest}->{$1} = $2;
2461                 } else {
2462                     die "$1 defined more than once\n"
2463                         if grep { $v eq $_ } @{$config{defines}};
2464                     push @{$config{defines}}, $v;
2465                 }
2466             }
2467         }
2468
2469         foreach my $section (keys %imagedocs) {
2470             foreach (@{$imagedocs{$section}}) {
2471                 my $imagedocs = cleanfile($buildd, $_, $blddir);
2472                 $unified_info{imagedocs}->{$section}->{$imagedocs} = 1;
2473             }
2474         }
2475
2476         foreach my $section (keys %htmldocs) {
2477             foreach (@{$htmldocs{$section}}) {
2478                 my $htmldocs = cleanfile($buildd, $_, $blddir);
2479                 $unified_info{htmldocs}->{$section}->{$htmldocs} = 1;
2480             }
2481         }
2482
2483         foreach my $section (keys %mandocs) {
2484             foreach (@{$mandocs{$section}}) {
2485                 my $mandocs = cleanfile($buildd, $_, $blddir);
2486                 $unified_info{mandocs}->{$section}->{$mandocs} = 1;
2487             }
2488         }
2489     }
2490
2491     my $ordinals_text = join(', ', sort keys %ordinals);
2492     warn <<"EOF" if $ordinals_text;
2493
2494 WARNING: ORDINALS were specified for $ordinals_text
2495 They are ignored and should be replaced with a combination of GENERATE,
2496 DEPEND and SHARED_SOURCE.
2497 EOF
2498
2499     # Check that each generated file is only generated once
2500     my $ambiguous_generation = 0;
2501     foreach (sort keys %check_generate) {
2502         my @generators = sort keys %{$check_generate{$_}};
2503         my $generators_txt = join(', ', @generators);
2504         if (scalar @generators > 1) {
2505             warn "$_ is GENERATEd by more than one generator ($generators_txt)\n";
2506             $ambiguous_generation++;
2507         }
2508         if ($check_generate{$_}->{$generators[0]} > 1) {
2509             warn "INFO: $_ has more than one GENERATE declaration (same generator)\n"
2510         }
2511     }
2512     die "There are ambiguous source file generations\n"
2513         if $ambiguous_generation > 0;
2514
2515     # All given source files should exist, or if generated, their
2516     # generator should exist.  This loop ensures this is true.
2517     my $missing = 0;
2518     foreach my $orig (sort keys %check_exist) {
2519         foreach my $dest (@{$check_exist{$orig}}) {
2520             if ($orig ne $src_configdata) {
2521                 if ($orig =~ /\.a$/) {
2522                     # Static library names may be used as sources, so we
2523                     # need to detect those and give them special treatment.
2524                     unless (grep { $_ eq $orig }
2525                             keys %{$unified_info{libraries}}) {
2526                         warn "$orig is given as source for $dest, but no such library is built\n";
2527                         $missing++;
2528                     }
2529                 } else {
2530                     # A source may be generated, and its generator may be
2531                     # generated as well.  We therefore loop to dig out the
2532                     # first generator.
2533                     my $gen = $orig;
2534
2535                     while (my @next = keys %{$check_generate{$gen}}) {
2536                         $gen = $next[0];
2537                     }
2538
2539                     if (! -f $gen) {
2540                         if ($gen ne $orig) {
2541                             $missing++;
2542                             warn "$orig is given as source for $dest, but its generator (leading to $gen) is missing\n";
2543                         } else {
2544                             $missing++;
2545                             warn "$orig is given as source for $dest, but is missing\n";
2546                         }
2547                     }
2548                 }
2549             }
2550         }
2551     }
2552     die "There are files missing\n" if $missing > 0;
2553
2554     # Go through the sources of all libraries and check that the same basename
2555     # doesn't appear more than once.  Some static library archivers depend on
2556     # them being unique.
2557     {
2558         my $err = 0;
2559         foreach my $prod (keys %{$unified_info{libraries}}) {
2560             my @prod_sources =
2561                 map { keys %{$unified_info{sources}->{$_}} }
2562                 keys %{$unified_info{sources}->{$prod}};
2563             my %srccnt = ();
2564
2565             # Count how many times a given each source basename
2566             # appears for each product.
2567             foreach my $src (@prod_sources) {
2568                 $srccnt{basename $src}++;
2569             }
2570
2571             foreach my $src (keys %srccnt) {
2572                 if ((my $cnt = $srccnt{$src}) > 1) {
2573                     print STDERR "$src appears $cnt times for the product $prod\n";
2574                     $err++
2575                 }
2576             }
2577         }
2578         die if $err > 0;
2579     }
2580
2581     # Massage the result
2582
2583     # If we depend on a header file or a perl module, add an inclusion of
2584     # its directory to allow smoothe inclusion
2585     foreach my $dest (keys %{$unified_info{depends}}) {
2586         next if $dest eq "";
2587         foreach my $d (keys %{$unified_info{depends}->{$dest}}) {
2588             next unless $d =~ /\.(h|pm)$/;
2589             my $i = dirname($d);
2590             my $spot =
2591                 $d eq "configdata.pm" || defined($unified_info{generate}->{$d})
2592                 ? 'build' : 'source';
2593             push @{$unified_info{includes}->{$dest}->{$spot}}, $i
2594                 unless grep { $_ eq $i } @{$unified_info{includes}->{$dest}->{$spot}};
2595         }
2596     }
2597
2598     # Go through all intermediary files and change their names to something that
2599     # reflects what they will be built for.  Note that for some source files,
2600     # this leads to duplicate object files because they are used multiple times.
2601     # the goal is to rename all object files according to this scheme:
2602     #    {productname}-{midfix}-{origobjname}.[o|res]
2603     # the {midfix} is a keyword indicating the type of product, which is mostly
2604     # valuable for libraries since they come in two forms.
2605     #
2606     # This also reorganises the {sources} and {shared_sources} so that the
2607     # former only contains ALL object files that are supposed to end up in
2608     # static libraries and programs, while the latter contains ALL object files
2609     # that are supposed to end up in shared libraries and DSOs.
2610     # The main reason for having two different source structures is to allow
2611     # the same name to be used for the static and the shared variants of a
2612     # library.
2613     {
2614         # Take copies so we don't get interference from added stuff
2615         my %unified_copy = ();
2616         foreach (('sources', 'shared_sources')) {
2617             $unified_copy{$_} = { %{$unified_info{$_}} }
2618                 if defined($unified_info{$_});
2619             delete $unified_info{$_};
2620         }
2621         foreach my $prodtype (('programs', 'libraries', 'modules', 'scripts')) {
2622             # $intent serves multi purposes:
2623             # - give a prefix for the new object files names
2624             # - in the case of libraries, rearrange the object files so static
2625             #   libraries use the 'sources' structure exclusively, while shared
2626             #   libraries use the 'shared_sources' structure exclusively.
2627             my $intent = {
2628                 programs  => { bin    => { src => [ 'sources' ],
2629                                            dst => 'sources' } },
2630                 libraries => { lib    => { src => [ 'sources' ],
2631                                            dst => 'sources' },
2632                                shlib  => { prodselect =>
2633                                                sub { grep !/\.a$/, @_ },
2634                                            src => [ 'sources',
2635                                                     'shared_sources' ],
2636                                            dst => 'shared_sources' } },
2637                 modules   => { dso    => { src => [ 'sources' ],
2638                                            dst => 'sources' } },
2639                 scripts   => { script => { src => [ 'sources' ],
2640                                            dst => 'sources' } }
2641                } -> {$prodtype};
2642             foreach my $kind (keys %$intent) {
2643                 next if ($intent->{$kind}->{dst} eq 'shared_sources'
2644                              && $disabled{shared});
2645
2646                 my @src = @{$intent->{$kind}->{src}};
2647                 my $dst = $intent->{$kind}->{dst};
2648                 my $prodselect = $intent->{$kind}->{prodselect} // sub { @_ };
2649                 foreach my $prod ($prodselect->(keys %{$unified_info{$prodtype}})) {
2650                     # %prod_sources has all applicable objects as keys, and
2651                     # their corresponding sources as values
2652                     my %prod_sources =
2653                         map { $_ => [ keys %{$unified_copy{sources}->{$_}} ] }
2654                         map { keys %{$unified_copy{$_}->{$prod}} }
2655                         @src;
2656                     foreach (keys %prod_sources) {
2657                         # Only affect object files and resource files,
2658                         # the others simply get a new value
2659                         # (+1 instead of -1)
2660                         if ($_ =~ /\.(o|res)$/) {
2661                             (my $prodname = $prod) =~ s|\.a$||;
2662                             my $newobj =
2663                                 catfile(dirname($_),
2664                                         basename($prodname)
2665                                             . '-' . $kind
2666                                             . '-' . basename($_));
2667                             $unified_info{$dst}->{$prod}->{$newobj} = 1;
2668                             foreach my $src (@{$prod_sources{$_}}) {
2669                                 $unified_info{sources}->{$newobj}->{$src} = 1;
2670                                 # Adjust source attributes
2671                                 my $attrs = $unified_info{attributes}->{sources};
2672                                 if (defined $attrs->{$prod}
2673                                     && defined $attrs->{$prod}->{$_}) {
2674                                     $attrs->{$prod}->{$newobj} =
2675                                         $attrs->{$prod}->{$_};
2676                                     delete $attrs->{$prod}->{$_};
2677                                 }
2678                                 foreach my $objsrc (keys %{$attrs->{$_} // {}}) {
2679                                     $attrs->{$newobj}->{$objsrc} =
2680                                         $attrs->{$_}->{$objsrc};
2681                                     delete $attrs->{$_}->{$objsrc};
2682                                 }
2683                             }
2684                             # Adjust dependencies
2685                             foreach my $deps (keys %{$unified_info{depends}->{$_}}) {
2686                                 $unified_info{depends}->{$_}->{$deps} = -1;
2687                                 $unified_info{depends}->{$newobj}->{$deps} = 1;
2688                             }
2689                             # Adjust includes
2690                             foreach my $k (('source', 'build')) {
2691                                 next unless
2692                                     defined($unified_info{includes}->{$_}->{$k});
2693                                 my @incs = @{$unified_info{includes}->{$_}->{$k}};
2694                                 $unified_info{includes}->{$newobj}->{$k} = [ @incs ];
2695                             }
2696                         } else {
2697                             $unified_info{$dst}->{$prod}->{$_} = 1;
2698                         }
2699                     }
2700                 }
2701             }
2702         }
2703     }
2704
2705     # At this point, we have a number of sources with the value -1.  They
2706     # aren't part of the local build and are probably meant for a different
2707     # platform, and can therefore be cleaned away.  That happens when making
2708     # %unified_info more efficient below.
2709
2710     ### Make unified_info a bit more efficient
2711     # One level structures
2712     foreach (("programs", "libraries", "modules", "scripts", "targets")) {
2713         $unified_info{$_} = [ sort keys %{$unified_info{$_}} ];
2714     }
2715     # Two level structures
2716     foreach my $l1 (("sources", "shared_sources", "ldadd", "depends",
2717                      "imagedocs", "htmldocs", "mandocs")) {
2718         foreach my $l2 (sort keys %{$unified_info{$l1}}) {
2719             my @items =
2720                 sort
2721                 grep { $unified_info{$l1}->{$l2}->{$_} > 0 }
2722                 keys %{$unified_info{$l1}->{$l2}};
2723             if (@items) {
2724                 $unified_info{$l1}->{$l2} = [ @items ];
2725             } else {
2726                 delete $unified_info{$l1}->{$l2};
2727             }
2728         }
2729     }
2730     # Defines
2731     foreach my $dest (sort keys %{$unified_info{defines}}) {
2732         $unified_info{defines}->{$dest}
2733             = [ map { $_.$unified_info{defines}->{$dest}->{$_} }
2734                 sort keys %{$unified_info{defines}->{$dest}} ];
2735     }
2736     # Includes
2737     foreach my $dest (sort keys %{$unified_info{includes}}) {
2738         if (defined($unified_info{includes}->{$dest}->{build})) {
2739             my @source_includes = ();
2740             @source_includes = ( @{$unified_info{includes}->{$dest}->{source}} )
2741                 if defined($unified_info{includes}->{$dest}->{source});
2742             $unified_info{includes}->{$dest} =
2743                 [ @{$unified_info{includes}->{$dest}->{build}} ];
2744             foreach my $inc (@source_includes) {
2745                 push @{$unified_info{includes}->{$dest}}, $inc
2746                     unless grep { $_ eq $inc } @{$unified_info{includes}->{$dest}};
2747             }
2748         } elsif (defined($unified_info{includes}->{$dest}->{source})) {
2749             $unified_info{includes}->{$dest} =
2750                 [ @{$unified_info{includes}->{$dest}->{source}} ];
2751         } else {
2752             delete $unified_info{includes}->{$dest};
2753         }
2754     }
2755
2756     # For convenience collect information regarding directories where
2757     # files are generated, those generated files and the end product
2758     # they end up in where applicable.  Then, add build rules for those
2759     # directories
2760     my %loopinfo = ( "lib" => [ @{$unified_info{libraries}} ],
2761                      "dso" => [ @{$unified_info{modules}} ],
2762                      "bin" => [ @{$unified_info{programs}} ],
2763                      "script" => [ @{$unified_info{scripts}} ],
2764                      "docs" => [ (map { @{$unified_info{imagedocs}->{$_} // []} }
2765                                   keys %{$unified_info{imagedocs} // {}}),
2766                                  (map { @{$unified_info{htmldocs}->{$_} // []} }
2767                                   keys %{$unified_info{htmldocs} // {}}),
2768                                  (map { @{$unified_info{mandocs}->{$_} // []} }
2769                                   keys %{$unified_info{mandocs} // {}}) ] );
2770     foreach my $type (sort keys %loopinfo) {
2771         foreach my $product (@{$loopinfo{$type}}) {
2772             my %dirs = ();
2773             my $pd = dirname($product);
2774
2775             foreach (@{$unified_info{sources}->{$product} // []},
2776                      @{$unified_info{shared_sources}->{$product} // []}) {
2777                 my $d = dirname($_);
2778
2779                 # We don't want to create targets for source directories
2780                 # when building out of source
2781                 next if ($config{sourcedir} ne $config{builddir}
2782                              && $d =~ m|^\Q$config{sourcedir}\E|);
2783                 # We already have a "test" target, and the current directory
2784                 # is just silly to make a target for
2785                 next if $d eq "test" || $d eq ".";
2786
2787                 $dirs{$d} = 1;
2788                 push @{$unified_info{dirinfo}->{$d}->{deps}}, $_
2789                     if $d ne $pd;
2790             }
2791             foreach (sort keys %dirs) {
2792                 push @{$unified_info{dirinfo}->{$_}->{products}->{$type}},
2793                     $product;
2794             }
2795         }
2796     }
2797 }
2798
2799 # For the schemes that need it, we provide the old *_obj configs
2800 # from the *_asm_obj ones
2801 foreach (grep /_(asm|aux)_src$/, keys %target) {
2802     my $src = $_;
2803     (my $obj = $_) =~ s/_(asm|aux)_src$/_obj/;
2804     $target{$obj} = $target{$src};
2805     $target{$obj} =~ s/\.[csS]\b/.o/g; # C and assembler
2806     $target{$obj} =~ s/\.(cc|cpp)\b/_cc.o/g; # C++
2807 }
2808
2809 # Write down our configuration where it fits #########################
2810
2811 my %template_vars = (
2812     config => \%config,
2813     target => \%target,
2814     disablables => \@disablables,
2815     disablables_int => \@disablables_int,
2816     disabled => \%disabled,
2817     withargs => \%withargs,
2818     unified_info => \%unified_info,
2819     tls => \@tls,
2820     dtls => \@dtls,
2821     makevars => [ sort keys %user ],
2822     disabled_info => \%disabled_info,
2823     user_crossable => \@user_crossable,
2824 );
2825 my $configdata_outname = 'configdata.pm';
2826 open CONFIGDATA, ">$configdata_outname.new"
2827     or die "Trying to create $configdata_outname.new: $!";
2828 my $configdata_tmplname = cleanfile($srcdir, "configdata.pm.in", $blddir);
2829 my $configdata_tmpl =
2830     OpenSSL::Template->new(TYPE => 'FILE', SOURCE => $configdata_tmplname);
2831 $configdata_tmpl->fill_in(
2832     FILENAME => $configdata_tmplname,
2833     OUTPUT => \*CONFIGDATA,
2834     HASH => { %template_vars,
2835               autowarntext => [
2836                   'WARNING: do not edit!',
2837                   "Generated by Configure from $configdata_tmplname",
2838               ] }
2839 ) or die $Text::Template::ERROR;
2840 close CONFIGDATA;
2841
2842 # When using stat() on Windows, we can get it to perform better by avoid some
2843 # data.  This doesn't affect the mtime field, so we're not losing anything...
2844 ${^WIN32_SLOPPY_STAT} = 1;
2845
2846 my $update_configdata = 0;
2847 my $run_configdata = 0;
2848 if (-f $configdata_outname) {
2849     my $Configure_mtime = (stat($0))[9];
2850     my $configdata_mtime = (stat($configdata_outname))[9];
2851
2852     # If this script was updated after the last configdata.pm, or if
2853     # configdata.pm.new differs from configdata.pm, we update configdata.pm
2854     if ($configdata_mtime < $Configure_mtime
2855         || compare_text("$configdata_outname.new", $configdata_outname) != 0) {
2856         $update_configdata = 1;
2857     } else {
2858         # If nothing has changed, let's just drop the new one and pretend
2859         # like nothing happened
2860         unlink "$configdata_outname.new";
2861
2862         # We still run configdata.pm if one of the build file (Makefile) or
2863         # the configuration header file are missing
2864         $run_configdata =
2865             !( -f $target{build_file} )
2866             || !( -f catfile('include', 'openssl', 'configuration.h') );
2867     }
2868 } else {
2869     $update_configdata = 1;
2870 }
2871
2872 if ($update_configdata) {
2873     # If something did change, or there was no previous configdata.pm, we
2874     # rename the new one, set permissions as needed, and run it.
2875     rename "$configdata_outname.new", $configdata_outname;
2876     if ($builder_platform eq 'unix') {
2877         my $mode = (0755 & ~umask);
2878         chmod $mode, 'configdata.pm'
2879             or warn sprintf("WARNING: Couldn't change mode for 'configdata.pm' to 0%03o: %s\n",$mode,$!);
2880     }
2881     $run_configdata = 1;
2882     print "Created $configdata_outname\n";
2883 }
2884
2885 if ($run_configdata) {
2886     print "Running $configdata_outname\n";
2887     my $perlcmd = (quotify("maybeshell", $config{PERL}))[0];
2888     my $cmd = "$perlcmd $configdata_outname";
2889     #print STDERR "DEBUG[run_dofile]: \$cmd = $cmd\n";
2890     system($cmd);
2891     exit 1 if $? != 0;
2892 } else {
2893     print "No changes in $configdata_outname, no need to run it\n";
2894 }
2895
2896 $SIG{__DIE__} = $orig_death_handler;
2897
2898 print <<"EOF" if ($disabled{threads} eq "unavailable");
2899
2900 The library could not be configured for supporting multi-threaded
2901 applications as the compiler options required on this system are not known.
2902 See file INSTALL.md for details if you need multi-threading.
2903 EOF
2904
2905 print <<"EOF" if ($no_shared_warn);
2906
2907 The options 'shared', 'pic' and 'dynamic-engine' aren't supported on this
2908 platform, so we will pretend you gave the option 'no-pic', which also disables
2909 'shared' and 'dynamic-engine'.  If you know how to implement shared libraries
2910 or position independent code, please let us know (but please first make sure
2911 you have tried with a current version of OpenSSL).
2912 EOF
2913
2914 print $banner;
2915
2916 exit(0);
2917
2918 ######################################################################
2919 #
2920 # Helpers and utility functions
2921 #
2922
2923 # Death handler, to print a helpful message in case of failure #######
2924 #
2925 sub death_handler {
2926     die @_ if $^S;              # To prevent the added message in eval blocks
2927     my $build_file = $target{build_file} // "build file";
2928     my @message = ( <<"_____", @_ );
2929
2930 Failure!  $build_file wasn't produced.
2931 Please read INSTALL.md and associated NOTES-* files.  You may also have to
2932 look over your available compiler tool chain or change your configuration.
2933
2934 _____
2935
2936     # Dying is terminal, so it's ok to reset the signal handler here.
2937     $SIG{__DIE__} = $orig_death_handler;
2938     die @message;
2939 }
2940
2941 # Configuration file reading #########################################
2942
2943 # Note: All of the helper functions are for lazy evaluation.  They all
2944 # return a CODE ref, which will return the intended value when evaluated.
2945 # Thus, whenever there's mention of a returned value, it's about that
2946 # intended value.
2947
2948 # Helper function to implement conditional value variants, with a default
2949 # plus additional values based on the value of $config{build_type}.
2950 # Arguments are given in hash table form:
2951 #
2952 #       picker(default => "Basic string: ",
2953 #              debug   => "debug",
2954 #              release => "release")
2955 #
2956 # When configuring with --debug, the resulting string will be
2957 # "Basic string: debug", and when not, it will be "Basic string: release"
2958 #
2959 # This can be used to create variants of sets of flags according to the
2960 # build type:
2961 #
2962 #       cflags => picker(default => "-Wall",
2963 #                        debug   => "-g -O0",
2964 #                        release => "-O3")
2965 #
2966 sub picker {
2967     my %opts = @_;
2968     return sub { add($opts{default} || (),
2969                      $opts{$config{build_type}} || ())->(); }
2970 }
2971
2972 # Helper function to combine several values of different types into one.
2973 # This is useful if you want to combine a string with the result of a
2974 # lazy function, such as:
2975 #
2976 #       cflags => combine("-Wall", sub { $disabled{zlib} ? () : "-DZLIB" })
2977 #
2978 sub combine {
2979     my @stuff = @_;
2980     return sub { add(@stuff)->(); }
2981 }
2982
2983 # Helper function to implement conditional values depending on the value
2984 # of $disabled{threads}.  Can be used as follows:
2985 #
2986 #       cflags => combine("-Wall", threads("-pthread"))
2987 #
2988 sub threads {
2989     my @flags = @_;
2990     return sub { add($disabled{threads} ? () : @flags)->(); }
2991 }
2992
2993 sub shared {
2994     my @flags = @_;
2995     return sub { add($disabled{shared} ? () : @flags)->(); }
2996 }
2997
2998 our $add_called = 0;
2999 # Helper function to implement adding values to already existing configuration
3000 # values.  It handles elements that are ARRAYs, CODEs and scalars
3001 sub _add {
3002     my $separator = shift;
3003
3004     # If there's any ARRAY in the collection of values OR the separator
3005     # is undef, we will return an ARRAY of combined values, otherwise a
3006     # string of joined values with $separator as the separator.
3007     my $found_array = !defined($separator);
3008
3009     my @values =
3010         map {
3011             my $res = $_;
3012             while (ref($res) eq "CODE") {
3013                 $res = $res->();
3014             }
3015             if (defined($res)) {
3016                 if (ref($res) eq "ARRAY") {
3017                     $found_array = 1;
3018                     @$res;
3019                 } else {
3020                     $res;
3021                 }
3022             } else {
3023                 ();
3024             }
3025     } (@_);
3026
3027     $add_called = 1;
3028
3029     if ($found_array) {
3030         [ @values ];
3031     } else {
3032         join($separator, grep { defined($_) && $_ ne "" } @values);
3033     }
3034 }
3035 sub add_before {
3036     my $separator = " ";
3037     if (ref($_[$#_]) eq "HASH") {
3038         my $opts = pop;
3039         $separator = $opts->{separator};
3040     }
3041     my @x = @_;
3042     sub { _add($separator, @x, @_) };
3043 }
3044 sub add {
3045     my $separator = " ";
3046     if (ref($_[$#_]) eq "HASH") {
3047         my $opts = pop;
3048         $separator = $opts->{separator};
3049     }
3050     my @x = @_;
3051     sub { _add($separator, @_, @x) };
3052 }
3053
3054 sub read_eval_file {
3055     my $fname = shift;
3056     my $content;
3057     my @result;
3058
3059     open F, "< $fname" or die "Can't open '$fname': $!\n";
3060     {
3061         undef local $/;
3062         $content = <F>;
3063     }
3064     close F;
3065     {
3066         local $@;
3067
3068         @result = ( eval $content );
3069         warn $@ if $@;
3070     }
3071     return wantarray ? @result : $result[0];
3072 }
3073
3074 # configuration reader, evaluates the input file as a perl script and expects
3075 # it to fill %targets with target configurations.  Those are then added to
3076 # %table.
3077 sub read_config {
3078     my $fname = shift;
3079     my %targets;
3080
3081     {
3082         # Protect certain tables from tampering
3083         local %table = ();
3084
3085         %targets = read_eval_file($fname);
3086     }
3087     my %preexisting = ();
3088     foreach (sort keys %targets) {
3089         $preexisting{$_} = 1 if $table{$_};
3090     }
3091     die <<"EOF",
3092 The following config targets from $fname
3093 shadow pre-existing config targets with the same name:
3094 EOF
3095         map { "  $_\n" } sort keys %preexisting
3096         if %preexisting;
3097
3098
3099     # For each target, check that it's configured with a hash table.
3100     foreach (keys %targets) {
3101         if (ref($targets{$_}) ne "HASH") {
3102             if (ref($targets{$_}) eq "") {
3103                 warn "Deprecated target configuration for $_, ignoring...\n";
3104             } else {
3105                 warn "Misconfigured target configuration for $_ (should be a hash table), ignoring...\n";
3106             }
3107             delete $targets{$_};
3108         } else {
3109             $targets{$_}->{_conf_fname_int} = add([ $fname ]);
3110         }
3111     }
3112
3113     %table = (%table, %targets);
3114
3115 }
3116
3117 # configuration resolver.  Will only resolve all the lazy evaluation
3118 # codeblocks for the chosen target and all those it inherits from,
3119 # recursively
3120 sub resolve_config {
3121     my $target = shift;
3122     my @breadcrumbs = @_;
3123
3124 #    my $extra_checks = defined($ENV{CONFIGURE_EXTRA_CHECKS});
3125
3126     if (grep { $_ eq $target } @breadcrumbs) {
3127         die "inherit_from loop!  target backtrace:\n  "
3128             ,$target,"\n  ",join("\n  ", @breadcrumbs),"\n";
3129     }
3130
3131     if (!defined($table{$target})) {
3132         warn "Warning! target $target doesn't exist!\n";
3133         return ();
3134     }
3135     # Recurse through all inheritances.  They will be resolved on the
3136     # fly, so when this operation is done, they will all just be a
3137     # bunch of attributes with string values.
3138     # What we get here, though, are keys with references to lists of
3139     # the combined values of them all.  We will deal with lists after
3140     # this stage is done.
3141     my %combined_inheritance = ();
3142     if ($table{$target}->{inherit_from}) {
3143         my @inherit_from =
3144             map { ref($_) eq "CODE" ? $_->() : $_ } @{$table{$target}->{inherit_from}};
3145         foreach (@inherit_from) {
3146             my %inherited_config = resolve_config($_, $target, @breadcrumbs);
3147
3148             # 'template' is a marker that's considered private to
3149             # the config that had it.
3150             delete $inherited_config{template};
3151
3152             foreach (keys %inherited_config) {
3153                 if (!$combined_inheritance{$_}) {
3154                     $combined_inheritance{$_} = [];
3155                 }
3156                 push @{$combined_inheritance{$_}}, $inherited_config{$_};
3157             }
3158         }
3159     }
3160
3161     # We won't need inherit_from in this target any more, since we've
3162     # resolved all the inheritances that lead to this
3163     delete $table{$target}->{inherit_from};
3164
3165     # Now is the time to deal with those lists.  Here's the place to
3166     # decide what shall be done with those lists, all based on the
3167     # values of the target we're currently dealing with.
3168     # - If a value is a coderef, it will be executed with the list of
3169     #   inherited values as arguments.
3170     # - If the corresponding key doesn't have a value at all or is the
3171     #   empty string, the inherited value list will be run through the
3172     #   default combiner (below), and the result becomes this target's
3173     #   value.
3174     # - Otherwise, this target's value is assumed to be a string that
3175     #   will simply override the inherited list of values.
3176     my $default_combiner = add();
3177
3178     my %all_keys =
3179         map { $_ => 1 } (keys %combined_inheritance,
3180                          keys %{$table{$target}});
3181
3182     sub process_values {
3183         my $object    = shift;
3184         my $inherited = shift;  # Always a [ list ]
3185         my $target    = shift;
3186         my $entry     = shift;
3187
3188         $add_called = 0;
3189
3190         while(ref($object) eq "CODE") {
3191             $object = $object->(@$inherited);
3192         }
3193         if (!defined($object)) {
3194             return ();
3195         }
3196         elsif (ref($object) eq "ARRAY") {
3197             local $add_called;  # To make sure recursive calls don't affect it
3198             return [ map { process_values($_, $inherited, $target, $entry) }
3199                      @$object ];
3200         } elsif (ref($object) eq "") {
3201             return $object;
3202         } else {
3203             die "cannot handle reference type ",ref($object)
3204                 ," found in target ",$target," -> ",$entry,"\n";
3205         }
3206     }
3207
3208     foreach my $key (sort keys %all_keys) {
3209         my $previous = $combined_inheritance{$key};
3210
3211         # Current target doesn't have a value for the current key?
3212         # Assign it the default combiner, the rest of this loop body
3213         # will handle it just like any other coderef.
3214         if (!exists $table{$target}->{$key}) {
3215             $table{$target}->{$key} = $default_combiner;
3216         }
3217
3218         $table{$target}->{$key} = process_values($table{$target}->{$key},
3219                                                $combined_inheritance{$key},
3220                                                $target, $key);
3221         unless(defined($table{$target}->{$key})) {
3222             delete $table{$target}->{$key};
3223         }
3224 #        if ($extra_checks &&
3225 #            $previous && !($add_called ||  $previous ~~ $table{$target}->{$key})) {
3226 #            warn "$key got replaced in $target\n";
3227 #        }
3228     }
3229
3230     # Finally done, return the result.
3231     return %{$table{$target}};
3232 }
3233
3234 sub usage
3235         {
3236         print STDERR $usage;
3237         print STDERR "\npick os/compiler from:\n";
3238         my $j=0;
3239         my $i;
3240         my $k=0;
3241         foreach $i (sort keys %table)
3242                 {
3243                 next if $table{$i}->{template};
3244                 next if $i =~ /^debug/;
3245                 $k += length($i) + 1;
3246                 if ($k > 78)
3247                         {
3248                         print STDERR "\n";
3249                         $k=length($i);
3250                         }
3251                 print STDERR $i . " ";
3252                 }
3253         foreach $i (sort keys %table)
3254                 {
3255                 next if $table{$i}->{template};
3256                 next if $i !~ /^debug/;
3257                 $k += length($i) + 1;
3258                 if ($k > 78)
3259                         {
3260                         print STDERR "\n";
3261                         $k=length($i);
3262                         }
3263                 print STDERR $i . " ";
3264                 }
3265         exit(1);
3266         }
3267
3268 sub compiler_predefined {
3269     state %predefined;
3270     my $cc = shift;
3271
3272     return () if $^O eq 'VMS';
3273
3274     die 'compiler_predefined called without a compiler command'
3275         unless $cc;
3276
3277     if (! $predefined{$cc}) {
3278
3279         $predefined{$cc} = {};
3280
3281         # collect compiler pre-defines from gcc or gcc-alike...
3282         open(PIPE, "$cc -dM -E -x c /dev/null 2>&1 |");
3283         while (my $l = <PIPE>) {
3284             $l =~ m/^#define\s+(\w+(?:\(\w+\))?)(?:\s+(.+))?/ or last;
3285             $predefined{$cc}->{$1} = $2 // '';
3286         }
3287         close(PIPE);
3288     }
3289
3290     return %{$predefined{$cc}};
3291 }
3292
3293 sub which
3294 {
3295     my ($name)=@_;
3296
3297     if (eval { require IPC::Cmd; 1; }) {
3298         IPC::Cmd->import();
3299         return scalar IPC::Cmd::can_run($name);
3300     } else {
3301         # if there is $directories component in splitpath,
3302         # then it's not something to test with $PATH...
3303         return $name if (File::Spec->splitpath($name))[1];
3304
3305         foreach (File::Spec->path()) {
3306             my $fullpath = catfile($_, "$name$target{exe_extension}");
3307             if (-f $fullpath and -x $fullpath) {
3308                 return $fullpath;
3309             }
3310         }
3311     }
3312 }
3313
3314 sub env
3315 {
3316     my $name = shift;
3317     my %opts = @_;
3318
3319     unless ($opts{cacheonly}) {
3320         # Note that if $ENV{$name} doesn't exist or is undefined,
3321         # $config{perlenv}->{$name} will be created with the value
3322         # undef.  This is intentional.
3323
3324         $config{perlenv}->{$name} = $ENV{$name}
3325             if ! exists $config{perlenv}->{$name};
3326     }
3327     return $config{perlenv}->{$name};
3328 }
3329
3330 # Configuration printer ##############################################
3331
3332 sub print_table_entry
3333 {
3334     local $now_printing = shift;
3335     my %target = resolve_config($now_printing);
3336     my $type = shift;
3337
3338     # Don't print the templates
3339     return if $target{template};
3340
3341     my @sequence = (
3342         "sys_id",
3343         "cpp",
3344         "cppflags",
3345         "defines",
3346         "includes",
3347         "cc",
3348         "cflags",
3349         "ld",
3350         "lflags",
3351         "loutflag",
3352         "ex_libs",
3353         "bn_ops",
3354         "enable",
3355         "disable",
3356         "poly1035_asm_src",
3357         "thread_scheme",
3358         "perlasm_scheme",
3359         "dso_scheme",
3360         "shared_target",
3361         "shared_cflag",
3362         "shared_defines",
3363         "shared_ldflag",
3364         "shared_rcflag",
3365         "shared_extension",
3366         "dso_extension",
3367         "obj_extension",
3368         "exe_extension",
3369         "ranlib",
3370         "ar",
3371         "arflags",
3372         "aroutflag",
3373         "rc",
3374         "rcflags",
3375         "rcoutflag",
3376         "mt",
3377         "mtflags",
3378         "mtinflag",
3379         "mtoutflag",
3380         "multilib",
3381         "build_scheme",
3382         );
3383
3384     if ($type eq "TABLE") {
3385         print "\n";
3386         print "*** $now_printing\n";
3387         foreach (@sequence) {
3388             if (ref($target{$_}) eq "ARRAY") {
3389                 printf "\$%-12s = %s\n", $_, join(" ", @{$target{$_}});
3390             } else {
3391                 printf "\$%-12s = %s\n", $_, $target{$_};
3392             }
3393         }
3394     } elsif ($type eq "HASH") {
3395         my $largest =
3396             length((sort { length($a) <=> length($b) } @sequence)[-1]);
3397         print "    '$now_printing' => {\n";
3398         foreach (@sequence) {
3399             if ($target{$_}) {
3400                 if (ref($target{$_}) eq "ARRAY") {
3401                     print "      '",$_,"'"," " x ($largest - length($_))," => [ ",join(", ", map { "'$_'" } @{$target{$_}})," ],\n";
3402                 } else {
3403                     print "      '",$_,"'"," " x ($largest - length($_))," => '",$target{$_},"',\n";
3404                 }
3405             }
3406         }
3407         print "    },\n";
3408     }
3409 }
3410
3411 # Utility routines ###################################################
3412
3413 # On VMS, if the given file is a logical name, File::Spec::Functions
3414 # will consider it an absolute path.  There are cases when we want a
3415 # purely syntactic check without checking the environment.
3416 sub isabsolute {
3417     my $file = shift;
3418
3419     # On non-platforms, we just use file_name_is_absolute().
3420     return file_name_is_absolute($file) unless $^O eq "VMS";
3421
3422     # If the file spec includes a device or a directory spec,
3423     # file_name_is_absolute() is perfectly safe.
3424     return file_name_is_absolute($file) if $file =~ m|[:\[]|;
3425
3426     # Here, we know the given file spec isn't absolute
3427     return 0;
3428 }
3429
3430 # Makes a directory absolute and cleans out /../ in paths like foo/../bar
3431 # On some platforms, this uses rel2abs(), while on others, realpath() is used.
3432 # realpath() requires that at least all path components except the last is an
3433 # existing directory.  On VMS, the last component of the directory spec must
3434 # exist.
3435 sub absolutedir {
3436     my $dir = shift;
3437
3438     # realpath() is quite buggy on VMS.  It uses LIB$FID_TO_NAME, which
3439     # will return the volume name for the device, no matter what.  Also,
3440     # it will return an incorrect directory spec if the argument is a
3441     # directory that doesn't exist.
3442     if ($^O eq "VMS") {
3443         return rel2abs($dir);
3444     }
3445
3446     # We use realpath() on Unix, since no other will properly clean out
3447     # a directory spec.
3448     use Cwd qw/realpath/;
3449
3450     return realpath($dir);
3451 }
3452
3453 # Check if all paths are one and the same, using stat.  They must both exist
3454 # We need this for the cases when File::Spec doesn't detect case insensitivity
3455 # (File::Spec::Unix assumes case sensitivity)
3456 sub samedir {
3457     die "samedir expects two arguments\n" unless scalar @_ == 2;
3458
3459     my @stat0 = stat($_[0]);    # First argument
3460     my @stat1 = stat($_[1]);    # Second argument
3461
3462     die "Couldn't stat $_[0]" unless @stat0;
3463     die "Couldn't stat $_[1]" unless @stat1;
3464
3465     # Compare device number
3466     return 0 unless ($stat0[0] == $stat1[0]);
3467     # Compare "inode".  The perl manual recommends comparing as
3468     # string rather than as number.
3469     return 0 unless ($stat0[1] eq $stat1[1]);
3470
3471     return 1;                   # All the same
3472 }
3473
3474 sub quotify {
3475     my %processors = (
3476         perl    => sub { my $x = shift;
3477                          $x =~ s/([\\\$\@"])/\\$1/g;
3478                          return '"'.$x.'"'; },
3479         maybeshell => sub { my $x = shift;
3480                             (my $y = $x) =~ s/([\\\"])/\\$1/g;
3481                             if ($x ne $y || $x =~ m|\s|) {
3482                                 return '"'.$y.'"';
3483                             } else {
3484                                 return $x;
3485                             }
3486                         },
3487         );
3488     my $for = shift;
3489     my $processor =
3490         defined($processors{$for}) ? $processors{$for} : sub { shift; };
3491
3492     return map { $processor->($_); } @_;
3493 }
3494
3495 # collect_from_file($filename, $line_concat_cond_re, $line_concat)
3496 # $filename is a file name to read from
3497 # $line_concat_cond_re is a regexp detecting a line continuation ending
3498 # $line_concat is a CODEref that takes care of concatenating two lines
3499 sub collect_from_file {
3500     my $filename = shift;
3501     my $line_concat_cond_re = shift;
3502     my $line_concat = shift;
3503
3504     open my $fh, $filename || die "unable to read $filename: $!\n";
3505     return sub {
3506         my $saved_line = "";
3507         $_ = "";
3508         while (<$fh>) {
3509             s|\R$||;
3510             if (defined $line_concat) {
3511                 $_ = $line_concat->($saved_line, $_);
3512                 $saved_line = "";
3513             }
3514             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3515                 $saved_line = $_;
3516                 next;
3517             }
3518             return $_;
3519         }
3520         die "$filename ending with continuation line\n" if $_;
3521         close $fh;
3522         return undef;
3523     }
3524 }
3525
3526 # collect_from_array($array, $line_concat_cond_re, $line_concat)
3527 # $array is an ARRAYref of lines
3528 # $line_concat_cond_re is a regexp detecting a line continuation ending
3529 # $line_concat is a CODEref that takes care of concatenating two lines
3530 sub collect_from_array {
3531     my $array = shift;
3532     my $line_concat_cond_re = shift;
3533     my $line_concat = shift;
3534     my @array = (@$array);
3535
3536     return sub {
3537         my $saved_line = "";
3538         $_ = "";
3539         while (defined($_ = shift @array)) {
3540             s|\R$||;
3541             if (defined $line_concat) {
3542                 $_ = $line_concat->($saved_line, $_);
3543                 $saved_line = "";
3544             }
3545             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3546                 $saved_line = $_;
3547                 next;
3548             }
3549             return $_;
3550         }
3551         die "input text ending with continuation line\n" if $_;
3552         return undef;
3553     }
3554 }
3555
3556 # collect_information($lineiterator, $line_continue, $regexp => $CODEref, ...)
3557 # $lineiterator is a CODEref that delivers one line at a time.
3558 # All following arguments are regex/CODEref pairs, where the regexp detects a
3559 # line and the CODEref does something with the result of the regexp.
3560 sub collect_information {
3561     my $lineiterator = shift;
3562     my %collectors = @_;
3563
3564     while(defined($_ = $lineiterator->())) {
3565         s|\R$||;
3566         my $found = 0;
3567         if ($collectors{"BEFORE"}) {
3568             $collectors{"BEFORE"}->($_);
3569         }
3570         foreach my $re (keys %collectors) {
3571             if ($re !~ /^OTHERWISE|BEFORE|AFTER$/ && /$re/) {
3572                 $collectors{$re}->($lineiterator);
3573                 $found = 1;
3574             };
3575         }
3576         if ($collectors{"OTHERWISE"}) {
3577             $collectors{"OTHERWISE"}->($lineiterator, $_)
3578                 unless $found || !defined $collectors{"OTHERWISE"};
3579         }
3580         if ($collectors{"AFTER"}) {
3581             $collectors{"AFTER"}->($_);
3582         }
3583     }
3584 }
3585
3586 # tokenize($line)
3587 # tokenize($line,$separator)
3588 # $line is a line of text to split up into tokens
3589 # $separator [optional] is a regular expression that separates the tokens,
3590 # the default being spaces.  Do not use quotes of any kind as separators,
3591 # that will give undefined results.
3592 # Returns a list of tokens.
3593 #
3594 # Tokens are divided by separator (spaces by default).  If the tokens include
3595 # the separators, they have to be quoted with single or double quotes.
3596 # Double quotes inside a double quoted token must be escaped.  Escaping is done
3597 # with backslash.
3598 # Basically, the same quoting rules apply for " and ' as in any
3599 # Unix shell.
3600 sub tokenize {
3601     my $line = my $debug_line = shift;
3602     my $separator = shift // qr|\s+|;
3603     my @result = ();
3604
3605     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3606         print STDERR "DEBUG[tokenize]: \$separator = $separator\n";
3607     }
3608
3609     while ($line =~ s|^${separator}||, $line ne "") {
3610         my $token = "";
3611     again:
3612         $line =~ m/^(.*?)(${separator}|"|'|$)/;
3613         $token .= $1;
3614         $line = $2.$';
3615
3616         if ($line =~ m/^"((?:[^"\\]+|\\.)*)"/) {
3617             $token .= $1;
3618             $line = $';
3619             goto again;
3620         } elsif ($line =~ m/^'([^']*)'/) {
3621             $token .= $1;
3622             $line = $';
3623             goto again;
3624         }
3625         push @result, $token;
3626     }
3627
3628     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3629         print STDERR "DEBUG[tokenize]: Parsed '$debug_line' into:\n";
3630         print STDERR "DEBUG[tokenize]: ('", join("', '", @result), "')\n";
3631     }
3632     return @result;
3633 }