1992f907aaa49782260e04d6278b83593388bef8
[openssl.git] / Configure
1 #! /usr/bin/env perl
2 # -*- mode: perl; -*-
3 # Copyright 2016-2022 The OpenSSL Project Authors. All Rights Reserved.
4 #
5 # Licensed under the Apache License 2.0 (the "License").  You may not use
6 # this file except in compliance with the License.  You can obtain a copy
7 # in the file LICENSE in the source distribution or at
8 # https://www.openssl.org/source/license.html
9
10 ##  Configure -- OpenSSL source tree configuration script
11
12 use 5.10.0;
13 use strict;
14 use Config;
15 use FindBin;
16 use lib "$FindBin::Bin/util/perl";
17 use File::Basename;
18 use File::Spec::Functions qw/:DEFAULT abs2rel rel2abs splitdir/;
19 use File::Path qw/mkpath/;
20 use File::Compare qw(compare_text);
21 use OpenSSL::fallback "$FindBin::Bin/external/perl/MODULES.txt";
22 use OpenSSL::Glob;
23 use OpenSSL::Template;
24 use OpenSSL::config;
25
26 # see INSTALL.md for instructions.
27
28 my $orig_death_handler = $SIG{__DIE__};
29 $SIG{__DIE__} = \&death_handler;
30
31 my $usage="Usage: Configure [no-<cipher> ...] [enable-<cipher> ...] [-Dxxx] [-lxxx] [-Lxxx] [-fxxx] [-Kxxx] [no-hw-xxx|no-hw] [[no-]threads] [[no-]shared] [[no-]zlib|zlib-dynamic] [no-asm] [no-egd] [sctp] [386] [--prefix=DIR] [--openssldir=OPENSSLDIR] [--with-xxx[=vvv]] [--config=FILE] os/compiler[:flags]\n";
32
33 my $banner = <<"EOF";
34
35 **********************************************************************
36 ***                                                                ***
37 ***   OpenSSL has been successfully configured                     ***
38 ***                                                                ***
39 ***   If you encounter a problem while building, please open an    ***
40 ***   issue on GitHub <https://github.com/openssl/openssl/issues>  ***
41 ***   and include the output from the following command:           ***
42 ***                                                                ***
43 ***       perl configdata.pm --dump                                ***
44 ***                                                                ***
45 ***   (If you are new to OpenSSL, you might want to consult the    ***
46 ***   'Troubleshooting' section in the INSTALL.md file first)      ***
47 ***                                                                ***
48 **********************************************************************
49 EOF
50
51 # Options:
52 #
53 # --config      add the given configuration file, which will be read after
54 #               any "Configurations*" files that are found in the same
55 #               directory as this script.
56 # --prefix      prefix for the OpenSSL installation, which includes the
57 #               directories bin, lib, include, share/man, share/doc/openssl
58 #               This becomes the value of INSTALLTOP in Makefile
59 #               (Default: /usr/local)
60 # --openssldir  OpenSSL data area, such as openssl.cnf, certificates and keys.
61 #               If it's a relative directory, it will be added on the directory
62 #               given with --prefix.
63 #               This becomes the value of OPENSSLDIR in Makefile and in C.
64 #               (Default: PREFIX/ssl)
65 # --banner=".." Output specified text instead of default completion banner
66 #
67 # -w            Don't wait after showing a Configure warning
68 #
69 # --cross-compile-prefix Add specified prefix to binutils components.
70 #
71 # --api         One of 0.9.8, 1.0.0, 1.0.1, 1.0.2, 1.1.0, 1.1.1, or 3.0
72 #               Define the public APIs as they were for that version
73 #               including patch releases.  If 'no-deprecated' is also
74 #               given, do not compile support for interfaces deprecated
75 #               up to and including the specified OpenSSL version.
76 #
77 # no-hw-xxx     do not compile support for specific crypto hardware.
78 #               Generic OpenSSL-style methods relating to this support
79 #               are always compiled but return NULL if the hardware
80 #               support isn't compiled.
81 # no-hw         do not compile support for any crypto hardware.
82 # [no-]threads  [don't] try to create a library that is suitable for
83 #               multithreaded applications (default is "threads" if we
84 #               know how to do it)
85 # [no-]shared   [don't] try to create shared libraries when supported.
86 # [no-]pic      [don't] try to build position independent code when supported.
87 #               If disabled, it also disables shared and dynamic-engine.
88 # no-asm        do not use assembler
89 # no-egd        do not compile support for the entropy-gathering daemon APIs
90 # [no-]zlib     [don't] compile support for zlib compression.
91 # zlib-dynamic  Like "zlib", but the zlib library is expected to be a shared
92 #               library and will be loaded in run-time by the OpenSSL library.
93 # sctp          include SCTP support
94 # no-uplink     Don't build support for UPLINK interface.
95 # enable-weak-ssl-ciphers
96 #               Enable weak ciphers that are disabled by default.
97 # 386           generate 80386 code in assembly modules
98 # no-sse2       disables IA-32 SSE2 code in assembly modules, the above
99 #               mentioned '386' option implies this one
100 # no-<cipher>   build without specified algorithm (dsa, idea, rc5, ...)
101 # -<xxx> +<xxx> All options which are unknown to the 'Configure' script are
102 # /<xxx>        passed through to the compiler. Unix-style options beginning
103 #               with a '-' or '+' are recognized, as well as Windows-style
104 #               options beginning with a '/'. If the option contains arguments
105 #               separated by spaces, then the URL-style notation %20 can be
106 #               used for the space character in order to avoid having to quote
107 #               the option. For example, -opt%20arg gets expanded to -opt arg.
108 #               In fact, any ASCII character can be encoded as %xx using its
109 #               hexadecimal encoding.
110 # -static       while -static is also a pass-through compiler option (and
111 #               as such is limited to environments where it's actually
112 #               meaningful), it triggers a number configuration options,
113 #               namely no-pic, no-shared and no-threads. It is
114 #               argued that the only reason to produce statically linked
115 #               binaries (and in context it means executables linked with
116 #               -static flag, and not just executables linked with static
117 #               libcrypto.a) is to eliminate dependency on specific run-time,
118 #               a.k.a. libc version. The mentioned config options are meant
119 #               to achieve just that. Unfortunately on Linux it's impossible
120 #               to eliminate the dependency completely for openssl executable
121 #               because of getaddrinfo and gethostbyname calls, which can
122 #               invoke dynamically loadable library facility anyway to meet
123 #               the lookup requests. For this reason on Linux statically
124 #               linked openssl executable has rather debugging value than
125 #               production quality.
126 #
127 # BN_LLONG      use the type 'long long' in crypto/bn/bn.h
128 # RC4_CHAR      use 'char' instead of 'int' for RC4_INT in crypto/rc4/rc4.h
129 # Following are set automatically by this script
130 #
131 # MD5_ASM       use some extra md5 assembler,
132 # SHA1_ASM      use some extra sha1 assembler, must define L_ENDIAN for x86
133 # RMD160_ASM    use some extra ripemd160 assembler,
134 # SHA256_ASM    sha256_block is implemented in assembler
135 # SHA512_ASM    sha512_block is implemented in assembler
136 # AES_ASM       AES_[en|de]crypt is implemented in assembler
137
138 # Minimum warning options... any contributions to OpenSSL should at least
139 # get past these.  Note that we only use these with C compilers, not with
140 # C++ compilers.
141
142 # -DPEDANTIC complements -pedantic and is meant to mask code that
143 # is not strictly standard-compliant and/or implementation-specific,
144 # e.g. inline assembly, disregards to alignment requirements, such
145 # that -pedantic would complain about. Incidentally -DPEDANTIC has
146 # to be used even in sanitized builds, because sanitizer too is
147 # supposed to and does take notice of non-standard behaviour. Then
148 # -pedantic with pre-C9x compiler would also complain about 'long
149 # long' not being supported. As 64-bit algorithms are common now,
150 # it grew impossible to resolve this without sizeable additional
151 # code, so we just tell compiler to be pedantic about everything
152 # but 'long long' type.
153
154 my @gcc_devteam_warn = qw(
155     -DPEDANTIC -pedantic -Wno-long-long -DUNUSEDRESULT_DEBUG
156     -Wall
157     -Wmissing-declarations
158     -Wextra
159     -Wno-unused-parameter
160     -Wno-missing-field-initializers
161     -Wswitch
162     -Wsign-compare
163     -Wshadow
164     -Wformat
165     -Wtype-limits
166     -Wundef
167     -Werror
168     -Wmissing-prototypes
169     -Wstrict-prototypes
170 );
171
172 # These are used in addition to $gcc_devteam_warn when the compiler is clang.
173 # TODO(openssl-team): fix problems and investigate if (at least) the
174 # following warnings can also be enabled:
175 #       -Wcast-align
176 #       -Wunreachable-code -- no, too ugly/compiler-specific
177 #       -Wlanguage-extension-token -- no, we use asm()
178 #       -Wunused-macros -- no, too tricky for BN and _XOPEN_SOURCE etc
179 #       -Wextended-offsetof -- no, needed in CMS ASN1 code
180 my @clang_devteam_warn = qw(
181     -Wno-unknown-warning-option
182     -Wswitch-default
183     -Wno-parentheses-equality
184     -Wno-language-extension-token
185     -Wno-extended-offsetof
186     -Wconditional-uninitialized
187     -Wincompatible-pointer-types-discards-qualifiers
188     -Wmissing-variable-declarations
189 );
190
191 my @cl_devteam_warn = qw(
192     /WX
193 );
194
195 my $strict_warnings = 0;
196
197 # As for $BSDthreads. Idea is to maintain "collective" set of flags,
198 # which would cover all BSD flavors. -pthread applies to them all,
199 # but is treated differently. OpenBSD expands is as -D_POSIX_THREAD
200 # -lc_r, which is sufficient. FreeBSD 4.x expands it as -lc_r,
201 # which has to be accompanied by explicit -D_THREAD_SAFE and
202 # sometimes -D_REENTRANT. FreeBSD 5.x expands it as -lc_r, which
203 # seems to be sufficient?
204 our $BSDthreads="-pthread -D_THREAD_SAFE -D_REENTRANT";
205
206 #
207 # API compatibility name to version number mapping.
208 #
209 my $apitable = {
210     # This table expresses when API additions or changes can occur.
211     # The numbering used changes from 3.0 and on because we updated
212     # (solidified) our version numbering scheme at that point.
213
214     # From 3.0 and on, we internalise the given version number in decimal
215     # as MAJOR * 10000 + MINOR * 100 + 0
216     "3.0.0" => 30000,
217     "3.0"   => 30000,
218
219     # Note that before 3.0, we didn't have the same version number scheme.
220     # Still, the numbering we use here covers what we need.
221     "1.1.1" => 10101,
222     "1.1.0" => 10100,
223     "1.0.2" => 10002,
224     "1.0.1" => 10001,
225     "1.0.0" => 10000,
226     "0.9.8" =>   908,
227 };
228
229 # For OpenSSL::config::get_platform
230 my %guess_opts = ();
231
232 my $dryrun = 0;
233
234 our %table = ();
235 our %config = ();
236 our %withargs = ();
237 our $now_printing;      # set to current entry's name in print_table_entry
238                         # (todo: right thing would be to encapsulate name
239                         # into %target [class] and make print_table_entry
240                         # a method)
241
242 # Forward declarations ###############################################
243
244 # read_config(filename)
245 #
246 # Reads a configuration file and populates %table with the contents
247 # (which the configuration file places in %targets).
248 sub read_config;
249
250 # resolve_config(target)
251 #
252 # Resolves all the late evaluations, inheritances and so on for the
253 # chosen target and any target it inherits from.
254 sub resolve_config;
255
256
257 # Information collection #############################################
258
259 # Unified build supports separate build dir
260 my $srcdir = catdir(absolutedir(dirname($0))); # catdir ensures local syntax
261 my $blddir = catdir(absolutedir("."));         # catdir ensures local syntax
262
263 # File::Spec::Unix doesn't detect case insensitivity, so we make sure to
264 # check if the source and build directory are really the same, and make
265 # them so.  This avoids all kinds of confusion later on.
266 # We must check @File::Spec::ISA rather than using File::Spec->isa() to
267 # know if File::Spec ended up loading File::Spec::Unix.
268 $srcdir = $blddir
269     if (grep(/::Unix$/, @File::Spec::ISA)
270         && samedir($srcdir, $blddir));
271
272 my $dofile = abs2rel(catfile($srcdir, "util/dofile.pl"));
273
274 my $local_config_envname = 'OPENSSL_LOCAL_CONFIG_DIR';
275
276 $config{sourcedir} = abs2rel($srcdir, $blddir);
277 $config{builddir} = abs2rel($blddir, $blddir);
278 # echo -n 'holy hand grenade of antioch' | openssl sha256
279 $config{FIPSKEY} =
280     'f4556650ac31d35461610bac4ed81b1a181b2d8a43ea2854cbae22ca74560813';
281
282 # Collect reconfiguration information if needed
283 my @argvcopy=@ARGV;
284
285 if (grep /^reconf(igure)?$/, @argvcopy) {
286     die "reconfiguring with other arguments present isn't supported"
287         if scalar @argvcopy > 1;
288     if (-f "./configdata.pm") {
289         my $file = "./configdata.pm";
290         unless (my $return = do $file) {
291             die "couldn't parse $file: $@" if $@;
292             die "couldn't do $file: $!"    unless defined $return;
293             die "couldn't run $file"       unless $return;
294         }
295
296         @argvcopy = defined($configdata::config{perlargv}) ?
297             @{$configdata::config{perlargv}} : ();
298         die "Incorrect data to reconfigure, please do a normal configuration\n"
299             if (grep(/^reconf/,@argvcopy));
300         $config{perlenv} = $configdata::config{perlenv} // {};
301     } else {
302         die "Insufficient data to reconfigure, please do a normal configuration\n";
303     }
304 }
305
306 $config{perlargv} = [ @argvcopy ];
307
308 # Historical: if known directories in crypto/ have been removed, it means
309 # that those sub-systems are disabled.
310 # (the other option would be to removed them from the SUBDIRS statement in
311 # crypto/build.info)
312 # We reverse the input list for cosmetic purely reasons, to compensate that
313 # 'unshift' adds at the front of the list (i.e. in reverse input order).
314 foreach ( reverse sort( 'aes', 'aria', 'bf', 'camellia', 'cast', 'des', 'dh',
315                         'dsa', 'ec', 'hmac', 'idea', 'md2', 'md5', 'mdc2',
316                         'rc2', 'rc4', 'rc5', 'ripemd', 'seed', 'sha',
317                         'sm2', 'sm3', 'sm4') ) {
318     unshift @argvcopy, "no-$_" if ! -d catdir($srcdir, 'crypto', $_);
319 }
320
321 # Collect version numbers
322 my %version = ();
323
324 collect_information(
325     collect_from_file(catfile($srcdir,'VERSION.dat')),
326     qr/\s*(\w+)\s*=\s*(.*?)\s*$/ =>
327         sub {
328             # Only define it if there is a value at all
329             if ($2 ne '') {
330                 my $k = $1;
331                 my $v = $2;
332                 # Some values are quoted.  Trim the quotes
333                 $v = $1 if $v =~ /^"(.*)"$/;
334                 $version{uc $k} = $v;
335             }
336         },
337     "OTHERWISE" =>
338         sub { die "Something wrong with this line:\n$_\nin $srcdir/VERSION.dat" },
339     );
340
341 $config{major} = $version{MAJOR} // 'unknown';
342 $config{minor} = $version{MINOR} // 'unknown';
343 $config{patch} = $version{PATCH} // 'unknown';
344 $config{prerelease} =
345     defined $version{PRE_RELEASE_TAG} ? "-$version{PRE_RELEASE_TAG}" : '';
346 $config{build_metadata} =
347     defined $version{BUILD_METADATA} ? "+$version{BUILD_METADATA}" : '';
348 $config{shlib_version} = $version{SHLIB_VERSION} // 'unknown';
349 $config{release_date} = $version{RELEASE_DATE} // 'xx XXX xxxx';
350
351 $config{version} = "$config{major}.$config{minor}.$config{patch}";
352 $config{full_version} = "$config{version}$config{prerelease}$config{build_metadata}";
353
354 die "erroneous version information in VERSION.dat: ",
355     "$config{version}, $config{shlib_version}\n"
356     unless (defined $version{MAJOR}
357             && defined $version{MINOR}
358             && defined $version{PATCH}
359             && defined $version{SHLIB_VERSION});
360
361 # Collect target configurations
362
363 my $pattern = catfile(dirname($0), "Configurations", "*.conf");
364 foreach (sort glob($pattern)) {
365     &read_config($_);
366 }
367
368 if (defined env($local_config_envname)) {
369     if ($^O eq 'VMS') {
370         # VMS environment variables are logical names,
371         # which can be used as is
372         $pattern = $local_config_envname . ':' . '*.conf';
373     } else {
374         $pattern = catfile(env($local_config_envname), '*.conf');
375     }
376
377     foreach (sort glob($pattern)) {
378         &read_config($_);
379     }
380 }
381
382 # Save away perl command information
383 $config{perl_cmd} = $^X;
384 $config{perl_version} = $Config{version};
385 $config{perl_archname} = $Config{archname};
386
387 $config{prefix}="";
388 $config{openssldir}="";
389 $config{processor}="";
390 $config{libdir}="";
391 my $auto_threads=1;    # enable threads automatically? true by default
392 my $default_ranlib;
393
394 # Known TLS and DTLS protocols
395 my @tls = qw(ssl3 tls1 tls1_1 tls1_2 tls1_3);
396 my @dtls = qw(dtls1 dtls1_2);
397
398 # Explicitly known options that are possible to disable.  They can
399 # be regexps, and will be used like this: /^no-${option}$/
400 # For developers: keep it sorted alphabetically
401
402 my @disablables = (
403     "acvp-tests",
404     "afalgeng",
405     "aria",
406     "asan",
407     "asm",
408     "async",
409     "autoalginit",
410     "autoerrinit",
411     "autoload-config",
412     "bf",
413     "blake2",
414     "buildtest-c++",
415     "bulk",
416     "cached-fetch",
417     "camellia",
418     "capieng",
419     "cast",
420     "chacha",
421     "cmac",
422     "cmp",
423     "cms",
424     "comp",
425     "crypto-mdebug",
426     "ct",
427     "deprecated",
428     "des",
429     "devcryptoeng",
430     "dgram",
431     "dh",
432     "dsa",
433     "dso",
434     "dtls",
435     "dynamic-engine",
436     "ec",
437     "ec2m",
438     "ec_nistp_64_gcc_128",
439     "ecdh",
440     "ecdsa",
441     "egd",
442     "engine",
443     "err",
444     "external-tests",
445     "filenames",
446     "fips",
447     "fips-securitychecks",
448     "fuzz-afl",
449     "fuzz-libfuzzer",
450     "gost",
451     "idea",
452     "ktls",
453     "legacy",
454     "loadereng",
455     "makedepend",
456     "md2",
457     "md4",
458     "mdc2",
459     "module",
460     "msan",
461     "multiblock",
462     "nextprotoneg",
463     "ocb",
464     "ocsp",
465     "padlockeng",
466     "pic",
467     "pinshared",
468     "poly1305",
469     "posix-io",
470     "psk",
471     "rc2",
472     "rc4",
473     "rc5",
474     "rdrand",
475     "rfc3779",
476     "rmd160",
477     "scrypt",
478     "sctp",
479     "secure-memory",
480     "seed",
481     "shared",
482     "siphash",
483     "siv",
484     "sm2",
485     "sm3",
486     "sm4",
487     "sock",
488     "srp",
489     "srtp",
490     "sse2",
491     "ssl",
492     "ssl-trace",
493     "static-engine",
494     "stdio",
495     "tests",
496     "tfo",
497     "threads",
498     "tls",
499     "trace",
500     "ts",
501     "ubsan",
502     "ui-console",
503     "unit-test",
504     "uplink",
505     "weak-ssl-ciphers",
506     "whirlpool",
507     "zlib",
508     "zlib-dynamic",
509     );
510 foreach my $proto ((@tls, @dtls))
511         {
512         push(@disablables, $proto);
513         push(@disablables, "$proto-method") unless $proto eq "tls1_3";
514         }
515
516 # Internal disablables, for aliasing purposes.  They serve no special
517 # purpose here, but allow scripts to get to know them through configdata.pm,
518 # where these are merged with @disablables.
519 # The actual aliasing mechanism is done via %disable_cascades
520 my @disablables_int = qw(
521     crmf
522     );
523
524 my %deprecated_disablables = (
525     "ssl2" => undef,
526     "buf-freelists" => undef,
527     "crypto-mdebug-backtrace" => undef,
528     "hw" => "hw",               # causes cascade, but no macro
529     "hw-padlock" => "padlockeng",
530     "ripemd" => "rmd160",
531     "ui" => "ui-console",
532     "heartbeats" => undef,
533     );
534
535 # All of the following are disabled by default:
536
537 our %disabled = ( # "what"         => "comment"
538                   "fips"                => "default",
539                   "asan"                => "default",
540                   "buildtest-c++"       => "default",
541                   "crypto-mdebug"       => "default",
542                   "crypto-mdebug-backtrace" => "default",
543                   "devcryptoeng"        => "default",
544                   "ec_nistp_64_gcc_128" => "default",
545                   "egd"                 => "default",
546                   "external-tests"      => "default",
547                   "fuzz-afl"            => "default",
548                   "fuzz-libfuzzer"      => "default",
549                   "ktls"                => "default",
550                   "md2"                 => "default",
551                   "msan"                => "default",
552                   "rc5"                 => "default",
553                   "sctp"                => "default",
554                   "ssl3"                => "default",
555                   "ssl3-method"         => "default",
556                   "tfo"                 => "default",
557                   "trace"               => "default",
558                   "ubsan"               => "default",
559                   "unit-test"           => "default",
560                   "weak-ssl-ciphers"    => "default",
561                   "zlib"                => "default",
562                   "zlib-dynamic"        => "default",
563                 );
564
565 # Note: => pair form used for aesthetics, not to truly make a hash table
566 my @disable_cascades = (
567     # "what"            => [ "cascade", ... ]
568     "bulk"              => [ "shared", "dso",
569                              "aria", "async", "autoload-config",
570                              "blake2", "bf", "camellia", "cast", "chacha",
571                              "cmac", "cms", "cmp", "comp", "ct",
572                              "des", "dgram", "dh", "dsa",
573                              "ec", "engine",
574                              "filenames",
575                              "idea", "ktls",
576                              "md4", "multiblock", "nextprotoneg",
577                              "ocsp", "ocb", "poly1305", "psk",
578                              "rc2", "rc4", "rmd160",
579                              "seed", "siphash", "siv",
580                              "sm3", "sm4", "srp",
581                              "srtp", "ssl3-method", "ssl-trace",
582                              "tfo",
583                              "ts", "ui-console", "whirlpool",
584                              "fips-securitychecks" ],
585     sub { $config{processor} eq "386" }
586                         => [ "sse2" ],
587     "ssl"               => [ "ssl3" ],
588     "ssl3-method"       => [ "ssl3" ],
589     "zlib"              => [ "zlib-dynamic" ],
590     "des"               => [ "mdc2" ],
591     "ec"                => [ "ec2m", "ecdsa", "ecdh", "sm2", "gost" ],
592     "dgram"             => [ "dtls", "sctp" ],
593     "sock"              => [ "dgram", "tfo" ],
594     "dtls"              => [ @dtls ],
595     sub { 0 == scalar grep { !$disabled{$_} } @dtls }
596                         => [ "dtls" ],
597
598     "tls"               => [ @tls ],
599     sub { 0 == scalar grep { !$disabled{$_} } @tls }
600                         => [ "tls" ],
601
602     "crypto-mdebug"     => [ "crypto-mdebug-backtrace" ],
603
604     # If no modules, then no dynamic engines either
605     "module"            => [ "dynamic-engine" ],
606
607     # Without shared libraries, dynamic engines aren't possible.
608     # This is due to them having to link with libcrypto and register features
609     # using the ENGINE functionality, and since that relies on global tables,
610     # those *have* to be exactly the same as the ones accessed from the app,
611     # which cannot be guaranteed if shared libraries aren't present.
612     # (note that even with shared libraries, both the app and dynamic engines
613     # must be linked with the same library)
614     "shared"            => [ "dynamic-engine", "uplink" ],
615     "dso"               => [ "dynamic-engine", "module" ],
616     # Other modules don't necessarily have to link with libcrypto, so shared
617     # libraries do not have to be a condition to produce those.
618
619     # Without position independent code, there can be no shared libraries
620     # or modules.
621     "pic"               => [ "shared", "module" ],
622
623     "module"            => [ "fips", "dso" ],
624
625     "engine"            => [ "dynamic-engine", grep(/eng$/, @disablables) ],
626     "dynamic-engine"    => [ "loadereng" ],
627     "hw"                => [ "padlockeng" ],
628
629     # no-autoalginit is only useful when building non-shared
630     "autoalginit"       => [ "shared", "apps", "fips" ],
631
632     "stdio"             => [ "apps", "capieng", "egd" ],
633     "apps"              => [ "tests" ],
634     "tests"             => [ "external-tests" ],
635     "comp"              => [ "zlib" ],
636     "sm3"               => [ "sm2" ],
637     sub { !$disabled{"unit-test"} } => [ "heartbeats" ],
638
639     sub { !$disabled{"msan"} } => [ "asm" ],
640
641     "cmac"              => [ "siv" ],
642     "legacy"            => [ "md2" ],
643
644     "cmp"               => [ "crmf" ],
645
646     "fips"              => [ "fips-securitychecks", "acvp-tests" ],
647
648     "deprecated-3.0"    => [ "engine", "srp" ]
649     );
650
651 # Avoid protocol support holes.  Also disable all versions below N, if version
652 # N is disabled while N+1 is enabled.
653 #
654 my @list = (reverse @tls);
655 while ((my $first, my $second) = (shift @list, shift @list)) {
656     last unless @list;
657     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
658                               => [ @list ] );
659     unshift @list, $second;
660 }
661 my @list = (reverse @dtls);
662 while ((my $first, my $second) = (shift @list, shift @list)) {
663     last unless @list;
664     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
665                               => [ @list ] );
666     unshift @list, $second;
667 }
668
669 # Explicit "no-..." options will be collected in %disabled along with the defaults.
670 # To remove something from %disabled, use "enable-foo".
671 # For symmetry, "disable-foo" is a synonym for "no-foo".
672
673 # For the "make variables" CPPINCLUDES and CPPDEFINES, we support lists with
674 # platform specific list separators.  Users from those platforms should
675 # recognise those separators from how you set up the PATH to find executables.
676 # The default is the Unix like separator, :, but as an exception, we also
677 # support the space as separator.
678 my $list_separator_re =
679     { VMS           => qr/(?<!\^),/,
680       MSWin32       => qr/(?<!\\);/ } -> {$^O} // qr/(?<!\\)[:\s]/;
681 # All the "make variables" we support
682 # Some get pre-populated for the sake of backward compatibility
683 # (we supported those before the change to "make variable" support.
684 my %user = (
685     AR          => env('AR'),
686     ARFLAGS     => [],
687     AS          => undef,
688     ASFLAGS     => [],
689     CC          => env('CC'),
690     CFLAGS      => [ env('CFLAGS') || () ],
691     CXX         => env('CXX'),
692     CXXFLAGS    => [ env('CXXFLAGS') || () ],
693     CPP         => undef,
694     CPPFLAGS    => [ env('CPPFLAGS') || () ],  # -D, -I, -Wp,
695     CPPDEFINES  => [],  # Alternative for -D
696     CPPINCLUDES => [],  # Alternative for -I
697     CROSS_COMPILE => env('CROSS_COMPILE'),
698     HASHBANGPERL=> env('HASHBANGPERL') || env('PERL'),
699     LD          => undef,
700     LDFLAGS     => [ env('LDFLAGS') || () ],  # -L, -Wl,
701     LDLIBS      => [ env('LDLIBS') || () ],  # -l
702     MT          => undef,
703     MTFLAGS     => [],
704     PERL        => env('PERL') || ($^O ne "VMS" ? $^X : "perl"),
705     RANLIB      => env('RANLIB'),
706     RC          => env('RC') || env('WINDRES'),
707     RCFLAGS     => [ env('RCFLAGS') || () ],
708     RM          => undef,
709    );
710 # Info about what "make variables" may be prefixed with the cross compiler
711 # prefix.  This should NEVER mention any such variable with a list for value.
712 my @user_crossable = qw ( AR AS CC CXX CPP LD MT RANLIB RC );
713 # The same but for flags given as Configure options.  These are *additional*
714 # input, as opposed to the VAR=string option that override the corresponding
715 # config target attributes
716 my %useradd = (
717     CPPDEFINES  => [],
718     CPPINCLUDES => [],
719     CPPFLAGS    => [],
720     CFLAGS      => [],
721     CXXFLAGS    => [],
722     LDFLAGS     => [],
723     LDLIBS      => [],
724     RCFLAGS     => [],
725    );
726
727 my %user_synonyms = (
728     HASHBANGPERL=> 'PERL',
729     RC          => 'WINDRES',
730    );
731
732 # Some target attributes have been renamed, this is the translation table
733 my %target_attr_translate =(
734     ar          => 'AR',
735     as          => 'AS',
736     cc          => 'CC',
737     cxx         => 'CXX',
738     cpp         => 'CPP',
739     hashbangperl => 'HASHBANGPERL',
740     ld          => 'LD',
741     mt          => 'MT',
742     ranlib      => 'RANLIB',
743     rc          => 'RC',
744     rm          => 'RM',
745    );
746
747 # Initialisers coming from 'config' scripts
748 $config{defines} = [ split(/$list_separator_re/, env('__CNF_CPPDEFINES')) ];
749 $config{includes} = [ split(/$list_separator_re/, env('__CNF_CPPINCLUDES')) ];
750 $config{cppflags} = [ env('__CNF_CPPFLAGS') || () ];
751 $config{cflags} = [ env('__CNF_CFLAGS') || () ];
752 $config{cxxflags} = [ env('__CNF_CXXFLAGS') || () ];
753 $config{lflags} = [ env('__CNF_LDFLAGS') || () ];
754 $config{ex_libs} = [ env('__CNF_LDLIBS') || () ];
755
756 $config{openssl_api_defines}=[];
757 $config{openssl_sys_defines}=[];
758 $config{openssl_feature_defines}=[];
759 $config{options}="";
760 $config{build_type} = "release";
761 my $target="";
762
763 my %cmdvars = ();               # Stores FOO='blah' type arguments
764 my %unsupported_options = ();
765 my %deprecated_options = ();
766 # If you change this, update apps/version.c
767 my @known_seed_sources = qw(getrandom devrandom os egd none rdcpu librandom);
768 my @seed_sources = ();
769 while (@argvcopy)
770         {
771         $_ = shift @argvcopy;
772
773         # Support env variable assignments among the options
774         if (m|^(\w+)=(.+)?$|)
775                 {
776                 $cmdvars{$1} = $2;
777                 # Every time a variable is given as a configuration argument,
778                 # it acts as a reset if the variable.
779                 if (exists $user{$1})
780                         {
781                         $user{$1} = ref $user{$1} eq "ARRAY" ? [] : undef;
782                         }
783                 #if (exists $useradd{$1})
784                 #       {
785                 #       $useradd{$1} = [];
786                 #       }
787                 next;
788                 }
789
790         # VMS is a case insensitive environment, and depending on settings
791         # out of our control, we may receive options uppercased.  Let's
792         # downcase at least the part before any equal sign.
793         if ($^O eq "VMS")
794                 {
795                 s/^([^=]*)/lc($1)/e;
796                 }
797
798         # some people just can't read the instructions, clang people have to...
799         s/^-no-(?!integrated-as)/no-/;
800
801         # rewrite some options in "enable-..." form
802         s /^-?-?shared$/enable-shared/;
803         s /^sctp$/enable-sctp/;
804         s /^threads$/enable-threads/;
805         s /^zlib$/enable-zlib/;
806         s /^zlib-dynamic$/enable-zlib-dynamic/;
807         s /^fips$/enable-fips/;
808
809         if (/^(no|disable|enable)-(.+)$/)
810                 {
811                 my $word = $2;
812                 if ($word !~ m|hw(?:-.+)| # special treatment for hw regexp opt
813                         && !exists $deprecated_disablables{$word}
814                         && !grep { $word eq $_ } @disablables)
815                         {
816                         $unsupported_options{$_} = 1;
817                         next;
818                         }
819                 }
820         if (/^no-(.+)$/ || /^disable-(.+)$/)
821                 {
822                 foreach my $proto ((@tls, @dtls))
823                         {
824                         if ($1 eq "$proto-method")
825                                 {
826                                 $disabled{"$proto"} = "option($proto-method)";
827                                 last;
828                                 }
829                         }
830                 if ($1 eq "dtls")
831                         {
832                         foreach my $proto (@dtls)
833                                 {
834                                 $disabled{$proto} = "option(dtls)";
835                                 }
836                         $disabled{"dtls"} = "option(dtls)";
837                         }
838                 elsif ($1 eq "ssl")
839                         {
840                         # Last one of its kind
841                         $disabled{"ssl3"} = "option(ssl)";
842                         }
843                 elsif ($1 eq "tls")
844                         {
845                         # XXX: Tests will fail if all SSL/TLS
846                         # protocols are disabled.
847                         foreach my $proto (@tls)
848                                 {
849                                 $disabled{$proto} = "option(tls)";
850                                 }
851                         }
852                 elsif ($1 eq "static-engine")
853                         {
854                         delete $disabled{"dynamic-engine"};
855                         }
856                 elsif ($1 eq "dynamic-engine")
857                         {
858                         $disabled{"dynamic-engine"} = "option";
859                         }
860                 elsif (exists $deprecated_disablables{$1})
861                         {
862                         $deprecated_options{$_} = 1;
863                         if (defined $deprecated_disablables{$1})
864                                 {
865                                 $disabled{$deprecated_disablables{$1}} = "option";
866                                 }
867                         }
868                 elsif ($1 =~ m|hw(?:-.+)|) # deprecate hw options in regexp form
869                         {
870                         $deprecated_options{$_} = 1;
871                         }
872                 else
873                         {
874                         $disabled{$1} = "option";
875                         }
876                 # No longer an automatic choice
877                 $auto_threads = 0 if ($1 eq "threads");
878                 }
879         elsif (/^enable-(.+)$/)
880                 {
881                 if ($1 eq "static-engine")
882                         {
883                         $disabled{"dynamic-engine"} = "option";
884                         }
885                 elsif ($1 eq "dynamic-engine")
886                         {
887                         delete $disabled{"dynamic-engine"};
888                         }
889                 elsif ($1 eq "zlib-dynamic")
890                         {
891                         delete $disabled{"zlib"};
892                         }
893                 my $algo = $1;
894                 delete $disabled{$algo};
895
896                 # No longer an automatic choice
897                 $auto_threads = 0 if ($1 eq "threads");
898                 }
899         elsif (/^-d$/)          # From older 'config'
900                 {
901                 $config{build_type} = "debug";
902                 }
903         elsif (/^-v$/)          # From older 'config'
904                 {
905                 $guess_opts{verbose} = 1;
906                 }
907         elsif (/^-w$/)
908                 {
909                 $guess_opts{nowait} = 1;
910                 }
911         elsif (/^-t$/)          # From older 'config'
912                 {
913                 $dryrun = 1;
914                 }
915         elsif (/^--strict-warnings$/)
916                 {
917                 # Pretend that our strict flags is a C flag, and replace it
918                 # with the proper flags later on
919                 push @{$useradd{CFLAGS}}, '--ossl-strict-warnings';
920                 $strict_warnings=1;
921                 }
922         elsif (/^--debug$/)
923                 {
924                 $config{build_type} = "debug";
925                 }
926         elsif (/^--release$/)
927                 {
928                 $config{build_type} = "release";
929                 }
930         elsif (/^386$/)
931                 { $config{processor}=386; }
932         elsif (/^rsaref$/)
933                 {
934                 # No RSAref support any more since it's not needed.
935                 # The check for the option is there so scripts aren't
936                 # broken
937                 }
938         elsif (m|^[-+/]|)
939                 {
940                 if (/^--prefix=(.*)$/)
941                         {
942                         $config{prefix}=$1;
943                         die "Directory given with --prefix MUST be absolute\n"
944                                 unless file_name_is_absolute($config{prefix});
945                         }
946                 elsif (/^--api=(.*)$/)
947                         {
948                         my $api = $1;
949                         die "Unknown API compatibility level $api"
950                                 unless defined $apitable->{$api};
951                         $config{api}=$apitable->{$api};
952                         }
953                 elsif (/^--libdir=(.*)$/)
954                         {
955                         $config{libdir}=$1;
956                         }
957                 elsif (/^--openssldir=(.*)$/)
958                         {
959                         $config{openssldir}=$1;
960                         }
961                 elsif (/^--with-zlib-lib=(.*)$/)
962                         {
963                         $withargs{zlib_lib}=$1;
964                         }
965                 elsif (/^--with-zlib-include=(.*)$/)
966                         {
967                         $withargs{zlib_include}=$1;
968                         }
969                 elsif (/^--with-fuzzer-lib=(.*)$/)
970                         {
971                         $withargs{fuzzer_lib}=$1;
972                         }
973                 elsif (/^--with-fuzzer-include=(.*)$/)
974                         {
975                         $withargs{fuzzer_include}=$1;
976                         }
977                 elsif (/^--with-rand-seed=(.*)$/)
978                         {
979                         foreach my $x (split(m|,|, $1))
980                             {
981                             die "Unknown --with-rand-seed choice $x\n"
982                                 if ! grep { $x eq $_ } @known_seed_sources;
983                             push @seed_sources, $x;
984                             }
985                         }
986                 elsif (/^--fips-key=(.*)$/)
987                         {
988                         $user{FIPSKEY}=lc($1);
989                         die "Non-hex character in FIPS key\n"
990                            if $user{FIPSKEY} =~ /[^a-f0-9]/;
991                         die "FIPS key must have even number of characters\n"
992                            if length $1 & 1;
993                         die "FIPS key too long (64 bytes max)\n"
994                            if length $1 > 64;
995                         }
996                 elsif (/^--banner=(.*)$/)
997                         {
998                         $banner = $1 . "\n";
999                         }
1000                 elsif (/^--cross-compile-prefix=(.*)$/)
1001                         {
1002                         $user{CROSS_COMPILE}=$1;
1003                         }
1004                 elsif (/^--config=(.*)$/)
1005                         {
1006                         read_config $1;
1007                         }
1008                 elsif (/^-l(.*)$/)
1009                         {
1010                         push @{$useradd{LDLIBS}}, $_;
1011                         }
1012                 elsif (/^-framework$/)
1013                         {
1014                         push @{$useradd{LDLIBS}}, $_, shift(@argvcopy);
1015                         }
1016                 elsif (/^-L(.*)$/ or /^-Wl,/)
1017                         {
1018                         push @{$useradd{LDFLAGS}}, $_;
1019                         }
1020                 elsif (/^-rpath$/ or /^-R$/)
1021                         # -rpath is the OSF1 rpath flag
1022                         # -R is the old Solaris rpath flag
1023                         {
1024                         my $rpath = shift(@argvcopy) || "";
1025                         $rpath .= " " if $rpath ne "";
1026                         push @{$useradd{LDFLAGS}}, $_, $rpath;
1027                         }
1028                 elsif (/^-static$/)
1029                         {
1030                         push @{$useradd{LDFLAGS}}, $_;
1031                         }
1032                 elsif (m|^[-/]D(.*)$|)
1033                         {
1034                         push @{$useradd{CPPDEFINES}}, $1;
1035                         }
1036                 elsif (m|^[-/]I(.*)$|)
1037                         {
1038                         push @{$useradd{CPPINCLUDES}}, $1;
1039                         }
1040                 elsif (/^-Wp,$/)
1041                         {
1042                         push @{$useradd{CPPFLAGS}}, $1;
1043                         }
1044                 else    # common if (/^[-+]/), just pass down...
1045                         {
1046                         # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1047                         # This provides a simple way to pass options with arguments separated
1048                         # by spaces without quoting (e.g. -opt%20arg translates to -opt arg).
1049                         $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1050                         push @{$useradd{CFLAGS}}, $_;
1051                         push @{$useradd{CXXFLAGS}}, $_;
1052                         }
1053                 }
1054         elsif (m|^/|)
1055                 {
1056                 # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1057                 # This provides a simple way to pass options with arguments separated
1058                 # by spaces without quoting (e.g. /opt%20arg translates to /opt arg).
1059                 $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1060                 push @{$useradd{CFLAGS}}, $_;
1061                 push @{$useradd{CXXFLAGS}}, $_;
1062                 }
1063         else
1064                 {
1065                 die "target already defined - $target (offending arg: $_)\n" if ($target ne "");
1066                 $target=$_;
1067                 }
1068         unless ($_ eq $target || /^no-/ || /^disable-/)
1069                 {
1070                 # "no-..." follows later after implied deactivations
1071                 # have been derived.  (Don't take this too seriously,
1072                 # we really only write OPTIONS to the Makefile out of
1073                 # nostalgia.)
1074
1075                 if ($config{options} eq "")
1076                         { $config{options} = $_; }
1077                 else
1078                         { $config{options} .= " ".$_; }
1079                 }
1080         }
1081
1082 if (keys %deprecated_options)
1083         {
1084         warn "***** Deprecated options: ",
1085                 join(", ", keys %deprecated_options), "\n";
1086         }
1087 if (keys %unsupported_options)
1088         {
1089         die "***** Unsupported options: ",
1090                 join(", ", keys %unsupported_options), "\n";
1091         }
1092
1093 # If any %useradd entry has been set, we must check that the "make
1094 # variables" haven't been set.  We start by checking of any %useradd entry
1095 # is set.
1096 if (grep { scalar @$_ > 0 } values %useradd) {
1097     # Hash of env / make variables names.  The possible values are:
1098     # 1 - "make vars"
1099     # 2 - %useradd entry set
1100     # 3 - both set
1101     my %detected_vars =
1102         map { my $v = 0;
1103               $v += 1 if $cmdvars{$_};
1104               $v += 2 if @{$useradd{$_}};
1105               $_ => $v }
1106         keys %useradd;
1107
1108     # If any of the corresponding "make variables" is set, we error
1109     if (grep { $_ & 1 } values %detected_vars) {
1110         my $names = join(', ', grep { $detected_vars{$_} > 0 }
1111                                sort keys %detected_vars);
1112         die <<"_____";
1113 ***** Mixing make variables and additional compiler/linker flags as
1114 ***** configure command line option is not permitted.
1115 ***** Affected make variables: $names
1116 _____
1117     }
1118 }
1119
1120 # Check through all supported command line variables to see if any of them
1121 # were set, and canonicalise the values we got.  If no compiler or linker
1122 # flag or anything else that affects %useradd was set, we also check the
1123 # environment for values.
1124 my $anyuseradd =
1125     grep { defined $_ && (ref $_ ne 'ARRAY' || @$_) } values %useradd;
1126 foreach (keys %user) {
1127     my $value = $cmdvars{$_};
1128     $value //= env($_) unless $anyuseradd;
1129     $value //=
1130         defined $user_synonyms{$_} ? $cmdvars{$user_synonyms{$_}} : undef;
1131     $value //= defined $user_synonyms{$_} ? env($user_synonyms{$_}) : undef
1132         unless $anyuseradd;
1133
1134     if (defined $value) {
1135         if (ref $user{$_} eq 'ARRAY') {
1136             if ($_ eq 'CPPDEFINES' || $_ eq 'CPPINCLUDES') {
1137                 $user{$_} = [ split /$list_separator_re/, $value ];
1138             } else {
1139                 $user{$_} = [ $value ];
1140             }
1141         } elsif (!defined $user{$_}) {
1142             $user{$_} = $value;
1143         }
1144     }
1145 }
1146
1147 if (grep { /-rpath\b/ } ($user{LDFLAGS} ? @{$user{LDFLAGS}} : ())
1148     && !$disabled{shared}
1149     && !($disabled{asan} && $disabled{msan} && $disabled{ubsan})) {
1150     die "***** Cannot simultaneously use -rpath, shared libraries, and\n",
1151         "***** any of asan, msan or ubsan\n";
1152 }
1153
1154 # If no target was given, try guessing.
1155 unless ($target) {
1156     my %system_config = OpenSSL::config::get_platform(%guess_opts, %user);
1157
1158     # The $system_config{disable} is used to populate %disabled with
1159     # entries that aren't already there.
1160     foreach ( @{$system_config{disable} // []} ) {
1161         $disabled{$_} = 'system' unless defined $disabled{$_};
1162     }
1163     delete $system_config{disable};
1164
1165     # Override config entries with stuff from the guesser.
1166     # It's assumed that this really is nothing new.
1167     %config = ( %config, %system_config );
1168     $target = $system_config{target};
1169 }
1170
1171 sub disable {
1172     my $disable_type = shift;
1173
1174     for (@_) {
1175         $disabled{$_} = $disable_type;
1176     }
1177
1178     my @tocheckfor = (@_ ? @_ : keys %disabled);
1179     while (@tocheckfor) {
1180         my %new_tocheckfor = ();
1181         my @cascade_copy = (@disable_cascades);
1182         while (@cascade_copy) {
1183             my ($test, $descendents) =
1184                 (shift @cascade_copy, shift @cascade_copy);
1185             if (ref($test) eq "CODE" ? $test->() : defined($disabled{$test})) {
1186                 foreach (grep { !defined($disabled{$_}) } @$descendents) {
1187                     $new_tocheckfor{$_} = 1; $disabled{$_} = "cascade";
1188                 }
1189             }
1190         }
1191         @tocheckfor = (keys %new_tocheckfor);
1192     }
1193 }
1194 disable();                     # First cascade run
1195
1196 our $die = sub { die @_; };
1197 if ($target eq "TABLE") {
1198     local $die = sub { warn @_; };
1199     foreach (sort keys %table) {
1200         print_table_entry($_, "TABLE");
1201     }
1202     exit 0;
1203 }
1204
1205 if ($target eq "LIST") {
1206     foreach (sort keys %table) {
1207         print $_,"\n" unless $table{$_}->{template};
1208     }
1209     exit 0;
1210 }
1211
1212 if ($target eq "HASH") {
1213     local $die = sub { warn @_; };
1214     print "%table = (\n";
1215     foreach (sort keys %table) {
1216         print_table_entry($_, "HASH");
1217     }
1218     exit 0;
1219 }
1220
1221 print "Configuring OpenSSL version $config{full_version} ";
1222 print "for target $target\n";
1223
1224 if (scalar(@seed_sources) == 0) {
1225     print "Using os-specific seed configuration\n";
1226     push @seed_sources, 'os';
1227 }
1228 if (scalar(grep { $_ eq 'egd' } @seed_sources) > 0) {
1229     delete $disabled{'egd'};
1230 }
1231 if (scalar(grep { $_ eq 'none' } @seed_sources) > 0) {
1232     die "Cannot seed with none and anything else" if scalar(@seed_sources) > 1;
1233     warn <<_____ if scalar(@seed_sources) == 1;
1234
1235 ============================== WARNING ===============================
1236 You have selected the --with-rand-seed=none option, which effectively
1237 disables automatic reseeding of the OpenSSL random generator.
1238 All operations depending on the random generator such as creating keys
1239 will not work unless the random generator is seeded manually by the
1240 application.
1241
1242 Please read the 'Note on random number generation' section in the
1243 INSTALL.md instructions and the RAND_DRBG(7) manual page for more
1244 details.
1245 ============================== WARNING ===============================
1246
1247 _____
1248 }
1249 push @{$config{openssl_feature_defines}},
1250      map { (my $x = $_) =~ tr|[\-a-z]|[_A-Z]|; "OPENSSL_RAND_SEED_$x" }
1251         @seed_sources;
1252
1253 # Backward compatibility?
1254 if ($target =~ m/^CygWin32(-.*)$/) {
1255     $target = "Cygwin".$1;
1256 }
1257
1258 # Support for legacy targets having a name starting with 'debug-'
1259 my ($d, $t) = $target =~ m/^(debug-)?(.*)$/;
1260 if ($d) {
1261     $config{build_type} = "debug";
1262
1263     # If we do not find debug-foo in the table, the target is set to foo.
1264     if (!$table{$target}) {
1265         $target = $t;
1266     }
1267 }
1268
1269 if ($target) {
1270     # It's possible that we have different config targets for specific
1271     # toolchains, so we try to detect them, and go for the plain config
1272     # target if not.
1273     my $found;
1274     foreach ( ( "$target-$user{CC}", "$target", undef ) ) {
1275         $found=$_ if $table{$_} && !$table{$_}->{template};
1276         last if $found;
1277     }
1278     $target = $found;
1279 } else {
1280     # If we don't have a config target now, we try the C compiler as we
1281     # fallback
1282     my $cc = $user{CC} // 'cc';
1283     $target = $cc if $table{$cc} && !$table{$cc}->{template};
1284 }
1285
1286 &usage unless $target;
1287
1288 exit 0 if $dryrun;              # From older 'config'
1289
1290 $config{target} = $target;
1291 my %target = resolve_config($target);
1292
1293 foreach (keys %target_attr_translate) {
1294     $target{$target_attr_translate{$_}} = $target{$_}
1295         if $target{$_};
1296     delete $target{$_};
1297 }
1298
1299 %target = ( %{$table{DEFAULTS}}, %target );
1300
1301 my %conf_files = map { $_ => 1 } (@{$target{_conf_fname_int}});
1302 $config{conf_files} = [ sort keys %conf_files ];
1303
1304 # Using sub disable within these loops may prove fragile, so we run
1305 # a cascade afterwards
1306 foreach my $feature (@{$target{disable}}) {
1307     if (exists $deprecated_disablables{$feature}) {
1308         warn "***** config $target disables deprecated feature $feature\n";
1309     } elsif (!grep { $feature eq $_ } @disablables) {
1310         die "***** config $target disables unknown feature $feature\n";
1311     }
1312     $disabled{$feature} = 'config';
1313 }
1314 foreach my $feature (@{$target{enable}}) {
1315     if ("default" eq ($disabled{$feature} // "")) {
1316         if (exists $deprecated_disablables{$feature}) {
1317             warn "***** config $target enables deprecated feature $feature\n";
1318         } elsif (!grep { $feature eq $_ } @disablables) {
1319             die "***** config $target enables unknown feature $feature\n";
1320         }
1321         delete $disabled{$feature};
1322     }
1323 }
1324
1325 # If uplink_arch isn't defined, disable uplink
1326 $disabled{uplink} = 'no uplink_arch' unless (defined $target{uplink_arch});
1327 # If asm_arch isn't defined, disable asm
1328 $disabled{asm} = 'no asm_arch' unless (defined $target{asm_arch});
1329
1330 disable();                      # Run a cascade now
1331
1332 $target{CXXFLAGS}//=$target{CFLAGS} if $target{CXX};
1333 $target{cxxflags}//=$target{cflags} if $target{CXX};
1334 $target{exe_extension}=".exe" if ($config{target} eq "DJGPP");
1335 $target{exe_extension}=".pm"  if ($config{target} =~ /vos/);
1336
1337 # Fill %config with values from %user, and in case those are undefined or
1338 # empty, use values from %target (acting as a default).
1339 foreach (keys %user) {
1340     my $ref_type = ref $user{$_};
1341
1342     # Temporary function.  Takes an intended ref type (empty string or "ARRAY")
1343     # and a value that's to be coerced into that type.
1344     my $mkvalue = sub {
1345         my $type = shift;
1346         my $value = shift;
1347         my $undef_p = shift;
1348
1349         die "Too many arguments for \$mkvalue" if @_;
1350
1351         while (ref $value eq 'CODE') {
1352             $value = $value->();
1353         }
1354
1355         if ($type eq 'ARRAY') {
1356             return undef unless defined $value;
1357             return undef if ref $value ne 'ARRAY' && !$value;
1358             return undef if ref $value eq 'ARRAY' && !@$value;
1359             return [ $value ] unless ref $value eq 'ARRAY';
1360         }
1361         return undef unless $value;
1362         return $value;
1363     };
1364
1365     $config{$_} =
1366         $mkvalue->($ref_type, $user{$_})
1367         || $mkvalue->($ref_type, $target{$_});
1368     delete $config{$_} unless defined $config{$_};
1369 }
1370
1371 # Finish up %config by appending things the user gave us on the command line
1372 # apart from "make variables"
1373 foreach (keys %useradd) {
1374     # The must all be lists, so we assert that here
1375     die "internal error: \$useradd{$_} isn't an ARRAY\n"
1376         unless ref $useradd{$_} eq 'ARRAY';
1377
1378     if (defined $config{$_}) {
1379         push @{$config{$_}}, @{$useradd{$_}};
1380     } else {
1381         $config{$_} = [ @{$useradd{$_}} ];
1382     }
1383 }
1384 # At this point, we can forget everything about %user and %useradd,
1385 # because it's now all been merged into the corresponding $config entry
1386
1387 if (grep { $_ =~ /(?:^|\s)-static(?:\s|$)/ } @{$config{LDFLAGS}}) {
1388     disable('static', 'pic', 'threads');
1389 }
1390
1391 # Allow overriding the build file name
1392 $config{build_file} = env('BUILDFILE') || $target{build_file} || "Makefile";
1393
1394 # Make sure build_scheme is consistent.
1395 $target{build_scheme} = [ $target{build_scheme} ]
1396     if ref($target{build_scheme}) ne "ARRAY";
1397
1398 my ($builder, $builder_platform, @builder_opts) =
1399     @{$target{build_scheme}};
1400
1401 foreach my $checker (($builder_platform."-".$target{build_file}."-checker.pm",
1402                       $builder_platform."-checker.pm")) {
1403     my $checker_path = catfile($srcdir, "Configurations", $checker);
1404     if (-f $checker_path) {
1405         my $fn = $ENV{CONFIGURE_CHECKER_WARN}
1406             ? sub { warn $@; } : sub { die $@; };
1407         if (! do $checker_path) {
1408             if ($@) {
1409                 $fn->($@);
1410             } elsif ($!) {
1411                 $fn->($!);
1412             } else {
1413                 $fn->("The detected tools didn't match the platform\n");
1414             }
1415         }
1416         last;
1417     }
1418 }
1419
1420 push @{$config{defines}}, "NDEBUG"    if $config{build_type} eq "release";
1421
1422 if ($target =~ /^mingw/ && `$config{CC} --target-help 2>&1` =~ m/-mno-cygwin/m)
1423         {
1424         push @{$config{cflags}}, "-mno-cygwin";
1425         push @{$config{cxxflags}}, "-mno-cygwin" if $config{CXX};
1426         push @{$config{shared_ldflag}}, "-mno-cygwin";
1427         }
1428
1429 if ($target =~ /linux.*-mips/ && !$disabled{asm}
1430         && !grep { $_ !~ /-m(ips|arch=)/ } (@{$config{CFLAGS}})) {
1431         # minimally required architecture flags for assembly modules
1432         my $value;
1433         $value = '-mips2' if ($target =~ /mips32/);
1434         $value = '-mips3' if ($target =~ /mips64/);
1435         unshift @{$config{cflags}}, $value;
1436         unshift @{$config{cxxflags}}, $value if $config{CXX};
1437 }
1438
1439 # If threads aren't disabled, check how possible they are
1440 unless ($disabled{threads}) {
1441     if ($auto_threads) {
1442         # Enabled by default, disable it forcibly if unavailable
1443         if ($target{thread_scheme} eq "(unknown)") {
1444             disable("unavailable", 'threads');
1445         }
1446     } else {
1447         # The user chose to enable threads explicitly, let's see
1448         # if there's a chance that's possible
1449         if ($target{thread_scheme} eq "(unknown)") {
1450             # If the user asked for "threads" and we don't have internal
1451             # knowledge how to do it, [s]he is expected to provide any
1452             # system-dependent compiler options that are necessary.  We
1453             # can't truly check that the given options are correct, but
1454             # we expect the user to know what [s]He is doing.
1455             if (!@{$config{CFLAGS}} && !@{$config{CPPDEFINES}}) {
1456                 die "You asked for multi-threading support, but didn't\n"
1457                     ,"provide any system-specific compiler options\n";
1458             }
1459         }
1460     }
1461 }
1462
1463 # Find out if clang's sanitizers have been enabled with -fsanitize
1464 # flags and ensure that the corresponding %disabled elements area
1465 # removed to reflect that the sanitizers are indeed enabled.
1466 my %detected_sanitizers = ();
1467 foreach (grep /^-fsanitize=/, @{$config{CFLAGS} || []}) {
1468     (my $checks = $_) =~ s/^-fsanitize=//;
1469     foreach (split /,/, $checks) {
1470         my $d = { address       => 'asan',
1471                   undefined     => 'ubsan',
1472                   memory        => 'msan' } -> {$_};
1473         next unless defined $d;
1474
1475         $detected_sanitizers{$d} = 1;
1476         if (defined $disabled{$d}) {
1477             die "***** Conflict between disabling $d and enabling $_ sanitizer"
1478                 if $disabled{$d} ne "default";
1479             delete $disabled{$d};
1480         }
1481     }
1482 }
1483
1484 # If threads still aren't disabled, add a C macro to ensure the source
1485 # code knows about it.  Any other flag is taken care of by the configs.
1486 unless($disabled{threads}) {
1487     push @{$config{openssl_feature_defines}}, "OPENSSL_THREADS";
1488 }
1489
1490 my $no_shared_warn=0;
1491 if (($target{shared_target} // '') eq "")
1492         {
1493         $no_shared_warn = 1
1494             if (!$disabled{shared} || !$disabled{"dynamic-engine"});
1495         disable('no-shared-target', 'pic');
1496         }
1497
1498 if ($disabled{"dynamic-engine"}) {
1499         $config{dynamic_engines} = 0;
1500 } else {
1501         $config{dynamic_engines} = 1;
1502 }
1503
1504 unless ($disabled{asan} || defined $detected_sanitizers{asan}) {
1505     push @{$config{cflags}}, "-fsanitize=address";
1506 }
1507
1508 unless ($disabled{ubsan} || defined $detected_sanitizers{ubsan}) {
1509     # -DPEDANTIC or -fnosanitize=alignment may also be required on some
1510     # platforms.
1511     push @{$config{cflags}}, "-fsanitize=undefined", "-fno-sanitize-recover=all";
1512 }
1513
1514 unless ($disabled{msan} || defined $detected_sanitizers{msan}) {
1515   push @{$config{cflags}}, "-fsanitize=memory";
1516 }
1517
1518 unless ($disabled{"fuzz-libfuzzer"} && $disabled{"fuzz-afl"}
1519         && $disabled{asan} && $disabled{ubsan} && $disabled{msan}) {
1520     push @{$config{cflags}}, "-fno-omit-frame-pointer", "-g";
1521     push @{$config{cxxflags}}, "-fno-omit-frame-pointer", "-g" if $config{CXX};
1522 }
1523 #
1524 # Platform fix-ups
1525 #
1526
1527 # This saves the build files from having to check
1528 if ($disabled{pic})
1529         {
1530         foreach (qw(shared_cflag shared_cxxflag shared_cppflag
1531                     shared_defines shared_includes shared_ldflag
1532                     module_cflags module_cxxflags module_cppflags
1533                     module_defines module_includes module_lflags))
1534                 {
1535                 delete $config{$_};
1536                 $target{$_} = "";
1537                 }
1538         }
1539 else
1540         {
1541         push @{$config{lib_defines}}, "OPENSSL_PIC";
1542         }
1543
1544 if ($target{sys_id} ne "")
1545         {
1546         push @{$config{openssl_sys_defines}}, "OPENSSL_SYS_$target{sys_id}";
1547         }
1548
1549 my %predefined_C = compiler_predefined($config{CROSS_COMPILE}.$config{CC});
1550 my %predefined_CXX = $config{CXX}
1551     ? compiler_predefined($config{CROSS_COMPILE}.$config{CXX})
1552     : ();
1553
1554 unless ($disabled{asm}) {
1555     # big endian systems can use ELFv2 ABI
1556     if ($target eq "linux-ppc64" || $target eq "BSD-ppc64") {
1557         $target{perlasm_scheme} = "linux64v2" if ($predefined_C{_CALL_ELF} == 2);
1558     }
1559 }
1560
1561 # Check for makedepend capabilities.
1562 if (!$disabled{makedepend}) {
1563     # If the attribute makedep_scheme is defined, then we assume that the
1564     # config target and its associated build file are programmed to deal
1565     # with it.
1566     # If makedep_scheme is undefined, we go looking for GCC compatible
1567     # dependency making, and if that's not available, we try to fall back
1568     # on 'makedepend'.
1569     if ($target{makedep_scheme}) {
1570         $config{makedep_scheme} = $target{makedep_scheme};
1571         # If the makedepcmd attribute is defined, copy it.  If not, the
1572         # build files will have to fend for themselves.
1573         $config{makedepcmd} = $target{makedepcmd} if $target{makedepcmd};
1574     } elsif (($predefined_C{__GNUC__} // -1) >= 3
1575              && !($predefined_C{__APPLE_CC__} && !$predefined_C{__clang__})) {
1576         # We know that GNU C version 3 and up as well as all clang
1577         # versions support dependency generation, but Xcode did not
1578         # handle $cc -M before clang support (but claims __GNUC__ = 3)
1579         $config{makedep_scheme} = 'gcc';
1580     } else {
1581         # In all other cases, we look for 'makedepend', and set the
1582         # makedep_scheme value if we found it.
1583         $config{makedepcmd} = which('makedepend');
1584         $config{makedep_scheme} = 'makedepend' if $config{makedepcmd};
1585     }
1586
1587     # If no depend scheme is set, we disable makedepend
1588     disable('unavailable', 'makedepend') unless $config{makedep_scheme};
1589 }
1590
1591 if (!$disabled{asm} && !$predefined_C{__MACH__} && $^O ne 'VMS') {
1592     # probe for -Wa,--noexecstack option...
1593     if ($predefined_C{__clang__}) {
1594         # clang has builtin assembler, which doesn't recognize --help,
1595         # but it apparently recognizes the option in question on all
1596         # supported platforms even when it's meaningless. In other words
1597         # probe would fail, but probed option always accepted...
1598         push @{$config{cflags}}, "-Wa,--noexecstack", "-Qunused-arguments";
1599     } else {
1600         my $cc = $config{CROSS_COMPILE}.$config{CC};
1601         open(PIPE, "$cc -Wa,--help -c -o null.$$.o -x assembler /dev/null 2>&1 |");
1602         while(<PIPE>) {
1603             if (m/--noexecstack/) {
1604                 push @{$config{cflags}}, "-Wa,--noexecstack";
1605                 last;
1606             }
1607         }
1608         close(PIPE);
1609         unlink("null.$$.o");
1610     }
1611 }
1612
1613 # Deal with bn_ops ###################################################
1614
1615 $config{bn_ll}                  =0;
1616 my $def_int="unsigned int";
1617 $config{rc4_int}                =$def_int;
1618 ($config{b64l},$config{b64},$config{b32})=(0,0,1);
1619
1620 my $count = 0;
1621 foreach (sort split(/\s+/,$target{bn_ops})) {
1622     $count++ if /SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT/;
1623     $config{bn_ll}=1                            if $_ eq 'BN_LLONG';
1624     $config{rc4_int}="unsigned char"            if $_ eq 'RC4_CHAR';
1625     ($config{b64l},$config{b64},$config{b32})
1626         =(0,1,0)                                if $_ eq 'SIXTY_FOUR_BIT';
1627     ($config{b64l},$config{b64},$config{b32})
1628         =(1,0,0)                                if $_ eq 'SIXTY_FOUR_BIT_LONG';
1629     ($config{b64l},$config{b64},$config{b32})
1630         =(0,0,1)                                if $_ eq 'THIRTY_TWO_BIT';
1631 }
1632 die "Exactly one of SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT can be set in bn_ops\n"
1633     if $count > 1;
1634
1635 $config{api} = $config{major} * 10000 + $config{minor} * 100
1636     unless $config{api};
1637 foreach (keys %$apitable) {
1638     $disabled{"deprecated-$_"} = "deprecation"
1639         if $disabled{deprecated} && $config{api} >= $apitable->{$_};
1640 }
1641
1642 disable();                      # Run a cascade now
1643
1644 # Hack cflags for better warnings (dev option) #######################
1645
1646 # "Stringify" the C and C++ flags string.  This permits it to be made part of
1647 # a string and works as well on command lines.
1648 $config{cflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1649                         @{$config{cflags}} ];
1650 $config{cxxflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1651                           @{$config{cxxflags}} ] if $config{CXX};
1652
1653 $config{openssl_api_defines} = [
1654     "OPENSSL_CONFIGURED_API=".$config{api},
1655 ];
1656
1657 my @strict_warnings_collection=();
1658 if ($strict_warnings)
1659         {
1660         my $wopt;
1661         my $gccver = $predefined_C{__GNUC__} // -1;
1662
1663         if ($gccver >= 4)
1664                 {
1665                 push @strict_warnings_collection, @gcc_devteam_warn;
1666                 push @strict_warnings_collection, @clang_devteam_warn
1667                     if (defined($predefined_C{__clang__}));
1668                 }
1669         elsif ($config{target} =~ /^VC-/)
1670                 {
1671                 push @strict_warnings_collection, @cl_devteam_warn;
1672                 }
1673         else
1674                 {
1675                 warn "WARNING --strict-warnings requires gcc[>=4] or gcc-alike, or MSVC"
1676                 }
1677         }
1678
1679 $config{CFLAGS} = [ map { $_ eq '--ossl-strict-warnings'
1680                               ? @strict_warnings_collection
1681                               : ( $_ ) }
1682                     @{$config{CFLAGS}} ];
1683
1684 unless ($disabled{afalgeng}) {
1685     $config{afalgeng}="";
1686     if (grep { $_ eq 'afalgeng' } @{$target{enable}}) {
1687         push @{$config{engdirs}}, "afalg";
1688     } else {
1689         disable('not-linux', 'afalgeng');
1690     }
1691 }
1692
1693 unless ($disabled{devcryptoeng}) {
1694     if ($target =~ m/^BSD/) {
1695         my $maxver = 5*100 + 7;
1696         my $sysstr = `uname -s`;
1697         my $verstr = `uname -r`;
1698         $sysstr =~ s|\R$||;
1699         $verstr =~ s|\R$||;
1700         my ($ma, $mi, @rest) = split m|\.|, $verstr;
1701         my $ver = $ma*100 + $mi;
1702         if ($sysstr eq 'OpenBSD' && $ver >= $maxver) {
1703             disable('too-new-kernel', 'devcryptoeng');
1704         }
1705     }
1706 }
1707
1708 unless ($disabled{ktls}) {
1709     $config{ktls}="";
1710     if ($target =~ m/^linux/) {
1711         my $usr = "/usr/$config{cross_compile_prefix}";
1712         chop($usr);
1713         if ($config{cross_compile_prefix} eq "") {
1714             $usr = "/usr";
1715         }
1716         my $minver = (4 << 16) + (13 << 8) + 0;
1717         my @verstr = split(" ",`cat $usr/include/linux/version.h | grep LINUX_VERSION_CODE`);
1718
1719         if ($verstr[2] < $minver) {
1720             disable('too-old-kernel', 'ktls');
1721         }
1722     } elsif ($target =~ m/^BSD/) {
1723         my $cc = $config{CROSS_COMPILE}.$config{CC};
1724         system("printf '#include <sys/types.h>\n#include <sys/ktls.h>' | $cc -E - >/dev/null 2>&1");
1725         if ($? != 0) {
1726             disable('too-old-freebsd', 'ktls');
1727         }
1728     } else {
1729         disable('not-linux-or-freebsd', 'ktls');
1730     }
1731 }
1732
1733 push @{$config{openssl_other_defines}}, "OPENSSL_NO_KTLS" if ($disabled{ktls});
1734
1735 # Get the extra flags used when building shared libraries and modules.  We
1736 # do this late because some of them depend on %disabled.
1737
1738 # Make the flags to build DSOs the same as for shared libraries unless they
1739 # are already defined
1740 $target{module_cflags} = $target{shared_cflag} unless defined $target{module_cflags};
1741 $target{module_cxxflags} = $target{shared_cxxflag} unless defined $target{module_cxxflags};
1742 $target{module_ldflags} = $target{shared_ldflag} unless defined $target{module_ldflags};
1743 {
1744     my $shared_info_pl =
1745         catfile(dirname($0), "Configurations", "shared-info.pl");
1746     my %shared_info = read_eval_file($shared_info_pl);
1747     push @{$target{_conf_fname_int}}, $shared_info_pl;
1748     my $si = $target{shared_target};
1749     while (ref $si ne "HASH") {
1750         last if ! defined $si;
1751         if (ref $si eq "CODE") {
1752             $si = $si->();
1753         } else {
1754             $si = $shared_info{$si};
1755         }
1756     }
1757
1758     # Some of the 'shared_target' values don't have any entries in
1759     # %shared_info.  That's perfectly fine, AS LONG AS the build file
1760     # template knows how to handle this.  That is currently the case for
1761     # Windows and VMS.
1762     if (defined $si) {
1763         # Just as above, copy certain shared_* attributes to the corresponding
1764         # module_ attribute unless the latter is already defined
1765         $si->{module_cflags} = $si->{shared_cflag} unless defined $si->{module_cflags};
1766         $si->{module_cxxflags} = $si->{shared_cxxflag} unless defined $si->{module_cxxflags};
1767         $si->{module_ldflags} = $si->{shared_ldflag} unless defined $si->{module_ldflags};
1768         foreach (sort keys %$si) {
1769             $target{$_} = defined $target{$_}
1770                 ? add($si->{$_})->($target{$_})
1771                 : $si->{$_};
1772         }
1773     }
1774 }
1775
1776 # ALL MODIFICATIONS TO %disabled, %config and %target MUST BE DONE FROM HERE ON
1777
1778 ######################################################################
1779 # Build up information for skipping certain directories depending on disabled
1780 # features, as well as setting up macros for disabled features.
1781
1782 # This is a tentative database of directories to skip.  Some entries may not
1783 # correspond to anything real, but that's ok, they will simply be ignored.
1784 # The actual processing of these entries is done in the build.info lookup
1785 # loop further down.
1786 #
1787 # The key is a Unix formatted path in the source tree, the value is an index
1788 # into %disabled_info, so any existing path gets added to a corresponding
1789 # 'skipped' entry in there with the list of skipped directories.
1790 my %skipdir = ();
1791 my %disabled_info = ();         # For configdata.pm
1792 foreach my $what (sort keys %disabled) {
1793     # There are deprecated disablables that translate to themselves.
1794     # They cause disabling cascades, but should otherwise not register.
1795     next if $deprecated_disablables{$what};
1796     # The generated $disabled{"deprecated-x.y"} entries are special
1797     # and treated properly elsewhere
1798     next if $what =~ m|^deprecated-|;
1799
1800     $config{options} .= " no-$what";
1801
1802     if (!grep { $what eq $_ } ( 'buildtest-c++', 'fips', 'threads', 'shared',
1803                                 'module', 'pic', 'dynamic-engine', 'makedepend',
1804                                 'zlib-dynamic', 'zlib', 'sse2', 'legacy' )) {
1805         (my $WHAT = uc $what) =~ s|-|_|g;
1806         my $skipdir = $what;
1807
1808         # fix-up crypto/directory name(s)
1809         $skipdir = "ripemd" if $what eq "rmd160";
1810         $skipdir = "whrlpool" if $what eq "whirlpool";
1811
1812         my $macro = $disabled_info{$what}->{macro} = "OPENSSL_NO_$WHAT";
1813         push @{$config{openssl_feature_defines}}, $macro;
1814
1815         $skipdir{engines} = $what if $what eq 'engine';
1816         $skipdir{"crypto/$skipdir"} = $what
1817             unless $what eq 'async' || $what eq 'err' || $what eq 'dso';
1818     }
1819 }
1820
1821 if ($disabled{"dynamic-engine"}) {
1822     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_DYNAMIC_ENGINE";
1823 } else {
1824     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_STATIC_ENGINE";
1825 }
1826
1827 # If we use the unified build, collect information from build.info files
1828 my %unified_info = ();
1829
1830 my $buildinfo_debug = defined($ENV{CONFIGURE_DEBUG_BUILDINFO});
1831 if ($builder eq "unified") {
1832     use Text::Template 1.46;
1833
1834     sub cleandir {
1835         my $base = shift;
1836         my $dir = shift;
1837         my $relativeto = shift || ".";
1838
1839         $dir = catdir($base,$dir) unless isabsolute($dir);
1840
1841         # Make sure the directories we're building in exists
1842         mkpath($dir);
1843
1844         my $res = abs2rel(absolutedir($dir), rel2abs($relativeto));
1845         #print STDERR "DEBUG[cleandir]: $dir , $base => $res\n";
1846         return $res;
1847     }
1848
1849     sub cleanfile {
1850         my $base = shift;
1851         my $file = shift;
1852         my $relativeto = shift || ".";
1853
1854         $file = catfile($base,$file) unless isabsolute($file);
1855
1856         my $d = dirname($file);
1857         my $f = basename($file);
1858
1859         # Make sure the directories we're building in exists
1860         mkpath($d);
1861
1862         my $res = abs2rel(catfile(absolutedir($d), $f), rel2abs($relativeto));
1863         #print STDERR "DEBUG[cleanfile]: $d , $f => $res\n";
1864         return $res;
1865     }
1866
1867     # Store the name of the template file we will build the build file from
1868     # in %config.  This may be useful for the build file itself.
1869     my @build_file_template_names =
1870         ( $builder_platform."-".$target{build_file}.".tmpl",
1871           $target{build_file}.".tmpl" );
1872     my @build_file_templates = ();
1873
1874     # First, look in the user provided directory, if given
1875     if (defined env($local_config_envname)) {
1876         @build_file_templates =
1877             map {
1878                 if ($^O eq 'VMS') {
1879                     # VMS environment variables are logical names,
1880                     # which can be used as is
1881                     $local_config_envname . ':' . $_;
1882                 } else {
1883                     catfile(env($local_config_envname), $_);
1884                 }
1885             }
1886             @build_file_template_names;
1887     }
1888     # Then, look in our standard directory
1889     push @build_file_templates,
1890         ( map { cleanfile($srcdir, catfile("Configurations", $_), $blddir) }
1891           @build_file_template_names );
1892
1893     my $build_file_template;
1894     for $_ (@build_file_templates) {
1895         $build_file_template = $_;
1896         last if -f $build_file_template;
1897
1898         $build_file_template = undef;
1899     }
1900     if (!defined $build_file_template) {
1901         die "*** Couldn't find any of:\n", join("\n", @build_file_templates), "\n";
1902     }
1903     $config{build_file_templates}
1904       = [ cleanfile($srcdir, catfile("Configurations", "common0.tmpl"),
1905                     $blddir),
1906            $build_file_template ];
1907
1908     my @build_dirs = ( [ ] );   # current directory
1909
1910     $config{build_infos} = [ ];
1911
1912     # We want to detect configdata.pm in the source tree, so we
1913     # don't use it if the build tree is different.
1914     my $src_configdata = cleanfile($srcdir, "configdata.pm", $blddir);
1915
1916     # Any source file that we recognise is placed in this hash table, with
1917     # the list of its intended destinations as value.  When everything has
1918     # been collected, there's a routine that checks that these source files
1919     # exist, or if they are generated, that the generator exists.
1920     my %check_exist = ();
1921     my %check_generate = ();
1922
1923     my %ordinals = ();
1924     while (@build_dirs) {
1925         my @curd = @{shift @build_dirs};
1926         my $sourced = catdir($srcdir, @curd);
1927         my $buildd = catdir($blddir, @curd);
1928
1929         my $unixdir = join('/', @curd);
1930         if (exists $skipdir{$unixdir}) {
1931             my $what = $skipdir{$unixdir};
1932             push @{$disabled_info{$what}->{skipped}}, catdir(@curd);
1933             next;
1934         }
1935
1936         mkpath($buildd);
1937
1938         my $f = 'build.info';
1939         # The basic things we're trying to build
1940         my @programs = ();
1941         my @libraries = ();
1942         my @modules = ();
1943         my @scripts = ();
1944
1945         my %sources = ();
1946         my %shared_sources = ();
1947         my %includes = ();
1948         my %defines = ();
1949         my %depends = ();
1950         my %generate = ();
1951         my %imagedocs = ();
1952         my %htmldocs = ();
1953         my %mandocs = ();
1954
1955         # Support for $variablename in build.info files.
1956         # Embedded perl code is the ultimate master, still.  If its output
1957         # contains a dollar sign, it had better be escaped, or it will be
1958         # taken for a variable name prefix.
1959         my %variables = ();
1960         # Variable name syntax
1961         my $variable_name_re = qr/(?P<VARIABLE>[[:alpha:]][[:alnum:]_]*)/;
1962         # Value modifier syntaxes
1963         my $variable_subst_re = qr/\/(?P<RE>(?:\\\/|.)*?)\/(?P<SUBST>.*?)/;
1964         # Variable reference
1965         my $variable_simple_re = qr/(?<!\\)\$${variable_name_re}/;
1966         my $variable_w_mod_re =
1967             qr/(?<!\\)\$\{${variable_name_re}(?P<MOD>(?:\\\/|.)*?)\}/;
1968         # Tie it all together
1969         my $variable_re = qr/${variable_simple_re}|${variable_w_mod_re}/;
1970
1971         my $expand_variables = sub {
1972             my $value = '';
1973             my $value_rest = shift;
1974
1975             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1976                 print STDERR
1977                     "DEBUG[\$expand_variables] Parsed '$value_rest' ...\n"
1978             }
1979
1980             while ($value_rest =~ /${variable_re}/) {
1981                 # We must save important regexp values, because the next
1982                 # regexp clears them
1983                 my $mod = $+{MOD};
1984                 my $variable_value = $variables{$+{VARIABLE}};
1985
1986                 $value_rest = $';
1987                 $value .= $`;
1988
1989                 # Process modifier expressions, if present
1990                 if (defined $mod) {
1991                     if ($mod =~ /^${variable_subst_re}$/) {
1992                         my $re = $+{RE};
1993                         my $subst = $+{SUBST};
1994
1995                         $variable_value =~ s/\Q$re\E/$subst/g;
1996
1997                         if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1998                             print STDERR
1999                                 "DEBUG[\$expand_variables] ... and substituted ",
2000                                 "'$re' with '$subst'\n";
2001                         }
2002                     }
2003                 }
2004
2005                 $value .= $variable_value;
2006             }
2007             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
2008                 print STDERR
2009                     "DEBUG[\$expand_variables] ... into: '$value$value_rest'\n";
2010             }
2011             return $value . $value_rest;
2012         };
2013
2014         # Support for attributes in build.info files
2015         my %attributes = ();
2016         my $handle_attributes = sub {
2017             my $attr_str = shift;
2018             my $ref = shift;
2019             my @goals = @_;
2020
2021             return unless defined $attr_str;
2022
2023             my @a = tokenize($attr_str, qr|\s*,\s*|);
2024             foreach my $a (@a) {
2025                 my $ac = 1;
2026                 my $ak = $a;
2027                 my $av = 1;
2028                 if ($a =~ m|^(!)?(.*?)\s* = \s*(.*?)$|x) {
2029                     $ac = ! $1;
2030                     $ak = $2;
2031                     $av = $3;
2032                 }
2033                 foreach my $g (@goals) {
2034                     if ($ac) {
2035                         $$ref->{$g}->{$ak} = $av;
2036                     } else {
2037                         delete $$ref->{$g}->{$ak};
2038                     }
2039                 }
2040             }
2041         };
2042
2043         # Support for pushing values on multiple indexes of a given hash
2044         # array.
2045         my $push_to = sub {
2046             my $valueref = shift;
2047             my $index_str = shift; # May be undef or empty
2048             my $attrref = shift;   # May be undef
2049             my $attr_str = shift;
2050             my @values = @_;
2051
2052             if (defined $index_str) {
2053                 my @indexes = ( '' );
2054                 if ($index_str !~ m|^\s*$|) {
2055                     @indexes = tokenize($index_str);
2056                 }
2057                 foreach (@indexes) {
2058                     push @{$valueref->{$_}}, @values;
2059                     if (defined $attrref) {
2060                         $handle_attributes->($attr_str, \$$attrref->{$_},
2061                                              @values);
2062                     }
2063                 }
2064             } else {
2065                 push @$valueref, @values;
2066                 $handle_attributes->($attr_str, $attrref, @values)
2067                     if defined $attrref;
2068             }
2069         };
2070
2071         if ($buildinfo_debug) {
2072             print STDERR "DEBUG: Reading ",catfile($sourced, $f),"\n";
2073         }
2074         push @{$config{build_infos}}, catfile(abs2rel($sourced, $blddir), $f);
2075         my $template =
2076             Text::Template->new(TYPE => 'FILE',
2077                                 SOURCE => catfile($sourced, $f),
2078                                 PREPEND => qq{use lib "$FindBin::Bin/util/perl";});
2079         die "Something went wrong with $sourced/$f: $!\n" unless $template;
2080         my @text =
2081             split /^/m,
2082             $template->fill_in(HASH => { config => \%config,
2083                                          target => \%target,
2084                                          disabled => \%disabled,
2085                                          withargs => \%withargs,
2086                                          builddir => abs2rel($buildd, $blddir),
2087                                          sourcedir => abs2rel($sourced, $blddir),
2088                                          buildtop => abs2rel($blddir, $blddir),
2089                                          sourcetop => abs2rel($srcdir, $blddir) },
2090                                DELIMITERS => [ "{-", "-}" ]);
2091
2092         # The top item of this stack has the following values
2093         # -2 positive already run and we found ELSE (following ELSIF should fail)
2094         # -1 positive already run (skip until ENDIF)
2095         # 0 negatives so far (if we're at a condition, check it)
2096         # 1 last was positive (don't skip lines until next ELSE, ELSIF or ENDIF)
2097         # 2 positive ELSE (following ELSIF should fail)
2098         my @skip = ();
2099
2100         # A few useful generic regexps
2101         my $index_re = qr/\[\s*(?P<INDEX>(?:\\.|.)*?)\s*\]/;
2102         my $cond_re = qr/\[\s*(?P<COND>(?:\\.|.)*?)\s*\]/;
2103         my $attribs_re = qr/(?:\{\s*(?P<ATTRIBS>(?:\\.|.)*?)\s*\})?/;
2104         my $value_re = qr/(?P<VALUE>.*?)/;
2105         collect_information(
2106             collect_from_array([ @text ],
2107                                qr/\\$/ => sub { my $l1 = shift; my $l2 = shift;
2108                                                 $l1 =~ s/\\$//; $l1.$l2 }),
2109             # Info we're looking for
2110             qr/^\s* IF ${cond_re} \s*$/x
2111             => sub {
2112                 if (! @skip || $skip[$#skip] > 0) {
2113                     push @skip, !! $expand_variables->($+{COND});
2114                 } else {
2115                     push @skip, -1;
2116                 }
2117             },
2118             qr/^\s* ELSIF ${cond_re} \s*$/x
2119             => sub { die "ELSIF out of scope" if ! @skip;
2120                      die "ELSIF following ELSE" if abs($skip[$#skip]) == 2;
2121                      $skip[$#skip] = -1 if $skip[$#skip] != 0;
2122                      $skip[$#skip] = !! $expand_variables->($+{COND})
2123                          if $skip[$#skip] == 0; },
2124             qr/^\s* ELSE \s*$/x
2125             => sub { die "ELSE out of scope" if ! @skip;
2126                      $skip[$#skip] = -2 if $skip[$#skip] != 0;
2127                      $skip[$#skip] = 2 if $skip[$#skip] == 0; },
2128             qr/^\s* ENDIF \s*$/x
2129             => sub { die "ENDIF out of scope" if ! @skip;
2130                      pop @skip; },
2131             qr/^\s* ${variable_re} \s* = \s* ${value_re} \s* $/x
2132             => sub {
2133                 if (!@skip || $skip[$#skip] > 0) {
2134                     $variables{$+{VARIABLE}} = $expand_variables->($+{VALUE});
2135                 }
2136             },
2137             qr/^\s* SUBDIRS \s* = \s* ${value_re} \s* $/x
2138             => sub {
2139                 if (!@skip || $skip[$#skip] > 0) {
2140                     foreach (tokenize($expand_variables->($+{VALUE}))) {
2141                         push @build_dirs, [ @curd, splitdir($_, 1) ];
2142                     }
2143                 }
2144             },
2145             qr/^\s* PROGRAMS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2146             => sub { $push_to->(\@programs, undef,
2147                                 \$attributes{programs}, $+{ATTRIBS},
2148                                 tokenize($expand_variables->($+{VALUE})))
2149                          if !@skip || $skip[$#skip] > 0; },
2150             qr/^\s* LIBS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2151             => sub { $push_to->(\@libraries, undef,
2152                                 \$attributes{libraries}, $+{ATTRIBS},
2153                                 tokenize($expand_variables->($+{VALUE})))
2154                          if !@skip || $skip[$#skip] > 0; },
2155             qr/^\s* MODULES ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2156             => sub { $push_to->(\@modules, undef,
2157                                 \$attributes{modules}, $+{ATTRIBS},
2158                                 tokenize($expand_variables->($+{VALUE})))
2159                          if !@skip || $skip[$#skip] > 0; },
2160             qr/^\s* SCRIPTS ${attribs_re} \s* = \s* ${value_re} \s* $/x
2161             => sub { $push_to->(\@scripts, undef,
2162                                 \$attributes{scripts}, $+{ATTRIBS},
2163                                 tokenize($expand_variables->($+{VALUE})))
2164                          if !@skip || $skip[$#skip] > 0; },
2165             qr/^\s* IMAGEDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2166             => sub { $push_to->(\%imagedocs, $expand_variables->($+{INDEX}),
2167                                 undef, undef,
2168                                 tokenize($expand_variables->($+{VALUE})))
2169                          if !@skip || $skip[$#skip] > 0; },
2170             qr/^\s* HTMLDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2171             => sub { $push_to->(\%htmldocs, $expand_variables->($+{INDEX}),
2172                                 undef, undef,
2173                                 tokenize($expand_variables->($+{VALUE})))
2174                          if !@skip || $skip[$#skip] > 0; },
2175             qr/^\s* MANDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2176             => sub { $push_to->(\%mandocs, $expand_variables->($+{INDEX}),
2177                                 undef, undef,
2178                                 tokenize($expand_variables->($+{VALUE})))
2179                          if !@skip || $skip[$#skip] > 0; },
2180             qr/^\s* SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2181             => sub { $push_to->(\%sources, $expand_variables->($+{INDEX}),
2182                                 \$attributes{sources}, $+{ATTRIBS},
2183                                 tokenize($expand_variables->($+{VALUE})))
2184                          if !@skip || $skip[$#skip] > 0; },
2185             qr/^\s* SHARED_SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2186             => sub { $push_to->(\%shared_sources, $expand_variables->($+{INDEX}),
2187                                 \$attributes{sources}, $+{ATTRIBS},
2188                                 tokenize($expand_variables->($+{VALUE})))
2189                          if !@skip || $skip[$#skip] > 0; },
2190             qr/^\s* INCLUDE ${index_re} \s* = \s* ${value_re} \s* $/x
2191             => sub { $push_to->(\%includes, $expand_variables->($+{INDEX}),
2192                                 undef, undef,
2193                                 tokenize($expand_variables->($+{VALUE})))
2194                          if !@skip || $skip[$#skip] > 0; },
2195             qr/^\s* DEFINE ${index_re} \s* = \s* ${value_re} \s* $/x
2196             => sub { $push_to->(\%defines, $expand_variables->($+{INDEX}),
2197                                 undef, undef,
2198                                 tokenize($expand_variables->($+{VALUE})))
2199                          if !@skip || $skip[$#skip] > 0; },
2200             qr/^\s* DEPEND ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2201             => sub { $push_to->(\%depends, $expand_variables->($+{INDEX}),
2202                                 \$attributes{depends}, $+{ATTRIBS},
2203                                 tokenize($expand_variables->($+{VALUE})))
2204                          if !@skip || $skip[$#skip] > 0; },
2205             qr/^\s* GENERATE ${index_re} \s* = \s* ${value_re} \s* $/x
2206             => sub { $push_to->(\%generate, $expand_variables->($+{INDEX}),
2207                                 undef, undef, $expand_variables->($+{VALUE}))
2208                          if !@skip || $skip[$#skip] > 0; },
2209             qr/^\s* (?:\#.*)? $/x => sub { },
2210             "OTHERWISE" => sub { die "Something wrong with this line:\n$_\nat $sourced/$f" },
2211             "BEFORE" => sub {
2212                 if ($buildinfo_debug) {
2213                     print STDERR "DEBUG: Parsing ",join(" ", @_),"\n";
2214                     print STDERR "DEBUG: ... before parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2215                 }
2216             },
2217             "AFTER" => sub {
2218                 if ($buildinfo_debug) {
2219                     print STDERR "DEBUG: .... after parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2220                 }
2221             },
2222             );
2223         die "runaway IF?" if (@skip);
2224
2225         if (grep { defined $attributes{modules}->{$_}->{engine} } keys %attributes
2226                 and !$config{dynamic_engines}) {
2227             die <<"EOF"
2228 ENGINES can only be used if configured with 'dynamic-engine'.
2229 This is usually a fault in a build.info file.
2230 EOF
2231         }
2232
2233         {
2234             my %infos = ( programs  => [ @programs  ],
2235                           libraries => [ @libraries ],
2236                           modules   => [ @modules   ],
2237                           scripts   => [ @scripts   ] );
2238             foreach my $k (keys %infos) {
2239                 foreach (@{$infos{$k}}) {
2240                     my $item = cleanfile($buildd, $_, $blddir);
2241                     $unified_info{$k}->{$item} = 1;
2242
2243                     # Fix up associated attributes
2244                     $unified_info{attributes}->{$k}->{$item} =
2245                         $attributes{$k}->{$_}
2246                         if defined $attributes{$k}->{$_};
2247                 }
2248             }
2249         }
2250
2251         # Check that we haven't defined any library as both shared and
2252         # explicitly static.  That is forbidden.
2253         my @doubles = ();
2254         foreach (grep /\.a$/, keys %{$unified_info{libraries}}) {
2255             (my $l = $_) =~ s/\.a$//;
2256             push @doubles, $l if defined $unified_info{libraries}->{$l};
2257         }
2258         die "these libraries are both explicitly static and shared:\n  ",
2259             join(" ", @doubles), "\n"
2260             if @doubles;
2261
2262         foreach (keys %sources) {
2263             my $dest = $_;
2264             my $ddest = cleanfile($buildd, $_, $blddir);
2265             foreach (@{$sources{$dest}}) {
2266                 my $s = cleanfile($sourced, $_, $blddir);
2267
2268                 # If it's generated or we simply don't find it in the source
2269                 # tree, we assume it's in the build tree.
2270                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2271                     $s = cleanfile($buildd, $_, $blddir);
2272                 }
2273                 my $o = $_;
2274                 # We recognise C++, C and asm files
2275                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2276                     push @{$check_exist{$s}}, $ddest;
2277                     $o =~ s/\.[csS]$/.o/; # C and assembler
2278                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2279                     $o = cleanfile($buildd, $o, $blddir);
2280                     $unified_info{sources}->{$ddest}->{$o} = -1;
2281                     $unified_info{sources}->{$o}->{$s} = -1;
2282                 } elsif ($s =~ /\.rc$/) {
2283                     # We also recognise resource files
2284                     push @{$check_exist{$s}}, $ddest;
2285                     $o =~ s/\.rc$/.res/; # Resource configuration
2286                     $o = cleanfile($buildd, $o, $blddir);
2287                     $unified_info{sources}->{$ddest}->{$o} = -1;
2288                     $unified_info{sources}->{$o}->{$s} = -1;
2289                 } else {
2290                     push @{$check_exist{$s}}, $ddest;
2291                     $unified_info{sources}->{$ddest}->{$s} = 1;
2292                 }
2293                 # Fix up associated attributes
2294                 if ($o ne $_) {
2295                     $unified_info{attributes}->{sources}->{$ddest}->{$o} =
2296                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2297                         $attributes{sources}->{$dest}->{$_}
2298                         if defined $attributes{sources}->{$dest}->{$_};
2299                 } else {
2300                     $unified_info{attributes}->{sources}->{$ddest}->{$s} =
2301                         $attributes{sources}->{$dest}->{$_}
2302                         if defined $attributes{sources}->{$dest}->{$_};
2303                 }
2304             }
2305         }
2306
2307         foreach (keys %shared_sources) {
2308             my $dest = $_;
2309             my $ddest = cleanfile($buildd, $_, $blddir);
2310             foreach (@{$shared_sources{$dest}}) {
2311                 my $s = cleanfile($sourced, $_, $blddir);
2312
2313                 # If it's generated or we simply don't find it in the source
2314                 # tree, we assume it's in the build tree.
2315                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2316                     $s = cleanfile($buildd, $_, $blddir);
2317                 }
2318
2319                 my $o = $_;
2320                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2321                     # We recognise C++, C and asm files
2322                     push @{$check_exist{$s}}, $ddest;
2323                     $o =~ s/\.[csS]$/.o/; # C and assembler
2324                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2325                     $o = cleanfile($buildd, $o, $blddir);
2326                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2327                     $unified_info{sources}->{$o}->{$s} = -1;
2328                 } elsif ($s =~ /\.rc$/) {
2329                     # We also recognise resource files
2330                     push @{$check_exist{$s}}, $ddest;
2331                     $o =~ s/\.rc$/.res/; # Resource configuration
2332                     $o = cleanfile($buildd, $o, $blddir);
2333                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2334                     $unified_info{sources}->{$o}->{$s} = -1;
2335                 } elsif ($s =~ /\.ld$/) {
2336                     # We also recognise linker scripts (or corresponding)
2337                     # We know they are generated files
2338                     push @{$check_exist{$s}}, $ddest;
2339                     $o = cleanfile($buildd, $_, $blddir);
2340                     $unified_info{shared_sources}->{$ddest}->{$o} = 1;
2341                 } else {
2342                     die "unrecognised source file type for shared library: $s\n";
2343                 }
2344                 # Fix up associated attributes
2345                 if ($o ne $_) {
2346                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2347                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2348                         $attributes{sources}->{$dest}->{$_}
2349                         if defined $attributes{sources}->{$dest}->{$_};
2350                 } else {
2351                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2352                         $attributes{sources}->{$dest}->{$_}
2353                         if defined $attributes{sources}->{$dest}->{$_};
2354                 }
2355             }
2356         }
2357
2358         foreach (keys %generate) {
2359             my $dest = $_;
2360             my $ddest = cleanfile($buildd, $_, $blddir);
2361             die "more than one generator for $dest: "
2362                 ,join(" ", @{$generate{$_}}),"\n"
2363                 if scalar @{$generate{$_}} > 1;
2364             my @generator = split /\s+/, $generate{$dest}->[0];
2365             my $gen = $generator[0];
2366             $generator[0] = cleanfile($sourced, $gen, $blddir);
2367
2368             # If the generator is itself generated, it's in the build tree
2369             if ($generate{$gen} || ! -f $generator[0]) {
2370                 $generator[0] = cleanfile($buildd, $gen, $blddir);
2371             }
2372             $check_generate{$ddest}->{$generator[0]}++;
2373
2374             $unified_info{generate}->{$ddest} = [ @generator ];
2375         }
2376
2377         foreach (keys %depends) {
2378             my $dest = $_;
2379             my $ddest = $dest;
2380
2381             if ($dest =~ /^\|(.*)\|$/) {
2382                 # Collect the raw target
2383                 $unified_info{targets}->{$1} = 1;
2384                 $ddest = $1;
2385             } elsif ($dest eq '') {
2386                 $ddest = '';
2387             } else {
2388                 $ddest = cleanfile($sourced, $_, $blddir);
2389
2390                 # If the destination doesn't exist in source, it can only be
2391                 # a generated file in the build tree.
2392                 if ($ddest eq $src_configdata || ! -f $ddest) {
2393                     $ddest = cleanfile($buildd, $_, $blddir);
2394                 }
2395             }
2396             foreach (@{$depends{$dest}}) {
2397                 my $d = cleanfile($sourced, $_, $blddir);
2398                 my $d2 = cleanfile($buildd, $_, $blddir);
2399
2400                 # If we know it's generated, or assume it is because we can't
2401                 # find it in the source tree, we set file we depend on to be
2402                 # in the build tree rather than the source tree.
2403                 if ($d eq $src_configdata
2404                     || (grep { $d2 eq $_ }
2405                         keys %{$unified_info{generate}})
2406                     || ! -f $d) {
2407                     $d = $d2;
2408                 }
2409                 $unified_info{depends}->{$ddest}->{$d} = 1;
2410
2411                 # Fix up associated attributes
2412                 $unified_info{attributes}->{depends}->{$ddest}->{$d} =
2413                     $attributes{depends}->{$dest}->{$_}
2414                     if defined $attributes{depends}->{$dest}->{$_};
2415             }
2416         }
2417
2418         foreach (keys %includes) {
2419             my $dest = $_;
2420             my $ddest = cleanfile($sourced, $_, $blddir);
2421
2422             # If the destination doesn't exist in source, it can only be
2423             # a generated file in the build tree.
2424             if ($ddest eq $src_configdata || ! -f $ddest) {
2425                 $ddest = cleanfile($buildd, $_, $blddir);
2426             }
2427             foreach (@{$includes{$dest}}) {
2428                 my $is = cleandir($sourced, $_, $blddir);
2429                 my $ib = cleandir($buildd, $_, $blddir);
2430                 push @{$unified_info{includes}->{$ddest}->{source}}, $is
2431                     unless grep { $_ eq $is } @{$unified_info{includes}->{$ddest}->{source}};
2432                 push @{$unified_info{includes}->{$ddest}->{build}}, $ib
2433                     unless grep { $_ eq $ib } @{$unified_info{includes}->{$ddest}->{build}};
2434             }
2435         }
2436
2437         foreach my $dest (keys %defines) {
2438             my $ddest;
2439
2440             if ($dest ne "") {
2441                 $ddest = cleanfile($sourced, $dest, $blddir);
2442
2443                 # If the destination doesn't exist in source, it can only
2444                 # be a generated file in the build tree.
2445                 if (! -f $ddest) {
2446                     $ddest = cleanfile($buildd, $dest, $blddir);
2447                 }
2448             }
2449             foreach my $v (@{$defines{$dest}}) {
2450                 $v =~ m|^([^=]*)(=.*)?$|;
2451                 die "0 length macro name not permitted\n" if $1 eq "";
2452                 if ($dest ne "") {
2453                     die "$1 defined more than once\n"
2454                         if defined $unified_info{defines}->{$ddest}->{$1};
2455                     $unified_info{defines}->{$ddest}->{$1} = $2;
2456                 } else {
2457                     die "$1 defined more than once\n"
2458                         if grep { $v eq $_ } @{$config{defines}};
2459                     push @{$config{defines}}, $v;
2460                 }
2461             }
2462         }
2463
2464         foreach my $section (keys %imagedocs) {
2465             foreach (@{$imagedocs{$section}}) {
2466                 my $imagedocs = cleanfile($buildd, $_, $blddir);
2467                 $unified_info{imagedocs}->{$section}->{$imagedocs} = 1;
2468             }
2469         }
2470
2471         foreach my $section (keys %htmldocs) {
2472             foreach (@{$htmldocs{$section}}) {
2473                 my $htmldocs = cleanfile($buildd, $_, $blddir);
2474                 $unified_info{htmldocs}->{$section}->{$htmldocs} = 1;
2475             }
2476         }
2477
2478         foreach my $section (keys %mandocs) {
2479             foreach (@{$mandocs{$section}}) {
2480                 my $mandocs = cleanfile($buildd, $_, $blddir);
2481                 $unified_info{mandocs}->{$section}->{$mandocs} = 1;
2482             }
2483         }
2484     }
2485
2486     my $ordinals_text = join(', ', sort keys %ordinals);
2487     warn <<"EOF" if $ordinals_text;
2488
2489 WARNING: ORDINALS were specified for $ordinals_text
2490 They are ignored and should be replaced with a combination of GENERATE,
2491 DEPEND and SHARED_SOURCE.
2492 EOF
2493
2494     # Check that each generated file is only generated once
2495     my $ambiguous_generation = 0;
2496     foreach (sort keys %check_generate) {
2497         my @generators = sort keys %{$check_generate{$_}};
2498         my $generators_txt = join(', ', @generators);
2499         if (scalar @generators > 1) {
2500             warn "$_ is GENERATEd by more than one generator ($generators_txt)\n";
2501             $ambiguous_generation++;
2502         }
2503         if ($check_generate{$_}->{$generators[0]} > 1) {
2504             warn "INFO: $_ has more than one GENERATE declaration (same generator)\n"
2505         }
2506     }
2507     die "There are ambiguous source file generations\n"
2508         if $ambiguous_generation > 0;
2509
2510     # All given source files should exist, or if generated, their
2511     # generator should exist.  This loop ensures this is true.
2512     my $missing = 0;
2513     foreach my $orig (sort keys %check_exist) {
2514         foreach my $dest (@{$check_exist{$orig}}) {
2515             if ($orig ne $src_configdata) {
2516                 if ($orig =~ /\.a$/) {
2517                     # Static library names may be used as sources, so we
2518                     # need to detect those and give them special treatment.
2519                     unless (grep { $_ eq $orig }
2520                             keys %{$unified_info{libraries}}) {
2521                         warn "$orig is given as source for $dest, but no such library is built\n";
2522                         $missing++;
2523                     }
2524                 } else {
2525                     # A source may be generated, and its generator may be
2526                     # generated as well.  We therefore loop to dig out the
2527                     # first generator.
2528                     my $gen = $orig;
2529
2530                     while (my @next = keys %{$check_generate{$gen}}) {
2531                         $gen = $next[0];
2532                     }
2533
2534                     if (! -f $gen) {
2535                         if ($gen ne $orig) {
2536                             $missing++;
2537                             warn "$orig is given as source for $dest, but its generator (leading to $gen) is missing\n";
2538                         } else {
2539                             $missing++;
2540                             warn "$orig is given as source for $dest, but is missing\n";
2541                         }
2542                     }
2543                 }
2544             }
2545         }
2546     }
2547     die "There are files missing\n" if $missing > 0;
2548
2549     # Go through the sources of all libraries and check that the same basename
2550     # doesn't appear more than once.  Some static library archivers depend on
2551     # them being unique.
2552     {
2553         my $err = 0;
2554         foreach my $prod (keys %{$unified_info{libraries}}) {
2555             my @prod_sources =
2556                 map { keys %{$unified_info{sources}->{$_}} }
2557                 keys %{$unified_info{sources}->{$prod}};
2558             my %srccnt = ();
2559
2560             # Count how many times a given each source basename
2561             # appears for each product.
2562             foreach my $src (@prod_sources) {
2563                 $srccnt{basename $src}++;
2564             }
2565
2566             foreach my $src (keys %srccnt) {
2567                 if ((my $cnt = $srccnt{$src}) > 1) {
2568                     print STDERR "$src appears $cnt times for the product $prod\n";
2569                     $err++
2570                 }
2571             }
2572         }
2573         die if $err > 0;
2574     }
2575
2576     # Massage the result
2577
2578     # If we depend on a header file or a perl module, add an inclusion of
2579     # its directory to allow smoothe inclusion
2580     foreach my $dest (keys %{$unified_info{depends}}) {
2581         next if $dest eq "";
2582         foreach my $d (keys %{$unified_info{depends}->{$dest}}) {
2583             next unless $d =~ /\.(h|pm)$/;
2584             my $i = dirname($d);
2585             my $spot =
2586                 $d eq "configdata.pm" || defined($unified_info{generate}->{$d})
2587                 ? 'build' : 'source';
2588             push @{$unified_info{includes}->{$dest}->{$spot}}, $i
2589                 unless grep { $_ eq $i } @{$unified_info{includes}->{$dest}->{$spot}};
2590         }
2591     }
2592
2593     # Go through all intermediary files and change their names to something that
2594     # reflects what they will be built for.  Note that for some source files,
2595     # this leads to duplicate object files because they are used multiple times.
2596     # the goal is to rename all object files according to this scheme:
2597     #    {productname}-{midfix}-{origobjname}.[o|res]
2598     # the {midfix} is a keyword indicating the type of product, which is mostly
2599     # valuable for libraries since they come in two forms.
2600     #
2601     # This also reorganises the {sources} and {shared_sources} so that the
2602     # former only contains ALL object files that are supposed to end up in
2603     # static libraries and programs, while the latter contains ALL object files
2604     # that are supposed to end up in shared libraries and DSOs.
2605     # The main reason for having two different source structures is to allow
2606     # the same name to be used for the static and the shared variants of a
2607     # library.
2608     {
2609         # Take copies so we don't get interference from added stuff
2610         my %unified_copy = ();
2611         foreach (('sources', 'shared_sources')) {
2612             $unified_copy{$_} = { %{$unified_info{$_}} }
2613                 if defined($unified_info{$_});
2614             delete $unified_info{$_};
2615         }
2616         foreach my $prodtype (('programs', 'libraries', 'modules', 'scripts')) {
2617             # $intent serves multi purposes:
2618             # - give a prefix for the new object files names
2619             # - in the case of libraries, rearrange the object files so static
2620             #   libraries use the 'sources' structure exclusively, while shared
2621             #   libraries use the 'shared_sources' structure exclusively.
2622             my $intent = {
2623                 programs  => { bin    => { src => [ 'sources' ],
2624                                            dst => 'sources' } },
2625                 libraries => { lib    => { src => [ 'sources' ],
2626                                            dst => 'sources' },
2627                                shlib  => { prodselect =>
2628                                                sub { grep !/\.a$/, @_ },
2629                                            src => [ 'sources',
2630                                                     'shared_sources' ],
2631                                            dst => 'shared_sources' } },
2632                 modules   => { dso    => { src => [ 'sources' ],
2633                                            dst => 'sources' } },
2634                 scripts   => { script => { src => [ 'sources' ],
2635                                            dst => 'sources' } }
2636                } -> {$prodtype};
2637             foreach my $kind (keys %$intent) {
2638                 next if ($intent->{$kind}->{dst} eq 'shared_sources'
2639                              && $disabled{shared});
2640
2641                 my @src = @{$intent->{$kind}->{src}};
2642                 my $dst = $intent->{$kind}->{dst};
2643                 my $prodselect = $intent->{$kind}->{prodselect} // sub { @_ };
2644                 foreach my $prod ($prodselect->(keys %{$unified_info{$prodtype}})) {
2645                     # %prod_sources has all applicable objects as keys, and
2646                     # their corresponding sources as values
2647                     my %prod_sources =
2648                         map { $_ => [ keys %{$unified_copy{sources}->{$_}} ] }
2649                         map { keys %{$unified_copy{$_}->{$prod}} }
2650                         @src;
2651                     foreach (keys %prod_sources) {
2652                         # Only affect object files and resource files,
2653                         # the others simply get a new value
2654                         # (+1 instead of -1)
2655                         if ($_ =~ /\.(o|res)$/) {
2656                             (my $prodname = $prod) =~ s|\.a$||;
2657                             my $newobj =
2658                                 catfile(dirname($_),
2659                                         basename($prodname)
2660                                             . '-' . $kind
2661                                             . '-' . basename($_));
2662                             $unified_info{$dst}->{$prod}->{$newobj} = 1;
2663                             foreach my $src (@{$prod_sources{$_}}) {
2664                                 $unified_info{sources}->{$newobj}->{$src} = 1;
2665                                 # Adjust source attributes
2666                                 my $attrs = $unified_info{attributes}->{sources};
2667                                 if (defined $attrs->{$prod}
2668                                     && defined $attrs->{$prod}->{$_}) {
2669                                     $attrs->{$prod}->{$newobj} =
2670                                         $attrs->{$prod}->{$_};
2671                                     delete $attrs->{$prod}->{$_};
2672                                 }
2673                                 foreach my $objsrc (keys %{$attrs->{$_} // {}}) {
2674                                     $attrs->{$newobj}->{$objsrc} =
2675                                         $attrs->{$_}->{$objsrc};
2676                                     delete $attrs->{$_}->{$objsrc};
2677                                 }
2678                             }
2679                             # Adjust dependencies
2680                             foreach my $deps (keys %{$unified_info{depends}->{$_}}) {
2681                                 $unified_info{depends}->{$_}->{$deps} = -1;
2682                                 $unified_info{depends}->{$newobj}->{$deps} = 1;
2683                             }
2684                             # Adjust includes
2685                             foreach my $k (('source', 'build')) {
2686                                 next unless
2687                                     defined($unified_info{includes}->{$_}->{$k});
2688                                 my @incs = @{$unified_info{includes}->{$_}->{$k}};
2689                                 $unified_info{includes}->{$newobj}->{$k} = [ @incs ];
2690                             }
2691                         } else {
2692                             $unified_info{$dst}->{$prod}->{$_} = 1;
2693                         }
2694                     }
2695                 }
2696             }
2697         }
2698     }
2699
2700     # At this point, we have a number of sources with the value -1.  They
2701     # aren't part of the local build and are probably meant for a different
2702     # platform, and can therefore be cleaned away.  That happens when making
2703     # %unified_info more efficient below.
2704
2705     ### Make unified_info a bit more efficient
2706     # One level structures
2707     foreach (("programs", "libraries", "modules", "scripts", "targets")) {
2708         $unified_info{$_} = [ sort keys %{$unified_info{$_}} ];
2709     }
2710     # Two level structures
2711     foreach my $l1 (("sources", "shared_sources", "ldadd", "depends",
2712                      "imagedocs", "htmldocs", "mandocs")) {
2713         foreach my $l2 (sort keys %{$unified_info{$l1}}) {
2714             my @items =
2715                 sort
2716                 grep { $unified_info{$l1}->{$l2}->{$_} > 0 }
2717                 keys %{$unified_info{$l1}->{$l2}};
2718             if (@items) {
2719                 $unified_info{$l1}->{$l2} = [ @items ];
2720             } else {
2721                 delete $unified_info{$l1}->{$l2};
2722             }
2723         }
2724     }
2725     # Defines
2726     foreach my $dest (sort keys %{$unified_info{defines}}) {
2727         $unified_info{defines}->{$dest}
2728             = [ map { $_.$unified_info{defines}->{$dest}->{$_} }
2729                 sort keys %{$unified_info{defines}->{$dest}} ];
2730     }
2731     # Includes
2732     foreach my $dest (sort keys %{$unified_info{includes}}) {
2733         if (defined($unified_info{includes}->{$dest}->{build})) {
2734             my @source_includes = ();
2735             @source_includes = ( @{$unified_info{includes}->{$dest}->{source}} )
2736                 if defined($unified_info{includes}->{$dest}->{source});
2737             $unified_info{includes}->{$dest} =
2738                 [ @{$unified_info{includes}->{$dest}->{build}} ];
2739             foreach my $inc (@source_includes) {
2740                 push @{$unified_info{includes}->{$dest}}, $inc
2741                     unless grep { $_ eq $inc } @{$unified_info{includes}->{$dest}};
2742             }
2743         } elsif (defined($unified_info{includes}->{$dest}->{source})) {
2744             $unified_info{includes}->{$dest} =
2745                 [ @{$unified_info{includes}->{$dest}->{source}} ];
2746         } else {
2747             delete $unified_info{includes}->{$dest};
2748         }
2749     }
2750
2751     # For convenience collect information regarding directories where
2752     # files are generated, those generated files and the end product
2753     # they end up in where applicable.  Then, add build rules for those
2754     # directories
2755     my %loopinfo = ( "lib" => [ @{$unified_info{libraries}} ],
2756                      "dso" => [ @{$unified_info{modules}} ],
2757                      "bin" => [ @{$unified_info{programs}} ],
2758                      "script" => [ @{$unified_info{scripts}} ],
2759                      "docs" => [ (map { @{$unified_info{imagedocs}->{$_} // []} }
2760                                   keys %{$unified_info{imagedocs} // {}}),
2761                                  (map { @{$unified_info{htmldocs}->{$_} // []} }
2762                                   keys %{$unified_info{htmldocs} // {}}),
2763                                  (map { @{$unified_info{mandocs}->{$_} // []} }
2764                                   keys %{$unified_info{mandocs} // {}}) ] );
2765     foreach my $type (sort keys %loopinfo) {
2766         foreach my $product (@{$loopinfo{$type}}) {
2767             my %dirs = ();
2768             my $pd = dirname($product);
2769
2770             foreach (@{$unified_info{sources}->{$product} // []},
2771                      @{$unified_info{shared_sources}->{$product} // []}) {
2772                 my $d = dirname($_);
2773
2774                 # We don't want to create targets for source directories
2775                 # when building out of source
2776                 next if ($config{sourcedir} ne $config{builddir}
2777                              && $d =~ m|^\Q$config{sourcedir}\E|);
2778                 # We already have a "test" target, and the current directory
2779                 # is just silly to make a target for
2780                 next if $d eq "test" || $d eq ".";
2781
2782                 $dirs{$d} = 1;
2783                 push @{$unified_info{dirinfo}->{$d}->{deps}}, $_
2784                     if $d ne $pd;
2785             }
2786             foreach (sort keys %dirs) {
2787                 push @{$unified_info{dirinfo}->{$_}->{products}->{$type}},
2788                     $product;
2789             }
2790         }
2791     }
2792 }
2793
2794 # For the schemes that need it, we provide the old *_obj configs
2795 # from the *_asm_obj ones
2796 foreach (grep /_(asm|aux)_src$/, keys %target) {
2797     my $src = $_;
2798     (my $obj = $_) =~ s/_(asm|aux)_src$/_obj/;
2799     $target{$obj} = $target{$src};
2800     $target{$obj} =~ s/\.[csS]\b/.o/g; # C and assembler
2801     $target{$obj} =~ s/\.(cc|cpp)\b/_cc.o/g; # C++
2802 }
2803
2804 # Write down our configuration where it fits #########################
2805
2806 my %template_vars = (
2807     config => \%config,
2808     target => \%target,
2809     disablables => \@disablables,
2810     disablables_int => \@disablables_int,
2811     disabled => \%disabled,
2812     withargs => \%withargs,
2813     unified_info => \%unified_info,
2814     tls => \@tls,
2815     dtls => \@dtls,
2816     makevars => [ sort keys %user ],
2817     disabled_info => \%disabled_info,
2818     user_crossable => \@user_crossable,
2819 );
2820 my $configdata_outname = 'configdata.pm';
2821 open CONFIGDATA, ">$configdata_outname.new"
2822     or die "Trying to create $configdata_outname.new: $!";
2823 my $configdata_tmplname = cleanfile($srcdir, "configdata.pm.in", $blddir);
2824 my $configdata_tmpl =
2825     OpenSSL::Template->new(TYPE => 'FILE', SOURCE => $configdata_tmplname);
2826 $configdata_tmpl->fill_in(
2827     FILENAME => $configdata_tmplname,
2828     OUTPUT => \*CONFIGDATA,
2829     HASH => { %template_vars,
2830               autowarntext => [
2831                   'WARNING: do not edit!',
2832                   "Generated by Configure from $configdata_tmplname",
2833               ] }
2834 ) or die $Text::Template::ERROR;
2835 close CONFIGDATA;
2836
2837 # When using stat() on Windows, we can get it to perform better by avoid some
2838 # data.  This doesn't affect the mtime field, so we're not losing anything...
2839 ${^WIN32_SLOPPY_STAT} = 1;
2840
2841 my $update_configdata = 0;
2842 my $run_configdata = 0;
2843 if (-f $configdata_outname) {
2844     my $Configure_mtime = (stat($0))[9];
2845     my $configdata_mtime = (stat($configdata_outname))[9];
2846
2847     # If this script was updated after the last configdata.pm, or if
2848     # configdata.pm.new differs from configdata.pm, we update configdata.pm
2849     if ($configdata_mtime < $Configure_mtime
2850         || compare_text("$configdata_outname.new", $configdata_outname) != 0) {
2851         $update_configdata = 1;
2852     } else {
2853         # If nothing has changed, let's just drop the new one and pretend
2854         # like nothing happened
2855         unlink "$configdata_outname.new";
2856
2857         # We still run configdata.pm if one of the build file (Makefile) or
2858         # the configuration header file are missing
2859         $run_configdata =
2860             !( -f $target{build_file} )
2861             || !( -f catfile('include', 'openssl', 'configuration.h') );
2862     }
2863 } else {
2864     $update_configdata = 1;
2865 }
2866
2867 if ($update_configdata) {
2868     # If something did change, or there was no previous configdata.pm, we
2869     # rename the new one, set permissions as needed, and run it.
2870     rename "$configdata_outname.new", $configdata_outname;
2871     if ($builder_platform eq 'unix') {
2872         my $mode = (0755 & ~umask);
2873         chmod $mode, 'configdata.pm'
2874             or warn sprintf("WARNING: Couldn't change mode for 'configdata.pm' to 0%03o: %s\n",$mode,$!);
2875     }
2876     $run_configdata = 1;
2877     print "Created $configdata_outname\n";
2878 }
2879
2880 if ($run_configdata) {
2881     print "Running $configdata_outname\n";
2882     my $perlcmd = (quotify("maybeshell", $config{PERL}))[0];
2883     my $cmd = "$perlcmd $configdata_outname";
2884     #print STDERR "DEBUG[run_dofile]: \$cmd = $cmd\n";
2885     system($cmd);
2886     exit 1 if $? != 0;
2887 } else {
2888     print "No changes in $configdata_outname, no need to run it\n";
2889 }
2890
2891 $SIG{__DIE__} = $orig_death_handler;
2892
2893 print <<"EOF" if ($disabled{threads} eq "unavailable");
2894
2895 The library could not be configured for supporting multi-threaded
2896 applications as the compiler options required on this system are not known.
2897 See file INSTALL.md for details if you need multi-threading.
2898 EOF
2899
2900 print <<"EOF" if ($no_shared_warn);
2901
2902 The options 'shared', 'pic' and 'dynamic-engine' aren't supported on this
2903 platform, so we will pretend you gave the option 'no-pic', which also disables
2904 'shared' and 'dynamic-engine'.  If you know how to implement shared libraries
2905 or position independent code, please let us know (but please first make sure
2906 you have tried with a current version of OpenSSL).
2907 EOF
2908
2909 print $banner;
2910
2911 exit(0);
2912
2913 ######################################################################
2914 #
2915 # Helpers and utility functions
2916 #
2917
2918 # Death handler, to print a helpful message in case of failure #######
2919 #
2920 sub death_handler {
2921     die @_ if $^S;              # To prevent the added message in eval blocks
2922     my $build_file = $target{build_file} // "build file";
2923     my @message = ( <<"_____", @_ );
2924
2925 Failure!  $build_file wasn't produced.
2926 Please read INSTALL.md and associated NOTES-* files.  You may also have to
2927 look over your available compiler tool chain or change your configuration.
2928
2929 _____
2930
2931     # Dying is terminal, so it's ok to reset the signal handler here.
2932     $SIG{__DIE__} = $orig_death_handler;
2933     die @message;
2934 }
2935
2936 # Configuration file reading #########################################
2937
2938 # Note: All of the helper functions are for lazy evaluation.  They all
2939 # return a CODE ref, which will return the intended value when evaluated.
2940 # Thus, whenever there's mention of a returned value, it's about that
2941 # intended value.
2942
2943 # Helper function to implement conditional value variants, with a default
2944 # plus additional values based on the value of $config{build_type}.
2945 # Arguments are given in hash table form:
2946 #
2947 #       picker(default => "Basic string: ",
2948 #              debug   => "debug",
2949 #              release => "release")
2950 #
2951 # When configuring with --debug, the resulting string will be
2952 # "Basic string: debug", and when not, it will be "Basic string: release"
2953 #
2954 # This can be used to create variants of sets of flags according to the
2955 # build type:
2956 #
2957 #       cflags => picker(default => "-Wall",
2958 #                        debug   => "-g -O0",
2959 #                        release => "-O3")
2960 #
2961 sub picker {
2962     my %opts = @_;
2963     return sub { add($opts{default} || (),
2964                      $opts{$config{build_type}} || ())->(); }
2965 }
2966
2967 # Helper function to combine several values of different types into one.
2968 # This is useful if you want to combine a string with the result of a
2969 # lazy function, such as:
2970 #
2971 #       cflags => combine("-Wall", sub { $disabled{zlib} ? () : "-DZLIB" })
2972 #
2973 sub combine {
2974     my @stuff = @_;
2975     return sub { add(@stuff)->(); }
2976 }
2977
2978 # Helper function to implement conditional values depending on the value
2979 # of $disabled{threads}.  Can be used as follows:
2980 #
2981 #       cflags => combine("-Wall", threads("-pthread"))
2982 #
2983 sub threads {
2984     my @flags = @_;
2985     return sub { add($disabled{threads} ? () : @flags)->(); }
2986 }
2987
2988 sub shared {
2989     my @flags = @_;
2990     return sub { add($disabled{shared} ? () : @flags)->(); }
2991 }
2992
2993 our $add_called = 0;
2994 # Helper function to implement adding values to already existing configuration
2995 # values.  It handles elements that are ARRAYs, CODEs and scalars
2996 sub _add {
2997     my $separator = shift;
2998
2999     # If there's any ARRAY in the collection of values OR the separator
3000     # is undef, we will return an ARRAY of combined values, otherwise a
3001     # string of joined values with $separator as the separator.
3002     my $found_array = !defined($separator);
3003
3004     my @values =
3005         map {
3006             my $res = $_;
3007             while (ref($res) eq "CODE") {
3008                 $res = $res->();
3009             }
3010             if (defined($res)) {
3011                 if (ref($res) eq "ARRAY") {
3012                     $found_array = 1;
3013                     @$res;
3014                 } else {
3015                     $res;
3016                 }
3017             } else {
3018                 ();
3019             }
3020     } (@_);
3021
3022     $add_called = 1;
3023
3024     if ($found_array) {
3025         [ @values ];
3026     } else {
3027         join($separator, grep { defined($_) && $_ ne "" } @values);
3028     }
3029 }
3030 sub add_before {
3031     my $separator = " ";
3032     if (ref($_[$#_]) eq "HASH") {
3033         my $opts = pop;
3034         $separator = $opts->{separator};
3035     }
3036     my @x = @_;
3037     sub { _add($separator, @x, @_) };
3038 }
3039 sub add {
3040     my $separator = " ";
3041     if (ref($_[$#_]) eq "HASH") {
3042         my $opts = pop;
3043         $separator = $opts->{separator};
3044     }
3045     my @x = @_;
3046     sub { _add($separator, @_, @x) };
3047 }
3048
3049 sub read_eval_file {
3050     my $fname = shift;
3051     my $content;
3052     my @result;
3053
3054     open F, "< $fname" or die "Can't open '$fname': $!\n";
3055     {
3056         undef local $/;
3057         $content = <F>;
3058     }
3059     close F;
3060     {
3061         local $@;
3062
3063         @result = ( eval $content );
3064         warn $@ if $@;
3065     }
3066     return wantarray ? @result : $result[0];
3067 }
3068
3069 # configuration reader, evaluates the input file as a perl script and expects
3070 # it to fill %targets with target configurations.  Those are then added to
3071 # %table.
3072 sub read_config {
3073     my $fname = shift;
3074     my %targets;
3075
3076     {
3077         # Protect certain tables from tampering
3078         local %table = ();
3079
3080         %targets = read_eval_file($fname);
3081     }
3082     my %preexisting = ();
3083     foreach (sort keys %targets) {
3084         $preexisting{$_} = 1 if $table{$_};
3085     }
3086     die <<"EOF",
3087 The following config targets from $fname
3088 shadow pre-existing config targets with the same name:
3089 EOF
3090         map { "  $_\n" } sort keys %preexisting
3091         if %preexisting;
3092
3093
3094     # For each target, check that it's configured with a hash table.
3095     foreach (keys %targets) {
3096         if (ref($targets{$_}) ne "HASH") {
3097             if (ref($targets{$_}) eq "") {
3098                 warn "Deprecated target configuration for $_, ignoring...\n";
3099             } else {
3100                 warn "Misconfigured target configuration for $_ (should be a hash table), ignoring...\n";
3101             }
3102             delete $targets{$_};
3103         } else {
3104             $targets{$_}->{_conf_fname_int} = add([ $fname ]);
3105         }
3106     }
3107
3108     %table = (%table, %targets);
3109
3110 }
3111
3112 # configuration resolver.  Will only resolve all the lazy evaluation
3113 # codeblocks for the chosen target and all those it inherits from,
3114 # recursively
3115 sub resolve_config {
3116     my $target = shift;
3117     my @breadcrumbs = @_;
3118
3119 #    my $extra_checks = defined($ENV{CONFIGURE_EXTRA_CHECKS});
3120
3121     if (grep { $_ eq $target } @breadcrumbs) {
3122         die "inherit_from loop!  target backtrace:\n  "
3123             ,$target,"\n  ",join("\n  ", @breadcrumbs),"\n";
3124     }
3125
3126     if (!defined($table{$target})) {
3127         warn "Warning! target $target doesn't exist!\n";
3128         return ();
3129     }
3130     # Recurse through all inheritances.  They will be resolved on the
3131     # fly, so when this operation is done, they will all just be a
3132     # bunch of attributes with string values.
3133     # What we get here, though, are keys with references to lists of
3134     # the combined values of them all.  We will deal with lists after
3135     # this stage is done.
3136     my %combined_inheritance = ();
3137     if ($table{$target}->{inherit_from}) {
3138         my @inherit_from =
3139             map { ref($_) eq "CODE" ? $_->() : $_ } @{$table{$target}->{inherit_from}};
3140         foreach (@inherit_from) {
3141             my %inherited_config = resolve_config($_, $target, @breadcrumbs);
3142
3143             # 'template' is a marker that's considered private to
3144             # the config that had it.
3145             delete $inherited_config{template};
3146
3147             foreach (keys %inherited_config) {
3148                 if (!$combined_inheritance{$_}) {
3149                     $combined_inheritance{$_} = [];
3150                 }
3151                 push @{$combined_inheritance{$_}}, $inherited_config{$_};
3152             }
3153         }
3154     }
3155
3156     # We won't need inherit_from in this target any more, since we've
3157     # resolved all the inheritances that lead to this
3158     delete $table{$target}->{inherit_from};
3159
3160     # Now is the time to deal with those lists.  Here's the place to
3161     # decide what shall be done with those lists, all based on the
3162     # values of the target we're currently dealing with.
3163     # - If a value is a coderef, it will be executed with the list of
3164     #   inherited values as arguments.
3165     # - If the corresponding key doesn't have a value at all or is the
3166     #   empty string, the inherited value list will be run through the
3167     #   default combiner (below), and the result becomes this target's
3168     #   value.
3169     # - Otherwise, this target's value is assumed to be a string that
3170     #   will simply override the inherited list of values.
3171     my $default_combiner = add();
3172
3173     my %all_keys =
3174         map { $_ => 1 } (keys %combined_inheritance,
3175                          keys %{$table{$target}});
3176
3177     sub process_values {
3178         my $object    = shift;
3179         my $inherited = shift;  # Always a [ list ]
3180         my $target    = shift;
3181         my $entry     = shift;
3182
3183         $add_called = 0;
3184
3185         while(ref($object) eq "CODE") {
3186             $object = $object->(@$inherited);
3187         }
3188         if (!defined($object)) {
3189             return ();
3190         }
3191         elsif (ref($object) eq "ARRAY") {
3192             local $add_called;  # To make sure recursive calls don't affect it
3193             return [ map { process_values($_, $inherited, $target, $entry) }
3194                      @$object ];
3195         } elsif (ref($object) eq "") {
3196             return $object;
3197         } else {
3198             die "cannot handle reference type ",ref($object)
3199                 ," found in target ",$target," -> ",$entry,"\n";
3200         }
3201     }
3202
3203     foreach my $key (sort keys %all_keys) {
3204         my $previous = $combined_inheritance{$key};
3205
3206         # Current target doesn't have a value for the current key?
3207         # Assign it the default combiner, the rest of this loop body
3208         # will handle it just like any other coderef.
3209         if (!exists $table{$target}->{$key}) {
3210             $table{$target}->{$key} = $default_combiner;
3211         }
3212
3213         $table{$target}->{$key} = process_values($table{$target}->{$key},
3214                                                $combined_inheritance{$key},
3215                                                $target, $key);
3216         unless(defined($table{$target}->{$key})) {
3217             delete $table{$target}->{$key};
3218         }
3219 #        if ($extra_checks &&
3220 #            $previous && !($add_called ||  $previous ~~ $table{$target}->{$key})) {
3221 #            warn "$key got replaced in $target\n";
3222 #        }
3223     }
3224
3225     # Finally done, return the result.
3226     return %{$table{$target}};
3227 }
3228
3229 sub usage
3230         {
3231         print STDERR $usage;
3232         print STDERR "\npick os/compiler from:\n";
3233         my $j=0;
3234         my $i;
3235         my $k=0;
3236         foreach $i (sort keys %table)
3237                 {
3238                 next if $table{$i}->{template};
3239                 next if $i =~ /^debug/;
3240                 $k += length($i) + 1;
3241                 if ($k > 78)
3242                         {
3243                         print STDERR "\n";
3244                         $k=length($i);
3245                         }
3246                 print STDERR $i . " ";
3247                 }
3248         foreach $i (sort keys %table)
3249                 {
3250                 next if $table{$i}->{template};
3251                 next if $i !~ /^debug/;
3252                 $k += length($i) + 1;
3253                 if ($k > 78)
3254                         {
3255                         print STDERR "\n";
3256                         $k=length($i);
3257                         }
3258                 print STDERR $i . " ";
3259                 }
3260         exit(1);
3261         }
3262
3263 sub compiler_predefined {
3264     state %predefined;
3265     my $cc = shift;
3266
3267     return () if $^O eq 'VMS';
3268
3269     die 'compiler_predefined called without a compiler command'
3270         unless $cc;
3271
3272     if (! $predefined{$cc}) {
3273
3274         $predefined{$cc} = {};
3275
3276         # collect compiler pre-defines from gcc or gcc-alike...
3277         open(PIPE, "$cc -dM -E -x c /dev/null 2>&1 |");
3278         while (my $l = <PIPE>) {
3279             $l =~ m/^#define\s+(\w+(?:\(\w+\))?)(?:\s+(.+))?/ or last;
3280             $predefined{$cc}->{$1} = $2 // '';
3281         }
3282         close(PIPE);
3283     }
3284
3285     return %{$predefined{$cc}};
3286 }
3287
3288 sub which
3289 {
3290     my ($name)=@_;
3291
3292     if (eval { require IPC::Cmd; 1; }) {
3293         IPC::Cmd->import();
3294         return scalar IPC::Cmd::can_run($name);
3295     } else {
3296         # if there is $directories component in splitpath,
3297         # then it's not something to test with $PATH...
3298         return $name if (File::Spec->splitpath($name))[1];
3299
3300         foreach (File::Spec->path()) {
3301             my $fullpath = catfile($_, "$name$target{exe_extension}");
3302             if (-f $fullpath and -x $fullpath) {
3303                 return $fullpath;
3304             }
3305         }
3306     }
3307 }
3308
3309 sub env
3310 {
3311     my $name = shift;
3312     my %opts = @_;
3313
3314     unless ($opts{cacheonly}) {
3315         # Note that if $ENV{$name} doesn't exist or is undefined,
3316         # $config{perlenv}->{$name} will be created with the value
3317         # undef.  This is intentional.
3318
3319         $config{perlenv}->{$name} = $ENV{$name}
3320             if ! exists $config{perlenv}->{$name};
3321     }
3322     return $config{perlenv}->{$name};
3323 }
3324
3325 # Configuration printer ##############################################
3326
3327 sub print_table_entry
3328 {
3329     local $now_printing = shift;
3330     my %target = resolve_config($now_printing);
3331     my $type = shift;
3332
3333     # Don't print the templates
3334     return if $target{template};
3335
3336     my @sequence = (
3337         "sys_id",
3338         "cpp",
3339         "cppflags",
3340         "defines",
3341         "includes",
3342         "cc",
3343         "cflags",
3344         "ld",
3345         "lflags",
3346         "loutflag",
3347         "ex_libs",
3348         "bn_ops",
3349         "enable",
3350         "disable",
3351         "poly1035_asm_src",
3352         "thread_scheme",
3353         "perlasm_scheme",
3354         "dso_scheme",
3355         "shared_target",
3356         "shared_cflag",
3357         "shared_defines",
3358         "shared_ldflag",
3359         "shared_rcflag",
3360         "shared_extension",
3361         "dso_extension",
3362         "obj_extension",
3363         "exe_extension",
3364         "ranlib",
3365         "ar",
3366         "arflags",
3367         "aroutflag",
3368         "rc",
3369         "rcflags",
3370         "rcoutflag",
3371         "mt",
3372         "mtflags",
3373         "mtinflag",
3374         "mtoutflag",
3375         "multilib",
3376         "build_scheme",
3377         );
3378
3379     if ($type eq "TABLE") {
3380         print "\n";
3381         print "*** $now_printing\n";
3382         foreach (@sequence) {
3383             if (ref($target{$_}) eq "ARRAY") {
3384                 printf "\$%-12s = %s\n", $_, join(" ", @{$target{$_}});
3385             } else {
3386                 printf "\$%-12s = %s\n", $_, $target{$_};
3387             }
3388         }
3389     } elsif ($type eq "HASH") {
3390         my $largest =
3391             length((sort { length($a) <=> length($b) } @sequence)[-1]);
3392         print "    '$now_printing' => {\n";
3393         foreach (@sequence) {
3394             if ($target{$_}) {
3395                 if (ref($target{$_}) eq "ARRAY") {
3396                     print "      '",$_,"'"," " x ($largest - length($_))," => [ ",join(", ", map { "'$_'" } @{$target{$_}})," ],\n";
3397                 } else {
3398                     print "      '",$_,"'"," " x ($largest - length($_))," => '",$target{$_},"',\n";
3399                 }
3400             }
3401         }
3402         print "    },\n";
3403     }
3404 }
3405
3406 # Utility routines ###################################################
3407
3408 # On VMS, if the given file is a logical name, File::Spec::Functions
3409 # will consider it an absolute path.  There are cases when we want a
3410 # purely syntactic check without checking the environment.
3411 sub isabsolute {
3412     my $file = shift;
3413
3414     # On non-platforms, we just use file_name_is_absolute().
3415     return file_name_is_absolute($file) unless $^O eq "VMS";
3416
3417     # If the file spec includes a device or a directory spec,
3418     # file_name_is_absolute() is perfectly safe.
3419     return file_name_is_absolute($file) if $file =~ m|[:\[]|;
3420
3421     # Here, we know the given file spec isn't absolute
3422     return 0;
3423 }
3424
3425 # Makes a directory absolute and cleans out /../ in paths like foo/../bar
3426 # On some platforms, this uses rel2abs(), while on others, realpath() is used.
3427 # realpath() requires that at least all path components except the last is an
3428 # existing directory.  On VMS, the last component of the directory spec must
3429 # exist.
3430 sub absolutedir {
3431     my $dir = shift;
3432
3433     # realpath() is quite buggy on VMS.  It uses LIB$FID_TO_NAME, which
3434     # will return the volume name for the device, no matter what.  Also,
3435     # it will return an incorrect directory spec if the argument is a
3436     # directory that doesn't exist.
3437     if ($^O eq "VMS") {
3438         return rel2abs($dir);
3439     }
3440
3441     # We use realpath() on Unix, since no other will properly clean out
3442     # a directory spec.
3443     use Cwd qw/realpath/;
3444
3445     return realpath($dir);
3446 }
3447
3448 # Check if all paths are one and the same, using stat.  They must both exist
3449 # We need this for the cases when File::Spec doesn't detect case insensitivity
3450 # (File::Spec::Unix assumes case sensitivity)
3451 sub samedir {
3452     die "samedir expects two arguments\n" unless scalar @_ == 2;
3453
3454     my @stat0 = stat($_[0]);    # First argument
3455     my @stat1 = stat($_[1]);    # Second argument
3456
3457     die "Couldn't stat $_[0]" unless @stat0;
3458     die "Couldn't stat $_[1]" unless @stat1;
3459
3460     # Compare device number
3461     return 0 unless ($stat0[0] == $stat1[0]);
3462     # Compare "inode".  The perl manual recommends comparing as
3463     # string rather than as number.
3464     return 0 unless ($stat0[1] eq $stat1[1]);
3465
3466     return 1;                   # All the same
3467 }
3468
3469 sub quotify {
3470     my %processors = (
3471         perl    => sub { my $x = shift;
3472                          $x =~ s/([\\\$\@"])/\\$1/g;
3473                          return '"'.$x.'"'; },
3474         maybeshell => sub { my $x = shift;
3475                             (my $y = $x) =~ s/([\\\"])/\\$1/g;
3476                             if ($x ne $y || $x =~ m|\s|) {
3477                                 return '"'.$y.'"';
3478                             } else {
3479                                 return $x;
3480                             }
3481                         },
3482         );
3483     my $for = shift;
3484     my $processor =
3485         defined($processors{$for}) ? $processors{$for} : sub { shift; };
3486
3487     return map { $processor->($_); } @_;
3488 }
3489
3490 # collect_from_file($filename, $line_concat_cond_re, $line_concat)
3491 # $filename is a file name to read from
3492 # $line_concat_cond_re is a regexp detecting a line continuation ending
3493 # $line_concat is a CODEref that takes care of concatenating two lines
3494 sub collect_from_file {
3495     my $filename = shift;
3496     my $line_concat_cond_re = shift;
3497     my $line_concat = shift;
3498
3499     open my $fh, $filename || die "unable to read $filename: $!\n";
3500     return sub {
3501         my $saved_line = "";
3502         $_ = "";
3503         while (<$fh>) {
3504             s|\R$||;
3505             if (defined $line_concat) {
3506                 $_ = $line_concat->($saved_line, $_);
3507                 $saved_line = "";
3508             }
3509             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3510                 $saved_line = $_;
3511                 next;
3512             }
3513             return $_;
3514         }
3515         die "$filename ending with continuation line\n" if $_;
3516         close $fh;
3517         return undef;
3518     }
3519 }
3520
3521 # collect_from_array($array, $line_concat_cond_re, $line_concat)
3522 # $array is an ARRAYref of lines
3523 # $line_concat_cond_re is a regexp detecting a line continuation ending
3524 # $line_concat is a CODEref that takes care of concatenating two lines
3525 sub collect_from_array {
3526     my $array = shift;
3527     my $line_concat_cond_re = shift;
3528     my $line_concat = shift;
3529     my @array = (@$array);
3530
3531     return sub {
3532         my $saved_line = "";
3533         $_ = "";
3534         while (defined($_ = shift @array)) {
3535             s|\R$||;
3536             if (defined $line_concat) {
3537                 $_ = $line_concat->($saved_line, $_);
3538                 $saved_line = "";
3539             }
3540             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3541                 $saved_line = $_;
3542                 next;
3543             }
3544             return $_;
3545         }
3546         die "input text ending with continuation line\n" if $_;
3547         return undef;
3548     }
3549 }
3550
3551 # collect_information($lineiterator, $line_continue, $regexp => $CODEref, ...)
3552 # $lineiterator is a CODEref that delivers one line at a time.
3553 # All following arguments are regex/CODEref pairs, where the regexp detects a
3554 # line and the CODEref does something with the result of the regexp.
3555 sub collect_information {
3556     my $lineiterator = shift;
3557     my %collectors = @_;
3558
3559     while(defined($_ = $lineiterator->())) {
3560         s|\R$||;
3561         my $found = 0;
3562         if ($collectors{"BEFORE"}) {
3563             $collectors{"BEFORE"}->($_);
3564         }
3565         foreach my $re (keys %collectors) {
3566             if ($re !~ /^OTHERWISE|BEFORE|AFTER$/ && /$re/) {
3567                 $collectors{$re}->($lineiterator);
3568                 $found = 1;
3569             };
3570         }
3571         if ($collectors{"OTHERWISE"}) {
3572             $collectors{"OTHERWISE"}->($lineiterator, $_)
3573                 unless $found || !defined $collectors{"OTHERWISE"};
3574         }
3575         if ($collectors{"AFTER"}) {
3576             $collectors{"AFTER"}->($_);
3577         }
3578     }
3579 }
3580
3581 # tokenize($line)
3582 # tokenize($line,$separator)
3583 # $line is a line of text to split up into tokens
3584 # $separator [optional] is a regular expression that separates the tokens,
3585 # the default being spaces.  Do not use quotes of any kind as separators,
3586 # that will give undefined results.
3587 # Returns a list of tokens.
3588 #
3589 # Tokens are divided by separator (spaces by default).  If the tokens include
3590 # the separators, they have to be quoted with single or double quotes.
3591 # Double quotes inside a double quoted token must be escaped.  Escaping is done
3592 # with backslash.
3593 # Basically, the same quoting rules apply for " and ' as in any
3594 # Unix shell.
3595 sub tokenize {
3596     my $line = my $debug_line = shift;
3597     my $separator = shift // qr|\s+|;
3598     my @result = ();
3599
3600     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3601         print STDERR "DEBUG[tokenize]: \$separator = $separator\n";
3602     }
3603
3604     while ($line =~ s|^${separator}||, $line ne "") {
3605         my $token = "";
3606     again:
3607         $line =~ m/^(.*?)(${separator}|"|'|$)/;
3608         $token .= $1;
3609         $line = $2.$';
3610
3611         if ($line =~ m/^"((?:[^"\\]+|\\.)*)"/) {
3612             $token .= $1;
3613             $line = $';
3614             goto again;
3615         } elsif ($line =~ m/^'([^']*)'/) {
3616             $token .= $1;
3617             $line = $';
3618             goto again;
3619         }
3620         push @result, $token;
3621     }
3622
3623     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3624         print STDERR "DEBUG[tokenize]: Parsed '$debug_line' into:\n";
3625         print STDERR "DEBUG[tokenize]: ('", join("', '", @result), "')\n";
3626     }
3627     return @result;
3628 }