doc: It is not possible to use SSL_OP_* value in preprocessor conditions
[openssl.git] / Configure
1 #! /usr/bin/env perl
2 # -*- mode: perl; -*-
3 # Copyright 2016-2021 The OpenSSL Project Authors. All Rights Reserved.
4 #
5 # Licensed under the Apache License 2.0 (the "License").  You may not use
6 # this file except in compliance with the License.  You can obtain a copy
7 # in the file LICENSE in the source distribution or at
8 # https://www.openssl.org/source/license.html
9
10 ##  Configure -- OpenSSL source tree configuration script
11
12 use 5.10.0;
13 use strict;
14 use Config;
15 use FindBin;
16 use lib "$FindBin::Bin/util/perl";
17 use File::Basename;
18 use File::Spec::Functions qw/:DEFAULT abs2rel rel2abs splitdir/;
19 use File::Path qw/mkpath/;
20 use OpenSSL::fallback "$FindBin::Bin/external/perl/MODULES.txt";
21 use OpenSSL::Glob;
22 use OpenSSL::Template;
23 use OpenSSL::config;
24
25 # see INSTALL.md for instructions.
26
27 my $orig_death_handler = $SIG{__DIE__};
28 $SIG{__DIE__} = \&death_handler;
29
30 my $usage="Usage: Configure [no-<cipher> ...] [enable-<cipher> ...] [-Dxxx] [-lxxx] [-Lxxx] [-fxxx] [-Kxxx] [no-hw-xxx|no-hw] [[no-]threads] [[no-]shared] [[no-]zlib|zlib-dynamic] [no-asm] [no-egd] [sctp] [386] [--prefix=DIR] [--openssldir=OPENSSLDIR] [--with-xxx[=vvv]] [--config=FILE] os/compiler[:flags]\n";
31
32 my $banner = <<"EOF";
33
34 **********************************************************************
35 ***                                                                ***
36 ***   OpenSSL has been successfully configured                     ***
37 ***                                                                ***
38 ***   If you encounter a problem while building, please open an    ***
39 ***   issue on GitHub <https://github.com/openssl/openssl/issues>  ***
40 ***   and include the output from the following command:           ***
41 ***                                                                ***
42 ***       perl configdata.pm --dump                                ***
43 ***                                                                ***
44 ***   (If you are new to OpenSSL, you might want to consult the    ***
45 ***   'Troubleshooting' section in the INSTALL.md file first)      ***
46 ***                                                                ***
47 **********************************************************************
48 EOF
49
50 # Options:
51 #
52 # --config      add the given configuration file, which will be read after
53 #               any "Configurations*" files that are found in the same
54 #               directory as this script.
55 # --prefix      prefix for the OpenSSL installation, which includes the
56 #               directories bin, lib, include, share/man, share/doc/openssl
57 #               This becomes the value of INSTALLTOP in Makefile
58 #               (Default: /usr/local)
59 # --openssldir  OpenSSL data area, such as openssl.cnf, certificates and keys.
60 #               If it's a relative directory, it will be added on the directory
61 #               given with --prefix.
62 #               This becomes the value of OPENSSLDIR in Makefile and in C.
63 #               (Default: PREFIX/ssl)
64 # --banner=".." Output specified text instead of default completion banner
65 #
66 # --cross-compile-prefix Add specified prefix to binutils components.
67 #
68 # --api         One of 0.9.8, 1.0.0, 1.0.1, 1.0.2, 1.1.0, 1.1.1, or 3.0
69 #               Define the public APIs as they were for that version
70 #               including patch releases.  If 'no-deprecated' is also
71 #               given, do not compile support for interfaces deprecated
72 #               up to and including the specified OpenSSL version.
73 #
74 # no-hw-xxx     do not compile support for specific crypto hardware.
75 #               Generic OpenSSL-style methods relating to this support
76 #               are always compiled but return NULL if the hardware
77 #               support isn't compiled.
78 # no-hw         do not compile support for any crypto hardware.
79 # [no-]threads  [don't] try to create a library that is suitable for
80 #               multithreaded applications (default is "threads" if we
81 #               know how to do it)
82 # [no-]shared   [don't] try to create shared libraries when supported.
83 # [no-]pic      [don't] try to build position independent code when supported.
84 #               If disabled, it also disables shared and dynamic-engine.
85 # no-asm        do not use assembler
86 # no-egd        do not compile support for the entropy-gathering daemon APIs
87 # [no-]zlib     [don't] compile support for zlib compression.
88 # zlib-dynamic  Like "zlib", but the zlib library is expected to be a shared
89 #               library and will be loaded in run-time by the OpenSSL library.
90 # sctp          include SCTP support
91 # no-uplink     Don't build support for UPLINK interface.
92 # enable-weak-ssl-ciphers
93 #               Enable weak ciphers that are disabled by default.
94 # 386           generate 80386 code in assembly modules
95 # no-sse2       disables IA-32 SSE2 code in assembly modules, the above
96 #               mentioned '386' option implies this one
97 # no-<cipher>   build without specified algorithm (dsa, idea, rc5, ...)
98 # -<xxx> +<xxx> All options which are unknown to the 'Configure' script are
99 # /<xxx>        passed through to the compiler. Unix-style options beginning
100 #               with a '-' or '+' are recognized, as well as Windows-style
101 #               options beginning with a '/'. If the option contains arguments
102 #               separated by spaces, then the URL-style notation %20 can be
103 #               used for the space character in order to avoid having to quote
104 #               the option. For example, -opt%20arg gets expanded to -opt arg.
105 #               In fact, any ASCII character can be encoded as %xx using its
106 #               hexadecimal encoding.
107 # -static       while -static is also a pass-through compiler option (and
108 #               as such is limited to environments where it's actually
109 #               meaningful), it triggers a number configuration options,
110 #               namely no-pic, no-shared and no-threads. It is
111 #               argued that the only reason to produce statically linked
112 #               binaries (and in context it means executables linked with
113 #               -static flag, and not just executables linked with static
114 #               libcrypto.a) is to eliminate dependency on specific run-time,
115 #               a.k.a. libc version. The mentioned config options are meant
116 #               to achieve just that. Unfortunately on Linux it's impossible
117 #               to eliminate the dependency completely for openssl executable
118 #               because of getaddrinfo and gethostbyname calls, which can
119 #               invoke dynamically loadable library facility anyway to meet
120 #               the lookup requests. For this reason on Linux statically
121 #               linked openssl executable has rather debugging value than
122 #               production quality.
123 #
124 # BN_LLONG      use the type 'long long' in crypto/bn/bn.h
125 # RC4_CHAR      use 'char' instead of 'int' for RC4_INT in crypto/rc4/rc4.h
126 # Following are set automatically by this script
127 #
128 # MD5_ASM       use some extra md5 assembler,
129 # SHA1_ASM      use some extra sha1 assembler, must define L_ENDIAN for x86
130 # RMD160_ASM    use some extra ripemd160 assembler,
131 # SHA256_ASM    sha256_block is implemented in assembler
132 # SHA512_ASM    sha512_block is implemented in assembler
133 # AES_ASM       AES_[en|de]crypt is implemented in assembler
134
135 # Minimum warning options... any contributions to OpenSSL should at least
136 # get past these.  Note that we only use these with C compilers, not with
137 # C++ compilers.
138
139 # -DPEDANTIC complements -pedantic and is meant to mask code that
140 # is not strictly standard-compliant and/or implementation-specific,
141 # e.g. inline assembly, disregards to alignment requirements, such
142 # that -pedantic would complain about. Incidentally -DPEDANTIC has
143 # to be used even in sanitized builds, because sanitizer too is
144 # supposed to and does take notice of non-standard behaviour. Then
145 # -pedantic with pre-C9x compiler would also complain about 'long
146 # long' not being supported. As 64-bit algorithms are common now,
147 # it grew impossible to resolve this without sizeable additional
148 # code, so we just tell compiler to be pedantic about everything
149 # but 'long long' type.
150
151 my @gcc_devteam_warn = qw(
152     -DPEDANTIC -pedantic -Wno-long-long -DUNUSEDRESULT_DEBUG
153     -Wall
154     -Wmissing-declarations
155     -Wextra
156     -Wno-unused-parameter
157     -Wno-missing-field-initializers
158     -Wswitch
159     -Wsign-compare
160     -Wshadow
161     -Wformat
162     -Wtype-limits
163     -Wundef
164     -Werror
165     -Wmissing-prototypes
166     -Wstrict-prototypes
167 );
168
169 # These are used in addition to $gcc_devteam_warn when the compiler is clang.
170 # TODO(openssl-team): fix problems and investigate if (at least) the
171 # following warnings can also be enabled:
172 #       -Wcast-align
173 #       -Wunreachable-code -- no, too ugly/compiler-specific
174 #       -Wlanguage-extension-token -- no, we use asm()
175 #       -Wunused-macros -- no, too tricky for BN and _XOPEN_SOURCE etc
176 #       -Wextended-offsetof -- no, needed in CMS ASN1 code
177 my @clang_devteam_warn = qw(
178     -Wno-unknown-warning-option
179     -Wswitch-default
180     -Wno-parentheses-equality
181     -Wno-language-extension-token
182     -Wno-extended-offsetof
183     -Wconditional-uninitialized
184     -Wincompatible-pointer-types-discards-qualifiers
185     -Wmissing-variable-declarations
186 );
187
188 my @cl_devteam_warn = qw(
189     /WX
190 );
191
192 my $strict_warnings = 0;
193
194 # As for $BSDthreads. Idea is to maintain "collective" set of flags,
195 # which would cover all BSD flavors. -pthread applies to them all,
196 # but is treated differently. OpenBSD expands is as -D_POSIX_THREAD
197 # -lc_r, which is sufficient. FreeBSD 4.x expands it as -lc_r,
198 # which has to be accompanied by explicit -D_THREAD_SAFE and
199 # sometimes -D_REENTRANT. FreeBSD 5.x expands it as -lc_r, which
200 # seems to be sufficient?
201 our $BSDthreads="-pthread -D_THREAD_SAFE -D_REENTRANT";
202
203 #
204 # API compatibility name to version number mapping.
205 #
206 my $apitable = {
207     # This table expresses when API additions or changes can occur.
208     # The numbering used changes from 3.0 and on because we updated
209     # (solidified) our version numbering scheme at that point.
210
211     # From 3.0 and on, we internalise the given version number in decimal
212     # as MAJOR * 10000 + MINOR * 100 + 0
213     "3.0.0" => 30000,
214     "3.0"   => 30000,
215
216     # Note that before 3.0, we didn't have the same version number scheme.
217     # Still, the numbering we use here covers what we need.
218     "1.1.1" => 10101,
219     "1.1.0" => 10100,
220     "1.0.2" => 10002,
221     "1.0.1" => 10001,
222     "1.0.0" => 10000,
223     "0.9.8" =>   908,
224 };
225
226 # For OpenSSL::config::get_platform
227 my %guess_opts = ();
228
229 my $dryrun = 0;
230
231 our %table = ();
232 our %config = ();
233 our %withargs = ();
234 our $now_printing;      # set to current entry's name in print_table_entry
235                         # (todo: right thing would be to encapsulate name
236                         # into %target [class] and make print_table_entry
237                         # a method)
238
239 # Forward declarations ###############################################
240
241 # read_config(filename)
242 #
243 # Reads a configuration file and populates %table with the contents
244 # (which the configuration file places in %targets).
245 sub read_config;
246
247 # resolve_config(target)
248 #
249 # Resolves all the late evaluations, inheritances and so on for the
250 # chosen target and any target it inherits from.
251 sub resolve_config;
252
253
254 # Information collection #############################################
255
256 # Unified build supports separate build dir
257 my $srcdir = catdir(absolutedir(dirname($0))); # catdir ensures local syntax
258 my $blddir = catdir(absolutedir("."));         # catdir ensures local syntax
259
260 # File::Spec::Unix doesn't detect case insensitivity, so we make sure to
261 # check if the source and build directory are really the same, and make
262 # them so.  This avoids all kinds of confusion later on.
263 # We must check @File::Spec::ISA rather than using File::Spec->isa() to
264 # know if File::Spec ended up loading File::Spec::Unix.
265 $srcdir = $blddir
266     if (grep(/::Unix$/, @File::Spec::ISA)
267         && samedir($srcdir, $blddir));
268
269 my $dofile = abs2rel(catfile($srcdir, "util/dofile.pl"));
270
271 my $local_config_envname = 'OPENSSL_LOCAL_CONFIG_DIR';
272
273 $config{sourcedir} = abs2rel($srcdir, $blddir);
274 $config{builddir} = abs2rel($blddir, $blddir);
275 # echo -n 'holy hand grenade of antioch' | openssl sha256
276 $config{FIPSKEY} =
277     'f4556650ac31d35461610bac4ed81b1a181b2d8a43ea2854cbae22ca74560813';
278
279 # Collect reconfiguration information if needed
280 my @argvcopy=@ARGV;
281
282 if (grep /^reconf(igure)?$/, @argvcopy) {
283     die "reconfiguring with other arguments present isn't supported"
284         if scalar @argvcopy > 1;
285     if (-f "./configdata.pm") {
286         my $file = "./configdata.pm";
287         unless (my $return = do $file) {
288             die "couldn't parse $file: $@" if $@;
289             die "couldn't do $file: $!"    unless defined $return;
290             die "couldn't run $file"       unless $return;
291         }
292
293         @argvcopy = defined($configdata::config{perlargv}) ?
294             @{$configdata::config{perlargv}} : ();
295         die "Incorrect data to reconfigure, please do a normal configuration\n"
296             if (grep(/^reconf/,@argvcopy));
297         $config{perlenv} = $configdata::config{perlenv} // {};
298     } else {
299         die "Insufficient data to reconfigure, please do a normal configuration\n";
300     }
301 }
302
303 $config{perlargv} = [ @argvcopy ];
304
305 # Historical: if known directories in crypto/ have been removed, it means
306 # that those sub-systems are disabled.
307 # (the other option would be to removed them from the SUBDIRS statement in
308 # crypto/build.info)
309 # We reverse the input list for cosmetic purely reasons, to compensate that
310 # 'unshift' adds at the front of the list (i.e. in reverse input order).
311 foreach ( reverse sort( 'aes', 'aria', 'bf', 'camellia', 'cast', 'des', 'dh',
312                         'dsa', 'ec', 'hmac', 'idea', 'md2', 'md5', 'mdc2',
313                         'rc2', 'rc4', 'rc5', 'ripemd', 'seed', 'sha',
314                         'sm2', 'sm3', 'sm4') ) {
315     unshift @argvcopy, "no-$_" if ! -d catdir($srcdir, 'crypto', $_);
316 }
317
318 # Collect version numbers
319 my %version = ();
320
321 collect_information(
322     collect_from_file(catfile($srcdir,'VERSION.dat')),
323     qr/\s*(\w+)\s*=\s*(.*?)\s*$/ =>
324         sub {
325             # Only define it if there is a value at all
326             if ($2 ne '') {
327                 my $k = $1;
328                 my $v = $2;
329                 # Some values are quoted.  Trim the quotes
330                 $v = $1 if $v =~ /^"(.*)"$/;
331                 $version{uc $k} = $v;
332             }
333         },
334     "OTHERWISE" =>
335         sub { die "Something wrong with this line:\n$_\nin $srcdir/VERSION.dat" },
336     );
337
338 $config{major} = $version{MAJOR} // 'unknown';
339 $config{minor} = $version{MINOR} // 'unknown';
340 $config{patch} = $version{PATCH} // 'unknown';
341 $config{prerelease} =
342     defined $version{PRE_RELEASE_TAG} ? "-$version{PRE_RELEASE_TAG}" : '';
343 $config{build_metadata} =
344     defined $version{BUILD_METADATA} ? "+$version{BUILD_METADATA}" : '';
345 $config{shlib_version} = $version{SHLIB_VERSION} // 'unknown';
346 $config{release_date} = $version{RELEASE_DATE} // 'xx XXX xxxx';
347
348 $config{version} = "$config{major}.$config{minor}.$config{patch}";
349 $config{full_version} = "$config{version}$config{prerelease}$config{build_metadata}";
350
351 die "erroneous version information in VERSION.dat: ",
352     "$config{version}, $config{shlib_version}\n"
353     unless (defined $version{MAJOR}
354             && defined $version{MINOR}
355             && defined $version{PATCH}
356             && defined $version{SHLIB_VERSION});
357
358 # Collect target configurations
359
360 my $pattern = catfile(dirname($0), "Configurations", "*.conf");
361 foreach (sort glob($pattern)) {
362     &read_config($_);
363 }
364
365 if (defined env($local_config_envname)) {
366     if ($^O eq 'VMS') {
367         # VMS environment variables are logical names,
368         # which can be used as is
369         $pattern = $local_config_envname . ':' . '*.conf';
370     } else {
371         $pattern = catfile(env($local_config_envname), '*.conf');
372     }
373
374     foreach (sort glob($pattern)) {
375         &read_config($_);
376     }
377 }
378
379 # Save away perl command information
380 $config{perl_cmd} = $^X;
381 $config{perl_version} = $Config{version};
382 $config{perl_archname} = $Config{archname};
383
384 $config{prefix}="";
385 $config{openssldir}="";
386 $config{processor}="";
387 $config{libdir}="";
388 my $auto_threads=1;    # enable threads automatically? true by default
389 my $default_ranlib;
390
391 # Known TLS and DTLS protocols
392 my @tls = qw(ssl3 tls1 tls1_1 tls1_2 tls1_3);
393 my @dtls = qw(dtls1 dtls1_2);
394
395 # Explicitly known options that are possible to disable.  They can
396 # be regexps, and will be used like this: /^no-${option}$/
397 # For developers: keep it sorted alphabetically
398
399 my @disablables = (
400     "acvp-tests",
401     "afalgeng",
402     "aria",
403     "asan",
404     "asm",
405     "async",
406     "autoalginit",
407     "autoerrinit",
408     "autoload-config",
409     "bf",
410     "blake2",
411     "buildtest-c++",
412     "bulk",
413     "cached-fetch",
414     "camellia",
415     "capieng",
416     "cast",
417     "chacha",
418     "cmac",
419     "cmp",
420     "cms",
421     "comp",
422     "crypto-mdebug",
423     "ct",
424     "deprecated",
425     "des",
426     "devcryptoeng",
427     "dgram",
428     "dh",
429     "dsa",
430     "dso",
431     "dtls",
432     "dynamic-engine",
433     "ec",
434     "ec2m",
435     "ec_nistp_64_gcc_128",
436     "ecdh",
437     "ecdsa",
438     "egd",
439     "engine",
440     "err",
441     "external-tests",
442     "filenames",
443     "fips",
444     "fips-securitychecks",
445     "fuzz-afl",
446     "fuzz-libfuzzer",
447     "gost",
448     "idea",
449     "ktls",
450     "legacy",
451     "loadereng",
452     "makedepend",
453     "md2",
454     "md4",
455     "mdc2",
456     "module",
457     "msan",
458     "multiblock",
459     "nextprotoneg",
460     "ocb",
461     "ocsp",
462     "padlockeng",
463     "pic",
464     "pinshared",
465     "poly1305",
466     "posix-io",
467     "psk",
468     "rc2",
469     "rc4",
470     "rc5",
471     "rdrand",
472     "rfc3779",
473     "rmd160",
474     "scrypt",
475     "sctp",
476     "secure-memory",
477     "seed",
478     "shared",
479     "siphash",
480     "siv",
481     "sm2",
482     "sm3",
483     "sm4",
484     "sock",
485     "srp",
486     "srtp",
487     "sse2",
488     "ssl",
489     "ssl-trace",
490     "static-engine",
491     "stdio",
492     "tests",
493     "threads",
494     "tls",
495     "trace",
496     "ts",
497     "ubsan",
498     "ui-console",
499     "unit-test",
500     "uplink",
501     "weak-ssl-ciphers",
502     "whirlpool",
503     "zlib",
504     "zlib-dynamic",
505     );
506 foreach my $proto ((@tls, @dtls))
507         {
508         push(@disablables, $proto);
509         push(@disablables, "$proto-method") unless $proto eq "tls1_3";
510         }
511
512 # Internal disablables, for aliasing purposes.  They serve no special
513 # purpose here, but allow scripts to get to know them through configdata.pm,
514 # where these are merged with @disablables.
515 # The actual aliasing mechanism is done via %disable_cascades
516 my @disablables_int = qw(
517     crmf
518     );
519
520 my %deprecated_disablables = (
521     "ssl2" => undef,
522     "buf-freelists" => undef,
523     "crypto-mdebug-backtrace" => undef,
524     "hw" => "hw",               # causes cascade, but no macro
525     "hw-padlock" => "padlockeng",
526     "ripemd" => "rmd160",
527     "ui" => "ui-console",
528     "heartbeats" => undef,
529     );
530
531 # All of the following are disabled by default:
532
533 our %disabled = ( # "what"         => "comment"
534                   "fips"                => "default",
535                   "acvp-tests"          => "default",
536                   "asan"                => "default",
537                   "buildtest-c++"       => "default",
538                   "crypto-mdebug"       => "default",
539                   "crypto-mdebug-backtrace" => "default",
540                   "devcryptoeng"        => "default",
541                   "ec_nistp_64_gcc_128" => "default",
542                   "egd"                 => "default",
543                   "external-tests"      => "default",
544                   "fuzz-afl"            => "default",
545                   "fuzz-libfuzzer"      => "default",
546                   "ktls"                => "default",
547                   "md2"                 => "default",
548                   "msan"                => "default",
549                   "rc5"                 => "default",
550                   "sctp"                => "default",
551                   "ssl3"                => "default",
552                   "ssl3-method"         => "default",
553                   "trace"               => "default",
554                   "ubsan"               => "default",
555                   "unit-test"           => "default",
556                   "weak-ssl-ciphers"    => "default",
557                   "zlib"                => "default",
558                   "zlib-dynamic"        => "default",
559                 );
560
561 # Note: => pair form used for aesthetics, not to truly make a hash table
562 my @disable_cascades = (
563     # "what"            => [ "cascade", ... ]
564     "bulk"              => [ "shared", "dso",
565                              "aria", "async", "autoload-config",
566                              "blake2", "bf", "camellia", "cast", "chacha",
567                              "cmac", "cms", "cmp", "comp", "ct",
568                              "des", "dgram", "dh", "dsa",
569                              "ec", "engine",
570                              "filenames",
571                              "idea", "ktls",
572                              "md4", "multiblock", "nextprotoneg",
573                              "ocsp", "ocb", "poly1305", "psk",
574                              "rc2", "rc4", "rmd160",
575                              "seed", "siphash", "siv",
576                              "sm3", "sm4", "srp",
577                              "srtp", "ssl3-method", "ssl-trace",
578                              "ts", "ui-console", "whirlpool",
579                              "fips-securitychecks" ],
580     sub { $config{processor} eq "386" }
581                         => [ "sse2" ],
582     "ssl"               => [ "ssl3" ],
583     "ssl3-method"       => [ "ssl3" ],
584     "zlib"              => [ "zlib-dynamic" ],
585     "des"               => [ "mdc2" ],
586     "ec"                => [ "ec2m", "ecdsa", "ecdh", "sm2", "gost" ],
587     "dgram"             => [ "dtls", "sctp" ],
588     "sock"              => [ "dgram" ],
589     "dtls"              => [ @dtls ],
590     sub { 0 == scalar grep { !$disabled{$_} } @dtls }
591                         => [ "dtls" ],
592
593     "tls"               => [ @tls ],
594     sub { 0 == scalar grep { !$disabled{$_} } @tls }
595                         => [ "tls" ],
596
597     "crypto-mdebug"     => [ "crypto-mdebug-backtrace" ],
598
599     # If no modules, then no dynamic engines either
600     "module"            => [ "dynamic-engine" ],
601
602     # Without shared libraries, dynamic engines aren't possible.
603     # This is due to them having to link with libcrypto and register features
604     # using the ENGINE functionality, and since that relies on global tables,
605     # those *have* to be exacty the same as the ones accessed from the app,
606     # which cannot be guaranteed if shared libraries aren't present.
607     # (note that even with shared libraries, both the app and dynamic engines
608     # must be linked with the same library)
609     "shared"            => [ "dynamic-engine", "uplink" ],
610     "dso"               => [ "dynamic-engine", "module" ],
611     # Other modules don't necessarily have to link with libcrypto, so shared
612     # libraries do not have to be a condition to produce those.
613
614     # Without position independent code, there can be no shared libraries
615     # or modules.
616     "pic"               => [ "shared", "module" ],
617
618     "module"            => [ "fips", "dso" ],
619
620     "engine"            => [ "dynamic-engine", grep(/eng$/, @disablables) ],
621     "dynamic-engine"    => [ "loadereng" ],
622     "hw"                => [ "padlockeng" ],
623
624     # no-autoalginit is only useful when building non-shared
625     "autoalginit"       => [ "shared", "apps", "fips" ],
626
627     "stdio"             => [ "apps", "capieng", "egd" ],
628     "apps"              => [ "tests" ],
629     "tests"             => [ "external-tests" ],
630     "comp"              => [ "zlib" ],
631     "sm3"               => [ "sm2" ],
632     sub { !$disabled{"unit-test"} } => [ "heartbeats" ],
633
634     sub { !$disabled{"msan"} } => [ "asm" ],
635
636     "cmac"              => [ "siv" ],
637     "legacy"            => [ "md2" ],
638
639     "cmp"               => [ "crmf" ],
640
641     "fips"              => [ "fips-securitychecks" ],
642
643     "deprecated-3.0"    => [ "engine", "srp" ]
644     );
645
646 # Avoid protocol support holes.  Also disable all versions below N, if version
647 # N is disabled while N+1 is enabled.
648 #
649 my @list = (reverse @tls);
650 while ((my $first, my $second) = (shift @list, shift @list)) {
651     last unless @list;
652     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
653                               => [ @list ] );
654     unshift @list, $second;
655 }
656 my @list = (reverse @dtls);
657 while ((my $first, my $second) = (shift @list, shift @list)) {
658     last unless @list;
659     push @disable_cascades, ( sub { !$disabled{$first} && $disabled{$second} }
660                               => [ @list ] );
661     unshift @list, $second;
662 }
663
664 # Explicit "no-..." options will be collected in %disabled along with the defaults.
665 # To remove something from %disabled, use "enable-foo".
666 # For symmetry, "disable-foo" is a synonym for "no-foo".
667
668 # For the "make variables" CPPINCLUDES and CPPDEFINES, we support lists with
669 # platform specific list separators.  Users from those platforms should
670 # recognise those separators from how you set up the PATH to find executables.
671 # The default is the Unix like separator, :, but as an exception, we also
672 # support the space as separator.
673 my $list_separator_re =
674     { VMS           => qr/(?<!\^),/,
675       MSWin32       => qr/(?<!\\);/ } -> {$^O} // qr/(?<!\\)[:\s]/;
676 # All the "make variables" we support
677 # Some get pre-populated for the sake of backward compatibility
678 # (we supported those before the change to "make variable" support.
679 my %user = (
680     AR          => env('AR'),
681     ARFLAGS     => [],
682     AS          => undef,
683     ASFLAGS     => [],
684     CC          => env('CC'),
685     CFLAGS      => [ env('CFLAGS') || () ],
686     CXX         => env('CXX'),
687     CXXFLAGS    => [ env('CXXFLAGS') || () ],
688     CPP         => undef,
689     CPPFLAGS    => [ env('CPPFLAGS') || () ],  # -D, -I, -Wp,
690     CPPDEFINES  => [],  # Alternative for -D
691     CPPINCLUDES => [],  # Alternative for -I
692     CROSS_COMPILE => env('CROSS_COMPILE'),
693     HASHBANGPERL=> env('HASHBANGPERL') || env('PERL'),
694     LD          => undef,
695     LDFLAGS     => [ env('LDFLAGS') || () ],  # -L, -Wl,
696     LDLIBS      => [ env('LDLIBS') || () ],  # -l
697     MT          => undef,
698     MTFLAGS     => [],
699     PERL        => env('PERL') || ($^O ne "VMS" ? $^X : "perl"),
700     RANLIB      => env('RANLIB'),
701     RC          => env('RC') || env('WINDRES'),
702     RCFLAGS     => [ env('RCFLAGS') || () ],
703     RM          => undef,
704    );
705 # Info about what "make variables" may be prefixed with the cross compiler
706 # prefix.  This should NEVER mention any such variable with a list for value.
707 my @user_crossable = qw ( AR AS CC CXX CPP LD MT RANLIB RC );
708 # The same but for flags given as Configure options.  These are *additional*
709 # input, as opposed to the VAR=string option that override the corresponding
710 # config target attributes
711 my %useradd = (
712     CPPDEFINES  => [],
713     CPPINCLUDES => [],
714     CPPFLAGS    => [],
715     CFLAGS      => [],
716     CXXFLAGS    => [],
717     LDFLAGS     => [],
718     LDLIBS      => [],
719     RCFLAGS     => [],
720    );
721
722 my %user_synonyms = (
723     HASHBANGPERL=> 'PERL',
724     RC          => 'WINDRES',
725    );
726
727 # Some target attributes have been renamed, this is the translation table
728 my %target_attr_translate =(
729     ar          => 'AR',
730     as          => 'AS',
731     cc          => 'CC',
732     cxx         => 'CXX',
733     cpp         => 'CPP',
734     hashbangperl => 'HASHBANGPERL',
735     ld          => 'LD',
736     mt          => 'MT',
737     ranlib      => 'RANLIB',
738     rc          => 'RC',
739     rm          => 'RM',
740    );
741
742 # Initialisers coming from 'config' scripts
743 $config{defines} = [ split(/$list_separator_re/, env('__CNF_CPPDEFINES')) ];
744 $config{includes} = [ split(/$list_separator_re/, env('__CNF_CPPINCLUDES')) ];
745 $config{cppflags} = [ env('__CNF_CPPFLAGS') || () ];
746 $config{cflags} = [ env('__CNF_CFLAGS') || () ];
747 $config{cxxflags} = [ env('__CNF_CXXFLAGS') || () ];
748 $config{lflags} = [ env('__CNF_LDFLAGS') || () ];
749 $config{ex_libs} = [ env('__CNF_LDLIBS') || () ];
750
751 $config{openssl_api_defines}=[];
752 $config{openssl_sys_defines}=[];
753 $config{openssl_feature_defines}=[];
754 $config{options}="";
755 $config{build_type} = "release";
756 my $target="";
757
758 my %cmdvars = ();               # Stores FOO='blah' type arguments
759 my %unsupported_options = ();
760 my %deprecated_options = ();
761 # If you change this, update apps/version.c
762 my @known_seed_sources = qw(getrandom devrandom os egd none rdcpu librandom);
763 my @seed_sources = ();
764 while (@argvcopy)
765         {
766         $_ = shift @argvcopy;
767
768         # Support env variable assignments among the options
769         if (m|^(\w+)=(.+)?$|)
770                 {
771                 $cmdvars{$1} = $2;
772                 # Every time a variable is given as a configuration argument,
773                 # it acts as a reset if the variable.
774                 if (exists $user{$1})
775                         {
776                         $user{$1} = ref $user{$1} eq "ARRAY" ? [] : undef;
777                         }
778                 #if (exists $useradd{$1})
779                 #       {
780                 #       $useradd{$1} = [];
781                 #       }
782                 next;
783                 }
784
785         # VMS is a case insensitive environment, and depending on settings
786         # out of our control, we may receive options uppercased.  Let's
787         # downcase at least the part before any equal sign.
788         if ($^O eq "VMS")
789                 {
790                 s/^([^=]*)/lc($1)/e;
791                 }
792
793         # some people just can't read the instructions, clang people have to...
794         s/^-no-(?!integrated-as)/no-/;
795
796         # rewrite some options in "enable-..." form
797         s /^-?-?shared$/enable-shared/;
798         s /^sctp$/enable-sctp/;
799         s /^threads$/enable-threads/;
800         s /^zlib$/enable-zlib/;
801         s /^zlib-dynamic$/enable-zlib-dynamic/;
802         s /^fips$/enable-fips/;
803
804         if (/^(no|disable|enable)-(.+)$/)
805                 {
806                 my $word = $2;
807                 if ($word !~ m|hw(?:-.+)| # special treatment for hw regexp opt
808                         && !exists $deprecated_disablables{$word}
809                         && !grep { $word eq $_ } @disablables)
810                         {
811                         $unsupported_options{$_} = 1;
812                         next;
813                         }
814                 }
815         if (/^no-(.+)$/ || /^disable-(.+)$/)
816                 {
817                 foreach my $proto ((@tls, @dtls))
818                         {
819                         if ($1 eq "$proto-method")
820                                 {
821                                 $disabled{"$proto"} = "option($proto-method)";
822                                 last;
823                                 }
824                         }
825                 if ($1 eq "dtls")
826                         {
827                         foreach my $proto (@dtls)
828                                 {
829                                 $disabled{$proto} = "option(dtls)";
830                                 }
831                         $disabled{"dtls"} = "option(dtls)";
832                         }
833                 elsif ($1 eq "ssl")
834                         {
835                         # Last one of its kind
836                         $disabled{"ssl3"} = "option(ssl)";
837                         }
838                 elsif ($1 eq "tls")
839                         {
840                         # XXX: Tests will fail if all SSL/TLS
841                         # protocols are disabled.
842                         foreach my $proto (@tls)
843                                 {
844                                 $disabled{$proto} = "option(tls)";
845                                 }
846                         }
847                 elsif ($1 eq "static-engine")
848                         {
849                         delete $disabled{"dynamic-engine"};
850                         }
851                 elsif ($1 eq "dynamic-engine")
852                         {
853                         $disabled{"dynamic-engine"} = "option";
854                         }
855                 elsif (exists $deprecated_disablables{$1})
856                         {
857                         $deprecated_options{$_} = 1;
858                         if (defined $deprecated_disablables{$1})
859                                 {
860                                 $disabled{$deprecated_disablables{$1}} = "option";
861                                 }
862                         }
863                 elsif ($1 =~ m|hw(?:-.+)|) # deprecate hw options in regexp form
864                         {
865                         $deprecated_options{$_} = 1;
866                         }
867                 else
868                         {
869                         $disabled{$1} = "option";
870                         }
871                 # No longer an automatic choice
872                 $auto_threads = 0 if ($1 eq "threads");
873                 }
874         elsif (/^enable-(.+)$/)
875                 {
876                 if ($1 eq "static-engine")
877                         {
878                         $disabled{"dynamic-engine"} = "option";
879                         }
880                 elsif ($1 eq "dynamic-engine")
881                         {
882                         delete $disabled{"dynamic-engine"};
883                         }
884                 elsif ($1 eq "zlib-dynamic")
885                         {
886                         delete $disabled{"zlib"};
887                         }
888                 my $algo = $1;
889                 delete $disabled{$algo};
890
891                 # No longer an automatic choice
892                 $auto_threads = 0 if ($1 eq "threads");
893                 }
894         elsif (/^-d$/)          # From older 'config'
895                 {
896                 $config{build_type} = "debug";
897                 }
898         elsif (/^-v$/)          # From older 'config'
899                 {
900                 $guess_opts{verbose} = 1;
901                 }
902         elsif (/^-w$/)          # From older 'config'
903                 {
904                 $guess_opts{nowait} = 1;
905                 }
906         elsif (/^-t$/)          # From older 'config'
907                 {
908                 $dryrun = 1;
909                 }
910         elsif (/^--strict-warnings$/)
911                 {
912                 # Pretend that our strict flags is a C flag, and replace it
913                 # with the proper flags later on
914                 push @{$useradd{CFLAGS}}, '--ossl-strict-warnings';
915                 $strict_warnings=1;
916                 }
917         elsif (/^--debug$/)
918                 {
919                 $config{build_type} = "debug";
920                 }
921         elsif (/^--release$/)
922                 {
923                 $config{build_type} = "release";
924                 }
925         elsif (/^386$/)
926                 { $config{processor}=386; }
927         elsif (/^rsaref$/)
928                 {
929                 # No RSAref support any more since it's not needed.
930                 # The check for the option is there so scripts aren't
931                 # broken
932                 }
933         elsif (m|^[-+/]|)
934                 {
935                 if (/^--prefix=(.*)$/)
936                         {
937                         $config{prefix}=$1;
938                         die "Directory given with --prefix MUST be absolute\n"
939                                 unless file_name_is_absolute($config{prefix});
940                         }
941                 elsif (/^--api=(.*)$/)
942                         {
943                         my $api = $1;
944                         die "Unknown API compatibility level $api"
945                                 unless defined $apitable->{$api};
946                         $config{api}=$apitable->{$api};
947                         }
948                 elsif (/^--libdir=(.*)$/)
949                         {
950                         $config{libdir}=$1;
951                         }
952                 elsif (/^--openssldir=(.*)$/)
953                         {
954                         $config{openssldir}=$1;
955                         }
956                 elsif (/^--with-zlib-lib=(.*)$/)
957                         {
958                         $withargs{zlib_lib}=$1;
959                         }
960                 elsif (/^--with-zlib-include=(.*)$/)
961                         {
962                         $withargs{zlib_include}=$1;
963                         }
964                 elsif (/^--with-fuzzer-lib=(.*)$/)
965                         {
966                         $withargs{fuzzer_lib}=$1;
967                         }
968                 elsif (/^--with-fuzzer-include=(.*)$/)
969                         {
970                         $withargs{fuzzer_include}=$1;
971                         }
972                 elsif (/^--with-rand-seed=(.*)$/)
973                         {
974                         foreach my $x (split(m|,|, $1))
975                             {
976                             die "Unknown --with-rand-seed choice $x\n"
977                                 if ! grep { $x eq $_ } @known_seed_sources;
978                             push @seed_sources, $x;
979                             }
980                         }
981                 elsif (/^--fips-key=(.*)$/)
982                         {
983                         $user{FIPSKEY}=lc($1);
984                         die "Non-hex character in FIPS key\n"
985                            if $user{FIPSKEY} =~ /[^a-f0-9]/;
986                         die "FIPS key must have even number of characters\n"
987                            if length $1 & 1;
988                         die "FIPS key too long (64 bytes max)\n"
989                            if length $1 > 64;
990                         }
991                 elsif (/^--banner=(.*)$/)
992                         {
993                         $banner = $1 . "\n";
994                         }
995                 elsif (/^--cross-compile-prefix=(.*)$/)
996                         {
997                         $user{CROSS_COMPILE}=$1;
998                         }
999                 elsif (/^--config=(.*)$/)
1000                         {
1001                         read_config $1;
1002                         }
1003                 elsif (/^-l(.*)$/)
1004                         {
1005                         push @{$useradd{LDLIBS}}, $_;
1006                         }
1007                 elsif (/^-framework$/)
1008                         {
1009                         push @{$useradd{LDLIBS}}, $_, shift(@argvcopy);
1010                         }
1011                 elsif (/^-L(.*)$/ or /^-Wl,/)
1012                         {
1013                         push @{$useradd{LDFLAGS}}, $_;
1014                         }
1015                 elsif (/^-rpath$/ or /^-R$/)
1016                         # -rpath is the OSF1 rpath flag
1017                         # -R is the old Solaris rpath flag
1018                         {
1019                         my $rpath = shift(@argvcopy) || "";
1020                         $rpath .= " " if $rpath ne "";
1021                         push @{$useradd{LDFLAGS}}, $_, $rpath;
1022                         }
1023                 elsif (/^-static$/)
1024                         {
1025                         push @{$useradd{LDFLAGS}}, $_;
1026                         }
1027                 elsif (m|^[-/]D(.*)$|)
1028                         {
1029                         push @{$useradd{CPPDEFINES}}, $1;
1030                         }
1031                 elsif (m|^[-/]I(.*)$|)
1032                         {
1033                         push @{$useradd{CPPINCLUDES}}, $1;
1034                         }
1035                 elsif (/^-Wp,$/)
1036                         {
1037                         push @{$useradd{CPPFLAGS}}, $1;
1038                         }
1039                 else    # common if (/^[-+]/), just pass down...
1040                         {
1041                         # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1042                         # This provides a simple way to pass options with arguments separated
1043                         # by spaces without quoting (e.g. -opt%20arg translates to -opt arg).
1044                         $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1045                         push @{$useradd{CFLAGS}}, $_;
1046                         push @{$useradd{CXXFLAGS}}, $_;
1047                         }
1048                 }
1049         elsif (m|^/|)
1050                 {
1051                 # Treat %xx as an ASCII code (e.g. replace %20 by a space character).
1052                 # This provides a simple way to pass options with arguments separated
1053                 # by spaces without quoting (e.g. /opt%20arg translates to /opt arg).
1054                 $_ =~ s/%([0-9a-f]{1,2})/chr(hex($1))/gei;
1055                 push @{$useradd{CFLAGS}}, $_;
1056                 push @{$useradd{CXXFLAGS}}, $_;
1057                 }
1058         else
1059                 {
1060                 die "target already defined - $target (offending arg: $_)\n" if ($target ne "");
1061                 $target=$_;
1062                 }
1063         unless ($_ eq $target || /^no-/ || /^disable-/)
1064                 {
1065                 # "no-..." follows later after implied deactivations
1066                 # have been derived.  (Don't take this too seriously,
1067                 # we really only write OPTIONS to the Makefile out of
1068                 # nostalgia.)
1069
1070                 if ($config{options} eq "")
1071                         { $config{options} = $_; }
1072                 else
1073                         { $config{options} .= " ".$_; }
1074                 }
1075         }
1076
1077 if (keys %deprecated_options)
1078         {
1079         warn "***** Deprecated options: ",
1080                 join(", ", keys %deprecated_options), "\n";
1081         }
1082 if (keys %unsupported_options)
1083         {
1084         die "***** Unsupported options: ",
1085                 join(", ", keys %unsupported_options), "\n";
1086         }
1087
1088 # If any %useradd entry has been set, we must check that the "make
1089 # variables" haven't been set.  We start by checking of any %useradd entry
1090 # is set.
1091 if (grep { scalar @$_ > 0 } values %useradd) {
1092     # Hash of env / make variables names.  The possible values are:
1093     # 1 - "make vars"
1094     # 2 - %useradd entry set
1095     # 3 - both set
1096     my %detected_vars =
1097         map { my $v = 0;
1098               $v += 1 if $cmdvars{$_};
1099               $v += 2 if @{$useradd{$_}};
1100               $_ => $v }
1101         keys %useradd;
1102
1103     # If any of the corresponding "make variables" is set, we error
1104     if (grep { $_ & 1 } values %detected_vars) {
1105         my $names = join(', ', grep { $detected_vars{$_} > 0 }
1106                                sort keys %detected_vars);
1107         die <<"_____";
1108 ***** Mixing make variables and additional compiler/linker flags as
1109 ***** configure command line option is not permitted.
1110 ***** Affected make variables: $names
1111 _____
1112     }
1113 }
1114
1115 # Check through all supported command line variables to see if any of them
1116 # were set, and canonicalise the values we got.  If no compiler or linker
1117 # flag or anything else that affects %useradd was set, we also check the
1118 # environment for values.
1119 my $anyuseradd =
1120     grep { defined $_ && (ref $_ ne 'ARRAY' || @$_) } values %useradd;
1121 foreach (keys %user) {
1122     my $value = $cmdvars{$_};
1123     $value //= env($_) unless $anyuseradd;
1124     $value //=
1125         defined $user_synonyms{$_} ? $cmdvars{$user_synonyms{$_}} : undef;
1126     $value //= defined $user_synonyms{$_} ? env($user_synonyms{$_}) : undef
1127         unless $anyuseradd;
1128
1129     if (defined $value) {
1130         if (ref $user{$_} eq 'ARRAY') {
1131             if ($_ eq 'CPPDEFINES' || $_ eq 'CPPINCLUDES') {
1132                 $user{$_} = [ split /$list_separator_re/, $value ];
1133             } else {
1134                 $user{$_} = [ $value ];
1135             }
1136         } elsif (!defined $user{$_}) {
1137             $user{$_} = $value;
1138         }
1139     }
1140 }
1141
1142 if (grep { /-rpath\b/ } ($user{LDFLAGS} ? @{$user{LDFLAGS}} : ())
1143     && !$disabled{shared}
1144     && !($disabled{asan} && $disabled{msan} && $disabled{ubsan})) {
1145     die "***** Cannot simultaneously use -rpath, shared libraries, and\n",
1146         "***** any of asan, msan or ubsan\n";
1147 }
1148
1149 # If no target was given, try guessing.
1150 unless ($target) {
1151     my %system_config = OpenSSL::config::get_platform(%guess_opts, %user);
1152
1153     # The $system_config{disable} is used to populate %disabled with
1154     # entries that aren't already there.
1155     foreach ( @{$system_config{disable} // []} ) {
1156         $disabled{$_} = 'system' unless defined $disabled{$_};
1157     }
1158     delete $system_config{disable};
1159
1160     # Override config entries with stuff from the guesser.
1161     # It's assumed that this really is nothing new.
1162     %config = ( %config, %system_config );
1163     $target = $system_config{target};
1164 }
1165
1166 sub disable {
1167     my $disable_type = shift;
1168
1169     for (@_) {
1170         $disabled{$_} = $disable_type;
1171     }
1172
1173     my @tocheckfor = (@_ ? @_ : keys %disabled);
1174     while (@tocheckfor) {
1175         my %new_tocheckfor = ();
1176         my @cascade_copy = (@disable_cascades);
1177         while (@cascade_copy) {
1178             my ($test, $descendents) =
1179                 (shift @cascade_copy, shift @cascade_copy);
1180             if (ref($test) eq "CODE" ? $test->() : defined($disabled{$test})) {
1181                 foreach (grep { !defined($disabled{$_}) } @$descendents) {
1182                     $new_tocheckfor{$_} = 1; $disabled{$_} = "cascade";
1183                 }
1184             }
1185         }
1186         @tocheckfor = (keys %new_tocheckfor);
1187     }
1188 }
1189 disable();                     # First cascade run
1190
1191 our $die = sub { die @_; };
1192 if ($target eq "TABLE") {
1193     local $die = sub { warn @_; };
1194     foreach (sort keys %table) {
1195         print_table_entry($_, "TABLE");
1196     }
1197     exit 0;
1198 }
1199
1200 if ($target eq "LIST") {
1201     foreach (sort keys %table) {
1202         print $_,"\n" unless $table{$_}->{template};
1203     }
1204     exit 0;
1205 }
1206
1207 if ($target eq "HASH") {
1208     local $die = sub { warn @_; };
1209     print "%table = (\n";
1210     foreach (sort keys %table) {
1211         print_table_entry($_, "HASH");
1212     }
1213     exit 0;
1214 }
1215
1216 print "Configuring OpenSSL version $config{full_version} ";
1217 print "for target $target\n";
1218
1219 if (scalar(@seed_sources) == 0) {
1220     print "Using os-specific seed configuration\n";
1221     push @seed_sources, 'os';
1222 }
1223 if (scalar(grep { $_ eq 'egd' } @seed_sources) > 0) {
1224     delete $disabled{'egd'};
1225 }
1226 if (scalar(grep { $_ eq 'none' } @seed_sources) > 0) {
1227     die "Cannot seed with none and anything else" if scalar(@seed_sources) > 1;
1228     warn <<_____ if scalar(@seed_sources) == 1;
1229
1230 ============================== WARNING ===============================
1231 You have selected the --with-rand-seed=none option, which effectively
1232 disables automatic reseeding of the OpenSSL random generator.
1233 All operations depending on the random generator such as creating keys
1234 will not work unless the random generator is seeded manually by the
1235 application.
1236
1237 Please read the 'Note on random number generation' section in the
1238 INSTALL.md instructions and the RAND_DRBG(7) manual page for more
1239 details.
1240 ============================== WARNING ===============================
1241
1242 _____
1243 }
1244 push @{$config{openssl_feature_defines}},
1245      map { (my $x = $_) =~ tr|[\-a-z]|[_A-Z]|; "OPENSSL_RAND_SEED_$x" }
1246         @seed_sources;
1247
1248 # Backward compatibility?
1249 if ($target =~ m/^CygWin32(-.*)$/) {
1250     $target = "Cygwin".$1;
1251 }
1252
1253 # Support for legacy targets having a name starting with 'debug-'
1254 my ($d, $t) = $target =~ m/^(debug-)?(.*)$/;
1255 if ($d) {
1256     $config{build_type} = "debug";
1257
1258     # If we do not find debug-foo in the table, the target is set to foo.
1259     if (!$table{$target}) {
1260         $target = $t;
1261     }
1262 }
1263
1264 if ($target) {
1265     # It's possible that we have different config targets for specific
1266     # toolchains, so we try to detect them, and go for the plain config
1267     # target if not.
1268     my $found;
1269     foreach ( ( "$target-$user{CC}", "$target", undef ) ) {
1270         $found=$_ if $table{$_} && !$table{$_}->{template};
1271         last if $found;
1272     }
1273     $target = $found;
1274 } else {
1275     # If we don't have a config target now, we try the C compiler as we
1276     # fallback
1277     my $cc = $user{CC} // 'cc';
1278     $target = $cc if $table{$cc} && !$table{$cc}->{template};
1279 }
1280
1281 &usage unless $target;
1282
1283 exit 0 if $dryrun;              # From older 'config'
1284
1285 $config{target} = $target;
1286 my %target = resolve_config($target);
1287
1288 foreach (keys %target_attr_translate) {
1289     $target{$target_attr_translate{$_}} = $target{$_}
1290         if $target{$_};
1291     delete $target{$_};
1292 }
1293
1294 %target = ( %{$table{DEFAULTS}}, %target );
1295
1296 my %conf_files = map { $_ => 1 } (@{$target{_conf_fname_int}});
1297 $config{conf_files} = [ sort keys %conf_files ];
1298
1299 # Using sub disable within these loops may prove fragile, so we run
1300 # a cascade afterwards
1301 foreach my $feature (@{$target{disable}}) {
1302     if (exists $deprecated_disablables{$feature}) {
1303         warn "***** config $target disables deprecated feature $feature\n";
1304     } elsif (!grep { $feature eq $_ } @disablables) {
1305         die "***** config $target disables unknown feature $feature\n";
1306     }
1307     $disabled{$feature} = 'config';
1308 }
1309 foreach my $feature (@{$target{enable}}) {
1310     if ("default" eq ($disabled{$feature} // "")) {
1311         if (exists $deprecated_disablables{$feature}) {
1312             warn "***** config $target enables deprecated feature $feature\n";
1313         } elsif (!grep { $feature eq $_ } @disablables) {
1314             die "***** config $target enables unknown feature $feature\n";
1315         }
1316         delete $disabled{$feature};
1317     }
1318 }
1319
1320 # If uplink_arch isn't defined, disable uplink
1321 $disabled{uplink} = 'no uplink_arch' unless (defined $target{uplink_arch});
1322 # If asm_arch isn't defined, disable asm
1323 $disabled{asm} = 'no asm_arch' unless (defined $target{asm_arch});
1324
1325 disable();                      # Run a cascade now
1326
1327 $target{CXXFLAGS}//=$target{CFLAGS} if $target{CXX};
1328 $target{cxxflags}//=$target{cflags} if $target{CXX};
1329 $target{exe_extension}=".exe" if ($config{target} eq "DJGPP");
1330 $target{exe_extension}=".pm"  if ($config{target} =~ /vos/);
1331
1332 # Fill %config with values from %user, and in case those are undefined or
1333 # empty, use values from %target (acting as a default).
1334 foreach (keys %user) {
1335     my $ref_type = ref $user{$_};
1336
1337     # Temporary function.  Takes an intended ref type (empty string or "ARRAY")
1338     # and a value that's to be coerced into that type.
1339     my $mkvalue = sub {
1340         my $type = shift;
1341         my $value = shift;
1342         my $undef_p = shift;
1343
1344         die "Too many arguments for \$mkvalue" if @_;
1345
1346         while (ref $value eq 'CODE') {
1347             $value = $value->();
1348         }
1349
1350         if ($type eq 'ARRAY') {
1351             return undef unless defined $value;
1352             return undef if ref $value ne 'ARRAY' && !$value;
1353             return undef if ref $value eq 'ARRAY' && !@$value;
1354             return [ $value ] unless ref $value eq 'ARRAY';
1355         }
1356         return undef unless $value;
1357         return $value;
1358     };
1359
1360     $config{$_} =
1361         $mkvalue->($ref_type, $user{$_})
1362         || $mkvalue->($ref_type, $target{$_});
1363     delete $config{$_} unless defined $config{$_};
1364 }
1365
1366 # Finish up %config by appending things the user gave us on the command line
1367 # apart from "make variables"
1368 foreach (keys %useradd) {
1369     # The must all be lists, so we assert that here
1370     die "internal error: \$useradd{$_} isn't an ARRAY\n"
1371         unless ref $useradd{$_} eq 'ARRAY';
1372
1373     if (defined $config{$_}) {
1374         push @{$config{$_}}, @{$useradd{$_}};
1375     } else {
1376         $config{$_} = [ @{$useradd{$_}} ];
1377     }
1378 }
1379 # At this point, we can forget everything about %user and %useradd,
1380 # because it's now all been merged into the corresponding $config entry
1381
1382 if (grep { $_ =~ /(?:^|\s)-static(?:\s|$)/ } @{$config{LDFLAGS}}) {
1383     disable('static', 'pic', 'threads');
1384 }
1385
1386 # Allow overriding the build file name
1387 $config{build_file} = env('BUILDFILE') || $target{build_file} || "Makefile";
1388
1389 # Make sure build_scheme is consistent.
1390 $target{build_scheme} = [ $target{build_scheme} ]
1391     if ref($target{build_scheme}) ne "ARRAY";
1392
1393 my ($builder, $builder_platform, @builder_opts) =
1394     @{$target{build_scheme}};
1395
1396 foreach my $checker (($builder_platform."-".$target{build_file}."-checker.pm",
1397                       $builder_platform."-checker.pm")) {
1398     my $checker_path = catfile($srcdir, "Configurations", $checker);
1399     if (-f $checker_path) {
1400         my $fn = $ENV{CONFIGURE_CHECKER_WARN}
1401             ? sub { warn $@; } : sub { die $@; };
1402         if (! do $checker_path) {
1403             if ($@) {
1404                 $fn->($@);
1405             } elsif ($!) {
1406                 $fn->($!);
1407             } else {
1408                 $fn->("The detected tools didn't match the platform\n");
1409             }
1410         }
1411         last;
1412     }
1413 }
1414
1415 push @{$config{defines}}, "NDEBUG"    if $config{build_type} eq "release";
1416
1417 if ($target =~ /^mingw/ && `$config{CC} --target-help 2>&1` =~ m/-mno-cygwin/m)
1418         {
1419         push @{$config{cflags}}, "-mno-cygwin";
1420         push @{$config{cxxflags}}, "-mno-cygwin" if $config{CXX};
1421         push @{$config{shared_ldflag}}, "-mno-cygwin";
1422         }
1423
1424 if ($target =~ /linux.*-mips/ && !$disabled{asm}
1425         && !grep { $_ !~ /-m(ips|arch=)/ } (@{$config{CFLAGS}})) {
1426         # minimally required architecture flags for assembly modules
1427         my $value;
1428         $value = '-mips2' if ($target =~ /mips32/);
1429         $value = '-mips3' if ($target =~ /mips64/);
1430         unshift @{$config{cflags}}, $value;
1431         unshift @{$config{cxxflags}}, $value if $config{CXX};
1432 }
1433
1434 # If threads aren't disabled, check how possible they are
1435 unless ($disabled{threads}) {
1436     if ($auto_threads) {
1437         # Enabled by default, disable it forcibly if unavailable
1438         if ($target{thread_scheme} eq "(unknown)") {
1439             disable("unavailable", 'threads');
1440         }
1441     } else {
1442         # The user chose to enable threads explicitly, let's see
1443         # if there's a chance that's possible
1444         if ($target{thread_scheme} eq "(unknown)") {
1445             # If the user asked for "threads" and we don't have internal
1446             # knowledge how to do it, [s]he is expected to provide any
1447             # system-dependent compiler options that are necessary.  We
1448             # can't truly check that the given options are correct, but
1449             # we expect the user to know what [s]He is doing.
1450             if (!@{$config{CFLAGS}} && !@{$config{CPPDEFINES}}) {
1451                 die "You asked for multi-threading support, but didn't\n"
1452                     ,"provide any system-specific compiler options\n";
1453             }
1454         }
1455     }
1456 }
1457
1458 # Find out if clang's sanitizers have been enabled with -fsanitize
1459 # flags and ensure that the corresponding %disabled elements area
1460 # removed to reflect that the sanitizers are indeed enabled.
1461 my %detected_sanitizers = ();
1462 foreach (grep /^-fsanitize=/, @{$config{CFLAGS} || []}) {
1463     (my $checks = $_) =~ s/^-fsanitize=//;
1464     foreach (split /,/, $checks) {
1465         my $d = { address       => 'asan',
1466                   undefined     => 'ubsan',
1467                   memory        => 'msan' } -> {$_};
1468         next unless defined $d;
1469
1470         $detected_sanitizers{$d} = 1;
1471         if (defined $disabled{$d}) {
1472             die "***** Conflict between disabling $d and enabling $_ sanitizer"
1473                 if $disabled{$d} ne "default";
1474             delete $disabled{$d};
1475         }
1476     }
1477 }
1478
1479 # If threads still aren't disabled, add a C macro to ensure the source
1480 # code knows about it.  Any other flag is taken care of by the configs.
1481 unless($disabled{threads}) {
1482     push @{$config{openssl_feature_defines}}, "OPENSSL_THREADS";
1483 }
1484
1485 my $no_shared_warn=0;
1486 if (($target{shared_target} // '') eq "")
1487         {
1488         $no_shared_warn = 1
1489             if (!$disabled{shared} || !$disabled{"dynamic-engine"});
1490         disable('no-shared-target', 'pic');
1491         }
1492
1493 if ($disabled{"dynamic-engine"}) {
1494         $config{dynamic_engines} = 0;
1495 } else {
1496         $config{dynamic_engines} = 1;
1497 }
1498
1499 unless ($disabled{asan} || defined $detected_sanitizers{asan}) {
1500     push @{$config{cflags}}, "-fsanitize=address";
1501 }
1502
1503 unless ($disabled{ubsan} || defined $detected_sanitizers{ubsan}) {
1504     # -DPEDANTIC or -fnosanitize=alignment may also be required on some
1505     # platforms.
1506     push @{$config{cflags}}, "-fsanitize=undefined", "-fno-sanitize-recover=all";
1507 }
1508
1509 unless ($disabled{msan} || defined $detected_sanitizers{msan}) {
1510   push @{$config{cflags}}, "-fsanitize=memory";
1511 }
1512
1513 unless ($disabled{"fuzz-libfuzzer"} && $disabled{"fuzz-afl"}
1514         && $disabled{asan} && $disabled{ubsan} && $disabled{msan}) {
1515     push @{$config{cflags}}, "-fno-omit-frame-pointer", "-g";
1516     push @{$config{cxxflags}}, "-fno-omit-frame-pointer", "-g" if $config{CXX};
1517 }
1518 #
1519 # Platform fix-ups
1520 #
1521
1522 # This saves the build files from having to check
1523 if ($disabled{pic})
1524         {
1525         foreach (qw(shared_cflag shared_cxxflag shared_cppflag
1526                     shared_defines shared_includes shared_ldflag
1527                     module_cflags module_cxxflags module_cppflags
1528                     module_defines module_includes module_lflags))
1529                 {
1530                 delete $config{$_};
1531                 $target{$_} = "";
1532                 }
1533         }
1534 else
1535         {
1536         push @{$config{lib_defines}}, "OPENSSL_PIC";
1537         }
1538
1539 if ($target{sys_id} ne "")
1540         {
1541         push @{$config{openssl_sys_defines}}, "OPENSSL_SYS_$target{sys_id}";
1542         }
1543
1544 my %predefined_C = compiler_predefined($config{CROSS_COMPILE}.$config{CC});
1545 my %predefined_CXX = $config{CXX}
1546     ? compiler_predefined($config{CROSS_COMPILE}.$config{CXX})
1547     : ();
1548
1549 unless ($disabled{asm}) {
1550     # big endian systems can use ELFv2 ABI
1551     if ($target eq "linux-ppc64") {
1552         $target{perlasm_scheme} = "linux64v2" if ($predefined_C{_CALL_ELF} == 2);
1553     }
1554 }
1555
1556 # Check for makedepend capabilities.
1557 if (!$disabled{makedepend}) {
1558     # If the attribute makedep_scheme is defined, then we assume that the
1559     # config target and its associated build file are programmed to deal
1560     # with it.
1561     # If makedep_scheme is undefined, we go looking for GCC compatible
1562     # dependency making, and if that's not available, we try to fall back
1563     # on 'makedepend'.
1564     if ($target{makedep_scheme}) {
1565         $config{makedep_scheme} = $target{makedep_scheme};
1566         # If the makedepcmd attribute is defined, copy it.  If not, the
1567         # build files will have to fend for themselves.
1568         $config{makedepcmd} = $target{makedepcmd} if $target{makedepcmd};
1569     } elsif (($predefined_C{__GNUC__} // -1) >= 3
1570              && !($predefined_C{__APPLE_CC__} && !$predefined_C{__clang__})) {
1571         # We know that GNU C version 3 and up as well as all clang
1572         # versions support dependency generation, but Xcode did not
1573         # handle $cc -M before clang support (but claims __GNUC__ = 3)
1574         $config{makedep_scheme} = 'gcc';
1575     } else {
1576         # In all other cases, we look for 'makedepend', and set the
1577         # makedep_scheme value if we found it.
1578         $config{makedepcmd} = which('makedepend');
1579         $config{makedep_scheme} = 'makedepend' if $config{makedepcmd};
1580     }
1581
1582     # If no depend scheme is set, we disable makedepend
1583     disable('unavailable', 'makedepend') unless $config{makedep_scheme};
1584 }
1585
1586 if (!$disabled{asm} && !$predefined_C{__MACH__} && $^O ne 'VMS') {
1587     # probe for -Wa,--noexecstack option...
1588     if ($predefined_C{__clang__}) {
1589         # clang has builtin assembler, which doesn't recognize --help,
1590         # but it apparently recognizes the option in question on all
1591         # supported platforms even when it's meaningless. In other words
1592         # probe would fail, but probed option always accepted...
1593         push @{$config{cflags}}, "-Wa,--noexecstack", "-Qunused-arguments";
1594     } else {
1595         my $cc = $config{CROSS_COMPILE}.$config{CC};
1596         open(PIPE, "$cc -Wa,--help -c -o null.$$.o -x assembler /dev/null 2>&1 |");
1597         while(<PIPE>) {
1598             if (m/--noexecstack/) {
1599                 push @{$config{cflags}}, "-Wa,--noexecstack";
1600                 last;
1601             }
1602         }
1603         close(PIPE);
1604         unlink("null.$$.o");
1605     }
1606 }
1607
1608 # Deal with bn_ops ###################################################
1609
1610 $config{bn_ll}                  =0;
1611 my $def_int="unsigned int";
1612 $config{rc4_int}                =$def_int;
1613 ($config{b64l},$config{b64},$config{b32})=(0,0,1);
1614
1615 my $count = 0;
1616 foreach (sort split(/\s+/,$target{bn_ops})) {
1617     $count++ if /SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT/;
1618     $config{bn_ll}=1                            if $_ eq 'BN_LLONG';
1619     $config{rc4_int}="unsigned char"            if $_ eq 'RC4_CHAR';
1620     ($config{b64l},$config{b64},$config{b32})
1621         =(0,1,0)                                if $_ eq 'SIXTY_FOUR_BIT';
1622     ($config{b64l},$config{b64},$config{b32})
1623         =(1,0,0)                                if $_ eq 'SIXTY_FOUR_BIT_LONG';
1624     ($config{b64l},$config{b64},$config{b32})
1625         =(0,0,1)                                if $_ eq 'THIRTY_TWO_BIT';
1626 }
1627 die "Exactly one of SIXTY_FOUR_BIT|SIXTY_FOUR_BIT_LONG|THIRTY_TWO_BIT can be set in bn_ops\n"
1628     if $count > 1;
1629
1630 $config{api} = $config{major} * 10000 + $config{minor} * 100
1631     unless $config{api};
1632 foreach (keys %$apitable) {
1633     $disabled{"deprecated-$_"} = "deprecation"
1634         if $disabled{deprecated} && $config{api} >= $apitable->{$_};
1635 }
1636
1637 disable();                      # Run a cascade now
1638
1639 # Hack cflags for better warnings (dev option) #######################
1640
1641 # "Stringify" the C and C++ flags string.  This permits it to be made part of
1642 # a string and works as well on command lines.
1643 $config{cflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1644                         @{$config{cflags}} ];
1645 $config{cxxflags} = [ map { (my $x = $_) =~ s/([\\\"])/\\$1/g; $x }
1646                           @{$config{cxxflags}} ] if $config{CXX};
1647
1648 $config{openssl_api_defines} = [
1649     "OPENSSL_CONFIGURED_API=".$config{api},
1650 ];
1651
1652 my @strict_warnings_collection=();
1653 if ($strict_warnings)
1654         {
1655         my $wopt;
1656         my $gccver = $predefined_C{__GNUC__} // -1;
1657
1658         if ($gccver >= 4)
1659                 {
1660                 push @strict_warnings_collection, @gcc_devteam_warn;
1661                 push @strict_warnings_collection, @clang_devteam_warn
1662                     if (defined($predefined_C{__clang__}));
1663                 }
1664         elsif ($config{target} =~ /^VC-/)
1665                 {
1666                 push @strict_warnings_collection, @cl_devteam_warn;
1667                 }
1668         else
1669                 {
1670                 warn "WARNING --strict-warnings requires gcc[>=4] or gcc-alike, or MSVC"
1671                 }
1672         }
1673
1674 $config{CFLAGS} = [ map { $_ eq '--ossl-strict-warnings'
1675                               ? @strict_warnings_collection
1676                               : ( $_ ) }
1677                     @{$config{CFLAGS}} ];
1678
1679 unless ($disabled{afalgeng}) {
1680     $config{afalgeng}="";
1681     if (grep { $_ eq 'afalgeng' } @{$target{enable}}) {
1682         my $minver = 4*10000 + 1*100 + 0;
1683         if ($config{CROSS_COMPILE} eq "") {
1684             my $verstr = `uname -r`;
1685             my ($ma, $mi1, $mi2) = split("\\.", $verstr);
1686             ($mi2) = $mi2 =~ /(\d+)/;
1687             my $ver = $ma*10000 + $mi1*100 + $mi2;
1688             if ($ver < $minver) {
1689                 disable('too-old-kernel', 'afalgeng');
1690             } else {
1691                 push @{$config{engdirs}}, "afalg";
1692             }
1693         } else {
1694             disable('cross-compiling', 'afalgeng');
1695         }
1696     } else {
1697         disable('not-linux', 'afalgeng');
1698     }
1699 }
1700
1701 unless ($disabled{devcryptoeng}) {
1702     if ($target =~ m/^BSD/) {
1703         my $maxver = 5*100 + 7;
1704         my $sysstr = `uname -s`;
1705         my $verstr = `uname -r`;
1706         $sysstr =~ s|\R$||;
1707         $verstr =~ s|\R$||;
1708         my ($ma, $mi, @rest) = split m|\.|, $verstr;
1709         my $ver = $ma*100 + $mi;
1710         if ($sysstr eq 'OpenBSD' && $ver >= $maxver) {
1711             disable('too-new-kernel', 'devcryptoeng');
1712         }
1713     }
1714 }
1715
1716 unless ($disabled{ktls}) {
1717     $config{ktls}="";
1718     if ($target =~ m/^linux/) {
1719         my $usr = "/usr/$config{cross_compile_prefix}";
1720         chop($usr);
1721         if ($config{cross_compile_prefix} eq "") {
1722             $usr = "/usr";
1723         }
1724         my $minver = (4 << 16) + (13 << 8) + 0;
1725         my @verstr = split(" ",`cat $usr/include/linux/version.h | grep LINUX_VERSION_CODE`);
1726
1727         if ($verstr[2] < $minver) {
1728             disable('too-old-kernel', 'ktls');
1729         }
1730     } elsif ($target =~ m/^BSD/) {
1731         my $cc = $config{CROSS_COMPILE}.$config{CC};
1732         system("printf '#include <sys/types.h>\n#include <sys/ktls.h>' | $cc -E - >/dev/null 2>&1");
1733         if ($? != 0) {
1734             disable('too-old-freebsd', 'ktls');
1735         }
1736     } else {
1737         disable('not-linux-or-freebsd', 'ktls');
1738     }
1739 }
1740
1741 push @{$config{openssl_other_defines}}, "OPENSSL_NO_KTLS" if ($disabled{ktls});
1742
1743 # Get the extra flags used when building shared libraries and modules.  We
1744 # do this late because some of them depend on %disabled.
1745
1746 # Make the flags to build DSOs the same as for shared libraries unless they
1747 # are already defined
1748 $target{module_cflags} = $target{shared_cflag} unless defined $target{module_cflags};
1749 $target{module_cxxflags} = $target{shared_cxxflag} unless defined $target{module_cxxflags};
1750 $target{module_ldflags} = $target{shared_ldflag} unless defined $target{module_ldflags};
1751 {
1752     my $shared_info_pl =
1753         catfile(dirname($0), "Configurations", "shared-info.pl");
1754     my %shared_info = read_eval_file($shared_info_pl);
1755     push @{$target{_conf_fname_int}}, $shared_info_pl;
1756     my $si = $target{shared_target};
1757     while (ref $si ne "HASH") {
1758         last if ! defined $si;
1759         if (ref $si eq "CODE") {
1760             $si = $si->();
1761         } else {
1762             $si = $shared_info{$si};
1763         }
1764     }
1765
1766     # Some of the 'shared_target' values don't have any entries in
1767     # %shared_info.  That's perfectly fine, AS LONG AS the build file
1768     # template knows how to handle this.  That is currently the case for
1769     # Windows and VMS.
1770     if (defined $si) {
1771         # Just as above, copy certain shared_* attributes to the corresponding
1772         # module_ attribute unless the latter is already defined
1773         $si->{module_cflags} = $si->{shared_cflag} unless defined $si->{module_cflags};
1774         $si->{module_cxxflags} = $si->{shared_cxxflag} unless defined $si->{module_cxxflags};
1775         $si->{module_ldflags} = $si->{shared_ldflag} unless defined $si->{module_ldflags};
1776         foreach (sort keys %$si) {
1777             $target{$_} = defined $target{$_}
1778                 ? add($si->{$_})->($target{$_})
1779                 : $si->{$_};
1780         }
1781     }
1782 }
1783
1784 # ALL MODIFICATIONS TO %disabled, %config and %target MUST BE DONE FROM HERE ON
1785
1786 ######################################################################
1787 # Build up information for skipping certain directories depending on disabled
1788 # features, as well as setting up macros for disabled features.
1789
1790 # This is a tentative database of directories to skip.  Some entries may not
1791 # correspond to anything real, but that's ok, they will simply be ignored.
1792 # The actual processing of these entries is done in the build.info lookup
1793 # loop further down.
1794 #
1795 # The key is a Unix formatted path in the source tree, the value is an index
1796 # into %disabled_info, so any existing path gets added to a corresponding
1797 # 'skipped' entry in there with the list of skipped directories.
1798 my %skipdir = ();
1799 my %disabled_info = ();         # For configdata.pm
1800 foreach my $what (sort keys %disabled) {
1801     # There are deprecated disablables that translate to themselves.
1802     # They cause disabling cascades, but should otherwise not regiter.
1803     next if $deprecated_disablables{$what};
1804     # The generated $disabled{"deprecated-x.y"} entries are special
1805     # and treated properly elsewhere
1806     next if $what =~ m|^deprecated-|;
1807
1808     $config{options} .= " no-$what";
1809
1810     if (!grep { $what eq $_ } ( 'buildtest-c++', 'fips', 'threads', 'shared',
1811                                 'module', 'pic', 'dynamic-engine', 'makedepend',
1812                                 'zlib-dynamic', 'zlib', 'sse2', 'legacy' )) {
1813         (my $WHAT = uc $what) =~ s|-|_|g;
1814         my $skipdir = $what;
1815
1816         # fix-up crypto/directory name(s)
1817         $skipdir = "ripemd" if $what eq "rmd160";
1818         $skipdir = "whrlpool" if $what eq "whirlpool";
1819
1820         my $macro = $disabled_info{$what}->{macro} = "OPENSSL_NO_$WHAT";
1821         push @{$config{openssl_feature_defines}}, $macro;
1822
1823         $skipdir{engines} = $what if $what eq 'engine';
1824         $skipdir{"crypto/$skipdir"} = $what
1825             unless $what eq 'async' || $what eq 'err' || $what eq 'dso';
1826     }
1827 }
1828
1829 if ($disabled{"dynamic-engine"}) {
1830     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_DYNAMIC_ENGINE";
1831 } else {
1832     push @{$config{openssl_feature_defines}}, "OPENSSL_NO_STATIC_ENGINE";
1833 }
1834
1835 # If we use the unified build, collect information from build.info files
1836 my %unified_info = ();
1837
1838 my $buildinfo_debug = defined($ENV{CONFIGURE_DEBUG_BUILDINFO});
1839 if ($builder eq "unified") {
1840     use Text::Template 1.46;
1841
1842     sub cleandir {
1843         my $base = shift;
1844         my $dir = shift;
1845         my $relativeto = shift || ".";
1846
1847         $dir = catdir($base,$dir) unless isabsolute($dir);
1848
1849         # Make sure the directories we're building in exists
1850         mkpath($dir);
1851
1852         my $res = abs2rel(absolutedir($dir), rel2abs($relativeto));
1853         #print STDERR "DEBUG[cleandir]: $dir , $base => $res\n";
1854         return $res;
1855     }
1856
1857     sub cleanfile {
1858         my $base = shift;
1859         my $file = shift;
1860         my $relativeto = shift || ".";
1861
1862         $file = catfile($base,$file) unless isabsolute($file);
1863
1864         my $d = dirname($file);
1865         my $f = basename($file);
1866
1867         # Make sure the directories we're building in exists
1868         mkpath($d);
1869
1870         my $res = abs2rel(catfile(absolutedir($d), $f), rel2abs($relativeto));
1871         #print STDERR "DEBUG[cleanfile]: $d , $f => $res\n";
1872         return $res;
1873     }
1874
1875     # Store the name of the template file we will build the build file from
1876     # in %config.  This may be useful for the build file itself.
1877     my @build_file_template_names =
1878         ( $builder_platform."-".$target{build_file}.".tmpl",
1879           $target{build_file}.".tmpl" );
1880     my @build_file_templates = ();
1881
1882     # First, look in the user provided directory, if given
1883     if (defined env($local_config_envname)) {
1884         @build_file_templates =
1885             map {
1886                 if ($^O eq 'VMS') {
1887                     # VMS environment variables are logical names,
1888                     # which can be used as is
1889                     $local_config_envname . ':' . $_;
1890                 } else {
1891                     catfile(env($local_config_envname), $_);
1892                 }
1893             }
1894             @build_file_template_names;
1895     }
1896     # Then, look in our standard directory
1897     push @build_file_templates,
1898         ( map { cleanfile($srcdir, catfile("Configurations", $_), $blddir) }
1899           @build_file_template_names );
1900
1901     my $build_file_template;
1902     for $_ (@build_file_templates) {
1903         $build_file_template = $_;
1904         last if -f $build_file_template;
1905
1906         $build_file_template = undef;
1907     }
1908     if (!defined $build_file_template) {
1909         die "*** Couldn't find any of:\n", join("\n", @build_file_templates), "\n";
1910     }
1911     $config{build_file_templates}
1912       = [ cleanfile($srcdir, catfile("Configurations", "common0.tmpl"),
1913                     $blddir),
1914            $build_file_template ];
1915
1916     my @build_dirs = ( [ ] );   # current directory
1917
1918     $config{build_infos} = [ ];
1919
1920     # We want to detect configdata.pm in the source tree, so we
1921     # don't use it if the build tree is different.
1922     my $src_configdata = cleanfile($srcdir, "configdata.pm", $blddir);
1923
1924     # Any source file that we recognise is placed in this hash table, with
1925     # the list of its intended destinations as value.  When everything has
1926     # been collected, there's a routine that checks that these source files
1927     # exist, or if they are generated, that the generator exists.
1928     my %check_exist = ();
1929     my %check_generate = ();
1930
1931     my %ordinals = ();
1932     while (@build_dirs) {
1933         my @curd = @{shift @build_dirs};
1934         my $sourced = catdir($srcdir, @curd);
1935         my $buildd = catdir($blddir, @curd);
1936
1937         my $unixdir = join('/', @curd);
1938         if (exists $skipdir{$unixdir}) {
1939             my $what = $skipdir{$unixdir};
1940             push @{$disabled_info{$what}->{skipped}}, catdir(@curd);
1941             next;
1942         }
1943
1944         mkpath($buildd);
1945
1946         my $f = 'build.info';
1947         # The basic things we're trying to build
1948         my @programs = ();
1949         my @libraries = ();
1950         my @modules = ();
1951         my @scripts = ();
1952
1953         my %sources = ();
1954         my %shared_sources = ();
1955         my %includes = ();
1956         my %defines = ();
1957         my %depends = ();
1958         my %generate = ();
1959         my %imagedocs = ();
1960         my %htmldocs = ();
1961         my %mandocs = ();
1962
1963         # Support for $variablename in build.info files.
1964         # Embedded perl code is the ultimate master, still.  If its output
1965         # contains a dollar sign, it had better be escaped, or it will be
1966         # taken for a variable name prefix.
1967         my %variables = ();
1968         # Variable name syntax
1969         my $variable_name_re = qr/(?P<VARIABLE>[[:alpha:]][[:alnum:]_]*)/;
1970         # Value modifier syntaxes
1971         my $variable_subst_re = qr/\/(?P<RE>(?:\\\/|.)*?)\/(?P<SUBST>.*?)/;
1972         # Variable reference
1973         my $variable_simple_re = qr/(?<!\\)\$${variable_name_re}/;
1974         my $variable_w_mod_re =
1975             qr/(?<!\\)\$\{${variable_name_re}(?P<MOD>(?:\\\/|.)*?)\}/;
1976         # Tie it all together
1977         my $variable_re = qr/${variable_simple_re}|${variable_w_mod_re}/;
1978
1979         my $expand_variables = sub {
1980             my $value = '';
1981             my $value_rest = shift;
1982
1983             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
1984                 print STDERR
1985                     "DEBUG[\$expand_variables] Parsed '$value_rest' ...\n"
1986             }
1987
1988             while ($value_rest =~ /${variable_re}/) {
1989                 # We must save important regexp values, because the next
1990                 # regexp clears them
1991                 my $mod = $+{MOD};
1992                 my $variable_value = $variables{$+{VARIABLE}};
1993
1994                 $value_rest = $';
1995                 $value .= $`;
1996
1997                 # Process modifier expressions, if present
1998                 if (defined $mod) {
1999                     if ($mod =~ /^${variable_subst_re}$/) {
2000                         my $re = $+{RE};
2001                         my $subst = $+{SUBST};
2002
2003                         $variable_value =~ s/\Q$re\E/$subst/g;
2004
2005                         if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
2006                             print STDERR
2007                                 "DEBUG[\$expand_variables] ... and substituted ",
2008                                 "'$re' with '$subst'\n";
2009                         }
2010                     }
2011                 }
2012
2013                 $value .= $variable_value;
2014             }
2015             if ($ENV{CONFIGURE_DEBUG_VARIABLE_EXPAND}) {
2016                 print STDERR
2017                     "DEBUG[\$expand_variables] ... into: '$value$value_rest'\n";
2018             }
2019             return $value . $value_rest;
2020         };
2021
2022         # Support for attributes in build.info files
2023         my %attributes = ();
2024         my $handle_attributes = sub {
2025             my $attr_str = shift;
2026             my $ref = shift;
2027             my @goals = @_;
2028
2029             return unless defined $attr_str;
2030
2031             my @a = tokenize($attr_str, qr|\s*,\s*|);
2032             foreach my $a (@a) {
2033                 my $ac = 1;
2034                 my $ak = $a;
2035                 my $av = 1;
2036                 if ($a =~ m|^(!)?(.*?)\s* = \s*(.*?)$|x) {
2037                     $ac = ! $1;
2038                     $ak = $2;
2039                     $av = $3;
2040                 }
2041                 foreach my $g (@goals) {
2042                     if ($ac) {
2043                         $$ref->{$g}->{$ak} = $av;
2044                     } else {
2045                         delete $$ref->{$g}->{$ak};
2046                     }
2047                 }
2048             }
2049         };
2050
2051         # Support for pushing values on multiple indexes of a given hash
2052         # array.
2053         my $push_to = sub {
2054             my $valueref = shift;
2055             my $index_str = shift; # May be undef or empty
2056             my $attrref = shift;   # May be undef
2057             my $attr_str = shift;
2058             my @values = @_;
2059
2060             if (defined $index_str) {
2061                 my @indexes = ( '' );
2062                 if ($index_str !~ m|^\s*$|) {
2063                     @indexes = tokenize($index_str);
2064                 }
2065                 foreach (@indexes) {
2066                     push @{$valueref->{$_}}, @values;
2067                     if (defined $attrref) {
2068                         $handle_attributes->($attr_str, \$$attrref->{$_},
2069                                              @values);
2070                     }
2071                 }
2072             } else {
2073                 push @$valueref, @values;
2074                 $handle_attributes->($attr_str, $attrref, @values)
2075                     if defined $attrref;
2076             }
2077         };
2078
2079         if ($buildinfo_debug) {
2080             print STDERR "DEBUG: Reading ",catfile($sourced, $f),"\n";
2081         }
2082         push @{$config{build_infos}}, catfile(abs2rel($sourced, $blddir), $f);
2083         my $template =
2084             Text::Template->new(TYPE => 'FILE',
2085                                 SOURCE => catfile($sourced, $f),
2086                                 PREPEND => qq{use lib "$FindBin::Bin/util/perl";});
2087         die "Something went wrong with $sourced/$f: $!\n" unless $template;
2088         my @text =
2089             split /^/m,
2090             $template->fill_in(HASH => { config => \%config,
2091                                          target => \%target,
2092                                          disabled => \%disabled,
2093                                          withargs => \%withargs,
2094                                          builddir => abs2rel($buildd, $blddir),
2095                                          sourcedir => abs2rel($sourced, $blddir),
2096                                          buildtop => abs2rel($blddir, $blddir),
2097                                          sourcetop => abs2rel($srcdir, $blddir) },
2098                                DELIMITERS => [ "{-", "-}" ]);
2099
2100         # The top item of this stack has the following values
2101         # -2 positive already run and we found ELSE (following ELSIF should fail)
2102         # -1 positive already run (skip until ENDIF)
2103         # 0 negatives so far (if we're at a condition, check it)
2104         # 1 last was positive (don't skip lines until next ELSE, ELSIF or ENDIF)
2105         # 2 positive ELSE (following ELSIF should fail)
2106         my @skip = ();
2107
2108         # A few useful generic regexps
2109         my $index_re = qr/\[\s*(?P<INDEX>(?:\\.|.)*?)\s*\]/;
2110         my $cond_re = qr/\[\s*(?P<COND>(?:\\.|.)*?)\s*\]/;
2111         my $attribs_re = qr/(?:\{\s*(?P<ATTRIBS>(?:\\.|.)*?)\s*\})?/;
2112         my $value_re = qr/(?P<VALUE>.*?)/;
2113         collect_information(
2114             collect_from_array([ @text ],
2115                                qr/\\$/ => sub { my $l1 = shift; my $l2 = shift;
2116                                                 $l1 =~ s/\\$//; $l1.$l2 }),
2117             # Info we're looking for
2118             qr/^\s* IF ${cond_re} \s*$/x
2119             => sub {
2120                 if (! @skip || $skip[$#skip] > 0) {
2121                     push @skip, !! $expand_variables->($+{COND});
2122                 } else {
2123                     push @skip, -1;
2124                 }
2125             },
2126             qr/^\s* ELSIF ${cond_re} \s*$/x
2127             => sub { die "ELSIF out of scope" if ! @skip;
2128                      die "ELSIF following ELSE" if abs($skip[$#skip]) == 2;
2129                      $skip[$#skip] = -1 if $skip[$#skip] != 0;
2130                      $skip[$#skip] = !! $expand_variables->($+{COND})
2131                          if $skip[$#skip] == 0; },
2132             qr/^\s* ELSE \s*$/x
2133             => sub { die "ELSE out of scope" if ! @skip;
2134                      $skip[$#skip] = -2 if $skip[$#skip] != 0;
2135                      $skip[$#skip] = 2 if $skip[$#skip] == 0; },
2136             qr/^\s* ENDIF \s*$/x
2137             => sub { die "ENDIF out of scope" if ! @skip;
2138                      pop @skip; },
2139             qr/^\s* ${variable_re} \s* = \s* ${value_re} \s* $/x
2140             => sub {
2141                 if (!@skip || $skip[$#skip] > 0) {
2142                     $variables{$+{VARIABLE}} = $expand_variables->($+{VALUE});
2143                 }
2144             },
2145             qr/^\s* SUBDIRS \s* = \s* ${value_re} \s* $/x
2146             => sub {
2147                 if (!@skip || $skip[$#skip] > 0) {
2148                     foreach (tokenize($expand_variables->($+{VALUE}))) {
2149                         push @build_dirs, [ @curd, splitdir($_, 1) ];
2150                     }
2151                 }
2152             },
2153             qr/^\s* PROGRAMS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2154             => sub { $push_to->(\@programs, undef,
2155                                 \$attributes{programs}, $+{ATTRIBS},
2156                                 tokenize($expand_variables->($+{VALUE})))
2157                          if !@skip || $skip[$#skip] > 0; },
2158             qr/^\s* LIBS ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2159             => sub { $push_to->(\@libraries, undef,
2160                                 \$attributes{libraries}, $+{ATTRIBS},
2161                                 tokenize($expand_variables->($+{VALUE})))
2162                          if !@skip || $skip[$#skip] > 0; },
2163             qr/^\s* MODULES ${attribs_re} \s* =  \s* ${value_re} \s* $/x
2164             => sub { $push_to->(\@modules, undef,
2165                                 \$attributes{modules}, $+{ATTRIBS},
2166                                 tokenize($expand_variables->($+{VALUE})))
2167                          if !@skip || $skip[$#skip] > 0; },
2168             qr/^\s* SCRIPTS ${attribs_re} \s* = \s* ${value_re} \s* $/x
2169             => sub { $push_to->(\@scripts, undef,
2170                                 \$attributes{scripts}, $+{ATTRIBS},
2171                                 tokenize($expand_variables->($+{VALUE})))
2172                          if !@skip || $skip[$#skip] > 0; },
2173             qr/^\s* IMAGEDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2174             => sub { $push_to->(\%imagedocs, $expand_variables->($+{INDEX}),
2175                                 undef, undef,
2176                                 tokenize($expand_variables->($+{VALUE})))
2177                          if !@skip || $skip[$#skip] > 0; },
2178             qr/^\s* HTMLDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2179             => sub { $push_to->(\%htmldocs, $expand_variables->($+{INDEX}),
2180                                 undef, undef,
2181                                 tokenize($expand_variables->($+{VALUE})))
2182                          if !@skip || $skip[$#skip] > 0; },
2183             qr/^\s* MANDOCS ${index_re} \s* = \s* ${value_re} \s* $/x
2184             => sub { $push_to->(\%mandocs, $expand_variables->($+{INDEX}),
2185                                 undef, undef,
2186                                 tokenize($expand_variables->($+{VALUE})))
2187                          if !@skip || $skip[$#skip] > 0; },
2188             qr/^\s* SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2189             => sub { $push_to->(\%sources, $expand_variables->($+{INDEX}),
2190                                 \$attributes{sources}, $+{ATTRIBS},
2191                                 tokenize($expand_variables->($+{VALUE})))
2192                          if !@skip || $skip[$#skip] > 0; },
2193             qr/^\s* SHARED_SOURCE ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2194             => sub { $push_to->(\%shared_sources, $expand_variables->($+{INDEX}),
2195                                 \$attributes{sources}, $+{ATTRIBS},
2196                                 tokenize($expand_variables->($+{VALUE})))
2197                          if !@skip || $skip[$#skip] > 0; },
2198             qr/^\s* INCLUDE ${index_re} \s* = \s* ${value_re} \s* $/x
2199             => sub { $push_to->(\%includes, $expand_variables->($+{INDEX}),
2200                                 undef, undef,
2201                                 tokenize($expand_variables->($+{VALUE})))
2202                          if !@skip || $skip[$#skip] > 0; },
2203             qr/^\s* DEFINE ${index_re} \s* = \s* ${value_re} \s* $/x
2204             => sub { $push_to->(\%defines, $expand_variables->($+{INDEX}),
2205                                 undef, undef,
2206                                 tokenize($expand_variables->($+{VALUE})))
2207                          if !@skip || $skip[$#skip] > 0; },
2208             qr/^\s* DEPEND ${index_re} ${attribs_re} \s* = \s* ${value_re} \s* $/x
2209             => sub { $push_to->(\%depends, $expand_variables->($+{INDEX}),
2210                                 \$attributes{depends}, $+{ATTRIBS},
2211                                 tokenize($expand_variables->($+{VALUE})))
2212                          if !@skip || $skip[$#skip] > 0; },
2213             qr/^\s* GENERATE ${index_re} \s* = \s* ${value_re} \s* $/x
2214             => sub { $push_to->(\%generate, $expand_variables->($+{INDEX}),
2215                                 undef, undef, $expand_variables->($+{VALUE}))
2216                          if !@skip || $skip[$#skip] > 0; },
2217             qr/^\s* (?:\#.*)? $/x => sub { },
2218             "OTHERWISE" => sub { die "Something wrong with this line:\n$_\nat $sourced/$f" },
2219             "BEFORE" => sub {
2220                 if ($buildinfo_debug) {
2221                     print STDERR "DEBUG: Parsing ",join(" ", @_),"\n";
2222                     print STDERR "DEBUG: ... before parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2223                 }
2224             },
2225             "AFTER" => sub {
2226                 if ($buildinfo_debug) {
2227                     print STDERR "DEBUG: .... after parsing, skip stack is ",join(" ", map { int($_) } @skip),"\n";
2228                 }
2229             },
2230             );
2231         die "runaway IF?" if (@skip);
2232
2233         if (grep { defined $attributes{modules}->{$_}->{engine} } keys %attributes
2234                 and !$config{dynamic_engines}) {
2235             die <<"EOF"
2236 ENGINES can only be used if configured with 'dynamic-engine'.
2237 This is usually a fault in a build.info file.
2238 EOF
2239         }
2240
2241         {
2242             my %infos = ( programs  => [ @programs  ],
2243                           libraries => [ @libraries ],
2244                           modules   => [ @modules   ],
2245                           scripts   => [ @scripts   ] );
2246             foreach my $k (keys %infos) {
2247                 foreach (@{$infos{$k}}) {
2248                     my $item = cleanfile($buildd, $_, $blddir);
2249                     $unified_info{$k}->{$item} = 1;
2250
2251                     # Fix up associated attributes
2252                     $unified_info{attributes}->{$k}->{$item} =
2253                         $attributes{$k}->{$_}
2254                         if defined $attributes{$k}->{$_};
2255                 }
2256             }
2257         }
2258
2259         # Check that we haven't defined any library as both shared and
2260         # explicitly static.  That is forbidden.
2261         my @doubles = ();
2262         foreach (grep /\.a$/, keys %{$unified_info{libraries}}) {
2263             (my $l = $_) =~ s/\.a$//;
2264             push @doubles, $l if defined $unified_info{libraries}->{$l};
2265         }
2266         die "these libraries are both explicitly static and shared:\n  ",
2267             join(" ", @doubles), "\n"
2268             if @doubles;
2269
2270         foreach (keys %sources) {
2271             my $dest = $_;
2272             my $ddest = cleanfile($buildd, $_, $blddir);
2273             foreach (@{$sources{$dest}}) {
2274                 my $s = cleanfile($sourced, $_, $blddir);
2275
2276                 # If it's generated or we simply don't find it in the source
2277                 # tree, we assume it's in the build tree.
2278                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2279                     $s = cleanfile($buildd, $_, $blddir);
2280                 }
2281                 my $o = $_;
2282                 # We recognise C++, C and asm files
2283                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2284                     push @{$check_exist{$s}}, $ddest;
2285                     $o =~ s/\.[csS]$/.o/; # C and assembler
2286                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2287                     $o = cleanfile($buildd, $o, $blddir);
2288                     $unified_info{sources}->{$ddest}->{$o} = -1;
2289                     $unified_info{sources}->{$o}->{$s} = -1;
2290                 } elsif ($s =~ /\.rc$/) {
2291                     # We also recognise resource files
2292                     push @{$check_exist{$s}}, $ddest;
2293                     $o =~ s/\.rc$/.res/; # Resource configuration
2294                     $o = cleanfile($buildd, $o, $blddir);
2295                     $unified_info{sources}->{$ddest}->{$o} = -1;
2296                     $unified_info{sources}->{$o}->{$s} = -1;
2297                 } else {
2298                     push @{$check_exist{$s}}, $ddest;
2299                     $unified_info{sources}->{$ddest}->{$s} = 1;
2300                 }
2301                 # Fix up associated attributes
2302                 if ($o ne $_) {
2303                     $unified_info{attributes}->{sources}->{$ddest}->{$o} =
2304                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2305                         $attributes{sources}->{$dest}->{$_}
2306                         if defined $attributes{sources}->{$dest}->{$_};
2307                 } else {
2308                     $unified_info{attributes}->{sources}->{$ddest}->{$s} =
2309                         $attributes{sources}->{$dest}->{$_}
2310                         if defined $attributes{sources}->{$dest}->{$_};
2311                 }
2312             }
2313         }
2314
2315         foreach (keys %shared_sources) {
2316             my $dest = $_;
2317             my $ddest = cleanfile($buildd, $_, $blddir);
2318             foreach (@{$shared_sources{$dest}}) {
2319                 my $s = cleanfile($sourced, $_, $blddir);
2320
2321                 # If it's generated or we simply don't find it in the source
2322                 # tree, we assume it's in the build tree.
2323                 if ($s eq $src_configdata || $generate{$_} || ! -f $s) {
2324                     $s = cleanfile($buildd, $_, $blddir);
2325                 }
2326
2327                 my $o = $_;
2328                 if ($s =~ /\.(cc|cpp|c|s|S)$/) {
2329                     # We recognise C++, C and asm files
2330                     push @{$check_exist{$s}}, $ddest;
2331                     $o =~ s/\.[csS]$/.o/; # C and assembler
2332                     $o =~ s/\.(cc|cpp)$/_cc.o/; # C++
2333                     $o = cleanfile($buildd, $o, $blddir);
2334                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2335                     $unified_info{sources}->{$o}->{$s} = -1;
2336                 } elsif ($s =~ /\.rc$/) {
2337                     # We also recognise resource files
2338                     push @{$check_exist{$s}}, $ddest;
2339                     $o =~ s/\.rc$/.res/; # Resource configuration
2340                     $o = cleanfile($buildd, $o, $blddir);
2341                     $unified_info{shared_sources}->{$ddest}->{$o} = -1;
2342                     $unified_info{sources}->{$o}->{$s} = -1;
2343                 } elsif ($s =~ /\.ld$/) {
2344                     # We also recognise linker scripts (or corresponding)
2345                     # We know they are generated files
2346                     push @{$check_exist{$s}}, $ddest;
2347                     $o = cleanfile($buildd, $_, $blddir);
2348                     $unified_info{shared_sources}->{$ddest}->{$o} = 1;
2349                 } else {
2350                     die "unrecognised source file type for shared library: $s\n";
2351                 }
2352                 # Fix up associated attributes
2353                 if ($o ne $_) {
2354                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2355                         $unified_info{attributes}->{sources}->{$o}->{$s} =
2356                         $attributes{sources}->{$dest}->{$_}
2357                         if defined $attributes{sources}->{$dest}->{$_};
2358                 } else {
2359                     $unified_info{attributes}->{shared_sources}->{$ddest}->{$o} =
2360                         $attributes{sources}->{$dest}->{$_}
2361                         if defined $attributes{sources}->{$dest}->{$_};
2362                 }
2363             }
2364         }
2365
2366         foreach (keys %generate) {
2367             my $dest = $_;
2368             my $ddest = cleanfile($buildd, $_, $blddir);
2369             die "more than one generator for $dest: "
2370                 ,join(" ", @{$generate{$_}}),"\n"
2371                 if scalar @{$generate{$_}} > 1;
2372             my @generator = split /\s+/, $generate{$dest}->[0];
2373             my $gen = $generator[0];
2374             $generator[0] = cleanfile($sourced, $gen, $blddir);
2375
2376             # If the generator is itself generated, it's in the build tree
2377             if ($generate{$gen} || ! -f $generator[0]) {
2378                 $generator[0] = cleanfile($buildd, $gen, $blddir);
2379             }
2380             $check_generate{$ddest}->{$generator[0]}++;
2381
2382             $unified_info{generate}->{$ddest} = [ @generator ];
2383         }
2384
2385         foreach (keys %depends) {
2386             my $dest = $_;
2387             my $ddest = $dest;
2388
2389             if ($dest =~ /^\|(.*)\|$/) {
2390                 # Collect the raw target
2391                 $unified_info{targets}->{$1} = 1;
2392                 $ddest = $1;
2393             } elsif ($dest eq '') {
2394                 $ddest = '';
2395             } else {
2396                 $ddest = cleanfile($sourced, $_, $blddir);
2397
2398                 # If the destination doesn't exist in source, it can only be
2399                 # a generated file in the build tree.
2400                 if ($ddest eq $src_configdata || ! -f $ddest) {
2401                     $ddest = cleanfile($buildd, $_, $blddir);
2402                 }
2403             }
2404             foreach (@{$depends{$dest}}) {
2405                 my $d = cleanfile($sourced, $_, $blddir);
2406                 my $d2 = cleanfile($buildd, $_, $blddir);
2407
2408                 # If we know it's generated, or assume it is because we can't
2409                 # find it in the source tree, we set file we depend on to be
2410                 # in the build tree rather than the source tree.
2411                 if ($d eq $src_configdata
2412                     || (grep { $d2 eq $_ }
2413                         keys %{$unified_info{generate}})
2414                     || ! -f $d) {
2415                     $d = $d2;
2416                 }
2417                 $unified_info{depends}->{$ddest}->{$d} = 1;
2418
2419                 # Fix up associated attributes
2420                 $unified_info{attributes}->{depends}->{$ddest}->{$d} =
2421                     $attributes{depends}->{$dest}->{$_}
2422                     if defined $attributes{depends}->{$dest}->{$_};
2423             }
2424         }
2425
2426         foreach (keys %includes) {
2427             my $dest = $_;
2428             my $ddest = cleanfile($sourced, $_, $blddir);
2429
2430             # If the destination doesn't exist in source, it can only be
2431             # a generated file in the build tree.
2432             if ($ddest eq $src_configdata || ! -f $ddest) {
2433                 $ddest = cleanfile($buildd, $_, $blddir);
2434             }
2435             foreach (@{$includes{$dest}}) {
2436                 my $is = cleandir($sourced, $_, $blddir);
2437                 my $ib = cleandir($buildd, $_, $blddir);
2438                 push @{$unified_info{includes}->{$ddest}->{source}}, $is
2439                     unless grep { $_ eq $is } @{$unified_info{includes}->{$ddest}->{source}};
2440                 push @{$unified_info{includes}->{$ddest}->{build}}, $ib
2441                     unless grep { $_ eq $ib } @{$unified_info{includes}->{$ddest}->{build}};
2442             }
2443         }
2444
2445         foreach my $dest (keys %defines) {
2446             my $ddest;
2447
2448             if ($dest ne "") {
2449                 $ddest = cleanfile($sourced, $dest, $blddir);
2450
2451                 # If the destination doesn't exist in source, it can only
2452                 # be a generated file in the build tree.
2453                 if (! -f $ddest) {
2454                     $ddest = cleanfile($buildd, $dest, $blddir);
2455                 }
2456             }
2457             foreach my $v (@{$defines{$dest}}) {
2458                 $v =~ m|^([^=]*)(=.*)?$|;
2459                 die "0 length macro name not permitted\n" if $1 eq "";
2460                 if ($dest ne "") {
2461                     die "$1 defined more than once\n"
2462                         if defined $unified_info{defines}->{$ddest}->{$1};
2463                     $unified_info{defines}->{$ddest}->{$1} = $2;
2464                 } else {
2465                     die "$1 defined more than once\n"
2466                         if grep { $v eq $_ } @{$config{defines}};
2467                     push @{$config{defines}}, $v;
2468                 }
2469             }
2470         }
2471
2472         foreach my $section (keys %imagedocs) {
2473             foreach (@{$imagedocs{$section}}) {
2474                 my $imagedocs = cleanfile($buildd, $_, $blddir);
2475                 $unified_info{imagedocs}->{$section}->{$imagedocs} = 1;
2476             }
2477         }
2478
2479         foreach my $section (keys %htmldocs) {
2480             foreach (@{$htmldocs{$section}}) {
2481                 my $htmldocs = cleanfile($buildd, $_, $blddir);
2482                 $unified_info{htmldocs}->{$section}->{$htmldocs} = 1;
2483             }
2484         }
2485
2486         foreach my $section (keys %mandocs) {
2487             foreach (@{$mandocs{$section}}) {
2488                 my $mandocs = cleanfile($buildd, $_, $blddir);
2489                 $unified_info{mandocs}->{$section}->{$mandocs} = 1;
2490             }
2491         }
2492     }
2493
2494     my $ordinals_text = join(', ', sort keys %ordinals);
2495     warn <<"EOF" if $ordinals_text;
2496
2497 WARNING: ORDINALS were specified for $ordinals_text
2498 They are ignored and should be replaced with a combination of GENERATE,
2499 DEPEND and SHARED_SOURCE.
2500 EOF
2501
2502     # Check that each generated file is only generated once
2503     my $ambiguous_generation = 0;
2504     foreach (sort keys %check_generate) {
2505         my @generators = sort keys %{$check_generate{$_}};
2506         my $generators_txt = join(', ', @generators);
2507         if (scalar @generators > 1) {
2508             warn "$_ is GENERATEd by more than one generator ($generators_txt)\n";
2509             $ambiguous_generation++;
2510         }
2511         if ($check_generate{$_}->{$generators[0]} > 1) {
2512             warn "INFO: $_ has more than one GENERATE declaration (same generator)\n"
2513         }
2514     }
2515     die "There are ambiguous source file generations\n"
2516         if $ambiguous_generation > 0;
2517
2518     # All given source files should exist, or if generated, their
2519     # generator should exist.  This loop ensures this is true.
2520     my $missing = 0;
2521     foreach my $orig (sort keys %check_exist) {
2522         foreach my $dest (@{$check_exist{$orig}}) {
2523             if ($orig ne $src_configdata) {
2524                 if ($orig =~ /\.a$/) {
2525                     # Static library names may be used as sources, so we
2526                     # need to detect those and give them special treatment.
2527                     unless (grep { $_ eq $orig }
2528                             keys %{$unified_info{libraries}}) {
2529                         warn "$orig is given as source for $dest, but no such library is built\n";
2530                         $missing++;
2531                     }
2532                 } else {
2533                     # A source may be generated, and its generator may be
2534                     # generated as well.  We therefore loop to dig out the
2535                     # first generator.
2536                     my $gen = $orig;
2537
2538                     while (my @next = keys %{$check_generate{$gen}}) {
2539                         $gen = $next[0];
2540                     }
2541
2542                     if (! -f $gen) {
2543                         if ($gen ne $orig) {
2544                             $missing++;
2545                             warn "$orig is given as source for $dest, but its generator (leading to $gen) is missing\n";
2546                         } else {
2547                             $missing++;
2548                             warn "$orig is given as source for $dest, but is missing\n";
2549                         }
2550                     }
2551                 }
2552             }
2553         }
2554     }
2555     die "There are files missing\n" if $missing > 0;
2556
2557     # Go through the sources of all libraries and check that the same basename
2558     # doesn't appear more than once.  Some static library archivers depend on
2559     # them being unique.
2560     {
2561         my $err = 0;
2562         foreach my $prod (keys %{$unified_info{libraries}}) {
2563             my @prod_sources =
2564                 map { keys %{$unified_info{sources}->{$_}} }
2565                 keys %{$unified_info{sources}->{$prod}};
2566             my %srccnt = ();
2567
2568             # Count how many times a given each source basename
2569             # appears for each product.
2570             foreach my $src (@prod_sources) {
2571                 $srccnt{basename $src}++;
2572             }
2573
2574             foreach my $src (keys %srccnt) {
2575                 if ((my $cnt = $srccnt{$src}) > 1) {
2576                     print STDERR "$src appears $cnt times for the product $prod\n";
2577                     $err++
2578                 }
2579             }
2580         }
2581         die if $err > 0;
2582     }
2583
2584     # Massage the result
2585
2586     # If we depend on a header file or a perl module, add an inclusion of
2587     # its directory to allow smoothe inclusion
2588     foreach my $dest (keys %{$unified_info{depends}}) {
2589         next if $dest eq "";
2590         foreach my $d (keys %{$unified_info{depends}->{$dest}}) {
2591             next unless $d =~ /\.(h|pm)$/;
2592             my $i = dirname($d);
2593             my $spot =
2594                 $d eq "configdata.pm" || defined($unified_info{generate}->{$d})
2595                 ? 'build' : 'source';
2596             push @{$unified_info{includes}->{$dest}->{$spot}}, $i
2597                 unless grep { $_ eq $i } @{$unified_info{includes}->{$dest}->{$spot}};
2598         }
2599     }
2600
2601     # Go through all intermediary files and change their names to something that
2602     # reflects what they will be built for.  Note that for some source files,
2603     # this leads to duplicate object files because they are used multiple times.
2604     # the goal is to rename all object files according to this scheme:
2605     #    {productname}-{midfix}-{origobjname}.[o|res]
2606     # the {midfix} is a keyword indicating the type of product, which is mostly
2607     # valuable for libraries since they come in two forms.
2608     #
2609     # This also reorganises the {sources} and {shared_sources} so that the
2610     # former only contains ALL object files that are supposed to end up in
2611     # static libraries and programs, while the latter contains ALL object files
2612     # that are supposed to end up in shared libraries and DSOs.
2613     # The main reason for having two different source structures is to allow
2614     # the same name to be used for the static and the shared variants of a
2615     # library.
2616     {
2617         # Take copies so we don't get interference from added stuff
2618         my %unified_copy = ();
2619         foreach (('sources', 'shared_sources')) {
2620             $unified_copy{$_} = { %{$unified_info{$_}} }
2621                 if defined($unified_info{$_});
2622             delete $unified_info{$_};
2623         }
2624         foreach my $prodtype (('programs', 'libraries', 'modules', 'scripts')) {
2625             # $intent serves multi purposes:
2626             # - give a prefix for the new object files names
2627             # - in the case of libraries, rearrange the object files so static
2628             #   libraries use the 'sources' structure exclusively, while shared
2629             #   libraries use the 'shared_sources' structure exclusively.
2630             my $intent = {
2631                 programs  => { bin    => { src => [ 'sources' ],
2632                                            dst => 'sources' } },
2633                 libraries => { lib    => { src => [ 'sources' ],
2634                                            dst => 'sources' },
2635                                shlib  => { prodselect =>
2636                                                sub { grep !/\.a$/, @_ },
2637                                            src => [ 'sources',
2638                                                     'shared_sources' ],
2639                                            dst => 'shared_sources' } },
2640                 modules   => { dso    => { src => [ 'sources' ],
2641                                            dst => 'sources' } },
2642                 scripts   => { script => { src => [ 'sources' ],
2643                                            dst => 'sources' } }
2644                } -> {$prodtype};
2645             foreach my $kind (keys %$intent) {
2646                 next if ($intent->{$kind}->{dst} eq 'shared_sources'
2647                              && $disabled{shared});
2648
2649                 my @src = @{$intent->{$kind}->{src}};
2650                 my $dst = $intent->{$kind}->{dst};
2651                 my $prodselect = $intent->{$kind}->{prodselect} // sub { @_ };
2652                 foreach my $prod ($prodselect->(keys %{$unified_info{$prodtype}})) {
2653                     # %prod_sources has all applicable objects as keys, and
2654                     # their corresponding sources as values
2655                     my %prod_sources =
2656                         map { $_ => [ keys %{$unified_copy{sources}->{$_}} ] }
2657                         map { keys %{$unified_copy{$_}->{$prod}} }
2658                         @src;
2659                     foreach (keys %prod_sources) {
2660                         # Only affect object files and resource files,
2661                         # the others simply get a new value
2662                         # (+1 instead of -1)
2663                         if ($_ =~ /\.(o|res)$/) {
2664                             (my $prodname = $prod) =~ s|\.a$||;
2665                             my $newobj =
2666                                 catfile(dirname($_),
2667                                         basename($prodname)
2668                                             . '-' . $kind
2669                                             . '-' . basename($_));
2670                             $unified_info{$dst}->{$prod}->{$newobj} = 1;
2671                             foreach my $src (@{$prod_sources{$_}}) {
2672                                 $unified_info{sources}->{$newobj}->{$src} = 1;
2673                                 # Adjust source attributes
2674                                 my $attrs = $unified_info{attributes}->{sources};
2675                                 if (defined $attrs->{$prod}
2676                                     && defined $attrs->{$prod}->{$_}) {
2677                                     $attrs->{$prod}->{$newobj} =
2678                                         $attrs->{$prod}->{$_};
2679                                     delete $attrs->{$prod}->{$_};
2680                                 }
2681                                 foreach my $objsrc (keys %{$attrs->{$_} // {}}) {
2682                                     $attrs->{$newobj}->{$objsrc} =
2683                                         $attrs->{$_}->{$objsrc};
2684                                     delete $attrs->{$_}->{$objsrc};
2685                                 }
2686                             }
2687                             # Adjust dependencies
2688                             foreach my $deps (keys %{$unified_info{depends}->{$_}}) {
2689                                 $unified_info{depends}->{$_}->{$deps} = -1;
2690                                 $unified_info{depends}->{$newobj}->{$deps} = 1;
2691                             }
2692                             # Adjust includes
2693                             foreach my $k (('source', 'build')) {
2694                                 next unless
2695                                     defined($unified_info{includes}->{$_}->{$k});
2696                                 my @incs = @{$unified_info{includes}->{$_}->{$k}};
2697                                 $unified_info{includes}->{$newobj}->{$k} = [ @incs ];
2698                             }
2699                         } else {
2700                             $unified_info{$dst}->{$prod}->{$_} = 1;
2701                         }
2702                     }
2703                 }
2704             }
2705         }
2706     }
2707
2708     # At this point, we have a number of sources with the value -1.  They
2709     # aren't part of the local build and are probably meant for a different
2710     # platform, and can therefore be cleaned away.  That happens when making
2711     # %unified_info more efficient below.
2712
2713     ### Make unified_info a bit more efficient
2714     # One level structures
2715     foreach (("programs", "libraries", "modules", "scripts", "targets")) {
2716         $unified_info{$_} = [ sort keys %{$unified_info{$_}} ];
2717     }
2718     # Two level structures
2719     foreach my $l1 (("sources", "shared_sources", "ldadd", "depends",
2720                      "imagedocs", "htmldocs", "mandocs")) {
2721         foreach my $l2 (sort keys %{$unified_info{$l1}}) {
2722             my @items =
2723                 sort
2724                 grep { $unified_info{$l1}->{$l2}->{$_} > 0 }
2725                 keys %{$unified_info{$l1}->{$l2}};
2726             if (@items) {
2727                 $unified_info{$l1}->{$l2} = [ @items ];
2728             } else {
2729                 delete $unified_info{$l1}->{$l2};
2730             }
2731         }
2732     }
2733     # Defines
2734     foreach my $dest (sort keys %{$unified_info{defines}}) {
2735         $unified_info{defines}->{$dest}
2736             = [ map { $_.$unified_info{defines}->{$dest}->{$_} }
2737                 sort keys %{$unified_info{defines}->{$dest}} ];
2738     }
2739     # Includes
2740     foreach my $dest (sort keys %{$unified_info{includes}}) {
2741         if (defined($unified_info{includes}->{$dest}->{build})) {
2742             my @source_includes = ();
2743             @source_includes = ( @{$unified_info{includes}->{$dest}->{source}} )
2744                 if defined($unified_info{includes}->{$dest}->{source});
2745             $unified_info{includes}->{$dest} =
2746                 [ @{$unified_info{includes}->{$dest}->{build}} ];
2747             foreach my $inc (@source_includes) {
2748                 push @{$unified_info{includes}->{$dest}}, $inc
2749                     unless grep { $_ eq $inc } @{$unified_info{includes}->{$dest}};
2750             }
2751         } elsif (defined($unified_info{includes}->{$dest}->{source})) {
2752             $unified_info{includes}->{$dest} =
2753                 [ @{$unified_info{includes}->{$dest}->{source}} ];
2754         } else {
2755             delete $unified_info{includes}->{$dest};
2756         }
2757     }
2758
2759     # For convenience collect information regarding directories where
2760     # files are generated, those generated files and the end product
2761     # they end up in where applicable.  Then, add build rules for those
2762     # directories
2763     my %loopinfo = ( "lib" => [ @{$unified_info{libraries}} ],
2764                      "dso" => [ @{$unified_info{modules}} ],
2765                      "bin" => [ @{$unified_info{programs}} ],
2766                      "script" => [ @{$unified_info{scripts}} ],
2767                      "docs" => [ (map { @{$unified_info{imagedocs}->{$_} // []} }
2768                                   keys %{$unified_info{imagedocs} // {}}),
2769                                  (map { @{$unified_info{htmldocs}->{$_} // []} }
2770                                   keys %{$unified_info{htmldocs} // {}}),
2771                                  (map { @{$unified_info{mandocs}->{$_} // []} }
2772                                   keys %{$unified_info{mandocs} // {}}) ] );
2773     foreach my $type (keys %loopinfo) {
2774         foreach my $product (@{$loopinfo{$type}}) {
2775             my %dirs = ();
2776             my $pd = dirname($product);
2777
2778             foreach (@{$unified_info{sources}->{$product} // []},
2779                      @{$unified_info{shared_sources}->{$product} // []}) {
2780                 my $d = dirname($_);
2781
2782                 # We don't want to create targets for source directories
2783                 # when building out of source
2784                 next if ($config{sourcedir} ne $config{builddir}
2785                              && $d =~ m|^\Q$config{sourcedir}\E|);
2786                 # We already have a "test" target, and the current directory
2787                 # is just silly to make a target for
2788                 next if $d eq "test" || $d eq ".";
2789
2790                 $dirs{$d} = 1;
2791                 push @{$unified_info{dirinfo}->{$d}->{deps}}, $_
2792                     if $d ne $pd;
2793             }
2794             foreach (keys %dirs) {
2795                 push @{$unified_info{dirinfo}->{$_}->{products}->{$type}},
2796                     $product;
2797             }
2798         }
2799     }
2800 }
2801
2802 # For the schemes that need it, we provide the old *_obj configs
2803 # from the *_asm_obj ones
2804 foreach (grep /_(asm|aux)_src$/, keys %target) {
2805     my $src = $_;
2806     (my $obj = $_) =~ s/_(asm|aux)_src$/_obj/;
2807     $target{$obj} = $target{$src};
2808     $target{$obj} =~ s/\.[csS]\b/.o/g; # C and assembler
2809     $target{$obj} =~ s/\.(cc|cpp)\b/_cc.o/g; # C++
2810 }
2811
2812 # Write down our configuration where it fits #########################
2813
2814 my %template_vars = (
2815     config => \%config,
2816     target => \%target,
2817     disablables => \@disablables,
2818     disablables_int => \@disablables_int,
2819     disabled => \%disabled,
2820     withargs => \%withargs,
2821     unified_info => \%unified_info,
2822     tls => \@tls,
2823     dtls => \@dtls,
2824     makevars => [ sort keys %user ],
2825     disabled_info => \%disabled_info,
2826     user_crossable => \@user_crossable,
2827 );
2828 my $configdata_outname = 'configdata.pm';
2829 print "Creating $configdata_outname\n";
2830 open CONFIGDATA, ">$configdata_outname.new"
2831     or die "Trying to create $configdata_outname.new: $!";
2832 my $configdata_tmplname = cleanfile($srcdir, "configdata.pm.in", $blddir);
2833 my $configdata_tmpl =
2834     OpenSSL::Template->new(TYPE => 'FILE', SOURCE => $configdata_tmplname);
2835 $configdata_tmpl->fill_in(
2836     FILENAME => $configdata_tmplname,
2837     OUTPUT => \*CONFIGDATA,
2838     HASH => { %template_vars,
2839               autowarntext => [
2840                   'WARNING: do not edit!',
2841                   "Generated by Configure from $configdata_tmplname",
2842               ] }
2843 ) or die $Text::Template::ERROR;
2844 close CONFIGDATA;
2845 rename "$configdata_outname.new", $configdata_outname;
2846 if ($builder_platform eq 'unix') {
2847     my $mode = (0755 & ~umask);
2848     chmod $mode, 'configdata.pm'
2849         or warn sprintf("WARNING: Couldn't change mode for 'configdata.pm' to 0%03o: %s\n",$mode,$!);
2850 }
2851
2852 print "Running $configdata_outname\n";
2853 my $perlcmd = (quotify("maybeshell", $config{PERL}))[0];
2854 my $cmd = "$perlcmd $configdata_outname";
2855 #print STDERR "DEBUG[run_dofile]: \$cmd = $cmd\n";
2856 system($cmd);
2857 exit 1 if $? != 0;
2858
2859 $SIG{__DIE__} = $orig_death_handler;
2860
2861 print <<"EOF" if ($disabled{threads} eq "unavailable");
2862
2863 The library could not be configured for supporting multi-threaded
2864 applications as the compiler options required on this system are not known.
2865 See file INSTALL.md for details if you need multi-threading.
2866 EOF
2867
2868 print <<"EOF" if ($no_shared_warn);
2869
2870 The options 'shared', 'pic' and 'dynamic-engine' aren't supported on this
2871 platform, so we will pretend you gave the option 'no-pic', which also disables
2872 'shared' and 'dynamic-engine'.  If you know how to implement shared libraries
2873 or position independent code, please let us know (but please first make sure
2874 you have tried with a current version of OpenSSL).
2875 EOF
2876
2877 print $banner;
2878
2879 exit(0);
2880
2881 ######################################################################
2882 #
2883 # Helpers and utility functions
2884 #
2885
2886 # Death handler, to print a helpful message in case of failure #######
2887 #
2888 sub death_handler {
2889     die @_ if $^S;              # To prevent the added message in eval blocks
2890     my $build_file = $target{build_file} // "build file";
2891     my @message = ( <<"_____", @_ );
2892
2893 Failure!  $build_file wasn't produced.
2894 Please read INSTALL.md and associated NOTES-* files.  You may also have to
2895 look over your available compiler tool chain or change your configuration.
2896
2897 _____
2898
2899     # Dying is terminal, so it's ok to reset the signal handler here.
2900     $SIG{__DIE__} = $orig_death_handler;
2901     die @message;
2902 }
2903
2904 # Configuration file reading #########################################
2905
2906 # Note: All of the helper functions are for lazy evaluation.  They all
2907 # return a CODE ref, which will return the intended value when evaluated.
2908 # Thus, whenever there's mention of a returned value, it's about that
2909 # intended value.
2910
2911 # Helper function to implement conditional value variants, with a default
2912 # plus additional values based on the value of $config{build_type}.
2913 # Arguments are given in hash table form:
2914 #
2915 #       picker(default => "Basic string: ",
2916 #              debug   => "debug",
2917 #              release => "release")
2918 #
2919 # When configuring with --debug, the resulting string will be
2920 # "Basic string: debug", and when not, it will be "Basic string: release"
2921 #
2922 # This can be used to create variants of sets of flags according to the
2923 # build type:
2924 #
2925 #       cflags => picker(default => "-Wall",
2926 #                        debug   => "-g -O0",
2927 #                        release => "-O3")
2928 #
2929 sub picker {
2930     my %opts = @_;
2931     return sub { add($opts{default} || (),
2932                      $opts{$config{build_type}} || ())->(); }
2933 }
2934
2935 # Helper function to combine several values of different types into one.
2936 # This is useful if you want to combine a string with the result of a
2937 # lazy function, such as:
2938 #
2939 #       cflags => combine("-Wall", sub { $disabled{zlib} ? () : "-DZLIB" })
2940 #
2941 sub combine {
2942     my @stuff = @_;
2943     return sub { add(@stuff)->(); }
2944 }
2945
2946 # Helper function to implement conditional values depending on the value
2947 # of $disabled{threads}.  Can be used as follows:
2948 #
2949 #       cflags => combine("-Wall", threads("-pthread"))
2950 #
2951 sub threads {
2952     my @flags = @_;
2953     return sub { add($disabled{threads} ? () : @flags)->(); }
2954 }
2955
2956 sub shared {
2957     my @flags = @_;
2958     return sub { add($disabled{shared} ? () : @flags)->(); }
2959 }
2960
2961 our $add_called = 0;
2962 # Helper function to implement adding values to already existing configuration
2963 # values.  It handles elements that are ARRAYs, CODEs and scalars
2964 sub _add {
2965     my $separator = shift;
2966
2967     # If there's any ARRAY in the collection of values OR the separator
2968     # is undef, we will return an ARRAY of combined values, otherwise a
2969     # string of joined values with $separator as the separator.
2970     my $found_array = !defined($separator);
2971
2972     my @values =
2973         map {
2974             my $res = $_;
2975             while (ref($res) eq "CODE") {
2976                 $res = $res->();
2977             }
2978             if (defined($res)) {
2979                 if (ref($res) eq "ARRAY") {
2980                     $found_array = 1;
2981                     @$res;
2982                 } else {
2983                     $res;
2984                 }
2985             } else {
2986                 ();
2987             }
2988     } (@_);
2989
2990     $add_called = 1;
2991
2992     if ($found_array) {
2993         [ @values ];
2994     } else {
2995         join($separator, grep { defined($_) && $_ ne "" } @values);
2996     }
2997 }
2998 sub add_before {
2999     my $separator = " ";
3000     if (ref($_[$#_]) eq "HASH") {
3001         my $opts = pop;
3002         $separator = $opts->{separator};
3003     }
3004     my @x = @_;
3005     sub { _add($separator, @x, @_) };
3006 }
3007 sub add {
3008     my $separator = " ";
3009     if (ref($_[$#_]) eq "HASH") {
3010         my $opts = pop;
3011         $separator = $opts->{separator};
3012     }
3013     my @x = @_;
3014     sub { _add($separator, @_, @x) };
3015 }
3016
3017 sub read_eval_file {
3018     my $fname = shift;
3019     my $content;
3020     my @result;
3021
3022     open F, "< $fname" or die "Can't open '$fname': $!\n";
3023     {
3024         undef local $/;
3025         $content = <F>;
3026     }
3027     close F;
3028     {
3029         local $@;
3030
3031         @result = ( eval $content );
3032         warn $@ if $@;
3033     }
3034     return wantarray ? @result : $result[0];
3035 }
3036
3037 # configuration reader, evaluates the input file as a perl script and expects
3038 # it to fill %targets with target configurations.  Those are then added to
3039 # %table.
3040 sub read_config {
3041     my $fname = shift;
3042     my %targets;
3043
3044     {
3045         # Protect certain tables from tampering
3046         local %table = ();
3047
3048         %targets = read_eval_file($fname);
3049     }
3050     my %preexisting = ();
3051     foreach (sort keys %targets) {
3052         $preexisting{$_} = 1 if $table{$_};
3053     }
3054     die <<"EOF",
3055 The following config targets from $fname
3056 shadow pre-existing config targets with the same name:
3057 EOF
3058         map { "  $_\n" } sort keys %preexisting
3059         if %preexisting;
3060
3061
3062     # For each target, check that it's configured with a hash table.
3063     foreach (keys %targets) {
3064         if (ref($targets{$_}) ne "HASH") {
3065             if (ref($targets{$_}) eq "") {
3066                 warn "Deprecated target configuration for $_, ignoring...\n";
3067             } else {
3068                 warn "Misconfigured target configuration for $_ (should be a hash table), ignoring...\n";
3069             }
3070             delete $targets{$_};
3071         } else {
3072             $targets{$_}->{_conf_fname_int} = add([ $fname ]);
3073         }
3074     }
3075
3076     %table = (%table, %targets);
3077
3078 }
3079
3080 # configuration resolver.  Will only resolve all the lazy evaluation
3081 # codeblocks for the chosen target and all those it inherits from,
3082 # recursively
3083 sub resolve_config {
3084     my $target = shift;
3085     my @breadcrumbs = @_;
3086
3087 #    my $extra_checks = defined($ENV{CONFIGURE_EXTRA_CHECKS});
3088
3089     if (grep { $_ eq $target } @breadcrumbs) {
3090         die "inherit_from loop!  target backtrace:\n  "
3091             ,$target,"\n  ",join("\n  ", @breadcrumbs),"\n";
3092     }
3093
3094     if (!defined($table{$target})) {
3095         warn "Warning! target $target doesn't exist!\n";
3096         return ();
3097     }
3098     # Recurse through all inheritances.  They will be resolved on the
3099     # fly, so when this operation is done, they will all just be a
3100     # bunch of attributes with string values.
3101     # What we get here, though, are keys with references to lists of
3102     # the combined values of them all.  We will deal with lists after
3103     # this stage is done.
3104     my %combined_inheritance = ();
3105     if ($table{$target}->{inherit_from}) {
3106         my @inherit_from =
3107             map { ref($_) eq "CODE" ? $_->() : $_ } @{$table{$target}->{inherit_from}};
3108         foreach (@inherit_from) {
3109             my %inherited_config = resolve_config($_, $target, @breadcrumbs);
3110
3111             # 'template' is a marker that's considered private to
3112             # the config that had it.
3113             delete $inherited_config{template};
3114
3115             foreach (keys %inherited_config) {
3116                 if (!$combined_inheritance{$_}) {
3117                     $combined_inheritance{$_} = [];
3118                 }
3119                 push @{$combined_inheritance{$_}}, $inherited_config{$_};
3120             }
3121         }
3122     }
3123
3124     # We won't need inherit_from in this target any more, since we've
3125     # resolved all the inheritances that lead to this
3126     delete $table{$target}->{inherit_from};
3127
3128     # Now is the time to deal with those lists.  Here's the place to
3129     # decide what shall be done with those lists, all based on the
3130     # values of the target we're currently dealing with.
3131     # - If a value is a coderef, it will be executed with the list of
3132     #   inherited values as arguments.
3133     # - If the corresponding key doesn't have a value at all or is the
3134     #   empty string, the inherited value list will be run through the
3135     #   default combiner (below), and the result becomes this target's
3136     #   value.
3137     # - Otherwise, this target's value is assumed to be a string that
3138     #   will simply override the inherited list of values.
3139     my $default_combiner = add();
3140
3141     my %all_keys =
3142         map { $_ => 1 } (keys %combined_inheritance,
3143                          keys %{$table{$target}});
3144
3145     sub process_values {
3146         my $object    = shift;
3147         my $inherited = shift;  # Always a [ list ]
3148         my $target    = shift;
3149         my $entry     = shift;
3150
3151         $add_called = 0;
3152
3153         while(ref($object) eq "CODE") {
3154             $object = $object->(@$inherited);
3155         }
3156         if (!defined($object)) {
3157             return ();
3158         }
3159         elsif (ref($object) eq "ARRAY") {
3160             local $add_called;  # To make sure recursive calls don't affect it
3161             return [ map { process_values($_, $inherited, $target, $entry) }
3162                      @$object ];
3163         } elsif (ref($object) eq "") {
3164             return $object;
3165         } else {
3166             die "cannot handle reference type ",ref($object)
3167                 ," found in target ",$target," -> ",$entry,"\n";
3168         }
3169     }
3170
3171     foreach (sort keys %all_keys) {
3172         my $previous = $combined_inheritance{$_};
3173
3174         # Current target doesn't have a value for the current key?
3175         # Assign it the default combiner, the rest of this loop body
3176         # will handle it just like any other coderef.
3177         if (!exists $table{$target}->{$_}) {
3178             $table{$target}->{$_} = $default_combiner;
3179         }
3180
3181         $table{$target}->{$_} = process_values($table{$target}->{$_},
3182                                                $combined_inheritance{$_},
3183                                                $target, $_);
3184         unless(defined($table{$target}->{$_})) {
3185             delete $table{$target}->{$_};
3186         }
3187 #        if ($extra_checks &&
3188 #            $previous && !($add_called ||  $previous ~~ $table{$target}->{$_})) {
3189 #            warn "$_ got replaced in $target\n";
3190 #        }
3191     }
3192
3193     # Finally done, return the result.
3194     return %{$table{$target}};
3195 }
3196
3197 sub usage
3198         {
3199         print STDERR $usage;
3200         print STDERR "\npick os/compiler from:\n";
3201         my $j=0;
3202         my $i;
3203         my $k=0;
3204         foreach $i (sort keys %table)
3205                 {
3206                 next if $table{$i}->{template};
3207                 next if $i =~ /^debug/;
3208                 $k += length($i) + 1;
3209                 if ($k > 78)
3210                         {
3211                         print STDERR "\n";
3212                         $k=length($i);
3213                         }
3214                 print STDERR $i . " ";
3215                 }
3216         foreach $i (sort keys %table)
3217                 {
3218                 next if $table{$i}->{template};
3219                 next if $i !~ /^debug/;
3220                 $k += length($i) + 1;
3221                 if ($k > 78)
3222                         {
3223                         print STDERR "\n";
3224                         $k=length($i);
3225                         }
3226                 print STDERR $i . " ";
3227                 }
3228         exit(1);
3229         }
3230
3231 sub compiler_predefined {
3232     state %predefined;
3233     my $cc = shift;
3234
3235     return () if $^O eq 'VMS';
3236
3237     die 'compiler_predefined called without a compiler command'
3238         unless $cc;
3239
3240     if (! $predefined{$cc}) {
3241
3242         $predefined{$cc} = {};
3243
3244         # collect compiler pre-defines from gcc or gcc-alike...
3245         open(PIPE, "$cc -dM -E -x c /dev/null 2>&1 |");
3246         while (my $l = <PIPE>) {
3247             $l =~ m/^#define\s+(\w+(?:\(\w+\))?)(?:\s+(.+))?/ or last;
3248             $predefined{$cc}->{$1} = $2 // '';
3249         }
3250         close(PIPE);
3251     }
3252
3253     return %{$predefined{$cc}};
3254 }
3255
3256 sub which
3257 {
3258     my ($name)=@_;
3259
3260     if (eval { require IPC::Cmd; 1; }) {
3261         IPC::Cmd->import();
3262         return scalar IPC::Cmd::can_run($name);
3263     } else {
3264         # if there is $directories component in splitpath,
3265         # then it's not something to test with $PATH...
3266         return $name if (File::Spec->splitpath($name))[1];
3267
3268         foreach (File::Spec->path()) {
3269             my $fullpath = catfile($_, "$name$target{exe_extension}");
3270             if (-f $fullpath and -x $fullpath) {
3271                 return $fullpath;
3272             }
3273         }
3274     }
3275 }
3276
3277 sub env
3278 {
3279     my $name = shift;
3280     my %opts = @_;
3281
3282     unless ($opts{cacheonly}) {
3283         # Note that if $ENV{$name} doesn't exist or is undefined,
3284         # $config{perlenv}->{$name} will be created with the value
3285         # undef.  This is intentional.
3286
3287         $config{perlenv}->{$name} = $ENV{$name}
3288             if ! exists $config{perlenv}->{$name};
3289     }
3290     return $config{perlenv}->{$name};
3291 }
3292
3293 # Configuration printer ##############################################
3294
3295 sub print_table_entry
3296 {
3297     local $now_printing = shift;
3298     my %target = resolve_config($now_printing);
3299     my $type = shift;
3300
3301     # Don't print the templates
3302     return if $target{template};
3303
3304     my @sequence = (
3305         "sys_id",
3306         "cpp",
3307         "cppflags",
3308         "defines",
3309         "includes",
3310         "cc",
3311         "cflags",
3312         "ld",
3313         "lflags",
3314         "loutflag",
3315         "ex_libs",
3316         "bn_ops",
3317         "enable",
3318         "disable",
3319         "poly1035_asm_src",
3320         "thread_scheme",
3321         "perlasm_scheme",
3322         "dso_scheme",
3323         "shared_target",
3324         "shared_cflag",
3325         "shared_defines",
3326         "shared_ldflag",
3327         "shared_rcflag",
3328         "shared_extension",
3329         "dso_extension",
3330         "obj_extension",
3331         "exe_extension",
3332         "ranlib",
3333         "ar",
3334         "arflags",
3335         "aroutflag",
3336         "rc",
3337         "rcflags",
3338         "rcoutflag",
3339         "mt",
3340         "mtflags",
3341         "mtinflag",
3342         "mtoutflag",
3343         "multilib",
3344         "build_scheme",
3345         );
3346
3347     if ($type eq "TABLE") {
3348         print "\n";
3349         print "*** $now_printing\n";
3350         foreach (@sequence) {
3351             if (ref($target{$_}) eq "ARRAY") {
3352                 printf "\$%-12s = %s\n", $_, join(" ", @{$target{$_}});
3353             } else {
3354                 printf "\$%-12s = %s\n", $_, $target{$_};
3355             }
3356         }
3357     } elsif ($type eq "HASH") {
3358         my $largest =
3359             length((sort { length($a) <=> length($b) } @sequence)[-1]);
3360         print "    '$now_printing' => {\n";
3361         foreach (@sequence) {
3362             if ($target{$_}) {
3363                 if (ref($target{$_}) eq "ARRAY") {
3364                     print "      '",$_,"'"," " x ($largest - length($_))," => [ ",join(", ", map { "'$_'" } @{$target{$_}})," ],\n";
3365                 } else {
3366                     print "      '",$_,"'"," " x ($largest - length($_))," => '",$target{$_},"',\n";
3367                 }
3368             }
3369         }
3370         print "    },\n";
3371     }
3372 }
3373
3374 # Utility routines ###################################################
3375
3376 # On VMS, if the given file is a logical name, File::Spec::Functions
3377 # will consider it an absolute path.  There are cases when we want a
3378 # purely syntactic check without checking the environment.
3379 sub isabsolute {
3380     my $file = shift;
3381
3382     # On non-platforms, we just use file_name_is_absolute().
3383     return file_name_is_absolute($file) unless $^O eq "VMS";
3384
3385     # If the file spec includes a device or a directory spec,
3386     # file_name_is_absolute() is perfectly safe.
3387     return file_name_is_absolute($file) if $file =~ m|[:\[]|;
3388
3389     # Here, we know the given file spec isn't absolute
3390     return 0;
3391 }
3392
3393 # Makes a directory absolute and cleans out /../ in paths like foo/../bar
3394 # On some platforms, this uses rel2abs(), while on others, realpath() is used.
3395 # realpath() requires that at least all path components except the last is an
3396 # existing directory.  On VMS, the last component of the directory spec must
3397 # exist.
3398 sub absolutedir {
3399     my $dir = shift;
3400
3401     # realpath() is quite buggy on VMS.  It uses LIB$FID_TO_NAME, which
3402     # will return the volume name for the device, no matter what.  Also,
3403     # it will return an incorrect directory spec if the argument is a
3404     # directory that doesn't exist.
3405     if ($^O eq "VMS") {
3406         return rel2abs($dir);
3407     }
3408
3409     # We use realpath() on Unix, since no other will properly clean out
3410     # a directory spec.
3411     use Cwd qw/realpath/;
3412
3413     return realpath($dir);
3414 }
3415
3416 # Check if all paths are one and the same, using stat.  They must both exist
3417 # We need this for the cases when File::Spec doesn't detect case insensitivity
3418 # (File::Spec::Unix assumes case sensitivity)
3419 sub samedir {
3420     die "samedir expects two arguments\n" unless scalar @_ == 2;
3421
3422     my @stat0 = stat($_[0]);    # First argument
3423     my @stat1 = stat($_[1]);    # Second argument
3424
3425     die "Couldn't stat $_[0]" unless @stat0;
3426     die "Couldn't stat $_[1]" unless @stat1;
3427
3428     # Compare device number
3429     return 0 unless ($stat0[0] == $stat1[0]);
3430     # Compare "inode".  The perl manual recommends comparing as
3431     # string rather than as number.
3432     return 0 unless ($stat0[1] eq $stat1[1]);
3433
3434     return 1;                   # All the same
3435 }
3436
3437 sub quotify {
3438     my %processors = (
3439         perl    => sub { my $x = shift;
3440                          $x =~ s/([\\\$\@"])/\\$1/g;
3441                          return '"'.$x.'"'; },
3442         maybeshell => sub { my $x = shift;
3443                             (my $y = $x) =~ s/([\\\"])/\\$1/g;
3444                             if ($x ne $y || $x =~ m|\s|) {
3445                                 return '"'.$y.'"';
3446                             } else {
3447                                 return $x;
3448                             }
3449                         },
3450         );
3451     my $for = shift;
3452     my $processor =
3453         defined($processors{$for}) ? $processors{$for} : sub { shift; };
3454
3455     return map { $processor->($_); } @_;
3456 }
3457
3458 # collect_from_file($filename, $line_concat_cond_re, $line_concat)
3459 # $filename is a file name to read from
3460 # $line_concat_cond_re is a regexp detecting a line continuation ending
3461 # $line_concat is a CODEref that takes care of concatenating two lines
3462 sub collect_from_file {
3463     my $filename = shift;
3464     my $line_concat_cond_re = shift;
3465     my $line_concat = shift;
3466
3467     open my $fh, $filename || die "unable to read $filename: $!\n";
3468     return sub {
3469         my $saved_line = "";
3470         $_ = "";
3471         while (<$fh>) {
3472             s|\R$||;
3473             if (defined $line_concat) {
3474                 $_ = $line_concat->($saved_line, $_);
3475                 $saved_line = "";
3476             }
3477             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3478                 $saved_line = $_;
3479                 next;
3480             }
3481             return $_;
3482         }
3483         die "$filename ending with continuation line\n" if $_;
3484         close $fh;
3485         return undef;
3486     }
3487 }
3488
3489 # collect_from_array($array, $line_concat_cond_re, $line_concat)
3490 # $array is an ARRAYref of lines
3491 # $line_concat_cond_re is a regexp detecting a line continuation ending
3492 # $line_concat is a CODEref that takes care of concatenating two lines
3493 sub collect_from_array {
3494     my $array = shift;
3495     my $line_concat_cond_re = shift;
3496     my $line_concat = shift;
3497     my @array = (@$array);
3498
3499     return sub {
3500         my $saved_line = "";
3501         $_ = "";
3502         while (defined($_ = shift @array)) {
3503             s|\R$||;
3504             if (defined $line_concat) {
3505                 $_ = $line_concat->($saved_line, $_);
3506                 $saved_line = "";
3507             }
3508             if (defined $line_concat_cond_re && /$line_concat_cond_re/) {
3509                 $saved_line = $_;
3510                 next;
3511             }
3512             return $_;
3513         }
3514         die "input text ending with continuation line\n" if $_;
3515         return undef;
3516     }
3517 }
3518
3519 # collect_information($lineiterator, $line_continue, $regexp => $CODEref, ...)
3520 # $lineiterator is a CODEref that delivers one line at a time.
3521 # All following arguments are regex/CODEref pairs, where the regexp detects a
3522 # line and the CODEref does something with the result of the regexp.
3523 sub collect_information {
3524     my $lineiterator = shift;
3525     my %collectors = @_;
3526
3527     while(defined($_ = $lineiterator->())) {
3528         s|\R$||;
3529         my $found = 0;
3530         if ($collectors{"BEFORE"}) {
3531             $collectors{"BEFORE"}->($_);
3532         }
3533         foreach my $re (keys %collectors) {
3534             if ($re !~ /^OTHERWISE|BEFORE|AFTER$/ && /$re/) {
3535                 $collectors{$re}->($lineiterator);
3536                 $found = 1;
3537             };
3538         }
3539         if ($collectors{"OTHERWISE"}) {
3540             $collectors{"OTHERWISE"}->($lineiterator, $_)
3541                 unless $found || !defined $collectors{"OTHERWISE"};
3542         }
3543         if ($collectors{"AFTER"}) {
3544             $collectors{"AFTER"}->($_);
3545         }
3546     }
3547 }
3548
3549 # tokenize($line)
3550 # tokenize($line,$separator)
3551 # $line is a line of text to split up into tokens
3552 # $separator [optional] is a regular expression that separates the tokens,
3553 # the default being spaces.  Do not use quotes of any kind as separators,
3554 # that will give undefined results.
3555 # Returns a list of tokens.
3556 #
3557 # Tokens are divided by separator (spaces by default).  If the tokens include
3558 # the separators, they have to be quoted with single or double quotes.
3559 # Double quotes inside a double quoted token must be escaped.  Escaping is done
3560 # with backslash.
3561 # Basically, the same quoting rules apply for " and ' as in any
3562 # Unix shell.
3563 sub tokenize {
3564     my $line = my $debug_line = shift;
3565     my $separator = shift // qr|\s+|;
3566     my @result = ();
3567
3568     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3569         print STDERR "DEBUG[tokenize]: \$separator = $separator\n";
3570     }
3571
3572     while ($line =~ s|^${separator}||, $line ne "") {
3573         my $token = "";
3574     again:
3575         $line =~ m/^(.*?)(${separator}|"|'|$)/;
3576         $token .= $1;
3577         $line = $2.$';
3578
3579         if ($line =~ m/^"((?:[^"\\]+|\\.)*)"/) {
3580             $token .= $1;
3581             $line = $';
3582             goto again;
3583         } elsif ($line =~ m/^'([^']*)'/) {
3584             $token .= $1;
3585             $line = $';
3586             goto again;
3587         }
3588         push @result, $token;
3589     }
3590
3591     if ($ENV{CONFIGURE_DEBUG_TOKENIZE}) {
3592         print STDERR "DEBUG[tokenize]: Parsed '$debug_line' into:\n";
3593         print STDERR "DEBUG[tokenize]: ('", join("', '", @result), "')\n";
3594     }
3595     return @result;
3596 }