Configuration: rework how dependency making is handled
[openssl.git] / util / add-depends.pl
1 #! /usr/bin/env perl
2 # Copyright 2018-2021 The OpenSSL Project Authors. All Rights Reserved.
3 #
4 # Licensed under the Apache License 2.0 (the "License").  You may not use
5 # this file except in compliance with the License.  You can obtain a copy
6 # in the file LICENSE in the source distribution or at
7 # https://www.openssl.org/source/license.html
8
9 use strict;
10 use warnings;
11
12 use lib '.';
13 use configdata;
14
15 use File::Spec::Functions qw(:DEFAULT rel2abs);
16 use File::Compare qw(compare_text);
17 use feature 'state';
18
19 # When using stat() on Windows, we can get it to perform better by avoid some
20 # data.  This doesn't affect the mtime field, so we're not losing anything...
21 ${^WIN32_SLOPPY_STAT} = 1;
22
23 my $debug = $ENV{ADD_DEPENDS_DEBUG};
24 my $buildfile = $config{build_file};
25 my $build_mtime = (stat($buildfile))[9];
26 my $rebuild = 0;
27 my $depext = $target{dep_extension} || ".d";
28 my @depfiles =
29     sort
30     grep {
31         # This grep has side effects.  Not only does if check the existence
32         # of the dependency file given in $_, but it also checks if it's
33         # newer than the build file, and if it is, sets $rebuild.
34         my @st = stat($_);
35         $rebuild = 1 if @st && $st[9] > $build_mtime;
36         scalar @st > 0;         # Determines the grep result
37     }
38     map { (my $x = $_) =~ s|\.o$|$depext|; $x; }
39     ( ( grep { $unified_info{sources}->{$_}->[0] =~ /\.cc?$/ }
40             keys %{$unified_info{sources}} ),
41       ( grep { $unified_info{shared_sources}->{$_}->[0] =~ /\.cc?$/ }
42             keys %{$unified_info{shared_sources}} ) );
43
44 exit 0 unless $rebuild;
45
46 # Ok, primary checks are done, time to do some real work
47
48 my $producer = shift @ARGV;
49 die "Producer not given\n" unless $producer;
50
51 my $srcdir = $config{sourcedir};
52 my $blddir = $config{builddir};
53 my $abs_srcdir = rel2abs($srcdir);
54 my $abs_blddir = rel2abs($blddir);
55
56 # Convenient cache of absolute to relative map.  We start with filling it
57 # with mappings for the known generated header files.  They are relative to
58 # the current working directory, so that's an easy task.
59 # NOTE: there's more than C header files that are generated.  They will also
60 # generate entries in this map.  We could of course deal with C header files
61 # only, but in case we decide to handle more than just C files in the future,
62 # we already have the mechanism in place here.
63 # NOTE2: we lower case the index to make it searchable without regard for
64 # character case.  That could seem dangerous, but as long as we don't have
65 # files we depend on in the same directory that only differ by character case,
66 # we're fine.
67 my %depconv_cache =
68     map { catfile($abs_blddir, $_) => $_ }
69     keys %{$unified_info{generate}};
70
71 my %procedures = (
72     'gcc' => undef,             # gcc style dependency files needs no mods
73     'makedepend' =>
74         sub {
75             # makedepend, in its infinite wisdom, wants to have the object file
76             # in the same directory as the source file.  This doesn't work too
77             # well with out-of-source-tree builds, so we must resort to tricks
78             # to get things right.  Fortunately, the .d files are always placed
79             # parallel with the object files, so all we need to do is construct
80             # the object file name from the dep file name.
81             (my $objfile = shift) =~ s|\.d$|.o|i;
82             my $line = shift;
83
84             # Discard comments
85             return undef if $line =~ /^(#.*|\s*)$/;
86
87             # Remove the original object file
88             $line =~ s|^.*\.o: | |;
89             # Also, remove any dependency that starts with a /, because those
90             # are typically system headers
91             $line =~ s/\s+\/(\\.|\S)*//g;
92             # Finally, discard all empty lines
93             return undef if $line =~ /^\s*$/;
94
95             # All we got now is a dependency, just shave off surrounding spaces
96             $line =~ s/^\s+//;
97             $line =~ s/\s+$//;
98             return ($objfile, $line);
99         },
100     'VMS C' =>
101         sub {
102             state $abs_srcdir_shaved = undef;
103             state $srcdir_shaved = undef;
104
105             unless (defined $abs_srcdir_shaved) {
106                 ($abs_srcdir_shaved = $abs_srcdir) =~ s|[>\]]$||;
107                 ($srcdir_shaved = $srcdir) =~ s|[>\]]$||;
108             }
109
110             # current versions of DEC / Compaq / HP / VSI C strips away all
111             # directory information from the object file, so we must insert it
112             # back.  To make life simpler, we simply replace it with the
113             # corresponding .D file that's had its extension changed.  Since
114             # .D files are always written parallel to the object files, we
115             # thereby get the directory information for free.
116             (my $objfile = shift) =~ s|\.D$|.OBJ|i;
117             my $line = shift;
118
119             # Shave off the target.
120             #
121             # The pattern for target and dependencies will always take this
122             # form:
123             #
124             #   target SPACE : SPACE deps
125             #
126             # This is so a volume delimiter (a : without any spaces around it)
127             # won't get mixed up with the target / deps delimiter.  We use this
128             # to easily identify what needs to be removed.
129             m|\s:\s|; $line = $';
130
131             # We know that VMS has system header files in text libraries,
132             # extension .TLB.  We also know that our header files aren't stored
133             # in text libraries.  Finally, we know that VMS C produces exactly
134             # one dependency per line, so we simply discard any line ending with
135             # .TLB.
136             return undef if /\.TLB\s*$/;
137
138             # All we got now is a dependency, just shave off surrounding spaces
139             $line =~ s/^\s+//;
140             $line =~ s/\s+$//;
141
142             # VMS C gives us absolute paths, always.  Let's see if we can
143             # make them relative instead.
144             $line = canonpath($line);
145
146             unless (defined $depconv_cache{$line}) {
147                 my $dep = $line;
148                 # Since we have already pre-populated the cache with
149                 # mappings for generated headers, we only need to deal
150                 # with the source tree.
151                 if ($dep =~ s|^\Q$abs_srcdir_shaved\E([\.>\]])?|$srcdir_shaved$1|i) {
152                     $depconv_cache{$line} = $dep;
153                 }
154             }
155             return ($objfile, $depconv_cache{$line})
156                 if defined $depconv_cache{$line};
157             print STDERR "DEBUG[$producer]: ignoring $objfile <- $line\n"
158                 if $debug;
159
160             return undef;
161         },
162     'VC' =>
163         sub {
164             # With Microsoft Visual C the flags /Zs /showIncludes give us the
165             # necessary output to be able to create dependencies that nmake
166             # (or any 'make' implementation) should be able to read, with a
167             # bit of help.  The output we're interested in looks something
168             # like this (it always starts the same)
169             #
170             #   Note: including file: {whatever header file}
171             #
172             # Since there's no object file name at all in that information,
173             # we must construct it ourselves.
174
175             (my $objfile = shift) =~ s|\.d$|.obj|i;
176             my $line = shift;
177
178             # There are also other lines mixed in, for example compiler
179             # warnings, so we simply discard anything that doesn't start with
180             # the Note:
181
182             if (/^Note: including file: */) {
183                 (my $tail = $') =~ s/\s*\R$//;
184
185                 # VC gives us absolute paths for all include files, so to
186                 # remove system header dependencies, we need to check that
187                 # they don't match $abs_srcdir or $abs_blddir.
188                 $tail = canonpath($tail);
189
190                 unless (defined $depconv_cache{$tail}) {
191                     my $dep = $tail;
192                     # Since we have already pre-populated the cache with
193                     # mappings for generated headers, we only need to deal
194                     # with the source tree.
195                     if ($dep =~ s|^\Q$abs_srcdir\E\\|\$(SRCDIR)\\|i) {
196                         $depconv_cache{$tail} = $dep;
197                     }
198                 }
199                 return ($objfile, '"'.$depconv_cache{$tail}.'"')
200                     if defined $depconv_cache{$tail};
201                 print STDERR "DEBUG[$producer]: ignoring $objfile <- $tail\n"
202                     if $debug;
203             }
204
205             return undef;
206         },
207     'embarcadero' =>
208         sub {
209             # With Embarcadero C++Builder's preprocessor (cpp32.exe) the -Hp
210             # flag gives us the preprocessed output annotated with the following
211             # note whenever a #include file is read:
212             #
213             #    Including ->->{whatever header file}
214             #
215             # where each "->" indicates the nesting level of the #include.  The
216             # logic here is otherwise the same as the 'VC' scheme.
217             #
218             # Since there's no object file name at all in that information,
219             # we must construct it ourselves.
220
221             (my $objfile = shift) =~ s|\.d$|.obj|i;
222             my $line = shift;
223
224             # There are also other lines mixed in, for example compiler
225             # warnings, so we simply discard anything that doesn't start with
226             # the Note:
227
228             if (/^Including (->)*/) {
229                 (my $tail = $') =~ s/\s*\R$//;
230
231                 # C++Builder gives us relative paths when possible, so to
232                 # remove system header dependencies, we convert them to
233                 # absolute paths and check that they don't match $abs_srcdir
234                 # or $abs_blddir, just as the 'VC' scheme.
235                 $tail = rel2abs($tail);
236
237                 unless (defined $depconv_cache{$tail}) {
238                     my $dep = $tail;
239                     # Since we have already pre-populated the cache with
240                     # mappings for generated headers, we only need to deal
241                     # with the source tree.
242                     if ($dep =~ s|^\Q$abs_srcdir\E\\|\$(SRCDIR)\\|i) {
243                         $depconv_cache{$tail} = $dep;
244                     }
245                 }
246                 return ($objfile, '"'.$depconv_cache{$tail}.'"')
247                     if defined $depconv_cache{$tail};
248                 print STDERR "DEBUG[$producer]: ignoring $objfile <- $tail\n"
249                     if $debug;
250             }
251
252             return undef;
253         },
254 );
255 my %continuations = (
256     'gcc' => undef,
257     'makedepend' => "\\",
258     'VMS C' => "-",
259     'VC' => "\\",
260     'embarcadero' => "\\",
261 );
262
263 die "Producer unrecognised: $producer\n"
264     unless exists $procedures{$producer} && exists $continuations{$producer};
265
266 my $procedure = $procedures{$producer};
267 my $continuation = $continuations{$producer};
268
269 my $buildfile_new = "$buildfile-$$";
270
271 my %collect = ();
272 if (defined $procedure) {
273     foreach my $depfile (@depfiles) {
274         open IDEP,$depfile or die "Trying to read $depfile: $!\n";
275         while (<IDEP>) {
276             s|\R$||;                # The better chomp
277             my ($target, $deps) = $procedure->($depfile, $_);
278             $collect{$target}->{$deps} = 1 if defined $target;
279         }
280         close IDEP;
281     }
282 }
283
284 open IBF, $buildfile or die "Trying to read $buildfile: $!\n";
285 open OBF, '>', $buildfile_new or die "Trying to write $buildfile_new: $!\n";
286 while (<IBF>) {
287     last if /^# DO NOT DELETE THIS LINE/;
288     print OBF or die "$!\n";
289 }
290 close IBF;
291
292 print OBF "# DO NOT DELETE THIS LINE -- make depend depends on it.\n";
293
294 if (defined $procedure) {
295     foreach my $target (sort keys %collect) {
296         my $prefix = $target . ' :';
297         my @deps = sort keys %{$collect{$target}};
298
299         while (@deps) {
300             my $buf = $prefix;
301             $prefix = '';
302
303             while (@deps && ($buf eq ''
304                                  || length($buf) + length($deps[0]) <= 77)) {
305                 $buf .= ' ' . shift @deps;
306             }
307             $buf .= ' '.$continuation if @deps;
308
309             print OBF $buf,"\n" or die "Trying to print: $!\n"
310         }
311     }
312 } else {
313     foreach my $depfile (@depfiles) {
314         open IDEP,$depfile or die "Trying to read $depfile: $!\n";
315         while (<IDEP>) {
316             print OBF or die "Trying to print: $!\n";
317         }
318         close IDEP;
319     }
320 }
321
322 close OBF;
323
324 if (compare_text($buildfile_new, $buildfile) != 0) {
325     rename $buildfile_new, $buildfile
326         or die "Trying to rename $buildfile_new -> $buildfile: $!\n";
327 }
328
329 END {
330     # On VMS, we want to remove all generations of this file, in case there
331     # are more than one, so we loop.
332     if (defined $buildfile_new) {
333         while (unlink $buildfile_new) {}
334     }
335 }