80-test_cmp_http.t: Remove -certout option where not needed
[openssl.git] / util / add-depends.pl
index 55d56b7..599a267 100644 (file)
@@ -1,7 +1,7 @@
 #! /usr/bin/env perl
 #! /usr/bin/env perl
-# Copyright 2018 The OpenSSL Project Authors. All Rights Reserved.
+# Copyright 2018-2021 The OpenSSL Project Authors. All Rights Reserved.
 #
 #
-# Licensed under the OpenSSL license (the "License").  You may not use
+# Licensed under the Apache License 2.0 (the "License").  You may not use
 # this file except in compliance with the License.  You can obtain a copy
 # in the file LICENSE in the source distribution or at
 # https://www.openssl.org/source/license.html
 # this file except in compliance with the License.  You can obtain a copy
 # in the file LICENSE in the source distribution or at
 # https://www.openssl.org/source/license.html
@@ -23,6 +23,7 @@ ${^WIN32_SLOPPY_STAT} = 1;
 my $debug = $ENV{ADD_DEPENDS_DEBUG};
 my $buildfile = $config{build_file};
 my $build_mtime = (stat($buildfile))[9];
 my $debug = $ENV{ADD_DEPENDS_DEBUG};
 my $buildfile = $config{build_file};
 my $build_mtime = (stat($buildfile))[9];
+my $configdata_mtime = (stat('configdata.pm'))[9];
 my $rebuild = 0;
 my $depext = $target{dep_extension} || ".d";
 my @depfiles =
 my $rebuild = 0;
 my $depext = $target{dep_extension} || ".d";
 my @depfiles =
@@ -30,9 +31,11 @@ my @depfiles =
     grep {
         # This grep has side effects.  Not only does if check the existence
         # of the dependency file given in $_, but it also checks if it's
     grep {
         # This grep has side effects.  Not only does if check the existence
         # of the dependency file given in $_, but it also checks if it's
-        # newer than the build file, and if it is, sets $rebuild.
+        # newer than the build file or older than configdata.pm, and if it
+        # is, sets $rebuild.
         my @st = stat($_);
         my @st = stat($_);
-        $rebuild = 1 if @st && $st[9] > $build_mtime;
+        $rebuild = 1
+            if @st && ($st[9] > $build_mtime || $st[9] < $configdata_mtime);
         scalar @st > 0;         # Determines the grep result
     }
     map { (my $x = $_) =~ s|\.o$|$depext|; $x; }
         scalar @st > 0;         # Determines the grep result
     }
     map { (my $x = $_) =~ s|\.o$|$depext|; $x; }
@@ -69,7 +72,41 @@ my %depconv_cache =
     keys %{$unified_info{generate}};
 
 my %procedures = (
     keys %{$unified_info{generate}};
 
 my %procedures = (
-    'gcc' => undef,             # gcc style dependency files needs no mods
+    'gcc' =>
+        sub {
+            (my $objfile = shift) =~ s|\.d$|.o|i;
+            my $line = shift;
+
+            # Remove the original object file
+            $line =~ s|^.*\.o: | |;
+            # All we got now is a dependency, shave off surrounding spaces
+            $line =~ s/^\s+//;
+            $line =~ s/\s+$//;
+            # Also, shave off any continuation
+            $line =~ s/\s*\\$//;
+
+            # Split the line into individual header files, and keep those
+            # that exist in some form
+            my @headers;
+            for (split(/\s+/, $line)) {
+                my $x = rel2abs($_);
+
+                if (!$depconv_cache{$x}) {
+                    if (-f $x) {
+                        $depconv_cache{$x} = $_;
+                    }
+                }
+
+                if ($depconv_cache{$x}) {
+                    push @headers, $_;
+                } else {
+                    print STDERR "DEBUG[$producer]: ignoring $objfile <- $line\n"
+                        if $debug;
+                }
+            }
+            return ($objfile, join(' ', @headers)) if @headers;
+            return undef;
+    },
     'makedepend' =>
         sub {
             # makedepend, in its infinite wisdom, wants to have the object file
     'makedepend' =>
         sub {
             # makedepend, in its infinite wisdom, wants to have the object file
@@ -149,27 +186,37 @@ my %procedures = (
                 # mappings for generated headers, we only need to deal
                 # with the source tree.
                 if ($dep =~ s|^\Q$abs_srcdir_shaved\E([\.>\]])?|$srcdir_shaved$1|i) {
                 # mappings for generated headers, we only need to deal
                 # with the source tree.
                 if ($dep =~ s|^\Q$abs_srcdir_shaved\E([\.>\]])?|$srcdir_shaved$1|i) {
-                    $depconv_cache{$line} = $dep;
+                    # Also check that the header actually exists
+                    if (-f $line) {
+                        $depconv_cache{$line} = $dep;
+                    }
                 }
             }
             return ($objfile, $depconv_cache{$line})
                 if defined $depconv_cache{$line};
                 }
             }
             return ($objfile, $depconv_cache{$line})
                 if defined $depconv_cache{$line};
-            print STDERR "DEBUG[VMS C]: ignoring $objfile <- $line\n"
+            print STDERR "DEBUG[$producer]: ignoring $objfile <- $line\n"
                 if $debug;
 
             return undef;
         },
     'VC' =>
         sub {
                 if $debug;
 
             return undef;
         },
     'VC' =>
         sub {
-            # For the moment, we only support Visual C on native Windows, or
-            # compatible compilers.  With those, the flags /Zs /showIncludes
-            # give us the necessary output to be able to create dependencies
-            # that nmake (or any 'make' implementation) should be able to read,
-            # with a bit of help.  The output we're interested in looks like
-            # this (it always starts the same)
+            # With Microsoft Visual C the flags /Zs /showIncludes give us the
+            # necessary output to be able to create dependencies that nmake
+            # (or any 'make' implementation) should be able to read, with a
+            # bit of help.  The output we're interested in looks something
+            # like this (it always starts the same)
             #
             #   Note: including file: {whatever header file}
             #
             #
             #   Note: including file: {whatever header file}
             #
+            # This output is localized, so for example, the German pack gives
+            # us this:
+            #
+            #   Hinweis: Einlesen der Datei:   {whatever header file}
+            #
+            # To accomodate, we need to use a very general regular expression
+            # to parse those lines.
+            #
             # Since there's no object file name at all in that information,
             # we must construct it ourselves.
 
             # Since there's no object file name at all in that information,
             # we must construct it ourselves.
 
@@ -180,7 +227,7 @@ my %procedures = (
             # warnings, so we simply discard anything that doesn't start with
             # the Note:
 
             # warnings, so we simply discard anything that doesn't start with
             # the Note:
 
-            if (/^Note: including file: */) {
+            if (/^[^:]*: [^:]*: */) {
                 (my $tail = $') =~ s/\s*\R$//;
 
                 # VC gives us absolute paths for all include files, so to
                 (my $tail = $') =~ s/\s*\R$//;
 
                 # VC gives us absolute paths for all include files, so to
@@ -194,12 +241,64 @@ my %procedures = (
                     # mappings for generated headers, we only need to deal
                     # with the source tree.
                     if ($dep =~ s|^\Q$abs_srcdir\E\\|\$(SRCDIR)\\|i) {
                     # mappings for generated headers, we only need to deal
                     # with the source tree.
                     if ($dep =~ s|^\Q$abs_srcdir\E\\|\$(SRCDIR)\\|i) {
-                        $depconv_cache{$tail} = $dep;
+                        # Also check that the header actually exists
+                        if (-f $line) {
+                            $depconv_cache{$tail} = $dep;
+                        }
+                    }
+                }
+                return ($objfile, '"'.$depconv_cache{$tail}.'"')
+                    if defined $depconv_cache{$tail};
+                print STDERR "DEBUG[$producer]: ignoring $objfile <- $tail\n"
+                    if $debug;
+            }
+
+            return undef;
+        },
+    'embarcadero' =>
+        sub {
+            # With Embarcadero C++Builder's preprocessor (cpp32.exe) the -Sx -Hp
+            # flags give us the list of #include files read, like the following:
+            #
+            #   Including ->->{whatever header file}
+            #
+            # where each "->" indicates the nesting level of the #include.  The
+            # logic here is otherwise the same as the 'VC' scheme.
+            #
+            # Since there's no object file name at all in that information,
+            # we must construct it ourselves.
+
+            (my $objfile = shift) =~ s|\.d$|.obj|i;
+            my $line = shift;
+
+            # There are also other lines mixed in, for example compiler
+            # warnings, so we simply discard anything that doesn't start with
+            # the Note:
+
+            if (/^Including (->)*/) {
+                (my $tail = $') =~ s/\s*\R$//;
+
+                # C++Builder gives us relative paths when possible, so to
+                # remove system header dependencies, we convert them to
+                # absolute paths and check that they don't match $abs_srcdir
+                # or $abs_blddir, just as the 'VC' scheme.
+                $tail = rel2abs($tail);
+
+                unless (defined $depconv_cache{$tail}) {
+                    my $dep = $tail;
+                    # Since we have already pre-populated the cache with
+                    # mappings for generated headers, we only need to deal
+                    # with the source tree.
+                    if ($dep =~ s|^\Q$abs_srcdir\E\\|\$(SRCDIR)\\|i) {
+                        # Also check that the header actually exists
+                        if (-f $line) {
+                            $depconv_cache{$tail} = $dep;
+                        }
                     }
                 }
                 return ($objfile, '"'.$depconv_cache{$tail}.'"')
                     if defined $depconv_cache{$tail};
                     }
                 }
                 return ($objfile, '"'.$depconv_cache{$tail}.'"')
                     if defined $depconv_cache{$tail};
-                print STDERR "DEBUG[VC]: ignoring $objfile <- $tail\n"
+                print STDERR "DEBUG[$producer]: ignoring $objfile <- $tail\n"
                     if $debug;
             }
 
                     if $debug;
             }
 
@@ -207,10 +306,11 @@ my %procedures = (
         },
 );
 my %continuations = (
         },
 );
 my %continuations = (
-    'gcc' => undef,
+    'gcc' => "\\",
     'makedepend' => "\\",
     'VMS C' => "-",
     'VC' => "\\",
     'makedepend' => "\\",
     'VMS C' => "-",
     'VC' => "\\",
+    'embarcadero' => "\\",
 );
 
 die "Producer unrecognised: $producer\n"
 );
 
 die "Producer unrecognised: $producer\n"
@@ -222,16 +322,14 @@ my $continuation = $continuations{$producer};
 my $buildfile_new = "$buildfile-$$";
 
 my %collect = ();
 my $buildfile_new = "$buildfile-$$";
 
 my %collect = ();
-if (defined $procedure) {
-    foreach my $depfile (@depfiles) {
-        open IDEP,$depfile or die "Trying to read $depfile: $!\n";
-        while (<IDEP>) {
-            s|\R$||;                # The better chomp
-            my ($target, $deps) = $procedure->($depfile, $_);
-            $collect{$target}->{$deps} = 1 if defined $target;
-        }
-        close IDEP;
+foreach my $depfile (@depfiles) {
+    open IDEP,$depfile or die "Trying to read $depfile: $!\n";
+    while (<IDEP>) {
+        s|\R$||;                # The better chomp
+        my ($target, $deps) = $procedure->($depfile, $_);
+        $collect{$target}->{$deps} = 1 if defined $target;
     }
     }
+    close IDEP;
 }
 
 open IBF, $buildfile or die "Trying to read $buildfile: $!\n";
 }
 
 open IBF, $buildfile or die "Trying to read $buildfile: $!\n";
@@ -244,31 +342,21 @@ close IBF;
 
 print OBF "# DO NOT DELETE THIS LINE -- make depend depends on it.\n";
 
 
 print OBF "# DO NOT DELETE THIS LINE -- make depend depends on it.\n";
 
-if (defined $procedure) {
-    foreach my $target (sort keys %collect) {
-        my $prefix = $target . ' :';
-        my @deps = sort keys %{$collect{$target}};
+foreach my $target (sort keys %collect) {
+    my $prefix = $target . ' :';
+    my @deps = sort keys %{$collect{$target}};
 
 
-        while (@deps) {
-            my $buf = $prefix;
-            $prefix = '';
-
-            while (@deps && ($buf eq ''
-                                 || length($buf) + length($deps[0]) <= 77)) {
-                $buf .= ' ' . shift @deps;
-            }
-            $buf .= ' '.$continuation if @deps;
+    while (@deps) {
+        my $buf = $prefix;
+        $prefix = '';
 
 
-            print OBF $buf,"\n" or die "Trying to print: $!\n"
+        while (@deps && ($buf eq ''
+                         || length($buf) + length($deps[0]) <= 77)) {
+            $buf .= ' ' . shift @deps;
         }
         }
-    }
-} else {
-    foreach my $depfile (@depfiles) {
-        open IDEP,$depfile or die "Trying to read $depfile: $!\n";
-        while (<IDEP>) {
-            print OBF or die "Trying to print: $!\n";
-        }
-        close IDEP;
+        $buf .= ' '.$continuation if @deps;
+
+        print OBF $buf,"\n" or die "Trying to print: $!\n"
     }
 }
 
     }
 }