Check return codes properly.
[openssl.git] / fips / fipsalgtest.pl
index ce17e1e..1382d98 100644 (file)
@@ -12,16 +12,48 @@ my @fips_dsa_test_list = (
 
     "DSA",
 
-    [ "PQGGen",  "fips_dssvs pqg" ],
-    [ "KeyPair", "fips_dssvs keypair" ],
-    [ "SigGen",  "fips_dssvs siggen" ],
-    [ "SigVer",  "fips_dssvs sigver" ]
+    [ "PQGGen",  "fips_dssvs pqg", "path:[^C]DSA/.*PQGGen" ],
+    [ "KeyPair", "fips_dssvs keypair", "path:[^C]DSA/.*KeyPair" ],
+    [ "SigGen",  "fips_dssvs siggen", "path:[^C]DSA/.*SigGen" ],
+    [ "SigVer",  "fips_dssvs sigver", "path:[^C]DSA/.*SigVer" ]
 
 );
 
 my @fips_dsa_pqgver_test_list = (
 
-    [ "PQGVer",  "fips_dssvs pqgver" ]
+    [ "PQGVer",  "fips_dssvs pqgver", "path:[^C]DSA/.*PQGVer" ]
+
+);
+
+# DSA2 tests
+my @fips_dsa2_test_list = (
+
+    "DSA2",
+
+    [ "PQGGen",  "fips_dssvs pqg", "path:[^C]DSA2/.*PQGGen" ],
+    [ "KeyPair", "fips_dssvs keypair", "path:[^C]DSA2/.*KeyPair" ],
+    [ "SigGen",  "fips_dssvs siggen", "path:[^C]DSA2/.*SigGen" ],
+    [ "SigVer",  "fips_dssvs sigver", "path:[^C]DSA2/.*SigVer" ],
+    [ "PQGVer",  "fips_dssvs pqgver", "path:[^C]DSA2/.*PQGVer" ]
+
+);
+
+# ECDSA and ECDSA2 tests
+my @fips_ecdsa_test_list = (
+
+    "ECDSA",
+
+    [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA/.*KeyPair" ],
+    [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA/.*PKV" ],
+    [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA/.*SigGen" ],
+    [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA/.*SigVer" ],
+
+    "ECDSA2",
+
+    [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA2/.*KeyPair" ],
+    [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA2/.*PKV" ],
+    [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA2/.*SigGen" ],
+    [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA2/.*SigVer" ],
 
 );
 
@@ -49,9 +81,9 @@ my @fips_rsa_test_list = (
 my @fips_rsa_pss0_test_list = (
 
     [ "SigGenPSS(0)", "fips_rsastest -saltlen 0",
-                                       '^\s*#\s*salt\s+len:\s+0\s*$' ],
+                                       'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
     [ "SigVerPSS(0)", "fips_rsavtest -saltlen 0",
-                                       '^\s*#\s*salt\s+len:\s+0\s*$' ],
+                                       'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
 
 );
 
@@ -59,9 +91,9 @@ my @fips_rsa_pss0_test_list = (
 
 my @fips_rsa_pss62_test_list = (
     [ "SigGenPSS(62)", "fips_rsastest -saltlen 62",
-                                       '^\s*#\s*salt\s+len:\s+62\s*$' ],
+                                       'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
     [ "SigVerPSS(62)", "fips_rsavtest -saltlen 62",
-                                       '^\s*#\s*salt\s+len:\s+62\s*$' ],
+                                       'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
 );
 
 # SHA tests
@@ -290,6 +322,31 @@ my @fips_aes_ccm_test_list = (
 
 );
 
+my @fips_aes_gcm_test_list = (
+
+    # AES GCM tests
+
+    "AES GCM",
+
+    [ "gcmDecrypt128",  "fips_gcmtest -decrypt" ],
+    [ "gcmDecrypt192",  "fips_gcmtest -decrypt" ],
+    [ "gcmDecrypt256",  "fips_gcmtest -decrypt" ],
+    [ "gcmEncryptIntIV128",  "fips_gcmtest -encrypt" ],
+    [ "gcmEncryptIntIV192",  "fips_gcmtest -encrypt" ],
+    [ "gcmEncryptIntIV256",  "fips_gcmtest -encrypt" ],
+
+);
+
+my @fips_aes_xts_test_list = (
+    # AES XTS tests
+
+    "AES XTS",
+
+    [ "XTSGenAES128",  "fips_gcmtest -xts" ],
+    [ "XTSGenAES256",  "fips_gcmtest -xts" ],
+
+);
+
 # Triple DES tests
 
 my @fips_des3_test_list = (
@@ -377,7 +434,9 @@ my @fips_drbg_test_list = (
     # SP800-90 DRBG tests
     "SP800-90 DRBG",
     [ "CTR_DRBG",   "fips_drbgvs" ],
-    [ "Hash_DRBG",  "fips_drbgvs" ]
+    [ "Dual_EC_DRBG",   "fips_drbgvs" ],
+    [ "Hash_DRBG",  "fips_drbgvs" ],
+    [ "HMAC_DRBG",  "fips_drbgvs" ]
 
 );
 
@@ -394,10 +453,11 @@ my @fips_ecdh_test_list = (
 
     # ECDH
     "ECDH Ephemeral Primitives Only",
-    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_init",
-                                                       "fips_ecdhvs ecdhver" ],
-    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_resp",
-                                                       "fips_ecdhvs ecdhver" ],
+    [ "KAS_ECC_CDH_PrimitiveTest", "fips_ecdhvs ecdhgen" ],
+#    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_init",
+#                                                      "fips_ecdhvs ecdhver" ],
+#    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_resp",
+#                                                      "fips_ecdhvs ecdhver" ],
 
 );
 
@@ -431,7 +491,7 @@ my $debug          = 0;
 my $quiet          = 0;
 my $notest         = 0;
 my $verify         = 1;
-my $rspdir         = "rsp";
+my $rspdir         = "resp";
 my $ignore_missing = 0;
 my $ignore_bogus   = 0;
 my $bufout         = '';
@@ -439,26 +499,34 @@ my $list_tests     = 0;
 my $minimal_script = 0;
 my $outfile        = '';
 my $no_warn_missing = 0;
+my $no_warn_bogus = 0;
+my $rmcmd = "rm -rf";
+my $mkcmd = "mkdir";
 
 my %fips_enabled = (
     dsa         => 1,
-    "dsa-pqgver"  => 0,
+    dsa2        => 2,
+    "dsa-pqgver"  => 2,
+    ecdsa       => 2,
     rsa         => 1,
     "rsa-pss0"  => 0,
     "rsa-pss62" => 1,
     sha         => 1,
     hmac        => 1,
-    cmac        => 0,
+    cmac        => 2,
     "rand-aes"  => 1,
     "rand-des2" => 0,
     aes         => 1,
-    "aes-cfb1"  => 0,
+    "aes-cfb1"  => 2,
     des3        => 1,
-    "des3-cfb1" => 0,
-    drbg       => 0,
-    ccm                => 0,
+    "des3-cfb1" => 2,
+    drbg       => 2,
+    "aes-ccm"  => 2,
+    "aes-xts"  => 2,
+    "aes-gcm"  => 2,
     dh         => 0,
-    ecdh       => 0,
+    ecdh       => 2,
+    v2         => 0,
 );
 
 foreach (@ARGV) {
@@ -478,6 +546,10 @@ foreach (@ARGV) {
     elsif ( $_ eq "--ignore-missing" ) {
         $ignore_missing = 1;
     }
+    elsif ( $_ eq "--quiet-bogus" ) {
+        $ignore_bogus = 1;
+       $no_warn_bogus = 1;
+    }
     elsif ( $_ eq "--ignore-bogus" ) {
         $ignore_bogus = 1;
     }
@@ -505,9 +577,15 @@ foreach (@ARGV) {
     elsif (/--tprefix=(.*)$/) {
         $tprefix = $1;
     }
+    elsif (/^--disable-all$/) {
+       foreach (keys %fips_enabled) {
+               $fips_enabled{$_} = 0;
+       }
+    }
     elsif (/^--(enable|disable)-(.*)$/) {
         if ( !exists $fips_enabled{$2} ) {
             print STDERR "Unknown test $2\n";
+           exit(1);
         }
         if ( $1 eq "enable" ) {
             $fips_enabled{$2} = 1;
@@ -519,6 +597,15 @@ foreach (@ARGV) {
     elsif (/--filter=(.*)$/) {
         $filter = $1;
     }
+    elsif (/--rm=(.*)$/) {
+        $rmcmd = $1;
+    }
+    elsif (/--script-tprefix=(.*)$/) {
+        $stprefix = $1;
+    }
+    elsif (/--mkdir=(.*)$/) {
+        $mkcmd = $1;
+    }
     elsif (/^--list-tests$/) {
         $list_tests = 1;
     }
@@ -530,8 +617,17 @@ foreach (@ARGV) {
 
 my @fips_test_list;
 
+
+if (!$fips_enabled{"v2"}) {
+       foreach (keys %fips_enabled) {
+               $fips_enabled{$_} = 0 if $fips_enabled{$_} == 2;
+       }
+}
+
 push @fips_test_list, @fips_dsa_test_list       if $fips_enabled{"dsa"};
 push @fips_test_list, @fips_dsa_pqgver_test_list if $fips_enabled{"dsa-pqgver"};
+push @fips_test_list, @fips_dsa2_test_list      if $fips_enabled{"dsa2"};
+push @fips_test_list, @fips_ecdsa_test_list     if $fips_enabled{"ecdsa"};
 push @fips_test_list, @fips_rsa_test_list       if $fips_enabled{"rsa"};
 push @fips_test_list, @fips_rsa_pss0_test_list  if $fips_enabled{"rsa-pss0"};
 push @fips_test_list, @fips_rsa_pss62_test_list if $fips_enabled{"rsa-pss62"};
@@ -546,6 +642,8 @@ push @fips_test_list, @fips_des3_test_list      if $fips_enabled{"des3"};
 push @fips_test_list, @fips_des3_cfb1_test_list if $fips_enabled{"des3-cfb1"};
 push @fips_test_list, @fips_drbg_test_list     if $fips_enabled{"drbg"};
 push @fips_test_list, @fips_aes_ccm_test_list  if $fips_enabled{"aes-ccm"};
+push @fips_test_list, @fips_aes_gcm_test_list  if $fips_enabled{"aes-gcm"};
+push @fips_test_list, @fips_aes_xts_test_list  if $fips_enabled{"aes-xts"};
 push @fips_test_list, @fips_dh_test_list       if $fips_enabled{"dh"};
 push @fips_test_list, @fips_ecdh_test_list     if $fips_enabled{"ecdh"};
 
@@ -565,8 +663,6 @@ foreach (@fips_test_list) {
     my $nm = $$_[0];
     $$_[3] = "";
     $$_[4] = "";
-    print STDERR "Duplicate test $nm\n" if exists $fips_tests{$nm};
-    $fips_tests{$nm} = $_;
 }
 
 $tvdir = "." unless defined $tvdir;
@@ -642,7 +738,7 @@ $cmd: generate run CAVP algorithm tests
        --dir=<dirname>             Optional root for *.req file search
        --filter=<regexp>
        --onedir <dirname>          Assume all components in current directory
-       --rspdir=<dirname>          Name of subdirectories containing *.rsp files, default "rsp"
+       --rspdir=<dirname>          Name of subdirectories containing *.rsp files, default "resp"
        --tprefix=<prefix>
        --ignore-bogus              Ignore duplicate or bogus files
        --ignore-missing            Ignore missing test files
@@ -657,7 +753,7 @@ EOF
 while (my ($key, $value) = each %fips_enabled)
        {
        printf "\t\t%-20s(%s by default)\n", $key ,
-                       $value ? "enabled" : "disabled";
+                       $value == 1 ? "enabled" : "disabled";
        }
 }
 
@@ -715,7 +811,7 @@ sub find_files {
                     }
                 }
                 else {
-                    print STDERR "WARNING: bogus file $_\n";
+                    print STDERR "WARNING: bogus file $_\n" unless $no_warn_bogus;
                     $nbogus++;
                 }
             }
@@ -735,7 +831,7 @@ sub find_files {
 
                 }
                 elsif ( !/SHAmix\.req$/ ) {
-                    print STDERR "WARNING: unrecognized filename $_\n";
+                    print STDERR "WARNING: unrecognized filename $_\n" unless $no_warn_bogus;
                     $nbogus++;
                 }
             }
@@ -755,9 +851,21 @@ sub find_test {
     my ( $test, $path ) = @_;
     foreach $tref (@fips_test_list) {
         next unless ref($tref);
-        my ( $tst, $cmd, $regexp, $req, $resp ) = @$tref;
+        my ( $tst, $cmd, $excmd, $req, $resp ) = @$tref;
+       my $regexp;
        $tst =~ s/\(.*$//;
-       if ($tst eq $test) {
+       $test =~ s/_186-2//;
+       if (defined $excmd) {
+               if ($excmd =~ /^path:(.*)$/) {
+                       my $fmatch = $1;
+                       return $tref if ($path =~ /$fmatch/);
+                       next;
+               }
+               elsif ($excmd =~ /^file:(.*)$/) {
+                       $regexp = $1;
+               }
+       }
+       if ($test eq $tst) {
                return $tref if (!defined $regexp);
                my $found = 0;
                my $line;
@@ -829,7 +937,8 @@ echo Running Algorithm Tests
 
 END
        } else {
-           print OUT <<\END;
+       $stprefix = $tprefix unless defined $stprefix;
+           print OUT <<END;
 #!/bin/sh
 
 # Test vector run script
@@ -838,6 +947,10 @@ END
 
 echo Running Algorithm Tests
 
+RM="$rmcmd";
+MKDIR="$mkcmd";
+TPREFIX=$stprefix
+
 END
        }
 
@@ -894,8 +1007,8 @@ md \"$outdir\"
 END
                    } else {
                    print OUT <<END
-rm -rf \"$outdir\"
-mkdir \"$outdir\"
+\$RM \"$outdir\"
+\$MKDIR \"$outdir\"
 
 END
                    }
@@ -906,12 +1019,13 @@ END
                 mkdir($outdir) || die "Can't create directory $outdir";
             }
         }
-        my $cmd = "$tprefix$tcmd \"$req\" \"$out\"";
+        my $cmd = "$tcmd \"$req\" \"$out\"";
         print STDERR "DEBUG: running test $tname\n" if ( $debug && !$verify );
        if ($outfile ne "") {
            print OUT "echo \"    running $tname test\"\n" unless $minimal_script;
-           print OUT "$cmd\n";
+           print OUT "\${TPREFIX}$cmd\n";
         } else {
+            $cmd = "$tprefix$cmd";
             system($cmd);
             if ( $? != 0 ) {
                print STDERR
@@ -981,6 +1095,7 @@ sub cmp_file {
     my ( $tname, $rsp, $tst ) = @_;
     my ( $rspf,    $tstf );
     my ( $rspline, $tstline );
+    my $monte = 0;
     if ( !open( $rspf, $rsp ) ) {
         print STDERR "ERROR: can't open request file $rsp\n";
         return 0;
@@ -989,6 +1104,7 @@ sub cmp_file {
         print STDERR "ERROR: can't open output file $tst\n";
         return 0;
     }
+    $monte = 1 if ($rsp =~ /Monte[123]/);
     for ( ; ; ) {
         $rspline = next_line($rspf);
         $tstline = next_line($tstf);
@@ -996,6 +1112,21 @@ sub cmp_file {
             print STDERR "DEBUG: $tname file comparison OK\n" if $debug;
             return 1;
         }
+       # Workaround for old broken DES3 MCT format which added bogus
+       # extra lines: after [ENCRYPT] or [DECRYPT] skip until first
+       # COUNT line.
+       if ($monte) {
+               if ($rspline =~ /CRYPT/) {
+                       do {
+                               $rspline = next_line($rspf);
+                       } while (defined($rspline) && $rspline !~ /COUNT/);
+               }
+               if ($tstline =~ /CRYPT/) {
+                       do {
+                               $tstline = next_line($tstf);
+                       } while (defined($tstline) && $tstline !~ /COUNT/);
+               }
+       }
         if ( !defined($rspline) ) {
             print STDERR "ERROR: $tname EOF on $rsp\n";
             return 0;