Remove hard coded ecdsaWithSHA1 hack in ssl routines and check for RSA
[openssl.git] / fips / fipsalgtest.pl
1 #!/usr/bin/perl -w
2 # Perl utility to run or verify FIPS 140-2 CAVP algorithm tests based on the
3 # pathnames of input algorithm test files actually present (the unqualified
4 # file names are consistent but the pathnames are not).
5 #
6
7 # FIPS test definitions
8 # List of all the unqualified file names we expect and command lines to run
9
10 # DSA tests
11 my @fips_dsa_test_list = (
12
13     "DSA",
14
15     [ "PQGGen",  "fips_dssvs pqg", "path:/DSA/.*PQGGen" ],
16     [ "KeyPair", "fips_dssvs keypair", "path:/DSA/.*KeyPair" ],
17     [ "SigGen",  "fips_dssvs siggen", "path:/DSA/.*SigGen" ],
18     [ "SigVer",  "fips_dssvs sigver", "path:/DSA/.*SigVer" ]
19
20 );
21
22 my @fips_dsa_pqgver_test_list = (
23
24     [ "PQGVer",  "fips_dssvs pqgver", "path:/DSA/.*PQGVer" ]
25
26 );
27
28 # DSA2 tests
29 my @fips_dsa2_test_list = (
30
31     "DSA2",
32
33     [ "PQGGen",  "fips_dssvs pqg", "path:/DSA2/.*PQGGen" ],
34     [ "KeyPair", "fips_dssvs keypair", "path:/DSA2/.*KeyPair" ],
35     [ "SigGen",  "fips_dssvs siggen", "path:/DSA2/.*SigGen" ],
36     [ "SigVer",  "fips_dssvs sigver", "path:/DSA2/.*SigVer" ],
37     [ "PQGVer",  "fips_dssvs pqgver", "path:/DSA2/.*PQGVer" ]
38
39 );
40
41 # ECDSA and ECDSA2 tests
42 my @fips_ecdsa_test_list = (
43
44     "ECDSA",
45
46     [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA/.*KeyPair" ],
47     [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA/.*PKV" ],
48     [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA/.*SigGen" ],
49     [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA/.*SigVer" ],
50
51     "ECDSA2",
52
53     [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA2/.*KeyPair" ],
54     [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA2/.*PKV" ],
55     [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA2/.*SigGen" ],
56     [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA2/.*SigVer" ],
57
58 );
59
60 # RSA tests
61
62 my @fips_rsa_test_list = (
63
64     "RSA",
65
66     [ "SigGen15",  "fips_rsastest" ],
67     [ "SigVer15",  "fips_rsavtest" ],
68     [ "SigVerRSA", "fips_rsavtest -x931" ],
69     [ "KeyGenRSA", "fips_rsagtest" ],
70     [ "SigGenRSA", "fips_rsastest -x931" ]
71
72 );
73
74 # Special cases for PSS. The filename itself is
75 # not sufficient to determine the test. Addditionally we
76 # need to examine the file contents to determine the salt length
77 # In these cases the test filename has (saltlen) appended.
78
79 # RSA PSS salt length 0 tests
80
81 my @fips_rsa_pss0_test_list = (
82
83     [ "SigGenPSS(0)", "fips_rsastest -saltlen 0",
84                                         'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
85     [ "SigVerPSS(0)", "fips_rsavtest -saltlen 0",
86                                         'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
87
88 );
89
90 # RSA PSS salt length 62 tests
91
92 my @fips_rsa_pss62_test_list = (
93     [ "SigGenPSS(62)", "fips_rsastest -saltlen 62",
94                                         'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
95     [ "SigVerPSS(62)", "fips_rsavtest -saltlen 62",
96                                         'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
97 );
98
99 # SHA tests
100
101 my @fips_sha_test_list = (
102
103     "SHA",
104
105     [ "SHA1LongMsg",    "fips_shatest" ],
106     [ "SHA1Monte",      "fips_shatest" ],
107     [ "SHA1ShortMsg",   "fips_shatest" ],
108     [ "SHA224LongMsg",  "fips_shatest" ],
109     [ "SHA224Monte",    "fips_shatest" ],
110     [ "SHA224ShortMsg", "fips_shatest" ],
111     [ "SHA256LongMsg",  "fips_shatest" ],
112     [ "SHA256Monte",    "fips_shatest" ],
113     [ "SHA256ShortMsg", "fips_shatest" ],
114     [ "SHA384LongMsg",  "fips_shatest" ],
115     [ "SHA384Monte",    "fips_shatest" ],
116     [ "SHA384ShortMsg", "fips_shatest" ],
117     [ "SHA512LongMsg",  "fips_shatest" ],
118     [ "SHA512Monte",    "fips_shatest" ],
119     [ "SHA512ShortMsg", "fips_shatest" ]
120
121 );
122
123 # HMAC
124
125 my @fips_hmac_test_list = (
126
127     "HMAC",
128
129     [ "HMAC", "fips_hmactest" ]
130
131 );
132
133 # CMAC
134
135 my @fips_cmac_test_list = (
136
137     "CMAC",
138
139     [ "CMACGenAES128", "fips_cmactest -a aes128 -g" ],
140     [ "CMACVerAES128", "fips_cmactest -a aes128 -v" ],
141     [ "CMACGenAES192", "fips_cmactest -a aes192 -g" ],
142     [ "CMACVerAES192", "fips_cmactest -a aes192 -v" ],
143     [ "CMACGenAES256", "fips_cmactest -a aes256 -g" ],
144     [ "CMACVerAES256", "fips_cmactest -a aes256 -v" ],
145     [ "CMACGenTDES3", "fips_cmactest -a tdes3 -g" ],
146     [ "CMACVerTDES3", "fips_cmactest -a tdes3 -v" ],
147
148 );
149
150 # RAND tests, AES version
151
152 my @fips_rand_aes_test_list = (
153
154     "RAND (AES)",
155
156     [ "ANSI931_AES128MCT", "fips_rngvs mct" ],
157     [ "ANSI931_AES192MCT", "fips_rngvs mct" ],
158     [ "ANSI931_AES256MCT", "fips_rngvs mct" ],
159     [ "ANSI931_AES128VST", "fips_rngvs vst" ],
160     [ "ANSI931_AES192VST", "fips_rngvs vst" ],
161     [ "ANSI931_AES256VST", "fips_rngvs vst" ]
162
163 );
164
165 # RAND tests, DES2 version
166
167 my @fips_rand_des2_test_list = (
168
169     "RAND (DES2)",
170
171     [ "ANSI931_TDES2MCT", "fips_rngvs mct" ],
172     [ "ANSI931_TDES2VST", "fips_rngvs vst" ]
173
174 );
175
176 # AES tests
177
178 my @fips_aes_test_list = (
179
180     "AES",
181
182     [ "CBCGFSbox128",     "fips_aesavs -f" ],
183     [ "CBCGFSbox192",     "fips_aesavs -f" ],
184     [ "CBCGFSbox256",     "fips_aesavs -f" ],
185     [ "CBCKeySbox128",    "fips_aesavs -f" ],
186     [ "CBCKeySbox192",    "fips_aesavs -f" ],
187     [ "CBCKeySbox256",    "fips_aesavs -f" ],
188     [ "CBCMCT128",        "fips_aesavs -f" ],
189     [ "CBCMCT192",        "fips_aesavs -f" ],
190     [ "CBCMCT256",        "fips_aesavs -f" ],
191     [ "CBCMMT128",        "fips_aesavs -f" ],
192     [ "CBCMMT192",        "fips_aesavs -f" ],
193     [ "CBCMMT256",        "fips_aesavs -f" ],
194     [ "CBCVarKey128",     "fips_aesavs -f" ],
195     [ "CBCVarKey192",     "fips_aesavs -f" ],
196     [ "CBCVarKey256",     "fips_aesavs -f" ],
197     [ "CBCVarTxt128",     "fips_aesavs -f" ],
198     [ "CBCVarTxt192",     "fips_aesavs -f" ],
199     [ "CBCVarTxt256",     "fips_aesavs -f" ],
200     [ "CFB128GFSbox128",  "fips_aesavs -f" ],
201     [ "CFB128GFSbox192",  "fips_aesavs -f" ],
202     [ "CFB128GFSbox256",  "fips_aesavs -f" ],
203     [ "CFB128KeySbox128", "fips_aesavs -f" ],
204     [ "CFB128KeySbox192", "fips_aesavs -f" ],
205     [ "CFB128KeySbox256", "fips_aesavs -f" ],
206     [ "CFB128MCT128",     "fips_aesavs -f" ],
207     [ "CFB128MCT192",     "fips_aesavs -f" ],
208     [ "CFB128MCT256",     "fips_aesavs -f" ],
209     [ "CFB128MMT128",     "fips_aesavs -f" ],
210     [ "CFB128MMT192",     "fips_aesavs -f" ],
211     [ "CFB128MMT256",     "fips_aesavs -f" ],
212     [ "CFB128VarKey128",  "fips_aesavs -f" ],
213     [ "CFB128VarKey192",  "fips_aesavs -f" ],
214     [ "CFB128VarKey256",  "fips_aesavs -f" ],
215     [ "CFB128VarTxt128",  "fips_aesavs -f" ],
216     [ "CFB128VarTxt192",  "fips_aesavs -f" ],
217     [ "CFB128VarTxt256",  "fips_aesavs -f" ],
218     [ "CFB8GFSbox128",    "fips_aesavs -f" ],
219     [ "CFB8GFSbox192",    "fips_aesavs -f" ],
220     [ "CFB8GFSbox256",    "fips_aesavs -f" ],
221     [ "CFB8KeySbox128",   "fips_aesavs -f" ],
222     [ "CFB8KeySbox192",   "fips_aesavs -f" ],
223     [ "CFB8KeySbox256",   "fips_aesavs -f" ],
224     [ "CFB8MCT128",       "fips_aesavs -f" ],
225     [ "CFB8MCT192",       "fips_aesavs -f" ],
226     [ "CFB8MCT256",       "fips_aesavs -f" ],
227     [ "CFB8MMT128",       "fips_aesavs -f" ],
228     [ "CFB8MMT192",       "fips_aesavs -f" ],
229     [ "CFB8MMT256",       "fips_aesavs -f" ],
230     [ "CFB8VarKey128",    "fips_aesavs -f" ],
231     [ "CFB8VarKey192",    "fips_aesavs -f" ],
232     [ "CFB8VarKey256",    "fips_aesavs -f" ],
233     [ "CFB8VarTxt128",    "fips_aesavs -f" ],
234     [ "CFB8VarTxt192",    "fips_aesavs -f" ],
235     [ "CFB8VarTxt256",    "fips_aesavs -f" ],
236
237     [ "ECBGFSbox128",  "fips_aesavs -f" ],
238     [ "ECBGFSbox192",  "fips_aesavs -f" ],
239     [ "ECBGFSbox256",  "fips_aesavs -f" ],
240     [ "ECBKeySbox128", "fips_aesavs -f" ],
241     [ "ECBKeySbox192", "fips_aesavs -f" ],
242     [ "ECBKeySbox256", "fips_aesavs -f" ],
243     [ "ECBMCT128",     "fips_aesavs -f" ],
244     [ "ECBMCT192",     "fips_aesavs -f" ],
245     [ "ECBMCT256",     "fips_aesavs -f" ],
246     [ "ECBMMT128",     "fips_aesavs -f" ],
247     [ "ECBMMT192",     "fips_aesavs -f" ],
248     [ "ECBMMT256",     "fips_aesavs -f" ],
249     [ "ECBVarKey128",  "fips_aesavs -f" ],
250     [ "ECBVarKey192",  "fips_aesavs -f" ],
251     [ "ECBVarKey256",  "fips_aesavs -f" ],
252     [ "ECBVarTxt128",  "fips_aesavs -f" ],
253     [ "ECBVarTxt192",  "fips_aesavs -f" ],
254     [ "ECBVarTxt256",  "fips_aesavs -f" ],
255     [ "OFBGFSbox128",  "fips_aesavs -f" ],
256     [ "OFBGFSbox192",  "fips_aesavs -f" ],
257     [ "OFBGFSbox256",  "fips_aesavs -f" ],
258     [ "OFBKeySbox128", "fips_aesavs -f" ],
259     [ "OFBKeySbox192", "fips_aesavs -f" ],
260     [ "OFBKeySbox256", "fips_aesavs -f" ],
261     [ "OFBMCT128",     "fips_aesavs -f" ],
262     [ "OFBMCT192",     "fips_aesavs -f" ],
263     [ "OFBMCT256",     "fips_aesavs -f" ],
264     [ "OFBMMT128",     "fips_aesavs -f" ],
265     [ "OFBMMT192",     "fips_aesavs -f" ],
266     [ "OFBMMT256",     "fips_aesavs -f" ],
267     [ "OFBVarKey128",  "fips_aesavs -f" ],
268     [ "OFBVarKey192",  "fips_aesavs -f" ],
269     [ "OFBVarKey256",  "fips_aesavs -f" ],
270     [ "OFBVarTxt128",  "fips_aesavs -f" ],
271     [ "OFBVarTxt192",  "fips_aesavs -f" ],
272     [ "OFBVarTxt256",  "fips_aesavs -f" ]
273
274 );
275
276 my @fips_aes_cfb1_test_list = (
277
278     # AES CFB1 tests
279
280     [ "CFB1GFSbox128",  "fips_aesavs -f" ],
281     [ "CFB1GFSbox192",  "fips_aesavs -f" ],
282     [ "CFB1GFSbox256",  "fips_aesavs -f" ],
283     [ "CFB1KeySbox128", "fips_aesavs -f" ],
284     [ "CFB1KeySbox192", "fips_aesavs -f" ],
285     [ "CFB1KeySbox256", "fips_aesavs -f" ],
286     [ "CFB1MCT128",     "fips_aesavs -f" ],
287     [ "CFB1MCT192",     "fips_aesavs -f" ],
288     [ "CFB1MCT256",     "fips_aesavs -f" ],
289     [ "CFB1MMT128",     "fips_aesavs -f" ],
290     [ "CFB1MMT192",     "fips_aesavs -f" ],
291     [ "CFB1MMT256",     "fips_aesavs -f" ],
292     [ "CFB1VarKey128",  "fips_aesavs -f" ],
293     [ "CFB1VarKey192",  "fips_aesavs -f" ],
294     [ "CFB1VarKey256",  "fips_aesavs -f" ],
295     [ "CFB1VarTxt128",  "fips_aesavs -f" ],
296     [ "CFB1VarTxt192",  "fips_aesavs -f" ],
297     [ "CFB1VarTxt256",  "fips_aesavs -f" ]
298
299 );
300
301 my @fips_aes_ccm_test_list = (
302
303     # AES CCM tests
304
305     "AES CCM",
306
307     [ "DVPT128",  "fips_gcmtest -ccm" ],
308     [ "DVPT192",  "fips_gcmtest -ccm" ],
309     [ "DVPT256",  "fips_gcmtest -ccm" ],
310     [ "VADT128",  "fips_gcmtest -ccm" ],
311     [ "VADT192",  "fips_gcmtest -ccm" ],
312     [ "VADT256",  "fips_gcmtest -ccm" ],
313     [ "VNT128",  "fips_gcmtest -ccm" ],
314     [ "VNT192",  "fips_gcmtest -ccm" ],
315     [ "VNT256",  "fips_gcmtest -ccm" ],
316     [ "VPT128",  "fips_gcmtest -ccm" ],
317     [ "VPT192",  "fips_gcmtest -ccm" ],
318     [ "VPT256",  "fips_gcmtest -ccm" ],
319     [ "VTT128",  "fips_gcmtest -ccm" ],
320     [ "VTT192",  "fips_gcmtest -ccm" ],
321     [ "VTT256",  "fips_gcmtest -ccm" ]
322
323 );
324
325 my @fips_aes_gcm_test_list = (
326
327     # AES GCM tests
328
329     "AES GCM",
330
331     [ "gcmDecrypt128",  "fips_gcmtest -decrypt" ],
332     [ "gcmDecrypt192",  "fips_gcmtest -decrypt" ],
333     [ "gcmDecrypt256",  "fips_gcmtest -decrypt" ],
334     [ "gcmEncryptIntIV128",  "fips_gcmtest -encrypt" ],
335     [ "gcmEncryptIntIV192",  "fips_gcmtest -encrypt" ],
336     [ "gcmEncryptIntIV256",  "fips_gcmtest -encrypt" ],
337
338 );
339
340 my @fips_aes_xts_test_list = (
341     # AES XTS tests
342
343     "AES XTS",
344
345     [ "XTSGenAES128",  "fips_gcmtest -xts" ],
346     [ "XTSGenAES256",  "fips_gcmtest -xts" ],
347
348 );
349
350 # Triple DES tests
351
352 my @fips_des3_test_list = (
353
354     "Triple DES",
355
356     [ "TCBCinvperm",   "fips_desmovs -f" ],
357     [ "TCBCMMT1",      "fips_desmovs -f" ],
358     [ "TCBCMMT2",      "fips_desmovs -f" ],
359     [ "TCBCMMT3",      "fips_desmovs -f" ],
360     [ "TCBCMonte1",    "fips_desmovs -f" ],
361     [ "TCBCMonte2",    "fips_desmovs -f" ],
362     [ "TCBCMonte3",    "fips_desmovs -f" ],
363     [ "TCBCpermop",    "fips_desmovs -f" ],
364     [ "TCBCsubtab",    "fips_desmovs -f" ],
365     [ "TCBCvarkey",    "fips_desmovs -f" ],
366     [ "TCBCvartext",   "fips_desmovs -f" ],
367     [ "TCFB64invperm", "fips_desmovs -f" ],
368     [ "TCFB64MMT1",    "fips_desmovs -f" ],
369     [ "TCFB64MMT2",    "fips_desmovs -f" ],
370     [ "TCFB64MMT3",    "fips_desmovs -f" ],
371     [ "TCFB64Monte1",  "fips_desmovs -f" ],
372     [ "TCFB64Monte2",  "fips_desmovs -f" ],
373     [ "TCFB64Monte3",  "fips_desmovs -f" ],
374     [ "TCFB64permop",  "fips_desmovs -f" ],
375     [ "TCFB64subtab",  "fips_desmovs -f" ],
376     [ "TCFB64varkey",  "fips_desmovs -f" ],
377     [ "TCFB64vartext", "fips_desmovs -f" ],
378     [ "TCFB8invperm",  "fips_desmovs -f" ],
379     [ "TCFB8MMT1",     "fips_desmovs -f" ],
380     [ "TCFB8MMT2",     "fips_desmovs -f" ],
381     [ "TCFB8MMT3",     "fips_desmovs -f" ],
382     [ "TCFB8Monte1",   "fips_desmovs -f" ],
383     [ "TCFB8Monte2",   "fips_desmovs -f" ],
384     [ "TCFB8Monte3",   "fips_desmovs -f" ],
385     [ "TCFB8permop",   "fips_desmovs -f" ],
386     [ "TCFB8subtab",   "fips_desmovs -f" ],
387     [ "TCFB8varkey",   "fips_desmovs -f" ],
388     [ "TCFB8vartext",  "fips_desmovs -f" ],
389     [ "TECBinvperm",   "fips_desmovs -f" ],
390     [ "TECBMMT1",      "fips_desmovs -f" ],
391     [ "TECBMMT2",      "fips_desmovs -f" ],
392     [ "TECBMMT3",      "fips_desmovs -f" ],
393     [ "TECBMonte1",    "fips_desmovs -f" ],
394     [ "TECBMonte2",    "fips_desmovs -f" ],
395     [ "TECBMonte3",    "fips_desmovs -f" ],
396     [ "TECBpermop",    "fips_desmovs -f" ],
397     [ "TECBsubtab",    "fips_desmovs -f" ],
398     [ "TECBvarkey",    "fips_desmovs -f" ],
399     [ "TECBvartext",   "fips_desmovs -f" ],
400     [ "TOFBinvperm",   "fips_desmovs -f" ],
401     [ "TOFBMMT1",      "fips_desmovs -f" ],
402     [ "TOFBMMT2",      "fips_desmovs -f" ],
403     [ "TOFBMMT3",      "fips_desmovs -f" ],
404     [ "TOFBMonte1",    "fips_desmovs -f" ],
405     [ "TOFBMonte2",    "fips_desmovs -f" ],
406     [ "TOFBMonte3",    "fips_desmovs -f" ],
407     [ "TOFBpermop",    "fips_desmovs -f" ],
408     [ "TOFBsubtab",    "fips_desmovs -f" ],
409     [ "TOFBvarkey",    "fips_desmovs -f" ],
410     [ "TOFBvartext",   "fips_desmovs -f" ]
411
412 );
413
414 my @fips_des3_cfb1_test_list = (
415
416     # DES3 CFB1 tests
417
418     [ "TCFB1invperm",  "fips_desmovs -f" ],
419     [ "TCFB1MMT1",     "fips_desmovs -f" ],
420     [ "TCFB1MMT2",     "fips_desmovs -f" ],
421     [ "TCFB1MMT3",     "fips_desmovs -f" ],
422     [ "TCFB1Monte1",   "fips_desmovs -f" ],
423     [ "TCFB1Monte2",   "fips_desmovs -f" ],
424     [ "TCFB1Monte3",   "fips_desmovs -f" ],
425     [ "TCFB1permop",   "fips_desmovs -f" ],
426     [ "TCFB1subtab",   "fips_desmovs -f" ],
427     [ "TCFB1varkey",   "fips_desmovs -f" ],
428     [ "TCFB1vartext",  "fips_desmovs -f" ],
429
430 );
431
432 my @fips_drbg_test_list = (
433
434     # SP800-90 DRBG tests
435     "SP800-90 DRBG",
436     [ "CTR_DRBG",   "fips_drbgvs" ],
437     [ "Hash_DRBG",  "fips_drbgvs" ],
438     [ "HMAC_DRBG",  "fips_drbgvs" ]
439
440 );
441
442 my @fips_dh_test_list = (
443
444     # DH
445     "DH Ephemeral Primitives Only",
446     [ "KASValidityTest_FFCEphem_NOKC_ZZOnly_init",   "fips_dhvs dhver" ],
447     [ "KASValidityTest_FFCEphem_NOKC_ZZOnly_resp",   "fips_dhvs dhver" ],
448
449 );
450
451 my @fips_ecdh_test_list = (
452
453     # ECDH
454     "ECDH Ephemeral Primitives Only",
455     [ "KAS_ECC_CDH_PrimitiveTest", "fips_ecdhvs WTF" ],
456 #    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_init",
457 #                                                       "fips_ecdhvs ecdhver" ],
458 #    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_resp",
459 #                                                       "fips_ecdhvs ecdhver" ],
460
461 );
462
463
464 # Verification special cases.
465 # In most cases the output of a test is deterministic and
466 # it can be compared to a known good result. A few involve
467 # the genration and use of random keys and the output will
468 # be different each time. In thoses cases we perform special tests
469 # to simply check their consistency. For example signature generation
470 # output will be run through signature verification to see if all outputs
471 # show as valid.
472 #
473
474 my %verify_special = (
475     "PQGGen"        => "fips_dssvs pqgver",
476     "KeyPair"       => "fips_dssvs keyver",
477     "SigGen"        => "fips_dssvs sigver",
478     "SigGen15"      => "fips_rsavtest",
479     "SigGenRSA"     => "fips_rsavtest -x931",
480     "SigGenPSS(0)"  => "fips_rsavtest -saltlen 0",
481     "SigGenPSS(62)" => "fips_rsavtest -saltlen 62",
482 );
483
484 my $win32  = $^O =~ m/mswin/i;
485 my $onedir = 0;
486 my $filter = "";
487 my $tvdir;
488 my $tprefix;
489 my $debug          = 0;
490 my $quiet          = 0;
491 my $notest         = 0;
492 my $verify         = 1;
493 my $rspdir         = "resp";
494 my $ignore_missing = 0;
495 my $ignore_bogus   = 0;
496 my $bufout         = '';
497 my $list_tests     = 0;
498 my $minimal_script = 0;
499 my $outfile        = '';
500 my $no_warn_missing = 0;
501 my $no_warn_bogus = 0;
502 my $rmcmd = "rm -rf";
503 my $mkcmd = "mkdir";
504
505 my %fips_enabled = (
506     dsa         => 1,
507     dsa2        => 2,
508     "dsa-pqgver"  => 2,
509     ecdsa       => 2,
510     rsa         => 1,
511     "rsa-pss0"  => 0,
512     "rsa-pss62" => 1,
513     sha         => 1,
514     hmac        => 1,
515     cmac        => 2,
516     "rand-aes"  => 1,
517     "rand-des2" => 0,
518     aes         => 1,
519     "aes-cfb1"  => 2,
520     des3        => 1,
521     "des3-cfb1" => 2,
522     drbg        => 2,
523     "aes-ccm"   => 2,
524     "aes-xts"   => 2,
525     "aes-gcm"   => 2,
526     dh          => 0,
527     ecdh        => 2,
528     v2          => 0,
529 );
530
531 foreach (@ARGV) {
532     if ( $_ eq "--win32" ) {
533         $win32 = 1;
534     }
535     elsif ( $_ eq "--onedir" ) {
536         $onedir = 1;
537     }
538     elsif ( $_ eq "--debug" ) {
539         $debug = 1;
540     }
541     elsif ( $_ eq "--quiet-missing" ) {
542         $ignore_missing = 1;
543         $no_warn_missing = 1;
544     }
545     elsif ( $_ eq "--ignore-missing" ) {
546         $ignore_missing = 1;
547     }
548     elsif ( $_ eq "--quiet-bogus" ) {
549         $ignore_bogus = 1;
550         $no_warn_bogus = 1;
551     }
552     elsif ( $_ eq "--ignore-bogus" ) {
553         $ignore_bogus = 1;
554     }
555     elsif ( $_ eq "--minimal-script" ) {
556         $minimal_script = 1;
557     }
558     elsif (/--generate-script=(.*)$/) {
559         $outfile = $1;
560         $verify = 0;
561     } elsif ( $_ eq "--generate" ) {
562         $verify = 0;
563     }
564     elsif ( $_ eq "--notest" ) {
565         $notest = 1;
566     }
567     elsif ( $_ eq "--quiet" ) {
568         $quiet = 1;
569     }
570     elsif (/--dir=(.*)$/) {
571         $tvdir = $1;
572     }
573     elsif (/--rspdir=(.*)$/) {
574         $rspdir = $1;
575     }
576     elsif (/--tprefix=(.*)$/) {
577         $tprefix = $1;
578     }
579     elsif (/^--(enable|disable)-(.*)$/) {
580         if ( !exists $fips_enabled{$2} ) {
581             print STDERR "Unknown test $2\n";
582             exit(1);
583         }
584         if ( $1 eq "enable" ) {
585             $fips_enabled{$2} = 1;
586         }
587         else {
588             $fips_enabled{$2} = 0;
589         }
590     }
591     elsif (/--filter=(.*)$/) {
592         $filter = $1;
593     }
594     elsif (/--rm=(.*)$/) {
595         $rmcmd = $1;
596     }
597     elsif (/--script-tprefix=(.*)$/) {
598         $stprefix = $1;
599     }
600     elsif (/--mkdir=(.*)$/) {
601         $mkcmd = $1;
602     }
603     elsif (/^--list-tests$/) {
604         $list_tests = 1;
605     }
606     else {
607         Help();
608         exit(1);
609     }
610 }
611
612 my @fips_test_list;
613
614
615 if (!$fips_enabled{"v2"}) {
616         foreach (keys %fips_enabled) {
617                 $fips_enabled{$_} = 0 if $fips_enabled{$_} == 2;
618         }
619 }
620
621 push @fips_test_list, @fips_dsa_test_list       if $fips_enabled{"dsa"};
622 push @fips_test_list, @fips_dsa2_test_list      if $fips_enabled{"dsa2"};
623 push @fips_test_list, @fips_dsa_pqgver_test_list if $fips_enabled{"dsa-pqgver"};
624 push @fips_test_list, @fips_ecdsa_test_list     if $fips_enabled{"ecdsa"};
625 push @fips_test_list, @fips_rsa_test_list       if $fips_enabled{"rsa"};
626 push @fips_test_list, @fips_rsa_pss0_test_list  if $fips_enabled{"rsa-pss0"};
627 push @fips_test_list, @fips_rsa_pss62_test_list if $fips_enabled{"rsa-pss62"};
628 push @fips_test_list, @fips_sha_test_list       if $fips_enabled{"sha"};
629 push @fips_test_list, @fips_hmac_test_list      if $fips_enabled{"hmac"};
630 push @fips_test_list, @fips_cmac_test_list      if $fips_enabled{"cmac"};
631 push @fips_test_list, @fips_rand_aes_test_list  if $fips_enabled{"rand-aes"};
632 push @fips_test_list, @fips_rand_des2_test_list if $fips_enabled{"rand-des2"};
633 push @fips_test_list, @fips_aes_test_list       if $fips_enabled{"aes"};
634 push @fips_test_list, @fips_aes_cfb1_test_list  if $fips_enabled{"aes-cfb1"};
635 push @fips_test_list, @fips_des3_test_list      if $fips_enabled{"des3"};
636 push @fips_test_list, @fips_des3_cfb1_test_list if $fips_enabled{"des3-cfb1"};
637 push @fips_test_list, @fips_drbg_test_list      if $fips_enabled{"drbg"};
638 push @fips_test_list, @fips_aes_ccm_test_list   if $fips_enabled{"aes-ccm"};
639 push @fips_test_list, @fips_aes_gcm_test_list   if $fips_enabled{"aes-gcm"};
640 push @fips_test_list, @fips_aes_xts_test_list   if $fips_enabled{"aes-xts"};
641 push @fips_test_list, @fips_dh_test_list        if $fips_enabled{"dh"};
642 push @fips_test_list, @fips_ecdh_test_list      if $fips_enabled{"ecdh"};
643
644 if ($list_tests) {
645     my ( $test, $en );
646     print "=====TEST LIST=====\n";
647     foreach $test ( sort keys %fips_enabled ) {
648         $en = $fips_enabled{$test};
649         $test =~ tr/[a-z]/[A-Z]/;
650         printf "%-10s %s\n", $test, $en ? "enabled" : "disabled";
651     }
652     exit(0);
653 }
654
655 foreach (@fips_test_list) {
656     next unless ref($_);
657     my $nm = $$_[0];
658     $$_[3] = "";
659     $$_[4] = "";
660 }
661
662 $tvdir = "." unless defined $tvdir;
663
664 if ($win32) {
665     if ( !defined $tprefix ) {
666         if ($onedir) {
667             $tprefix = ".\\";
668         }
669         else {
670             $tprefix = "..\\out32dll\\";
671         }
672     }
673 }
674 else {
675     if ($onedir) {
676         $tprefix       = "./" unless defined $tprefix;
677     }
678     else {
679         $tprefix       = "../test/" unless defined $tprefix;
680     }
681 }
682
683 sanity_check_exe( $win32, $tprefix) if $outfile eq "";
684
685 find_files( $filter, $tvdir );
686
687 sanity_check_files();
688
689 my ( $runerr, $cmperr, $cmpok, $scheckrunerr, $scheckerr, $scheckok, $skipcnt )
690   = ( 0, 0, 0, 0, 0, 0, 0 );
691
692 exit(0) if $notest;
693 print "Outputting commands to $outfile\n" if $outfile ne "";
694 run_tests( $verify, $win32, $tprefix, $filter, $tvdir, $outfile );
695
696 if ($verify) {
697     print "ALGORITHM TEST VERIFY SUMMARY REPORT:\n";
698     print "Tests skipped due to missing files:        $skipcnt\n";
699     print "Algorithm test program execution failures: $runerr\n";
700     print "Test comparisons successful:               $cmpok\n";
701     print "Test comparisons failed:                   $cmperr\n";
702     print "Test sanity checks successful:             $scheckok\n";
703     print "Test sanity checks failed:                 $scheckerr\n";
704     print "Sanity check program execution failures:   $scheckrunerr\n";
705
706     if ( $runerr || $cmperr || $scheckrunerr || $scheckerr ) {
707         print "***TEST FAILURE***\n";
708     }
709     else {
710         print "***ALL TESTS SUCCESSFUL***\n";
711     }
712 }
713 elsif ($outfile eq "") {
714     print "ALGORITHM TEST SUMMARY REPORT:\n";
715     print "Tests skipped due to missing files:        $skipcnt\n";
716     print "Algorithm test program execution failures: $runerr\n";
717
718     if ($runerr) {
719         print "***TEST FAILURE***\n";
720     }
721     else {
722         print "***ALL TESTS SUCCESSFUL***\n";
723     }
724 }
725
726 #--------------------------------
727 sub Help {
728     ( my $cmd ) = ( $0 =~ m#([^/]+)$# );
729     print <<EOF;
730 $cmd: generate run CAVP algorithm tests
731         --debug                     Enable debug output
732         --dir=<dirname>             Optional root for *.req file search
733         --filter=<regexp>
734         --onedir <dirname>          Assume all components in current directory
735         --rspdir=<dirname>          Name of subdirectories containing *.rsp files, default "resp"
736         --tprefix=<prefix>
737         --ignore-bogus              Ignore duplicate or bogus files
738         --ignore-missing            Ignore missing test files
739         --quiet                     Shhh....
740         --generate                  Generate algorithm test output
741         --win32                     Win32 environment
742         --enable-<alg>              Enable algorithm set <alg>.
743         --disable-<alg>             Disable algorithm set <alg>.
744         Where <alg> can be one of:
745 EOF
746
747 while (my ($key, $value) = each %fips_enabled)
748         {
749         printf "\t\t%-20s(%s by default)\n", $key ,
750                         $value == 1 ? "enabled" : "disabled";
751         }
752 }
753
754 # Sanity check to see if all necessary executables exist
755
756 sub sanity_check_exe {
757     my ( $win32, $tprefix, ) = @_;
758     my %exe_list;
759     my $bad = 0;
760     foreach (@fips_test_list) {
761         next unless ref($_);
762         my $cmd = $_->[1];
763         $cmd =~ s/ .*$//;
764         $cmd = $tprefix . $cmd;
765         $cmd .= ".exe" if $win32;
766         $exe_list{$cmd} = 1;
767     }
768
769     foreach ( sort keys %exe_list ) {
770         if ( !-f $_ ) {
771             print STDERR "ERROR: can't find executable $_\n";
772             $bad = 1;
773         }
774     }
775     if ($bad) {
776         print STDERR "FATAL ERROR: executables missing\n";
777         exit(1);
778     }
779     elsif ($debug) {
780         print STDERR "Executable sanity check passed OK\n";
781     }
782 }
783
784 # Search for all request and response files
785
786 sub find_files {
787     my ( $filter, $dir ) = @_;
788     my ( $dirh, $testname, $tref );
789     opendir( $dirh, $dir );
790     while ( $_ = readdir($dirh) ) {
791         next if ( $_ eq "." || $_ eq ".." );
792         $_ = "$dir/$_";
793         if ( -f "$_" ) {
794             if (/\/([^\/]*)\.rsp$/) {
795                 $tref = find_test($1, $_);
796                 if ( defined $tref ) {
797                     $testname = $$tref[0];
798                     if ( $$tref[4] eq "" ) {
799                         $$tref[4] = $_;
800                     }
801                     else {
802                         print STDERR
803 "WARNING: duplicate response file $_ for test $testname\n";
804                         $nbogus++;
805                     }
806                 }
807                 else {
808                     print STDERR "WARNING: bogus file $_\n" unless $no_warn_bogus;
809                     $nbogus++;
810                 }
811             }
812             next unless /$filter.*\.req$/i;
813             if (/\/([^\/]*)\.req$/) {
814                 $tref = find_test($1, $_);
815                 if ( defined $tref ) {
816                     $testname = $$tref[0];
817                     if ( $$tref[3] eq "" ) {
818                         $$tref[3] = $_;
819                     }
820                     else {
821                         print STDERR
822 "WARNING: duplicate request file $_ for test $testname\n";
823                         $nbogus++;
824                     }
825
826                 }
827                 elsif ( !/SHAmix\.req$/ ) {
828                     print STDERR "WARNING: unrecognized filename $_\n" unless $no_warn_bogus;
829                     $nbogus++;
830                 }
831             }
832         }
833         elsif ( -d "$_" ) {
834             find_files( $filter, $_ );
835         }
836     }
837     closedir($dirh);
838 }
839 #
840 # Find test based on filename.
841 # In ambiguous cases search file contents for a match
842 #
843
844 sub find_test {
845     my ( $test, $path ) = @_;
846     foreach $tref (@fips_test_list) {
847         next unless ref($tref);
848         my ( $tst, $cmd, $excmd, $req, $resp ) = @$tref;
849         my $regexp;
850         $tst =~ s/\(.*$//;
851         $test =~ s/_186-2//;
852         if (defined $excmd) {
853                 if ($excmd =~ /^path:(.*)$/) {
854                         my $fmatch = $1;
855                         return $tref if ($path =~ /$fmatch/);
856                         next;
857                 }
858                 elsif ($excmd =~ /^file:(.*)$/) {
859                         $regexp = $1;
860                 }
861         }
862         if ($test eq $tst) {
863                 return $tref if (!defined $regexp);
864                 my $found = 0;
865                 my $line;
866                 open( IN, $path ) || die "Can't Open File $path";
867                 while ($line = <IN>) {
868                     if ($line =~ /$regexp/i) {
869                         $found = 1;
870                         last;
871                     }
872                 }
873                 close IN;
874                 return $tref if $found == 1;
875         }
876     }
877     return undef;
878 }
879
880 sub sanity_check_files {
881     my $bad = 0;
882     foreach (@fips_test_list) {
883         next unless ref($_);
884         my ( $tst, $cmd, $regexp, $req, $resp ) = @$_;
885
886         #print STDERR "FILES $tst, $cmd, $req, $resp\n";
887         if ( $req eq "" ) {
888             print STDERR "WARNING: missing request file for $tst\n" unless $no_warn_missing;
889             $bad = 1;
890             next;
891         }
892         if ( $verify && $resp eq "" ) {
893             print STDERR "WARNING: no response file for test $tst\n";
894             $bad = 1;
895         }
896         elsif ( !$verify && $resp ne "" ) {
897             print STDERR "WARNING: response file $resp will be overwritten\n";
898         }
899     }
900     if ($bad) {
901         print STDERR "ERROR: test vector file set not complete\n";
902         exit(1) unless $ignore_missing;
903     }
904     if ($nbogus) {
905         print STDERR
906           "ERROR: $nbogus bogus or duplicate request and response files\n";
907         exit(1) unless $ignore_bogus;
908     }
909     if ( $debug && !$nbogus && !$bad ) {
910         print STDERR "test vector file set complete\n";
911     }
912 }
913
914 sub run_tests {
915     my ( $verify, $win32, $tprefix, $filter, $tvdir, $outfile ) = @_;
916     my ( $tname, $tref );
917     my $bad = 0;
918     my $lastdir = "";
919     if ($outfile ne "") {
920         open OUT, ">$outfile" || die "Can't open $outfile";
921     }
922     if ($outfile ne "" && !$minimal_script) {
923         if ($win32) {
924             print OUT <<\END;
925 @echo off
926 rem Test vector run script
927 rem Auto generated by fipsalgtest.pl script
928 rem Do not edit
929
930 echo Running Algorithm Tests
931
932 END
933         } else {
934         $stprefix = $tprefix unless defined $stprefix;
935             print OUT <<END;
936 #!/bin/sh
937
938 # Test vector run script
939 # Auto generated by fipsalgtest.pl script
940 # Do not edit
941
942 echo Running Algorithm Tests
943
944 RM="$rmcmd";
945 MKDIR="$mkcmd";
946 TPREFIX=$stprefix
947
948 END
949         }
950
951     }
952
953     foreach (@fips_test_list) {
954         if ( !ref($_) ) {
955             if ($outfile ne "") {
956                 print "Generating script for $_ tests\n";
957                 print OUT "\n\n\necho \"Running $_ tests\"\n" unless $minimal_script;
958             } else {    
959                 print "Running $_ tests\n" unless $quiet;
960             }
961             next;
962         }
963         my ( $tname, $tcmd, $regexp, $req, $rsp ) = @$_;
964         my $out = $rsp;
965         if ($verify) {
966             $out =~ s/\.rsp$/.tst/;
967         }
968         if ( $req eq "" ) {
969             print STDERR
970               "WARNING: Request file for $tname missing: test skipped\n" unless $no_warn_missing;
971             $skipcnt++;
972             next;
973         }
974         if ( $verify && $rsp eq "" ) {
975             print STDERR
976               "WARNING: Response file for $tname missing: test skipped\n";
977             $skipcnt++;
978             next;
979         }
980         elsif ( !$verify ) {
981             if ( $rsp ne "" ) {
982                 print STDERR "WARNING: Response file for $tname deleted\n";
983                 unlink $rsp;
984             }
985             $out = $req;
986             $out =~ s|/req/(\S+)\.req|/$rspdir/$1.rsp|;
987             my $outdir = $out;
988             $outdir =~ s|/[^/]*$||;
989             if ($outfile ne "") {
990                 if ($win32) {
991                     $outdir =~ tr|/|\\|;
992                     $req =~ tr|/|\\|;
993                     $out =~ tr|/|\\|;
994                 }
995                 if ($outdir ne $lastdir && !$minimal_script) {
996                     if ($win32) {
997                     print OUT <<END
998 if exist \"$outdir\" rd /s /q "$outdir"
999 md \"$outdir\"
1000
1001 END
1002                     } else {
1003                     print OUT <<END
1004 \$RM \"$outdir\"
1005 \$MKDIR \"$outdir\"
1006
1007 END
1008                     }
1009                 $lastdir = $outdir;
1010                 }
1011             } elsif ( !-d $outdir ) {
1012                 print STDERR "DEBUG: Creating directory $outdir\n" if $debug;
1013                 mkdir($outdir) || die "Can't create directory $outdir";
1014             }
1015         }
1016         my $cmd = "$tcmd \"$req\" \"$out\"";
1017         print STDERR "DEBUG: running test $tname\n" if ( $debug && !$verify );
1018         if ($outfile ne "") {
1019             print OUT "echo \"    running $tname test\"\n" unless $minimal_script;
1020             print OUT "\${TPREFIX}$cmd\n";
1021         } else {
1022             $cmd = "$tprefix$cmd";
1023             system($cmd);
1024             if ( $? != 0 ) {
1025                 print STDERR
1026                      "WARNING: error executing test $tname for command: $cmd\n";
1027                 $runerr++;
1028                 next;
1029             }
1030         }
1031         if ($verify) {
1032             if ( exists $verify_special{$tname} ) {
1033                 my $vout = $rsp;
1034                 $vout =~ s/\.rsp$/.ver/;
1035                 $tcmd = $verify_special{$tname};
1036                 $cmd  = "$tprefix$tcmd ";
1037                 $cmd .= "\"$out\" \"$vout\"";
1038                 system($cmd);
1039                 if ( $? != 0 ) {
1040                     print STDERR
1041                       "WARNING: error executing verify test $tname $cmd\n";
1042                     $scheckrunerr++;
1043                     next;
1044                 }
1045                 my ( $fcount, $pcount ) = ( 0, 0 );
1046                 open VER, "$vout";
1047                 while (<VER>) {
1048                     if (/^Result\s*=\s*(\S*)\s*$/i)
1049
1050                     {
1051                         if ( $1 eq "F" ) {
1052                             $fcount++;
1053                         }
1054                         else {
1055                             $pcount++;
1056                         }
1057                     }
1058                 }
1059                 close VER;
1060
1061                 unlink $vout;
1062                 if ( $fcount || $debug ) {
1063                     print STDERR "DEBUG: $tname, Pass=$pcount, Fail=$fcount\n";
1064                 }
1065                 if ( $fcount || !$pcount ) {
1066                     $scheckerr++;
1067                 }
1068                 else {
1069                     $scheckok++;
1070                 }
1071
1072             }
1073             elsif ( !cmp_file( $tname, $rsp, $out ) ) {
1074                 $cmperr++;
1075             }
1076             else {
1077                 $cmpok++;
1078             }
1079             unlink $out;
1080         }
1081     }
1082     if ($outfile ne "") {
1083         print OUT "\n\necho All Tests Completed\n" unless $minimal_script;
1084         close OUT;
1085     }
1086 }
1087
1088 sub cmp_file {
1089     my ( $tname, $rsp, $tst ) = @_;
1090     my ( $rspf,    $tstf );
1091     my ( $rspline, $tstline );
1092     if ( !open( $rspf, $rsp ) ) {
1093         print STDERR "ERROR: can't open request file $rsp\n";
1094         return 0;
1095     }
1096     if ( !open( $tstf, $tst ) ) {
1097         print STDERR "ERROR: can't open output file $tst\n";
1098         return 0;
1099     }
1100     for ( ; ; ) {
1101         $rspline = next_line($rspf);
1102         $tstline = next_line($tstf);
1103         if ( !defined($rspline) && !defined($tstline) ) {
1104             print STDERR "DEBUG: $tname file comparison OK\n" if $debug;
1105             return 1;
1106         }
1107         if ( !defined($rspline) ) {
1108             print STDERR "ERROR: $tname EOF on $rsp\n";
1109             return 0;
1110         }
1111         if ( !defined($tstline) ) {
1112             print STDERR "ERROR: $tname EOF on $tst\n";
1113             return 0;
1114         }
1115
1116         # Workaround for bug in RAND des2 test output */
1117         if ( $tstline =~ /^Key2 =/ && $rspline =~ /^Key1 =/ ) {
1118             $rspline =~ s/^Key1/Key2/;
1119         }
1120
1121         if ( $tstline ne $rspline ) {
1122             print STDERR "ERROR: $tname mismatch:\n";
1123             print STDERR "\t \"$tstline\" != \"$rspline\"\n";
1124             return 0;
1125         }
1126     }
1127     return 1;
1128 }
1129
1130 sub next_line {
1131     my ($in) = @_;
1132
1133     while (<$in>) {
1134         chomp;
1135
1136         # Delete comments
1137         s/#.*$//;
1138
1139         # Ignore blank lines
1140         next if (/^\s*$/);
1141
1142         # Translate multiple space into one
1143         s/\s+/ /g;
1144         # Delete trailing whitespace
1145         s/\s+$//;
1146         # Remove leading zeroes
1147         s/= 00/= /;
1148         # Translate to upper case
1149         return uc $_;
1150     }
1151     return undef;
1152 }