Skip ECDH sanity check. Add --compare-all to run comparison tests on
[openssl.git] / fips / fipsalgtest.pl
1 #!/usr/bin/perl -w
2 # Perl utility to run or verify FIPS 140-2 CAVP algorithm tests based on the
3 # pathnames of input algorithm test files actually present (the unqualified
4 # file names are consistent but the pathnames are not).
5 #
6
7 # FIPS test definitions
8 # List of all the unqualified file names we expect and command lines to run
9
10 # DSA tests
11 my @fips_dsa_test_list = (
12
13     "DSA",
14
15     [ "PQGGen",  "fips_dssvs pqg", "path:[^C]DSA/.*PQGGen" ],
16     [ "KeyPair", "fips_dssvs keypair", "path:[^C]DSA/.*KeyPair" ],
17     [ "SigGen",  "fips_dssvs siggen", "path:[^C]DSA/.*SigGen" ],
18     [ "SigVer",  "fips_dssvs sigver", "path:[^C]DSA/.*SigVer" ]
19
20 );
21
22 my @fips_dsa_pqgver_test_list = (
23
24     [ "PQGVer",  "fips_dssvs pqgver", "path:[^C]DSA/.*PQGVer" ]
25
26 );
27
28 # DSA2 tests
29 my @fips_dsa2_test_list = (
30
31     "DSA2",
32
33     [ "PQGGen",  "fips_dssvs pqg", "path:[^C]DSA2/.*PQGGen" ],
34     [ "KeyPair", "fips_dssvs keypair", "path:[^C]DSA2/.*KeyPair" ],
35     [ "SigGen",  "fips_dssvs siggen", "path:[^C]DSA2/.*SigGen" ],
36     [ "SigVer",  "fips_dssvs sigver", "path:[^C]DSA2/.*SigVer" ],
37     [ "PQGVer",  "fips_dssvs pqgver", "path:[^C]DSA2/.*PQGVer" ]
38
39 );
40
41 # ECDSA and ECDSA2 tests
42 my @fips_ecdsa_test_list = (
43
44     "ECDSA",
45
46     [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA/.*KeyPair" ],
47     [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA/.*PKV" ],
48     [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA/.*SigGen" ],
49     [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA/.*SigVer" ],
50
51     "ECDSA2",
52
53     [ "KeyPair", "fips_ecdsavs KeyPair", "path:/ECDSA2/.*KeyPair" ],
54     [ "PKV",  "fips_ecdsavs PKV", "path:/ECDSA2/.*PKV" ],
55     [ "SigGen",  "fips_ecdsavs SigGen", "path:/ECDSA2/.*SigGen" ],
56     [ "SigVer",  "fips_ecdsavs SigVer", "path:/ECDSA2/.*SigVer" ],
57
58 );
59
60 # RSA tests
61
62 my @fips_rsa_test_list = (
63
64     "RSA",
65
66     [ "SigGen15",  "fips_rsastest" ],
67     [ "SigVer15",  "fips_rsavtest" ],
68     [ "SigVerRSA", "fips_rsavtest -x931" ],
69     [ "KeyGenRSA", "fips_rsagtest" ],
70     [ "SigGenRSA", "fips_rsastest -x931" ]
71
72 );
73
74 # Special cases for PSS. The filename itself is
75 # not sufficient to determine the test. Addditionally we
76 # need to examine the file contents to determine the salt length
77 # In these cases the test filename has (saltlen) appended.
78
79 # RSA PSS salt length 0 tests
80
81 my @fips_rsa_pss0_test_list = (
82
83     [ "SigGenPSS(0)", "fips_rsastest -saltlen 0",
84                                         'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
85     [ "SigVerPSS(0)", "fips_rsavtest -saltlen 0",
86                                         'file:^\s*#\s*salt\s+len:\s+0\s*$' ],
87
88 );
89
90 # RSA PSS salt length 62 tests
91
92 my @fips_rsa_pss62_test_list = (
93     [ "SigGenPSS(62)", "fips_rsastest -saltlen 62",
94                                         'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
95     [ "SigVerPSS(62)", "fips_rsavtest -saltlen 62",
96                                         'file:^\s*#\s*salt\s+len:\s+62\s*$' ],
97 );
98
99 # SHA tests
100
101 my @fips_sha_test_list = (
102
103     "SHA",
104
105     [ "SHA1LongMsg",    "fips_shatest" ],
106     [ "SHA1Monte",      "fips_shatest" ],
107     [ "SHA1ShortMsg",   "fips_shatest" ],
108     [ "SHA224LongMsg",  "fips_shatest" ],
109     [ "SHA224Monte",    "fips_shatest" ],
110     [ "SHA224ShortMsg", "fips_shatest" ],
111     [ "SHA256LongMsg",  "fips_shatest" ],
112     [ "SHA256Monte",    "fips_shatest" ],
113     [ "SHA256ShortMsg", "fips_shatest" ],
114     [ "SHA384LongMsg",  "fips_shatest" ],
115     [ "SHA384Monte",    "fips_shatest" ],
116     [ "SHA384ShortMsg", "fips_shatest" ],
117     [ "SHA512LongMsg",  "fips_shatest" ],
118     [ "SHA512Monte",    "fips_shatest" ],
119     [ "SHA512ShortMsg", "fips_shatest" ]
120
121 );
122
123 # HMAC
124
125 my @fips_hmac_test_list = (
126
127     "HMAC",
128
129     [ "HMAC", "fips_hmactest" ]
130
131 );
132
133 # CMAC
134
135 my @fips_cmac_test_list = (
136
137     "CMAC",
138
139     [ "CMACGenAES128", "fips_cmactest -a aes128 -g" ],
140     [ "CMACVerAES128", "fips_cmactest -a aes128 -v" ],
141     [ "CMACGenAES192", "fips_cmactest -a aes192 -g" ],
142     [ "CMACVerAES192", "fips_cmactest -a aes192 -v" ],
143     [ "CMACGenAES256", "fips_cmactest -a aes256 -g" ],
144     [ "CMACVerAES256", "fips_cmactest -a aes256 -v" ],
145     [ "CMACGenTDES3", "fips_cmactest -a tdes3 -g" ],
146     [ "CMACVerTDES3", "fips_cmactest -a tdes3 -v" ],
147
148 );
149
150 # RAND tests, AES version
151
152 my @fips_rand_aes_test_list = (
153
154     "RAND (AES)",
155
156     [ "ANSI931_AES128MCT", "fips_rngvs mct" ],
157     [ "ANSI931_AES192MCT", "fips_rngvs mct" ],
158     [ "ANSI931_AES256MCT", "fips_rngvs mct" ],
159     [ "ANSI931_AES128VST", "fips_rngvs vst" ],
160     [ "ANSI931_AES192VST", "fips_rngvs vst" ],
161     [ "ANSI931_AES256VST", "fips_rngvs vst" ]
162
163 );
164
165 # RAND tests, DES2 version
166
167 my @fips_rand_des2_test_list = (
168
169     "RAND (DES2)",
170
171     [ "ANSI931_TDES2MCT", "fips_rngvs mct" ],
172     [ "ANSI931_TDES2VST", "fips_rngvs vst" ]
173
174 );
175
176 # AES tests
177
178 my @fips_aes_test_list = (
179
180     "AES",
181
182     [ "CBCGFSbox128",     "fips_aesavs -f" ],
183     [ "CBCGFSbox192",     "fips_aesavs -f" ],
184     [ "CBCGFSbox256",     "fips_aesavs -f" ],
185     [ "CBCKeySbox128",    "fips_aesavs -f" ],
186     [ "CBCKeySbox192",    "fips_aesavs -f" ],
187     [ "CBCKeySbox256",    "fips_aesavs -f" ],
188     [ "CBCMCT128",        "fips_aesavs -f" ],
189     [ "CBCMCT192",        "fips_aesavs -f" ],
190     [ "CBCMCT256",        "fips_aesavs -f" ],
191     [ "CBCMMT128",        "fips_aesavs -f" ],
192     [ "CBCMMT192",        "fips_aesavs -f" ],
193     [ "CBCMMT256",        "fips_aesavs -f" ],
194     [ "CBCVarKey128",     "fips_aesavs -f" ],
195     [ "CBCVarKey192",     "fips_aesavs -f" ],
196     [ "CBCVarKey256",     "fips_aesavs -f" ],
197     [ "CBCVarTxt128",     "fips_aesavs -f" ],
198     [ "CBCVarTxt192",     "fips_aesavs -f" ],
199     [ "CBCVarTxt256",     "fips_aesavs -f" ],
200     [ "CFB128GFSbox128",  "fips_aesavs -f" ],
201     [ "CFB128GFSbox192",  "fips_aesavs -f" ],
202     [ "CFB128GFSbox256",  "fips_aesavs -f" ],
203     [ "CFB128KeySbox128", "fips_aesavs -f" ],
204     [ "CFB128KeySbox192", "fips_aesavs -f" ],
205     [ "CFB128KeySbox256", "fips_aesavs -f" ],
206     [ "CFB128MCT128",     "fips_aesavs -f" ],
207     [ "CFB128MCT192",     "fips_aesavs -f" ],
208     [ "CFB128MCT256",     "fips_aesavs -f" ],
209     [ "CFB128MMT128",     "fips_aesavs -f" ],
210     [ "CFB128MMT192",     "fips_aesavs -f" ],
211     [ "CFB128MMT256",     "fips_aesavs -f" ],
212     [ "CFB128VarKey128",  "fips_aesavs -f" ],
213     [ "CFB128VarKey192",  "fips_aesavs -f" ],
214     [ "CFB128VarKey256",  "fips_aesavs -f" ],
215     [ "CFB128VarTxt128",  "fips_aesavs -f" ],
216     [ "CFB128VarTxt192",  "fips_aesavs -f" ],
217     [ "CFB128VarTxt256",  "fips_aesavs -f" ],
218     [ "CFB8GFSbox128",    "fips_aesavs -f" ],
219     [ "CFB8GFSbox192",    "fips_aesavs -f" ],
220     [ "CFB8GFSbox256",    "fips_aesavs -f" ],
221     [ "CFB8KeySbox128",   "fips_aesavs -f" ],
222     [ "CFB8KeySbox192",   "fips_aesavs -f" ],
223     [ "CFB8KeySbox256",   "fips_aesavs -f" ],
224     [ "CFB8MCT128",       "fips_aesavs -f" ],
225     [ "CFB8MCT192",       "fips_aesavs -f" ],
226     [ "CFB8MCT256",       "fips_aesavs -f" ],
227     [ "CFB8MMT128",       "fips_aesavs -f" ],
228     [ "CFB8MMT192",       "fips_aesavs -f" ],
229     [ "CFB8MMT256",       "fips_aesavs -f" ],
230     [ "CFB8VarKey128",    "fips_aesavs -f" ],
231     [ "CFB8VarKey192",    "fips_aesavs -f" ],
232     [ "CFB8VarKey256",    "fips_aesavs -f" ],
233     [ "CFB8VarTxt128",    "fips_aesavs -f" ],
234     [ "CFB8VarTxt192",    "fips_aesavs -f" ],
235     [ "CFB8VarTxt256",    "fips_aesavs -f" ],
236
237     [ "ECBGFSbox128",  "fips_aesavs -f" ],
238     [ "ECBGFSbox192",  "fips_aesavs -f" ],
239     [ "ECBGFSbox256",  "fips_aesavs -f" ],
240     [ "ECBKeySbox128", "fips_aesavs -f" ],
241     [ "ECBKeySbox192", "fips_aesavs -f" ],
242     [ "ECBKeySbox256", "fips_aesavs -f" ],
243     [ "ECBMCT128",     "fips_aesavs -f" ],
244     [ "ECBMCT192",     "fips_aesavs -f" ],
245     [ "ECBMCT256",     "fips_aesavs -f" ],
246     [ "ECBMMT128",     "fips_aesavs -f" ],
247     [ "ECBMMT192",     "fips_aesavs -f" ],
248     [ "ECBMMT256",     "fips_aesavs -f" ],
249     [ "ECBVarKey128",  "fips_aesavs -f" ],
250     [ "ECBVarKey192",  "fips_aesavs -f" ],
251     [ "ECBVarKey256",  "fips_aesavs -f" ],
252     [ "ECBVarTxt128",  "fips_aesavs -f" ],
253     [ "ECBVarTxt192",  "fips_aesavs -f" ],
254     [ "ECBVarTxt256",  "fips_aesavs -f" ],
255     [ "OFBGFSbox128",  "fips_aesavs -f" ],
256     [ "OFBGFSbox192",  "fips_aesavs -f" ],
257     [ "OFBGFSbox256",  "fips_aesavs -f" ],
258     [ "OFBKeySbox128", "fips_aesavs -f" ],
259     [ "OFBKeySbox192", "fips_aesavs -f" ],
260     [ "OFBKeySbox256", "fips_aesavs -f" ],
261     [ "OFBMCT128",     "fips_aesavs -f" ],
262     [ "OFBMCT192",     "fips_aesavs -f" ],
263     [ "OFBMCT256",     "fips_aesavs -f" ],
264     [ "OFBMMT128",     "fips_aesavs -f" ],
265     [ "OFBMMT192",     "fips_aesavs -f" ],
266     [ "OFBMMT256",     "fips_aesavs -f" ],
267     [ "OFBVarKey128",  "fips_aesavs -f" ],
268     [ "OFBVarKey192",  "fips_aesavs -f" ],
269     [ "OFBVarKey256",  "fips_aesavs -f" ],
270     [ "OFBVarTxt128",  "fips_aesavs -f" ],
271     [ "OFBVarTxt192",  "fips_aesavs -f" ],
272     [ "OFBVarTxt256",  "fips_aesavs -f" ]
273
274 );
275
276 my @fips_aes_cfb1_test_list = (
277
278     # AES CFB1 tests
279
280     [ "CFB1GFSbox128",  "fips_aesavs -f" ],
281     [ "CFB1GFSbox192",  "fips_aesavs -f" ],
282     [ "CFB1GFSbox256",  "fips_aesavs -f" ],
283     [ "CFB1KeySbox128", "fips_aesavs -f" ],
284     [ "CFB1KeySbox192", "fips_aesavs -f" ],
285     [ "CFB1KeySbox256", "fips_aesavs -f" ],
286     [ "CFB1MCT128",     "fips_aesavs -f" ],
287     [ "CFB1MCT192",     "fips_aesavs -f" ],
288     [ "CFB1MCT256",     "fips_aesavs -f" ],
289     [ "CFB1MMT128",     "fips_aesavs -f" ],
290     [ "CFB1MMT192",     "fips_aesavs -f" ],
291     [ "CFB1MMT256",     "fips_aesavs -f" ],
292     [ "CFB1VarKey128",  "fips_aesavs -f" ],
293     [ "CFB1VarKey192",  "fips_aesavs -f" ],
294     [ "CFB1VarKey256",  "fips_aesavs -f" ],
295     [ "CFB1VarTxt128",  "fips_aesavs -f" ],
296     [ "CFB1VarTxt192",  "fips_aesavs -f" ],
297     [ "CFB1VarTxt256",  "fips_aesavs -f" ]
298
299 );
300
301 my @fips_aes_ccm_test_list = (
302
303     # AES CCM tests
304
305     "AES CCM",
306
307     [ "DVPT128",  "fips_gcmtest -ccm" ],
308     [ "DVPT192",  "fips_gcmtest -ccm" ],
309     [ "DVPT256",  "fips_gcmtest -ccm" ],
310     [ "VADT128",  "fips_gcmtest -ccm" ],
311     [ "VADT192",  "fips_gcmtest -ccm" ],
312     [ "VADT256",  "fips_gcmtest -ccm" ],
313     [ "VNT128",  "fips_gcmtest -ccm" ],
314     [ "VNT192",  "fips_gcmtest -ccm" ],
315     [ "VNT256",  "fips_gcmtest -ccm" ],
316     [ "VPT128",  "fips_gcmtest -ccm" ],
317     [ "VPT192",  "fips_gcmtest -ccm" ],
318     [ "VPT256",  "fips_gcmtest -ccm" ],
319     [ "VTT128",  "fips_gcmtest -ccm" ],
320     [ "VTT192",  "fips_gcmtest -ccm" ],
321     [ "VTT256",  "fips_gcmtest -ccm" ]
322
323 );
324
325 my @fips_aes_gcm_test_list = (
326
327     # AES GCM tests
328
329     "AES GCM",
330
331     [ "gcmDecrypt128",  "fips_gcmtest -decrypt" ],
332     [ "gcmDecrypt192",  "fips_gcmtest -decrypt" ],
333     [ "gcmDecrypt256",  "fips_gcmtest -decrypt" ],
334     [ "gcmEncryptIntIV128",  "fips_gcmtest -encrypt" ],
335     [ "gcmEncryptIntIV192",  "fips_gcmtest -encrypt" ],
336     [ "gcmEncryptIntIV256",  "fips_gcmtest -encrypt" ],
337
338 );
339
340 my @fips_aes_xts_test_list = (
341     # AES XTS tests
342
343     "AES XTS",
344
345     [ "XTSGenAES128",  "fips_gcmtest -xts" ],
346     [ "XTSGenAES256",  "fips_gcmtest -xts" ],
347
348 );
349
350 # Triple DES tests
351
352 my @fips_des3_test_list = (
353
354     "Triple DES",
355
356     [ "TCBCinvperm",   "fips_desmovs -f" ],
357     [ "TCBCMMT1",      "fips_desmovs -f" ],
358     [ "TCBCMMT2",      "fips_desmovs -f" ],
359     [ "TCBCMMT3",      "fips_desmovs -f" ],
360     [ "TCBCMonte1",    "fips_desmovs -f" ],
361     [ "TCBCMonte2",    "fips_desmovs -f" ],
362     [ "TCBCMonte3",    "fips_desmovs -f" ],
363     [ "TCBCpermop",    "fips_desmovs -f" ],
364     [ "TCBCsubtab",    "fips_desmovs -f" ],
365     [ "TCBCvarkey",    "fips_desmovs -f" ],
366     [ "TCBCvartext",   "fips_desmovs -f" ],
367     [ "TCFB64invperm", "fips_desmovs -f" ],
368     [ "TCFB64MMT1",    "fips_desmovs -f" ],
369     [ "TCFB64MMT2",    "fips_desmovs -f" ],
370     [ "TCFB64MMT3",    "fips_desmovs -f" ],
371     [ "TCFB64Monte1",  "fips_desmovs -f" ],
372     [ "TCFB64Monte2",  "fips_desmovs -f" ],
373     [ "TCFB64Monte3",  "fips_desmovs -f" ],
374     [ "TCFB64permop",  "fips_desmovs -f" ],
375     [ "TCFB64subtab",  "fips_desmovs -f" ],
376     [ "TCFB64varkey",  "fips_desmovs -f" ],
377     [ "TCFB64vartext", "fips_desmovs -f" ],
378     [ "TCFB8invperm",  "fips_desmovs -f" ],
379     [ "TCFB8MMT1",     "fips_desmovs -f" ],
380     [ "TCFB8MMT2",     "fips_desmovs -f" ],
381     [ "TCFB8MMT3",     "fips_desmovs -f" ],
382     [ "TCFB8Monte1",   "fips_desmovs -f" ],
383     [ "TCFB8Monte2",   "fips_desmovs -f" ],
384     [ "TCFB8Monte3",   "fips_desmovs -f" ],
385     [ "TCFB8permop",   "fips_desmovs -f" ],
386     [ "TCFB8subtab",   "fips_desmovs -f" ],
387     [ "TCFB8varkey",   "fips_desmovs -f" ],
388     [ "TCFB8vartext",  "fips_desmovs -f" ],
389     [ "TECBinvperm",   "fips_desmovs -f" ],
390     [ "TECBMMT1",      "fips_desmovs -f" ],
391     [ "TECBMMT2",      "fips_desmovs -f" ],
392     [ "TECBMMT3",      "fips_desmovs -f" ],
393     [ "TECBMonte1",    "fips_desmovs -f" ],
394     [ "TECBMonte2",    "fips_desmovs -f" ],
395     [ "TECBMonte3",    "fips_desmovs -f" ],
396     [ "TECBpermop",    "fips_desmovs -f" ],
397     [ "TECBsubtab",    "fips_desmovs -f" ],
398     [ "TECBvarkey",    "fips_desmovs -f" ],
399     [ "TECBvartext",   "fips_desmovs -f" ],
400     [ "TOFBinvperm",   "fips_desmovs -f" ],
401     [ "TOFBMMT1",      "fips_desmovs -f" ],
402     [ "TOFBMMT2",      "fips_desmovs -f" ],
403     [ "TOFBMMT3",      "fips_desmovs -f" ],
404     [ "TOFBMonte1",    "fips_desmovs -f" ],
405     [ "TOFBMonte2",    "fips_desmovs -f" ],
406     [ "TOFBMonte3",    "fips_desmovs -f" ],
407     [ "TOFBpermop",    "fips_desmovs -f" ],
408     [ "TOFBsubtab",    "fips_desmovs -f" ],
409     [ "TOFBvarkey",    "fips_desmovs -f" ],
410     [ "TOFBvartext",   "fips_desmovs -f" ]
411
412 );
413
414 my @fips_des3_cfb1_test_list = (
415
416     # DES3 CFB1 tests
417
418     [ "TCFB1invperm",  "fips_desmovs -f" ],
419     [ "TCFB1MMT1",     "fips_desmovs -f" ],
420     [ "TCFB1MMT2",     "fips_desmovs -f" ],
421     [ "TCFB1MMT3",     "fips_desmovs -f" ],
422     [ "TCFB1Monte1",   "fips_desmovs -f" ],
423     [ "TCFB1Monte2",   "fips_desmovs -f" ],
424     [ "TCFB1Monte3",   "fips_desmovs -f" ],
425     [ "TCFB1permop",   "fips_desmovs -f" ],
426     [ "TCFB1subtab",   "fips_desmovs -f" ],
427     [ "TCFB1varkey",   "fips_desmovs -f" ],
428     [ "TCFB1vartext",  "fips_desmovs -f" ],
429
430 );
431
432 my @fips_drbg_test_list = (
433
434     # SP800-90 DRBG tests
435     "SP800-90 DRBG",
436     [ "CTR_DRBG",   "fips_drbgvs" ],
437     [ "Dual_EC_DRBG",   "fips_drbgvs" ],
438     [ "Hash_DRBG",  "fips_drbgvs" ],
439     [ "HMAC_DRBG",  "fips_drbgvs" ]
440
441 );
442
443 my @fips_dh_test_list = (
444
445     # DH
446     "DH Ephemeral Primitives Only",
447     [ "KASValidityTest_FFCEphem_NOKC_ZZOnly_init",   "fips_dhvs dhver" ],
448     [ "KASValidityTest_FFCEphem_NOKC_ZZOnly_resp",   "fips_dhvs dhver" ],
449
450 );
451
452 my @fips_ecdh_test_list = (
453
454     # ECDH
455     "ECDH Ephemeral Primitives Only",
456     [ "KAS_ECC_CDH_PrimitiveTest", "fips_ecdhvs ecdhgen" ],
457 #    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_init",
458 #                                                       "fips_ecdhvs ecdhver" ],
459 #    [ "KASValidityTest_ECCEphemeralUnified_NOKC_ZZOnly_resp",
460 #                                                       "fips_ecdhvs ecdhver" ],
461
462 );
463
464
465 # Verification special cases.
466 # In most cases the output of a test is deterministic and
467 # it can be compared to a known good result. A few involve
468 # the genration and use of random keys and the output will
469 # be different each time. In thoses cases we perform special tests
470 # to simply check their consistency. For example signature generation
471 # output will be run through signature verification to see if all outputs
472 # show as valid.
473 #
474
475 my %verify_special = (
476     "DSA:PQGGen"        => "fips_dssvs pqgver",
477     "DSA:KeyPair"       => "fips_dssvs keyver",
478     "DSA:SigGen"        => "fips_dssvs sigver",
479     "DSA2:PQGGen"        => "fips_dssvs pqgver",
480     "DSA2:KeyPair"       => "fips_dssvs keyver",
481     "DSA2:SigGen"        => "fips_dssvs sigver",
482     "ECDSA:KeyPair"     => "fips_ecdsavs PKV",
483     "ECDSA:SigGen"      => "fips_ecdsavs SigVer",
484     "ECDSA2:KeyPair"    => "fips_ecdsavs PKV",
485     "ECDSA2:SigGen"     => "fips_ecdsavs SigVer",
486     "RSA:SigGen15"      => "fips_rsavtest",
487     "RSA:SigGenRSA"     => "fips_rsavtest -x931",
488     "RSA:SigGenPSS(0)"  => "fips_rsavtest -saltlen 0",
489     "RSA:SigGenPSS(62)" => "fips_rsavtest -saltlen 62",
490     "ECDH Ephemeral Primitives Only:KAS_ECC_CDH_PrimitiveTest" => "skip"
491 );
492
493 my $win32  = $^O =~ m/mswin/i;
494 my $onedir = 0;
495 my $filter = "";
496 my $tvdir;
497 my $tprefix;
498 my $debug          = 0;
499 my $quiet          = 0;
500 my $notest         = 0;
501 my $verify         = 1;
502 my $rspdir         = "resp";
503 my $ignore_missing = 0;
504 my $ignore_bogus   = 0;
505 my $bufout         = '';
506 my $list_tests     = 0;
507 my $minimal_script = 0;
508 my $outfile        = '';
509 my $no_warn_missing = 0;
510 my $no_warn_bogus = 0;
511 my $rmcmd = "rm -rf";
512 my $mkcmd = "mkdir";
513 my $cmpall = 0;
514
515 my %fips_enabled = (
516     dsa         => 1,
517     dsa2        => 2,
518     "dsa-pqgver"  => 2,
519     ecdsa       => 2,
520     rsa         => 1,
521     "rsa-pss0"  => 2,
522     "rsa-pss62" => 1,
523     sha         => 1,
524     hmac        => 1,
525     cmac        => 2,
526     "rand-aes"  => 1,
527     "rand-des2" => 0,
528     aes         => 1,
529     "aes-cfb1"  => 2,
530     des3        => 1,
531     "des3-cfb1" => 2,
532     drbg        => 2,
533     "aes-ccm"   => 2,
534     "aes-xts"   => 2,
535     "aes-gcm"   => 2,
536     dh          => 0,
537     ecdh        => 2,
538     v2          => 1,
539 );
540
541 foreach (@ARGV) {
542     if ( $_ eq "--win32" ) {
543         $win32 = 1;
544     }
545     elsif ( $_ eq "--onedir" ) {
546         $onedir = 1;
547     }
548     elsif ( $_ eq "--debug" ) {
549         $debug = 1;
550     }
551     elsif ( $_ eq "--quiet-missing" ) {
552         $ignore_missing = 1;
553         $no_warn_missing = 1;
554     }
555     elsif ( $_ eq "--ignore-missing" ) {
556         $ignore_missing = 1;
557     }
558     elsif ( $_ eq "--quiet-bogus" ) {
559         $ignore_bogus = 1;
560         $no_warn_bogus = 1;
561     }
562     elsif ( $_ eq "--ignore-bogus" ) {
563         $ignore_bogus = 1;
564     }
565     elsif ( $_ eq "--minimal-script" ) {
566         $minimal_script = 1;
567     }
568     elsif (/--generate-script=(.*)$/) {
569         $outfile = $1;
570         $verify = 0;
571     } elsif ( $_ eq "--generate" ) {
572         $verify = 0;
573     }
574     elsif ( $_ eq "--compare-all" ) {
575         $cmpall = 1;
576     }
577     elsif ( $_ eq "--notest" ) {
578         $notest = 1;
579     }
580     elsif ( $_ eq "--quiet" ) {
581         $quiet = 1;
582     }
583     elsif (/--dir=(.*)$/) {
584         $tvdir = $1;
585     }
586     elsif (/--rspdir=(.*)$/) {
587         $rspdir = $1;
588     }
589     elsif (/--tprefix=(.*)$/) {
590         $tprefix = $1;
591     }
592     elsif (/^--disable-all$/) {
593         foreach (keys %fips_enabled) {
594                 $fips_enabled{$_} = 0;
595         }
596     }
597     elsif (/^--(enable|disable)-(.*)$/) {
598         if ( !exists $fips_enabled{$2} ) {
599             print STDERR "Unknown test $2\n";
600             exit(1);
601         }
602         if ( $1 eq "enable" ) {
603             $fips_enabled{$2} = 1;
604         }
605         else {
606             $fips_enabled{$2} = 0;
607         }
608     }
609     elsif (/--filter=(.*)$/) {
610         $filter = $1;
611     }
612     elsif (/--rm=(.*)$/) {
613         $rmcmd = $1;
614     }
615     elsif (/--script-tprefix=(.*)$/) {
616         $stprefix = $1;
617     }
618     elsif (/--mkdir=(.*)$/) {
619         $mkcmd = $1;
620     }
621     elsif (/^--list-tests$/) {
622         $list_tests = 1;
623     }
624     else {
625         Help();
626         exit(1);
627     }
628 }
629
630 my @fips_test_list;
631
632
633 if (!$fips_enabled{"v2"}) {
634         foreach (keys %fips_enabled) {
635                 $fips_enabled{$_} = 0 if $fips_enabled{$_} == 2;
636         }
637 }
638
639 push @fips_test_list, @fips_dsa_test_list       if $fips_enabled{"dsa"};
640 push @fips_test_list, @fips_dsa_pqgver_test_list if $fips_enabled{"dsa-pqgver"};
641 push @fips_test_list, @fips_dsa2_test_list      if $fips_enabled{"dsa2"};
642 push @fips_test_list, @fips_ecdsa_test_list     if $fips_enabled{"ecdsa"};
643 push @fips_test_list, @fips_rsa_test_list       if $fips_enabled{"rsa"};
644 push @fips_test_list, @fips_rsa_pss0_test_list  if $fips_enabled{"rsa-pss0"};
645 push @fips_test_list, @fips_rsa_pss62_test_list if $fips_enabled{"rsa-pss62"};
646 push @fips_test_list, @fips_sha_test_list       if $fips_enabled{"sha"};
647 push @fips_test_list, @fips_hmac_test_list      if $fips_enabled{"hmac"};
648 push @fips_test_list, @fips_cmac_test_list      if $fips_enabled{"cmac"};
649 push @fips_test_list, @fips_rand_aes_test_list  if $fips_enabled{"rand-aes"};
650 push @fips_test_list, @fips_rand_des2_test_list if $fips_enabled{"rand-des2"};
651 push @fips_test_list, @fips_aes_test_list       if $fips_enabled{"aes"};
652 push @fips_test_list, @fips_aes_cfb1_test_list  if $fips_enabled{"aes-cfb1"};
653 push @fips_test_list, @fips_des3_test_list      if $fips_enabled{"des3"};
654 push @fips_test_list, @fips_des3_cfb1_test_list if $fips_enabled{"des3-cfb1"};
655 push @fips_test_list, @fips_drbg_test_list      if $fips_enabled{"drbg"};
656 push @fips_test_list, @fips_aes_ccm_test_list   if $fips_enabled{"aes-ccm"};
657 push @fips_test_list, @fips_aes_gcm_test_list   if $fips_enabled{"aes-gcm"};
658 push @fips_test_list, @fips_aes_xts_test_list   if $fips_enabled{"aes-xts"};
659 push @fips_test_list, @fips_dh_test_list        if $fips_enabled{"dh"};
660 push @fips_test_list, @fips_ecdh_test_list      if $fips_enabled{"ecdh"};
661
662 if ($list_tests) {
663     my ( $test, $en );
664     print "=====TEST LIST=====\n";
665     foreach $test ( sort keys %fips_enabled ) {
666         $en = $fips_enabled{$test};
667         $test =~ tr/[a-z]/[A-Z]/;
668         printf "%-10s %s\n", $test, $en ? "enabled" : "disabled";
669     }
670     exit(0);
671 }
672
673 foreach (@fips_test_list) {
674     next unless ref($_);
675     my $nm = $$_[0];
676     $$_[3] = "";
677     $$_[4] = "";
678 }
679
680 $tvdir = "." unless defined $tvdir;
681
682 if ($win32) {
683     if ( !defined $tprefix ) {
684         if ($onedir) {
685             $tprefix = ".\\";
686         }
687         else {
688             $tprefix = "..\\out32dll\\";
689         }
690     }
691 }
692 else {
693     if ($onedir) {
694         $tprefix       = "./" unless defined $tprefix;
695     }
696     else {
697         $tprefix       = "../test/" unless defined $tprefix;
698     }
699 }
700
701 sanity_check_exe( $win32, $tprefix) if $outfile eq "";
702
703 find_files( $filter, $tvdir );
704
705 sanity_check_files();
706
707 my ( $runerr, $cmperr, $cmpok, $scheckrunerr, $scheckerr, $scheckok, $skipcnt )
708   = ( 0, 0, 0, 0, 0, 0, 0 );
709
710 exit(0) if $notest;
711 print "Outputting commands to $outfile\n" if $outfile ne "";
712 run_tests( $verify, $win32, $tprefix, $filter, $tvdir, $outfile );
713
714 if ($verify) {
715     print "ALGORITHM TEST VERIFY SUMMARY REPORT:\n";
716     print "Tests skipped due to missing files:        $skipcnt\n";
717     print "Algorithm test program execution failures: $runerr\n";
718     print "Test comparisons successful:               $cmpok\n";
719     print "Test comparisons failed:                   $cmperr\n";
720     print "Test sanity checks successful:             $scheckok\n";
721     print "Test sanity checks failed:                 $scheckerr\n";
722     print "Sanity check program execution failures:   $scheckrunerr\n";
723
724     if ( $runerr || $cmperr || $scheckrunerr || $scheckerr ) {
725         print "***TEST FAILURE***\n";
726     }
727     else {
728         print "***ALL TESTS SUCCESSFUL***\n";
729     }
730 }
731 elsif ($outfile eq "") {
732     print "ALGORITHM TEST SUMMARY REPORT:\n";
733     print "Tests skipped due to missing files:        $skipcnt\n";
734     print "Algorithm test program execution failures: $runerr\n";
735
736     if ($runerr) {
737         print "***TEST FAILURE***\n";
738     }
739     else {
740         print "***ALL TESTS SUCCESSFUL***\n";
741     }
742 }
743
744 #--------------------------------
745 sub Help {
746     ( my $cmd ) = ( $0 =~ m#([^/]+)$# );
747     print <<EOF;
748 $cmd: generate run CAVP algorithm tests
749         --debug                     Enable debug output
750         --dir=<dirname>             Optional root for *.req file search
751         --filter=<regexp>
752         --onedir <dirname>          Assume all components in current directory
753         --rspdir=<dirname>          Name of subdirectories containing *.rsp files, default "resp"
754         --tprefix=<prefix>
755         --ignore-bogus              Ignore duplicate or bogus files
756         --ignore-missing            Ignore missing test files
757         --quiet                     Shhh....
758         --generate                  Generate algorithm test output
759         --win32                     Win32 environment
760         --enable-<alg>              Enable algorithm set <alg>.
761         --disable-<alg>             Disable algorithm set <alg>.
762         Where <alg> can be one of:
763 EOF
764
765 while (my ($key, $value) = each %fips_enabled)
766         {
767         printf "\t\t%-20s(%s by default)\n", $key ,
768                         $value == 1 ? "enabled" : "disabled";
769         }
770 }
771
772 # Sanity check to see if all necessary executables exist
773
774 sub sanity_check_exe {
775     my ( $win32, $tprefix, ) = @_;
776     my %exe_list;
777     my $bad = 0;
778     foreach (@fips_test_list) {
779         next unless ref($_);
780         my $cmd = $_->[1];
781         $cmd =~ s/ .*$//;
782         $cmd = $tprefix . $cmd;
783         $cmd .= ".exe" if $win32;
784         $exe_list{$cmd} = 1;
785     }
786
787     foreach ( sort keys %exe_list ) {
788         if ( !-f $_ ) {
789             print STDERR "ERROR: can't find executable $_\n";
790             $bad = 1;
791         }
792     }
793     if ($bad) {
794         print STDERR "FATAL ERROR: executables missing\n";
795         exit(1);
796     }
797     elsif ($debug) {
798         print STDERR "Executable sanity check passed OK\n";
799     }
800 }
801
802 # Search for all request and response files
803
804 sub find_files {
805     my ( $filter, $dir ) = @_;
806     my ( $dirh, $testname, $tref );
807     opendir( $dirh, $dir );
808     while ( $_ = readdir($dirh) ) {
809         next if ( $_ eq "." || $_ eq ".." );
810         $_ = "$dir/$_";
811         if ( -f "$_" ) {
812             if (/\/([^\/]*)\.rsp$/) {
813                 $tref = find_test($1, $_);
814                 if ( defined $tref ) {
815                     $testname = $$tref[0];
816                     if ( $$tref[4] eq "" ) {
817                         $$tref[4] = $_;
818                     }
819                     else {
820                         print STDERR
821 "WARNING: duplicate response file $_ for test $testname\n";
822                         $nbogus++;
823                     }
824                 }
825                 else {
826                     print STDERR "WARNING: bogus file $_\n" unless $no_warn_bogus;
827                     $nbogus++;
828                 }
829             }
830             next unless /$filter.*\.req$/i;
831             if (/\/([^\/]*)\.req$/) {
832                 $tref = find_test($1, $_);
833                 if ( defined $tref ) {
834                     $testname = $$tref[0];
835                     if ( $$tref[3] eq "" ) {
836                         $$tref[3] = $_;
837                     }
838                     else {
839                         print STDERR
840 "WARNING: duplicate request file $_ for test $testname\n";
841                         $nbogus++;
842                     }
843
844                 }
845                 elsif ( !/SHAmix\.req$/ ) {
846                     print STDERR "WARNING: unrecognized filename $_\n" unless $no_warn_bogus;
847                     $nbogus++;
848                 }
849             }
850         }
851         elsif ( -d "$_" ) {
852             find_files( $filter, $_ );
853         }
854     }
855     closedir($dirh);
856 }
857 #
858 # Find test based on filename.
859 # In ambiguous cases search file contents for a match
860 #
861
862 sub find_test {
863     my ( $test, $path ) = @_;
864     foreach $tref (@fips_test_list) {
865         next unless ref($tref);
866         my ( $tst, $cmd, $excmd, $req, $resp ) = @$tref;
867         my $regexp;
868         $tst =~ s/\(.*$//;
869         $test =~ s/_186-2//;
870         if (defined $excmd) {
871                 if ($excmd =~ /^path:(.*)$/) {
872                         my $fmatch = $1;
873                         return $tref if ($path =~ /$fmatch/);
874                         next;
875                 }
876                 elsif ($excmd =~ /^file:(.*)$/) {
877                         $regexp = $1;
878                 }
879         }
880         if ($test eq $tst) {
881                 return $tref if (!defined $regexp);
882                 my $found = 0;
883                 my $line;
884                 open( IN, $path ) || die "Can't Open File $path";
885                 while ($line = <IN>) {
886                     if ($line =~ /$regexp/i) {
887                         $found = 1;
888                         last;
889                     }
890                 }
891                 close IN;
892                 return $tref if $found == 1;
893         }
894     }
895     return undef;
896 }
897
898 sub sanity_check_files {
899     my $bad = 0;
900     foreach (@fips_test_list) {
901         next unless ref($_);
902         my ( $tst, $cmd, $regexp, $req, $resp ) = @$_;
903
904         #print STDERR "FILES $tst, $cmd, $req, $resp\n";
905         if ( $req eq "" ) {
906             print STDERR "WARNING: missing request file for $tst\n" unless $no_warn_missing;
907             $bad = 1;
908             next;
909         }
910         if ( $verify && $resp eq "" ) {
911             print STDERR "WARNING: no response file for test $tst\n";
912             $bad = 1;
913         }
914         elsif ( !$verify && $resp ne "" ) {
915             print STDERR "WARNING: response file $resp will be overwritten\n";
916         }
917     }
918     if ($bad) {
919         print STDERR "ERROR: test vector file set not complete\n";
920         exit(1) unless $ignore_missing;
921     }
922     if ($nbogus) {
923         print STDERR
924           "ERROR: $nbogus bogus or duplicate request and response files\n";
925         exit(1) unless $ignore_bogus;
926     }
927     if ( $debug && !$nbogus && !$bad ) {
928         print STDERR "test vector file set complete\n";
929     }
930 }
931
932 sub run_tests {
933     my ( $verify, $win32, $tprefix, $filter, $tvdir, $outfile ) = @_;
934     my ( $tname, $tref );
935     my $bad = 0;
936     my $lastdir = "";
937     if ($outfile ne "") {
938         open OUT, ">$outfile" || die "Can't open $outfile";
939     }
940     if ($outfile ne "" && !$minimal_script) {
941         if ($win32) {
942             print OUT <<\END;
943 @echo off
944 rem Test vector run script
945 rem Auto generated by fipsalgtest.pl script
946 rem Do not edit
947
948 echo Running Algorithm Tests
949
950 END
951         } else {
952         $stprefix = $tprefix unless defined $stprefix;
953             print OUT <<END;
954 #!/bin/sh
955
956 # Test vector run script
957 # Auto generated by fipsalgtest.pl script
958 # Do not edit
959
960 echo Running Algorithm Tests
961
962 RM="$rmcmd";
963 MKDIR="$mkcmd";
964 TPREFIX=$stprefix
965
966 END
967         }
968
969     }
970
971     my $ttype = "";
972
973     foreach (@fips_test_list) {
974         if ( !ref($_) ) {
975             if ($outfile ne "") {
976                 print "Generating script for $_ tests\n";
977                 print OUT "\n\n\necho \"Running $_ tests\"\n" unless $minimal_script;
978             } else {    
979                 print "Running $_ tests\n" unless $quiet;
980             }
981             $ttype = $_;
982             next;
983         }
984         my ( $tname, $tcmd, $regexp, $req, $rsp ) = @$_;
985         my $out = $rsp;
986         if ($verify) {
987             $out =~ s/\.rsp$/.tst/;
988         }
989         if ( $req eq "" ) {
990             print STDERR
991               "WARNING: Request file for $tname missing: test skipped\n" unless $no_warn_missing;
992             $skipcnt++;
993             next;
994         }
995         if ( $verify && $rsp eq "" ) {
996             print STDERR
997               "WARNING: Response file for $tname missing: test skipped\n";
998             $skipcnt++;
999             next;
1000         }
1001         elsif ( !$verify ) {
1002             if ( $rsp ne "" ) {
1003                 print STDERR "WARNING: Response file for $tname deleted\n";
1004                 unlink $rsp;
1005             }
1006             $out = $req;
1007             $out =~ s|/req/(\S+)\.req|/$rspdir/$1.rsp|;
1008             my $outdir = $out;
1009             $outdir =~ s|/[^/]*$||;
1010             if ($outfile ne "") {
1011                 if ($win32) {
1012                     $outdir =~ tr|/|\\|;
1013                     $req =~ tr|/|\\|;
1014                     $out =~ tr|/|\\|;
1015                 }
1016                 if ($outdir ne $lastdir && !$minimal_script) {
1017                     if ($win32) {
1018                     print OUT <<END
1019 if exist \"$outdir\" rd /s /q "$outdir"
1020 md \"$outdir\"
1021
1022 END
1023                     } else {
1024                     print OUT <<END
1025 \$RM \"$outdir\"
1026 \$MKDIR \"$outdir\"
1027
1028 END
1029                     }
1030                 $lastdir = $outdir;
1031                 }
1032             } elsif ( !-d $outdir ) {
1033                 print STDERR "DEBUG: Creating directory $outdir\n" if $debug;
1034                 mkdir($outdir) || die "Can't create directory $outdir";
1035             }
1036         }
1037         my $cmd = "$tcmd \"$req\" \"$out\"";
1038         print STDERR "DEBUG: running test $tname\n" if ( $debug && !$verify );
1039         if ($outfile ne "") {
1040             print OUT "echo \"    running $tname test\"\n" unless $minimal_script;
1041             print OUT "\${TPREFIX}$cmd\n";
1042         } else {
1043             $cmd = "$tprefix$cmd";
1044             system($cmd);
1045             if ( $? != 0 ) {
1046                 print STDERR
1047                      "WARNING: error executing test $tname for command: $cmd\n";
1048                 $runerr++;
1049                 next;
1050             }
1051         }
1052         if ($verify) {
1053             if ( exists $verify_special{"$ttype:$tname"} && !$cmpall) {
1054                 my $vout = $rsp;
1055                 $vout =~ s/\.rsp$/.ver/;
1056                 $tcmd = $verify_special{"$ttype:$tname"};
1057                 if ($tcmd eq "skip") {
1058                         print STDERR "DEBUG: No verify possible: skipped.\n" if $debug;
1059                         $scheckok++;
1060                         next;
1061                 }
1062                 $cmd  = "$tprefix$tcmd ";
1063                 $cmd .= "\"$out\" \"$vout\"";
1064                 system($cmd);
1065                 if ( $? != 0 ) {
1066                     print STDERR
1067                       "WARNING: error executing verify test $tname $cmd\n";
1068                     $scheckrunerr++;
1069                     next;
1070                 }
1071                 my ( $fcount, $pcount ) = ( 0, 0 );
1072                 open VER, "$vout";
1073                 while (<VER>) {
1074                     if (/^Result\s*=\s*(\S*)\s*$/i)
1075
1076                     {
1077                         if ( $1 eq "F" ) {
1078                             $fcount++;
1079                         }
1080                         else {
1081                             $pcount++;
1082                         }
1083                     }
1084                 }
1085                 close VER;
1086
1087                 unlink $vout;
1088                 if ( $fcount || $debug ) {
1089                     print STDERR "DEBUG: $tname, Pass=$pcount, Fail=$fcount\n";
1090                 }
1091                 if ( $fcount || !$pcount ) {
1092                     $scheckerr++;
1093                 }
1094                 else {
1095                     $scheckok++;
1096                 }
1097
1098             }
1099             elsif ( !cmp_file( $tname, $rsp, $out ) ) {
1100                 $cmperr++;
1101             }
1102             else {
1103                 $cmpok++;
1104             }
1105             unlink $out;
1106         }
1107     }
1108     if ($outfile ne "") {
1109         print OUT "\n\necho All Tests Completed\n" unless $minimal_script;
1110         close OUT;
1111     }
1112 }
1113
1114 sub cmp_file {
1115     my ( $tname, $rsp, $tst ) = @_;
1116     my ( $rspf,    $tstf );
1117     my ( $rspline, $tstline );
1118     my $monte = 0;
1119     if ( !open( $rspf, $rsp ) ) {
1120         print STDERR "ERROR: can't open request file $rsp\n";
1121         return 0;
1122     }
1123     if ( !open( $tstf, $tst ) ) {
1124         print STDERR "ERROR: can't open output file $tst\n";
1125         return 0;
1126     }
1127     $monte = 1 if ($rsp =~ /Monte[123]/);
1128     for ( ; ; ) {
1129         $rspline = next_line($rspf);
1130         $tstline = next_line($tstf);
1131         if ( !defined($rspline) && !defined($tstline) ) {
1132             print STDERR "DEBUG: $tname file comparison OK\n" if $debug;
1133             return 1;
1134         }
1135         # Workaround for old broken DES3 MCT format which added bogus
1136         # extra lines: after [ENCRYPT] or [DECRYPT] skip until first
1137         # COUNT line.
1138         if ($monte) {
1139                 if ($rspline =~ /CRYPT/) {
1140                         do {
1141                                 $rspline = next_line($rspf);
1142                         } while (defined($rspline) && $rspline !~ /COUNT/);
1143                 }
1144                 if ($tstline =~ /CRYPT/) {
1145                         do {
1146                                 $tstline = next_line($tstf);
1147                         } while (defined($tstline) && $tstline !~ /COUNT/);
1148                 }
1149         }
1150         if ( !defined($rspline) ) {
1151             print STDERR "ERROR: $tname EOF on $rsp\n";
1152             return 0;
1153         }
1154         if ( !defined($tstline) ) {
1155             print STDERR "ERROR: $tname EOF on $tst\n";
1156             return 0;
1157         }
1158
1159         # Workaround for bug in RAND des2 test output */
1160         if ( $tstline =~ /^Key2 =/ && $rspline =~ /^Key1 =/ ) {
1161             $rspline =~ s/^Key1/Key2/;
1162         }
1163
1164         if ( $tstline ne $rspline ) {
1165             print STDERR "ERROR: $tname mismatch:\n";
1166             print STDERR "\t \"$tstline\" != \"$rspline\"\n";
1167             return 0;
1168         }
1169     }
1170     return 1;
1171 }
1172
1173 sub next_line {
1174     my ($in) = @_;
1175
1176     while (<$in>) {
1177         chomp;
1178
1179         # Delete comments
1180         s/#.*$//;
1181
1182         # Ignore blank lines
1183         next if (/^\s*$/);
1184
1185         # Translate multiple space into one
1186         s/\s+/ /g;
1187         # Delete trailing whitespace
1188         s/\s+$//;
1189         # Remove leading zeroes
1190         s/= 00/= /;
1191         # Translate to upper case
1192         return uc $_;
1193     }
1194     return undef;
1195 }