Remove a TODO from evp_test
[openssl.git] / test / evp_test.c
1 /*
2  * Copyright 2015-2020 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the Apache License 2.0 (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12 #include <stdlib.h>
13 #include <ctype.h>
14 #include "../e_os.h" /* strcasecmp */
15 #include <openssl/evp.h>
16 #include <openssl/pem.h>
17 #include <openssl/err.h>
18 #include <openssl/provider.h>
19 #include <openssl/x509v3.h>
20 #include <openssl/pkcs12.h>
21 #include <openssl/kdf.h>
22 #include <openssl/params.h>
23 #include <openssl/core_names.h>
24 #include "internal/numbers.h"
25 #include "internal/nelem.h"
26 #include "crypto/evp.h"
27 #include "testutil.h"
28 #include "evp_test.h"
29
30 DEFINE_STACK_OF_STRING()
31
32 #define AAD_NUM 4
33
34 typedef struct evp_test_method_st EVP_TEST_METHOD;
35
36 /* Structure holding test information */
37 typedef struct evp_test_st {
38     STANZA s;                     /* Common test stanza */
39     char *name;
40     int skip;                     /* Current test should be skipped */
41     const EVP_TEST_METHOD *meth;  /* method for this test */
42     const char *err, *aux_err;    /* Error string for test */
43     char *expected_err;           /* Expected error value of test */
44     char *reason;                 /* Expected error reason string */
45     void *data;                   /* test specific data */
46 } EVP_TEST;
47
48 /* Test method structure */
49 struct evp_test_method_st {
50     /* Name of test as it appears in file */
51     const char *name;
52     /* Initialise test for "alg" */
53     int (*init) (EVP_TEST * t, const char *alg);
54     /* Clean up method */
55     void (*cleanup) (EVP_TEST * t);
56     /* Test specific name value pair processing */
57     int (*parse) (EVP_TEST * t, const char *name, const char *value);
58     /* Run the test itself */
59     int (*run_test) (EVP_TEST * t);
60 };
61
62 /* Linked list of named keys. */
63 typedef struct key_list_st {
64     char *name;
65     EVP_PKEY *key;
66     struct key_list_st *next;
67 } KEY_LIST;
68
69 typedef enum OPTION_choice {
70     OPT_ERR = -1,
71     OPT_EOF = 0,
72     OPT_CONFIG_FILE,
73     OPT_TEST_ENUM
74 } OPTION_CHOICE;
75
76 static OSSL_PROVIDER *prov_null = NULL;
77 static OPENSSL_CTX *libctx = NULL;
78
79 /* List of public and private keys */
80 static KEY_LIST *private_keys;
81 static KEY_LIST *public_keys;
82
83 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst);
84 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen);
85 static int is_digest_disabled(const char *name);
86 static int is_pkey_disabled(const char *name);
87 static int is_mac_disabled(const char *name);
88 static int is_cipher_disabled(const char *name);
89 static int is_kdf_disabled(const char *name);
90
91 /*
92  * Compare two memory regions for equality, returning zero if they differ.
93  * However, if there is expected to be an error and the actual error
94  * matches then the memory is expected to be different so handle this
95  * case without producing unnecessary test framework output.
96  */
97 static int memory_err_compare(EVP_TEST *t, const char *err,
98                               const void *expected, size_t expected_len,
99                               const void *got, size_t got_len)
100 {
101     int r;
102
103     if (t->expected_err != NULL && strcmp(t->expected_err, err) == 0)
104         r = !TEST_mem_ne(expected, expected_len, got, got_len);
105     else
106         r = TEST_mem_eq(expected, expected_len, got, got_len);
107     if (!r)
108         t->err = err;
109     return r;
110 }
111
112 /*
113  * Structure used to hold a list of blocks of memory to test
114  * calls to "update" like functions.
115  */
116 struct evp_test_buffer_st {
117     unsigned char *buf;
118     size_t buflen;
119     size_t count;
120     int count_set;
121 };
122
123 static void evp_test_buffer_free(EVP_TEST_BUFFER *db)
124 {
125     if (db != NULL) {
126         OPENSSL_free(db->buf);
127         OPENSSL_free(db);
128     }
129 }
130
131 /* append buffer to a list */
132 static int evp_test_buffer_append(const char *value,
133                                   STACK_OF(EVP_TEST_BUFFER) **sk)
134 {
135     EVP_TEST_BUFFER *db = NULL;
136
137     if (!TEST_ptr(db = OPENSSL_malloc(sizeof(*db))))
138         goto err;
139
140     if (!parse_bin(value, &db->buf, &db->buflen))
141         goto err;
142     db->count = 1;
143     db->count_set = 0;
144
145     if (*sk == NULL && !TEST_ptr(*sk = sk_EVP_TEST_BUFFER_new_null()))
146         goto err;
147     if (!sk_EVP_TEST_BUFFER_push(*sk, db))
148         goto err;
149
150     return 1;
151
152 err:
153     evp_test_buffer_free(db);
154     return 0;
155 }
156
157 /* replace last buffer in list with copies of itself */
158 static int evp_test_buffer_ncopy(const char *value,
159                                  STACK_OF(EVP_TEST_BUFFER) *sk)
160 {
161     EVP_TEST_BUFFER *db;
162     unsigned char *tbuf, *p;
163     size_t tbuflen;
164     int ncopy = atoi(value);
165     int i;
166
167     if (ncopy <= 0)
168         return 0;
169     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
170         return 0;
171     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
172
173     tbuflen = db->buflen * ncopy;
174     if (!TEST_ptr(tbuf = OPENSSL_malloc(tbuflen)))
175         return 0;
176     for (i = 0, p = tbuf; i < ncopy; i++, p += db->buflen)
177         memcpy(p, db->buf, db->buflen);
178
179     OPENSSL_free(db->buf);
180     db->buf = tbuf;
181     db->buflen = tbuflen;
182     return 1;
183 }
184
185 /* set repeat count for last buffer in list */
186 static int evp_test_buffer_set_count(const char *value,
187                                      STACK_OF(EVP_TEST_BUFFER) *sk)
188 {
189     EVP_TEST_BUFFER *db;
190     int count = atoi(value);
191
192     if (count <= 0)
193         return 0;
194
195     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
196         return 0;
197
198     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
199     if (db->count_set != 0)
200         return 0;
201
202     db->count = (size_t)count;
203     db->count_set = 1;
204     return 1;
205 }
206
207 /* call "fn" with each element of the list in turn */
208 static int evp_test_buffer_do(STACK_OF(EVP_TEST_BUFFER) *sk,
209                               int (*fn)(void *ctx,
210                                         const unsigned char *buf,
211                                         size_t buflen),
212                               void *ctx)
213 {
214     int i;
215
216     for (i = 0; i < sk_EVP_TEST_BUFFER_num(sk); i++) {
217         EVP_TEST_BUFFER *tb = sk_EVP_TEST_BUFFER_value(sk, i);
218         size_t j;
219
220         for (j = 0; j < tb->count; j++) {
221             if (fn(ctx, tb->buf, tb->buflen) <= 0)
222                 return 0;
223         }
224     }
225     return 1;
226 }
227
228 /*
229  * Unescape some sequences in string literals (only \n for now).
230  * Return an allocated buffer, set |out_len|.  If |input_len|
231  * is zero, get an empty buffer but set length to zero.
232  */
233 static unsigned char* unescape(const char *input, size_t input_len,
234                                size_t *out_len)
235 {
236     unsigned char *ret, *p;
237     size_t i;
238
239     if (input_len == 0) {
240         *out_len = 0;
241         return OPENSSL_zalloc(1);
242     }
243
244     /* Escaping is non-expanding; over-allocate original size for simplicity. */
245     if (!TEST_ptr(ret = p = OPENSSL_malloc(input_len)))
246         return NULL;
247
248     for (i = 0; i < input_len; i++) {
249         if (*input == '\\') {
250             if (i == input_len - 1 || *++input != 'n') {
251                 TEST_error("Bad escape sequence in file");
252                 goto err;
253             }
254             *p++ = '\n';
255             i++;
256             input++;
257         } else {
258             *p++ = *input++;
259         }
260     }
261
262     *out_len = p - ret;
263     return ret;
264
265  err:
266     OPENSSL_free(ret);
267     return NULL;
268 }
269
270 /*
271  * For a hex string "value" convert to a binary allocated buffer.
272  * Return 1 on success or 0 on failure.
273  */
274 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen)
275 {
276     long len;
277
278     /* Check for NULL literal */
279     if (strcmp(value, "NULL") == 0) {
280         *buf = NULL;
281         *buflen = 0;
282         return 1;
283     }
284
285     /* Check for empty value */
286     if (*value == '\0') {
287         /*
288          * Don't return NULL for zero length buffer. This is needed for
289          * some tests with empty keys: HMAC_Init_ex() expects a non-NULL key
290          * buffer even if the key length is 0, in order to detect key reset.
291          */
292         *buf = OPENSSL_malloc(1);
293         if (*buf == NULL)
294             return 0;
295         **buf = 0;
296         *buflen = 0;
297         return 1;
298     }
299
300     /* Check for string literal */
301     if (value[0] == '"') {
302         size_t vlen = strlen(++value);
303
304         if (vlen == 0 || value[vlen - 1] != '"')
305             return 0;
306         vlen--;
307         *buf = unescape(value, vlen, buflen);
308         return *buf == NULL ? 0 : 1;
309     }
310
311     /* Otherwise assume as hex literal and convert it to binary buffer */
312     if (!TEST_ptr(*buf = OPENSSL_hexstr2buf(value, &len))) {
313         TEST_info("Can't convert %s", value);
314         TEST_openssl_errors();
315         return -1;
316     }
317     /* Size of input buffer means we'll never overflow */
318     *buflen = len;
319     return 1;
320 }
321
322 /**
323  **  MESSAGE DIGEST TESTS
324  **/
325
326 typedef struct digest_data_st {
327     /* Digest this test is for */
328     const EVP_MD *digest;
329     EVP_MD *fetched_digest;
330     /* Input to digest */
331     STACK_OF(EVP_TEST_BUFFER) *input;
332     /* Expected output */
333     unsigned char *output;
334     size_t output_len;
335     /* Padding type */
336     int pad_type;
337 } DIGEST_DATA;
338
339 static int digest_test_init(EVP_TEST *t, const char *alg)
340 {
341     DIGEST_DATA *mdat;
342     const EVP_MD *digest;
343     EVP_MD *fetched_digest;
344
345     if (is_digest_disabled(alg)) {
346         TEST_info("skipping, '%s' is disabled", alg);
347         t->skip = 1;
348         return 1;
349     }
350
351     if ((digest = fetched_digest = EVP_MD_fetch(libctx, alg, NULL)) == NULL
352         && (digest = EVP_get_digestbyname(alg)) == NULL)
353         return 0;
354     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
355         return 0;
356     t->data = mdat;
357     mdat->digest = digest;
358     mdat->fetched_digest = fetched_digest;
359     mdat->pad_type = 0;
360     if (fetched_digest != NULL)
361         TEST_info("%s is fetched", alg);
362     return 1;
363 }
364
365 static void digest_test_cleanup(EVP_TEST *t)
366 {
367     DIGEST_DATA *mdat = t->data;
368
369     sk_EVP_TEST_BUFFER_pop_free(mdat->input, evp_test_buffer_free);
370     OPENSSL_free(mdat->output);
371     EVP_MD_free(mdat->fetched_digest);
372 }
373
374 static int digest_test_parse(EVP_TEST *t,
375                              const char *keyword, const char *value)
376 {
377     DIGEST_DATA *mdata = t->data;
378
379     if (strcmp(keyword, "Input") == 0)
380         return evp_test_buffer_append(value, &mdata->input);
381     if (strcmp(keyword, "Output") == 0)
382         return parse_bin(value, &mdata->output, &mdata->output_len);
383     if (strcmp(keyword, "Count") == 0)
384         return evp_test_buffer_set_count(value, mdata->input);
385     if (strcmp(keyword, "Ncopy") == 0)
386         return evp_test_buffer_ncopy(value, mdata->input);
387     if (strcmp(keyword, "Padding") == 0)
388         return (mdata->pad_type = atoi(value)) > 0;
389     return 0;
390 }
391
392 static int digest_update_fn(void *ctx, const unsigned char *buf, size_t buflen)
393 {
394     return EVP_DigestUpdate(ctx, buf, buflen);
395 }
396
397 static int digest_test_run(EVP_TEST *t)
398 {
399     DIGEST_DATA *expected = t->data;
400     EVP_MD_CTX *mctx;
401     unsigned char *got = NULL;
402     unsigned int got_len;
403     OSSL_PARAM params[2];
404
405     t->err = "TEST_FAILURE";
406     if (!TEST_ptr(mctx = EVP_MD_CTX_new()))
407         goto err;
408
409     got = OPENSSL_malloc(expected->output_len > EVP_MAX_MD_SIZE ?
410                          expected->output_len : EVP_MAX_MD_SIZE);
411     if (!TEST_ptr(got))
412         goto err;
413
414     if (!EVP_DigestInit_ex(mctx, expected->digest, NULL)) {
415         t->err = "DIGESTINIT_ERROR";
416         goto err;
417     }
418     if (expected->pad_type > 0) {
419         params[0] = OSSL_PARAM_construct_int(OSSL_DIGEST_PARAM_PAD_TYPE,
420                                               &expected->pad_type);
421         params[1] = OSSL_PARAM_construct_end();
422         if (!TEST_int_gt(EVP_MD_CTX_set_params(mctx, params), 0)) {
423             t->err = "PARAMS_ERROR";
424             goto err;
425         }
426     }
427     if (!evp_test_buffer_do(expected->input, digest_update_fn, mctx)) {
428         t->err = "DIGESTUPDATE_ERROR";
429         goto err;
430     }
431
432     if (EVP_MD_flags(expected->digest) & EVP_MD_FLAG_XOF) {
433         EVP_MD_CTX *mctx_cpy;
434         char dont[] = "touch";
435
436         if (!TEST_ptr(mctx_cpy = EVP_MD_CTX_new())) {
437             goto err;
438         }
439         if (!EVP_MD_CTX_copy(mctx_cpy, mctx)) {
440             EVP_MD_CTX_free(mctx_cpy);
441             goto err;
442         }
443         if (!EVP_DigestFinalXOF(mctx_cpy, (unsigned char *)dont, 0)) {
444             EVP_MD_CTX_free(mctx_cpy);
445             t->err = "DIGESTFINALXOF_ERROR";
446             goto err;
447         }
448         if (!TEST_str_eq(dont, "touch")) {
449             EVP_MD_CTX_free(mctx_cpy);
450             t->err = "DIGESTFINALXOF_ERROR";
451             goto err;
452         }
453         EVP_MD_CTX_free(mctx_cpy);
454
455         got_len = expected->output_len;
456         if (!EVP_DigestFinalXOF(mctx, got, got_len)) {
457             t->err = "DIGESTFINALXOF_ERROR";
458             goto err;
459         }
460     } else {
461         if (!EVP_DigestFinal(mctx, got, &got_len)) {
462             t->err = "DIGESTFINAL_ERROR";
463             goto err;
464         }
465     }
466     if (!TEST_int_eq(expected->output_len, got_len)) {
467         t->err = "DIGEST_LENGTH_MISMATCH";
468         goto err;
469     }
470     if (!memory_err_compare(t, "DIGEST_MISMATCH",
471                             expected->output, expected->output_len,
472                             got, got_len))
473         goto err;
474
475     t->err = NULL;
476
477  err:
478     OPENSSL_free(got);
479     EVP_MD_CTX_free(mctx);
480     return 1;
481 }
482
483 static const EVP_TEST_METHOD digest_test_method = {
484     "Digest",
485     digest_test_init,
486     digest_test_cleanup,
487     digest_test_parse,
488     digest_test_run
489 };
490
491 /**
492 ***  CIPHER TESTS
493 **/
494
495 typedef struct cipher_data_st {
496     const EVP_CIPHER *cipher;
497     EVP_CIPHER *fetched_cipher;
498     int enc;
499     /* EVP_CIPH_GCM_MODE, EVP_CIPH_CCM_MODE or EVP_CIPH_OCB_MODE if AEAD */
500     int aead;
501     unsigned char *key;
502     size_t key_len;
503     size_t key_bits; /* Used by RC2 */
504     unsigned char *iv;
505     unsigned int rounds;
506     size_t iv_len;
507     unsigned char *plaintext;
508     size_t plaintext_len;
509     unsigned char *ciphertext;
510     size_t ciphertext_len;
511     /* GCM, CCM, OCB and SIV only */
512     unsigned char *aad[AAD_NUM];
513     size_t aad_len[AAD_NUM];
514     unsigned char *tag;
515     const char *cts_mode;
516     size_t tag_len;
517     int tag_late;
518 } CIPHER_DATA;
519
520 static int cipher_test_init(EVP_TEST *t, const char *alg)
521 {
522     const EVP_CIPHER *cipher;
523     EVP_CIPHER *fetched_cipher;
524     CIPHER_DATA *cdat;
525     int m;
526
527     if (is_cipher_disabled(alg)) {
528         t->skip = 1;
529         TEST_info("skipping, '%s' is disabled", alg);
530         return 1;
531     }
532
533     if ((cipher = fetched_cipher = EVP_CIPHER_fetch(libctx, alg, NULL)) == NULL
534         && (cipher = EVP_get_cipherbyname(alg)) == NULL)
535         return 0;
536
537     cdat = OPENSSL_zalloc(sizeof(*cdat));
538     cdat->cipher = cipher;
539     cdat->fetched_cipher = fetched_cipher;
540     cdat->enc = -1;
541     m = EVP_CIPHER_mode(cipher);
542     if (m == EVP_CIPH_GCM_MODE
543             || m == EVP_CIPH_OCB_MODE
544             || m == EVP_CIPH_SIV_MODE
545             || m == EVP_CIPH_CCM_MODE)
546         cdat->aead = m;
547     else if (EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)
548         cdat->aead = -1;
549     else
550         cdat->aead = 0;
551
552     t->data = cdat;
553     if (fetched_cipher != NULL)
554         TEST_info("%s is fetched", alg);
555     return 1;
556 }
557
558 static void cipher_test_cleanup(EVP_TEST *t)
559 {
560     int i;
561     CIPHER_DATA *cdat = t->data;
562
563     OPENSSL_free(cdat->key);
564     OPENSSL_free(cdat->iv);
565     OPENSSL_free(cdat->ciphertext);
566     OPENSSL_free(cdat->plaintext);
567     for (i = 0; i < AAD_NUM; i++)
568         OPENSSL_free(cdat->aad[i]);
569     OPENSSL_free(cdat->tag);
570     EVP_CIPHER_free(cdat->fetched_cipher);
571 }
572
573 static int cipher_test_parse(EVP_TEST *t, const char *keyword,
574                              const char *value)
575 {
576     CIPHER_DATA *cdat = t->data;
577     int i;
578
579     if (strcmp(keyword, "Key") == 0)
580         return parse_bin(value, &cdat->key, &cdat->key_len);
581     if (strcmp(keyword, "Rounds") == 0) {
582         i = atoi(value);
583         if (i < 0)
584             return -1;
585         cdat->rounds = (unsigned int)i;
586         return 1;
587     }
588     if (strcmp(keyword, "IV") == 0)
589         return parse_bin(value, &cdat->iv, &cdat->iv_len);
590     if (strcmp(keyword, "Plaintext") == 0)
591         return parse_bin(value, &cdat->plaintext, &cdat->plaintext_len);
592     if (strcmp(keyword, "Ciphertext") == 0)
593         return parse_bin(value, &cdat->ciphertext, &cdat->ciphertext_len);
594     if (strcmp(keyword, "KeyBits") == 0) {
595         i = atoi(value);
596         if (i < 0)
597             return -1;
598         cdat->key_bits = (size_t)i;
599         return 1;
600     }
601     if (cdat->aead) {
602         if (strcmp(keyword, "AAD") == 0) {
603             for (i = 0; i < AAD_NUM; i++) {
604                 if (cdat->aad[i] == NULL)
605                     return parse_bin(value, &cdat->aad[i], &cdat->aad_len[i]);
606             }
607             return -1;
608         }
609         if (strcmp(keyword, "Tag") == 0)
610             return parse_bin(value, &cdat->tag, &cdat->tag_len);
611         if (strcmp(keyword, "SetTagLate") == 0) {
612             if (strcmp(value, "TRUE") == 0)
613                 cdat->tag_late = 1;
614             else if (strcmp(value, "FALSE") == 0)
615                 cdat->tag_late = 0;
616             else
617                 return -1;
618             return 1;
619         }
620     }
621
622     if (strcmp(keyword, "Operation") == 0) {
623         if (strcmp(value, "ENCRYPT") == 0)
624             cdat->enc = 1;
625         else if (strcmp(value, "DECRYPT") == 0)
626             cdat->enc = 0;
627         else
628             return -1;
629         return 1;
630     }
631     if (strcmp(keyword, "CTSMode") == 0) {
632         cdat->cts_mode = value;
633         return 1;
634     }
635     return 0;
636 }
637
638 static int cipher_test_enc(EVP_TEST *t, int enc,
639                            size_t out_misalign, size_t inp_misalign, int frag)
640 {
641     CIPHER_DATA *expected = t->data;
642     unsigned char *in, *expected_out, *tmp = NULL;
643     size_t in_len, out_len, donelen = 0;
644     int ok = 0, tmplen, chunklen, tmpflen, i;
645     EVP_CIPHER_CTX *ctx_base = NULL;
646     EVP_CIPHER_CTX *ctx = NULL;
647
648     t->err = "TEST_FAILURE";
649     if (!TEST_ptr(ctx_base = EVP_CIPHER_CTX_new()))
650         goto err;
651     if (!TEST_ptr(ctx = EVP_CIPHER_CTX_new()))
652         goto err;
653     EVP_CIPHER_CTX_set_flags(ctx_base, EVP_CIPHER_CTX_FLAG_WRAP_ALLOW);
654     if (enc) {
655         in = expected->plaintext;
656         in_len = expected->plaintext_len;
657         expected_out = expected->ciphertext;
658         out_len = expected->ciphertext_len;
659     } else {
660         in = expected->ciphertext;
661         in_len = expected->ciphertext_len;
662         expected_out = expected->plaintext;
663         out_len = expected->plaintext_len;
664     }
665     if (inp_misalign == (size_t)-1) {
666         /* Exercise in-place encryption */
667         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH);
668         if (!tmp)
669             goto err;
670         in = memcpy(tmp + out_misalign, in, in_len);
671     } else {
672         inp_misalign += 16 - ((out_misalign + in_len) & 15);
673         /*
674          * 'tmp' will store both output and copy of input. We make the copy
675          * of input to specifically aligned part of 'tmp'. So we just
676          * figured out how much padding would ensure the required alignment,
677          * now we allocate extended buffer and finally copy the input just
678          * past inp_misalign in expression below. Output will be written
679          * past out_misalign...
680          */
681         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
682                              inp_misalign + in_len);
683         if (!tmp)
684             goto err;
685         in = memcpy(tmp + out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
686                     inp_misalign, in, in_len);
687     }
688     if (!EVP_CipherInit_ex(ctx_base, expected->cipher, NULL, NULL, NULL, enc)) {
689         t->err = "CIPHERINIT_ERROR";
690         goto err;
691     }
692     if (expected->cts_mode != NULL) {
693         OSSL_PARAM params[2];
694
695         params[0] = OSSL_PARAM_construct_utf8_string(OSSL_CIPHER_PARAM_CTS_MODE,
696                                                      (char *)expected->cts_mode,
697                                                      0);
698         params[1] = OSSL_PARAM_construct_end();
699         if (!EVP_CIPHER_CTX_set_params(ctx_base, params)) {
700             t->err = "INVALID_CTS_MODE";
701             goto err;
702         }
703     }
704     if (expected->iv) {
705         if (expected->aead) {
706             if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_AEAD_SET_IVLEN,
707                                      expected->iv_len, 0)) {
708                 t->err = "INVALID_IV_LENGTH";
709                 goto err;
710             }
711         } else if (expected->iv_len != (size_t)EVP_CIPHER_CTX_iv_length(ctx_base)) {
712             t->err = "INVALID_IV_LENGTH";
713             goto err;
714         }
715     }
716     if (expected->aead) {
717         unsigned char *tag;
718         /*
719          * If encrypting or OCB just set tag length initially, otherwise
720          * set tag length and value.
721          */
722         if (enc || expected->aead == EVP_CIPH_OCB_MODE || expected->tag_late) {
723             t->err = "TAG_LENGTH_SET_ERROR";
724             tag = NULL;
725         } else {
726             t->err = "TAG_SET_ERROR";
727             tag = expected->tag;
728         }
729         if (tag || expected->aead != EVP_CIPH_GCM_MODE) {
730             if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_AEAD_SET_TAG,
731                                      expected->tag_len, tag))
732                 goto err;
733         }
734     }
735
736     if (expected->rounds > 0) {
737         int  rounds = (int)expected->rounds;
738
739         if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_SET_RC5_ROUNDS, rounds, NULL)) {
740             t->err = "INVALID_ROUNDS";
741             goto err;
742         }
743     }
744
745     if (!EVP_CIPHER_CTX_set_key_length(ctx_base, expected->key_len)) {
746         t->err = "INVALID_KEY_LENGTH";
747         goto err;
748     }
749     if (expected->key_bits > 0) {
750         int bits = (int)expected->key_bits;
751
752         if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_SET_RC2_KEY_BITS, bits, NULL)) {
753             t->err = "INVALID KEY BITS";
754             goto err;
755         }
756     }
757     if (!EVP_CipherInit_ex(ctx_base, NULL, NULL, expected->key, expected->iv, -1)) {
758         t->err = "KEY_SET_ERROR";
759         goto err;
760     }
761
762     /* Check that we get the same IV back */
763     if (expected->iv != NULL
764         && (EVP_CIPHER_flags(expected->cipher) & EVP_CIPH_CUSTOM_IV) == 0
765         && !TEST_mem_eq(expected->iv, expected->iv_len,
766                         EVP_CIPHER_CTX_iv(ctx_base), expected->iv_len)) {
767         t->err = "INVALID_IV";
768         goto err;
769     }
770
771     /* Test that the cipher dup functions correctly if it is supported */
772     if (EVP_CIPHER_CTX_copy(ctx, ctx_base)) {
773         EVP_CIPHER_CTX_free(ctx_base);
774         ctx_base = NULL;
775     } else {
776         EVP_CIPHER_CTX_free(ctx);
777         ctx = ctx_base;
778     }
779
780     if (expected->aead == EVP_CIPH_CCM_MODE) {
781         if (!EVP_CipherUpdate(ctx, NULL, &tmplen, NULL, out_len)) {
782             t->err = "CCM_PLAINTEXT_LENGTH_SET_ERROR";
783             goto err;
784         }
785     }
786     if (expected->aad[0] != NULL) {
787         t->err = "AAD_SET_ERROR";
788         if (!frag) {
789             for (i = 0; expected->aad[i] != NULL; i++) {
790                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad[i],
791                                       expected->aad_len[i]))
792                     goto err;
793             }
794         } else {
795             /*
796              * Supply the AAD in chunks less than the block size where possible
797              */
798             for (i = 0; expected->aad[i] != NULL; i++) {
799                 if (expected->aad_len[i] > 0) {
800                     if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad[i], 1))
801                         goto err;
802                     donelen++;
803                 }
804                 if (expected->aad_len[i] > 2) {
805                     if (!EVP_CipherUpdate(ctx, NULL, &chunklen,
806                                           expected->aad[i] + donelen,
807                                           expected->aad_len[i] - 2))
808                         goto err;
809                     donelen += expected->aad_len[i] - 2;
810                 }
811                 if (expected->aad_len[i] > 1
812                     && !EVP_CipherUpdate(ctx, NULL, &chunklen,
813                                          expected->aad[i] + donelen, 1))
814                     goto err;
815             }
816         }
817     }
818
819     if (!enc && (expected->aead == EVP_CIPH_OCB_MODE || expected->tag_late)) {
820         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
821                                  expected->tag_len, expected->tag)) {
822             t->err = "TAG_SET_ERROR";
823             goto err;
824         }
825     }
826
827     EVP_CIPHER_CTX_set_padding(ctx, 0);
828     t->err = "CIPHERUPDATE_ERROR";
829     tmplen = 0;
830     if (!frag) {
831         /* We supply the data all in one go */
832         if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &tmplen, in, in_len))
833             goto err;
834     } else {
835         /* Supply the data in chunks less than the block size where possible */
836         if (in_len > 0) {
837             if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &chunklen, in, 1))
838                 goto err;
839             tmplen += chunklen;
840             in++;
841             in_len--;
842         }
843         if (in_len > 1) {
844             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
845                                   in, in_len - 1))
846                 goto err;
847             tmplen += chunklen;
848             in += in_len - 1;
849             in_len = 1;
850         }
851         if (in_len > 0 ) {
852             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
853                                   in, 1))
854                 goto err;
855             tmplen += chunklen;
856         }
857     }
858     if (!EVP_CipherFinal_ex(ctx, tmp + out_misalign + tmplen, &tmpflen)) {
859         t->err = "CIPHERFINAL_ERROR";
860         goto err;
861     }
862     if (!memory_err_compare(t, "VALUE_MISMATCH", expected_out, out_len,
863                             tmp + out_misalign, tmplen + tmpflen))
864         goto err;
865     if (enc && expected->aead) {
866         unsigned char rtag[16];
867
868         if (!TEST_size_t_le(expected->tag_len, sizeof(rtag))) {
869             t->err = "TAG_LENGTH_INTERNAL_ERROR";
870             goto err;
871         }
872         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_GET_TAG,
873                                  expected->tag_len, rtag)) {
874             t->err = "TAG_RETRIEVE_ERROR";
875             goto err;
876         }
877         if (!memory_err_compare(t, "TAG_VALUE_MISMATCH",
878                                 expected->tag, expected->tag_len,
879                                 rtag, expected->tag_len))
880             goto err;
881     }
882     t->err = NULL;
883     ok = 1;
884  err:
885     OPENSSL_free(tmp);
886     if (ctx != ctx_base)
887         EVP_CIPHER_CTX_free(ctx_base);
888     EVP_CIPHER_CTX_free(ctx);
889     return ok;
890 }
891
892 static int cipher_test_run(EVP_TEST *t)
893 {
894     CIPHER_DATA *cdat = t->data;
895     int rv, frag = 0;
896     size_t out_misalign, inp_misalign;
897
898     if (!cdat->key) {
899         t->err = "NO_KEY";
900         return 0;
901     }
902     if (!cdat->iv && EVP_CIPHER_iv_length(cdat->cipher)) {
903         /* IV is optional and usually omitted in wrap mode */
904         if (EVP_CIPHER_mode(cdat->cipher) != EVP_CIPH_WRAP_MODE) {
905             t->err = "NO_IV";
906             return 0;
907         }
908     }
909     if (cdat->aead && !cdat->tag) {
910         t->err = "NO_TAG";
911         return 0;
912     }
913     for (out_misalign = 0; out_misalign <= 1;) {
914         static char aux_err[64];
915         t->aux_err = aux_err;
916         for (inp_misalign = (size_t)-1; inp_misalign != 2; inp_misalign++) {
917             if (inp_misalign == (size_t)-1) {
918                 /* kludge: inp_misalign == -1 means "exercise in-place" */
919                 BIO_snprintf(aux_err, sizeof(aux_err),
920                              "%s in-place, %sfragmented",
921                              out_misalign ? "misaligned" : "aligned",
922                              frag ? "" : "not ");
923             } else {
924                 BIO_snprintf(aux_err, sizeof(aux_err),
925                              "%s output and %s input, %sfragmented",
926                              out_misalign ? "misaligned" : "aligned",
927                              inp_misalign ? "misaligned" : "aligned",
928                              frag ? "" : "not ");
929             }
930             if (cdat->enc) {
931                 rv = cipher_test_enc(t, 1, out_misalign, inp_misalign, frag);
932                 /* Not fatal errors: return */
933                 if (rv != 1) {
934                     if (rv < 0)
935                         return 0;
936                     return 1;
937                 }
938             }
939             if (cdat->enc != 1) {
940                 rv = cipher_test_enc(t, 0, out_misalign, inp_misalign, frag);
941                 /* Not fatal errors: return */
942                 if (rv != 1) {
943                     if (rv < 0)
944                         return 0;
945                     return 1;
946                 }
947             }
948         }
949
950         if (out_misalign == 1 && frag == 0) {
951             /*
952              * XTS, SIV, CCM and Wrap modes have special requirements about input
953              * lengths so we don't fragment for those
954              */
955             if (cdat->aead == EVP_CIPH_CCM_MODE
956                     || ((EVP_CIPHER_flags(cdat->cipher) & EVP_CIPH_FLAG_CTS) != 0)
957                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_SIV_MODE
958                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_XTS_MODE
959                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_WRAP_MODE)
960                 break;
961             out_misalign = 0;
962             frag++;
963         } else {
964             out_misalign++;
965         }
966     }
967     t->aux_err = NULL;
968
969     return 1;
970 }
971
972 static const EVP_TEST_METHOD cipher_test_method = {
973     "Cipher",
974     cipher_test_init,
975     cipher_test_cleanup,
976     cipher_test_parse,
977     cipher_test_run
978 };
979
980
981 /**
982  **  MAC TESTS
983  **/
984
985 typedef struct mac_data_st {
986     /* MAC type in one form or another */
987     char *mac_name;
988     EVP_MAC *mac;                /* for mac_test_run_mac */
989     int type;                    /* for mac_test_run_pkey */
990     /* Algorithm string for this MAC */
991     char *alg;
992     /* MAC key */
993     unsigned char *key;
994     size_t key_len;
995     /* MAC IV (GMAC) */
996     unsigned char *iv;
997     size_t iv_len;
998     /* Input to MAC */
999     unsigned char *input;
1000     size_t input_len;
1001     /* Expected output */
1002     unsigned char *output;
1003     size_t output_len;
1004     unsigned char *custom;
1005     size_t custom_len;
1006     /* MAC salt (blake2) */
1007     unsigned char *salt;
1008     size_t salt_len;
1009     /* Collection of controls */
1010     STACK_OF(OPENSSL_STRING) *controls;
1011 } MAC_DATA;
1012
1013 static int mac_test_init(EVP_TEST *t, const char *alg)
1014 {
1015     EVP_MAC *mac = NULL;
1016     int type = NID_undef;
1017     MAC_DATA *mdat;
1018
1019     if (is_mac_disabled(alg)) {
1020         TEST_info("skipping, '%s' is disabled", alg);
1021         t->skip = 1;
1022         return 1;
1023     }
1024     if ((mac = EVP_MAC_fetch(libctx, alg, NULL)) == NULL) {
1025         /*
1026          * Since we didn't find an EVP_MAC, we check for known EVP_PKEY methods
1027          * For debugging purposes, we allow 'NNNN by EVP_PKEY' to force running
1028          * the EVP_PKEY method.
1029          */
1030         size_t sz = strlen(alg);
1031         static const char epilogue[] = " by EVP_PKEY";
1032
1033         if (sz >= sizeof(epilogue)
1034             && strcmp(alg + sz - (sizeof(epilogue) - 1), epilogue) == 0)
1035             sz -= sizeof(epilogue) - 1;
1036
1037         if (strncmp(alg, "HMAC", sz) == 0)
1038             type = EVP_PKEY_HMAC;
1039         else if (strncmp(alg, "CMAC", sz) == 0)
1040             type = EVP_PKEY_CMAC;
1041         else if (strncmp(alg, "Poly1305", sz) == 0)
1042             type = EVP_PKEY_POLY1305;
1043         else if (strncmp(alg, "SipHash", sz) == 0)
1044             type = EVP_PKEY_SIPHASH;
1045         else
1046             return 0;
1047     }
1048
1049     mdat = OPENSSL_zalloc(sizeof(*mdat));
1050     mdat->type = type;
1051     mdat->mac_name = OPENSSL_strdup(alg);
1052     mdat->mac = mac;
1053     mdat->controls = sk_OPENSSL_STRING_new_null();
1054     t->data = mdat;
1055     return 1;
1056 }
1057
1058 /* Because OPENSSL_free is a macro, it can't be passed as a function pointer */
1059 static void openssl_free(char *m)
1060 {
1061     OPENSSL_free(m);
1062 }
1063
1064 static void mac_test_cleanup(EVP_TEST *t)
1065 {
1066     MAC_DATA *mdat = t->data;
1067
1068     EVP_MAC_free(mdat->mac);
1069     OPENSSL_free(mdat->mac_name);
1070     sk_OPENSSL_STRING_pop_free(mdat->controls, openssl_free);
1071     OPENSSL_free(mdat->alg);
1072     OPENSSL_free(mdat->key);
1073     OPENSSL_free(mdat->iv);
1074     OPENSSL_free(mdat->custom);
1075     OPENSSL_free(mdat->salt);
1076     OPENSSL_free(mdat->input);
1077     OPENSSL_free(mdat->output);
1078 }
1079
1080 static int mac_test_parse(EVP_TEST *t,
1081                           const char *keyword, const char *value)
1082 {
1083     MAC_DATA *mdata = t->data;
1084
1085     if (strcmp(keyword, "Key") == 0)
1086         return parse_bin(value, &mdata->key, &mdata->key_len);
1087     if (strcmp(keyword, "IV") == 0)
1088         return parse_bin(value, &mdata->iv, &mdata->iv_len);
1089     if (strcmp(keyword, "Custom") == 0)
1090         return parse_bin(value, &mdata->custom, &mdata->custom_len);
1091     if (strcmp(keyword, "Salt") == 0)
1092         return parse_bin(value, &mdata->salt, &mdata->salt_len);
1093     if (strcmp(keyword, "Algorithm") == 0) {
1094         mdata->alg = OPENSSL_strdup(value);
1095         if (!mdata->alg)
1096             return -1;
1097         return 1;
1098     }
1099     if (strcmp(keyword, "Input") == 0)
1100         return parse_bin(value, &mdata->input, &mdata->input_len);
1101     if (strcmp(keyword, "Output") == 0)
1102         return parse_bin(value, &mdata->output, &mdata->output_len);
1103     if (strcmp(keyword, "Ctrl") == 0)
1104         return sk_OPENSSL_STRING_push(mdata->controls,
1105                                       OPENSSL_strdup(value)) != 0;
1106     return 0;
1107 }
1108
1109 static int mac_test_ctrl_pkey(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1110                               const char *value)
1111 {
1112     int rv;
1113     char *p, *tmpval;
1114
1115     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1116         return 0;
1117     p = strchr(tmpval, ':');
1118     if (p != NULL)
1119         *p++ = '\0';
1120     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1121     if (rv == -2)
1122         t->err = "PKEY_CTRL_INVALID";
1123     else if (rv <= 0)
1124         t->err = "PKEY_CTRL_ERROR";
1125     else
1126         rv = 1;
1127     OPENSSL_free(tmpval);
1128     return rv > 0;
1129 }
1130
1131 static int mac_test_run_pkey(EVP_TEST *t)
1132 {
1133     MAC_DATA *expected = t->data;
1134     EVP_MD_CTX *mctx = NULL;
1135     EVP_PKEY_CTX *pctx = NULL, *genctx = NULL;
1136     EVP_PKEY *key = NULL;
1137     const char *mdname = NULL;
1138     EVP_CIPHER *cipher = NULL;
1139     unsigned char *got = NULL;
1140     size_t got_len;
1141     int i;
1142
1143     if (expected->alg == NULL)
1144         TEST_info("Trying the EVP_PKEY %s test", OBJ_nid2sn(expected->type));
1145     else
1146         TEST_info("Trying the EVP_PKEY %s test with %s",
1147                   OBJ_nid2sn(expected->type), expected->alg);
1148
1149     if (expected->type == EVP_PKEY_CMAC) {
1150         if (is_cipher_disabled(expected->alg)) {
1151             TEST_info("skipping, PKEY CMAC '%s' is disabled", expected->alg);
1152             t->skip = 1;
1153             t->err = NULL;
1154             goto err;
1155         }
1156         if (!TEST_ptr(cipher = EVP_CIPHER_fetch(libctx, expected->alg, NULL))) {
1157             t->err = "MAC_KEY_CREATE_ERROR";
1158             goto err;
1159         }
1160         key = EVP_PKEY_new_CMAC_key(NULL, expected->key, expected->key_len,
1161                                     cipher);
1162     } else {
1163         key = EVP_PKEY_new_raw_private_key_with_libctx(libctx,
1164                                                        OBJ_nid2sn(expected->type),
1165                                                        NULL, expected->key,
1166                                                        expected->key_len);
1167     }
1168     if (key == NULL) {
1169         t->err = "MAC_KEY_CREATE_ERROR";
1170         goto err;
1171     }
1172
1173     if (expected->type == EVP_PKEY_HMAC) {
1174         if (is_digest_disabled(expected->alg)) {
1175             TEST_info("skipping, HMAC '%s' is disabled", expected->alg);
1176             t->skip = 1;
1177             t->err = NULL;
1178             goto err;
1179         }
1180         mdname = expected->alg;
1181     }
1182     if (!TEST_ptr(mctx = EVP_MD_CTX_new())) {
1183         t->err = "INTERNAL_ERROR";
1184         goto err;
1185     }
1186     if (!EVP_DigestSignInit_with_libctx(mctx, &pctx, mdname, libctx, NULL, key)) {
1187         t->err = "DIGESTSIGNINIT_ERROR";
1188         goto err;
1189     }
1190     for (i = 0; i < sk_OPENSSL_STRING_num(expected->controls); i++)
1191         if (!mac_test_ctrl_pkey(t, pctx,
1192                                 sk_OPENSSL_STRING_value(expected->controls,
1193                                                         i))) {
1194             t->err = "EVPPKEYCTXCTRL_ERROR";
1195             goto err;
1196         }
1197     if (!EVP_DigestSignUpdate(mctx, expected->input, expected->input_len)) {
1198         t->err = "DIGESTSIGNUPDATE_ERROR";
1199         goto err;
1200     }
1201     if (!EVP_DigestSignFinal(mctx, NULL, &got_len)) {
1202         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
1203         goto err;
1204     }
1205     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1206         t->err = "TEST_FAILURE";
1207         goto err;
1208     }
1209     if (!EVP_DigestSignFinal(mctx, got, &got_len)
1210             || !memory_err_compare(t, "TEST_MAC_ERR",
1211                                    expected->output, expected->output_len,
1212                                    got, got_len)) {
1213         t->err = "TEST_MAC_ERR";
1214         goto err;
1215     }
1216     t->err = NULL;
1217  err:
1218     EVP_CIPHER_free(cipher);
1219     EVP_MD_CTX_free(mctx);
1220     OPENSSL_free(got);
1221     EVP_PKEY_CTX_free(genctx);
1222     EVP_PKEY_free(key);
1223     return 1;
1224 }
1225
1226 static int mac_test_run_mac(EVP_TEST *t)
1227 {
1228     MAC_DATA *expected = t->data;
1229     EVP_MAC_CTX *ctx = NULL;
1230     unsigned char *got = NULL;
1231     size_t got_len;
1232     int i;
1233     OSSL_PARAM params[21];
1234     size_t params_n = 0;
1235     size_t params_n_allocstart = 0;
1236     const OSSL_PARAM *defined_params =
1237         EVP_MAC_settable_ctx_params(expected->mac);
1238
1239     if (expected->alg == NULL)
1240         TEST_info("Trying the EVP_MAC %s test", expected->mac_name);
1241     else
1242         TEST_info("Trying the EVP_MAC %s test with %s",
1243                   expected->mac_name, expected->alg);
1244
1245     if (expected->alg != NULL) {
1246         /*
1247          * The underlying algorithm may be a cipher or a digest.
1248          * We don't know which it is, but we can ask the MAC what it
1249          * should be and bet on that.
1250          */
1251         if (OSSL_PARAM_locate_const(defined_params,
1252                                     OSSL_MAC_PARAM_CIPHER) != NULL) {
1253             params[params_n++] =
1254                 OSSL_PARAM_construct_utf8_string(OSSL_MAC_PARAM_CIPHER,
1255                                                  expected->alg, 0);
1256         } else if (OSSL_PARAM_locate_const(defined_params,
1257                                            OSSL_MAC_PARAM_DIGEST) != NULL) {
1258             params[params_n++] =
1259                 OSSL_PARAM_construct_utf8_string(OSSL_MAC_PARAM_DIGEST,
1260                                                  expected->alg, 0);
1261         } else {
1262             t->err = "MAC_BAD_PARAMS";
1263             goto err;
1264         }
1265     }
1266     if (expected->key != NULL)
1267         params[params_n++] =
1268             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_KEY,
1269                                               expected->key,
1270                                               expected->key_len);
1271     if (expected->custom != NULL)
1272         params[params_n++] =
1273             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_CUSTOM,
1274                                               expected->custom,
1275                                               expected->custom_len);
1276     if (expected->salt != NULL)
1277         params[params_n++] =
1278             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_SALT,
1279                                               expected->salt,
1280                                               expected->salt_len);
1281     if (expected->iv != NULL)
1282         params[params_n++] =
1283             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_IV,
1284                                               expected->iv,
1285                                               expected->iv_len);
1286
1287     /* Unknown controls.  They must match parameters that the MAC recognizes */
1288     if (params_n + sk_OPENSSL_STRING_num(expected->controls)
1289         >= OSSL_NELEM(params)) {
1290         t->err = "MAC_TOO_MANY_PARAMETERS";
1291         goto err;
1292     }
1293     params_n_allocstart = params_n;
1294     for (i = 0; i < sk_OPENSSL_STRING_num(expected->controls); i++) {
1295         char *tmpkey, *tmpval;
1296         char *value = sk_OPENSSL_STRING_value(expected->controls, i);
1297
1298         if (!TEST_ptr(tmpkey = OPENSSL_strdup(value))) {
1299             t->err = "MAC_PARAM_ERROR";
1300             goto err;
1301         }
1302         tmpval = strchr(tmpkey, ':');
1303         if (tmpval != NULL)
1304             *tmpval++ = '\0';
1305
1306         if (tmpval == NULL
1307             || !OSSL_PARAM_allocate_from_text(&params[params_n],
1308                                               defined_params,
1309                                               tmpkey, tmpval,
1310                                               strlen(tmpval), NULL)) {
1311             OPENSSL_free(tmpkey);
1312             t->err = "MAC_PARAM_ERROR";
1313             goto err;
1314         }
1315         params_n++;
1316
1317         OPENSSL_free(tmpkey);
1318     }
1319     params[params_n] = OSSL_PARAM_construct_end();
1320
1321     if ((ctx = EVP_MAC_CTX_new(expected->mac)) == NULL) {
1322         t->err = "MAC_CREATE_ERROR";
1323         goto err;
1324     }
1325
1326     if (!EVP_MAC_CTX_set_params(ctx, params)) {
1327         t->err = "MAC_BAD_PARAMS";
1328         goto err;
1329     }
1330     if (!EVP_MAC_init(ctx)) {
1331         t->err = "MAC_INIT_ERROR";
1332         goto err;
1333     }
1334     if (!EVP_MAC_update(ctx, expected->input, expected->input_len)) {
1335         t->err = "MAC_UPDATE_ERROR";
1336         goto err;
1337     }
1338     if (!EVP_MAC_final(ctx, NULL, &got_len, 0)) {
1339         t->err = "MAC_FINAL_LENGTH_ERROR";
1340         goto err;
1341     }
1342     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1343         t->err = "TEST_FAILURE";
1344         goto err;
1345     }
1346     if (!EVP_MAC_final(ctx, got, &got_len, got_len)
1347         || !memory_err_compare(t, "TEST_MAC_ERR",
1348                                expected->output, expected->output_len,
1349                                got, got_len)) {
1350         t->err = "TEST_MAC_ERR";
1351         goto err;
1352     }
1353     t->err = NULL;
1354  err:
1355     while (params_n-- > params_n_allocstart) {
1356         OPENSSL_free(params[params_n].data);
1357     }
1358     EVP_MAC_CTX_free(ctx);
1359     OPENSSL_free(got);
1360     return 1;
1361 }
1362
1363 static int mac_test_run(EVP_TEST *t)
1364 {
1365     MAC_DATA *expected = t->data;
1366
1367     if (expected->mac != NULL)
1368         return mac_test_run_mac(t);
1369     return mac_test_run_pkey(t);
1370 }
1371
1372 static const EVP_TEST_METHOD mac_test_method = {
1373     "MAC",
1374     mac_test_init,
1375     mac_test_cleanup,
1376     mac_test_parse,
1377     mac_test_run
1378 };
1379
1380
1381 /**
1382  **  PUBLIC KEY TESTS
1383  **  These are all very similar and share much common code.
1384  **/
1385
1386 typedef struct pkey_data_st {
1387     /* Context for this operation */
1388     EVP_PKEY_CTX *ctx;
1389     /* Key operation to perform */
1390     int (*keyop) (EVP_PKEY_CTX *ctx,
1391                   unsigned char *sig, size_t *siglen,
1392                   const unsigned char *tbs, size_t tbslen);
1393     /* Input to MAC */
1394     unsigned char *input;
1395     size_t input_len;
1396     /* Expected output */
1397     unsigned char *output;
1398     size_t output_len;
1399 } PKEY_DATA;
1400
1401 /*
1402  * Perform public key operation setup: lookup key, allocated ctx and call
1403  * the appropriate initialisation function
1404  */
1405 static int pkey_test_init(EVP_TEST *t, const char *name,
1406                           int use_public,
1407                           int (*keyopinit) (EVP_PKEY_CTX *ctx),
1408                           int (*keyop)(EVP_PKEY_CTX *ctx,
1409                                        unsigned char *sig, size_t *siglen,
1410                                        const unsigned char *tbs,
1411                                        size_t tbslen))
1412 {
1413     PKEY_DATA *kdata;
1414     EVP_PKEY *pkey = NULL;
1415     int rv = 0;
1416
1417     if (use_public)
1418         rv = find_key(&pkey, name, public_keys);
1419     if (rv == 0)
1420         rv = find_key(&pkey, name, private_keys);
1421     if (rv == 0 || pkey == NULL) {
1422         TEST_info("skipping, key '%s' is disabled", name);
1423         t->skip = 1;
1424         return 1;
1425     }
1426
1427     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata)))) {
1428         EVP_PKEY_free(pkey);
1429         return 0;
1430     }
1431     kdata->keyop = keyop;
1432     if (!TEST_ptr(kdata->ctx = EVP_PKEY_CTX_new_from_pkey(libctx, pkey, NULL))) {
1433         EVP_PKEY_free(pkey);
1434         OPENSSL_free(kdata);
1435         return 0;
1436     }
1437     if (keyopinit(kdata->ctx) <= 0)
1438         t->err = "KEYOP_INIT_ERROR";
1439     t->data = kdata;
1440     return 1;
1441 }
1442
1443 static void pkey_test_cleanup(EVP_TEST *t)
1444 {
1445     PKEY_DATA *kdata = t->data;
1446
1447     OPENSSL_free(kdata->input);
1448     OPENSSL_free(kdata->output);
1449     EVP_PKEY_CTX_free(kdata->ctx);
1450 }
1451
1452 static int pkey_test_ctrl(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1453                           const char *value)
1454 {
1455     int rv;
1456     char *p, *tmpval;
1457
1458     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1459         return 0;
1460     p = strchr(tmpval, ':');
1461     if (p != NULL)
1462         *p++ = '\0';
1463     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1464     if (rv == -2) {
1465         t->err = "PKEY_CTRL_INVALID";
1466         rv = 1;
1467     } else if (p != NULL && rv <= 0) {
1468         if (is_digest_disabled(p) || is_cipher_disabled(p)) {
1469             TEST_info("skipping, '%s' is disabled", p);
1470             t->skip = 1;
1471             rv = 1;
1472         } else {
1473             t->err = "PKEY_CTRL_ERROR";
1474             rv = 1;
1475         }
1476     }
1477     OPENSSL_free(tmpval);
1478     return rv > 0;
1479 }
1480
1481 static int pkey_test_parse(EVP_TEST *t,
1482                            const char *keyword, const char *value)
1483 {
1484     PKEY_DATA *kdata = t->data;
1485     if (strcmp(keyword, "Input") == 0)
1486         return parse_bin(value, &kdata->input, &kdata->input_len);
1487     if (strcmp(keyword, "Output") == 0)
1488         return parse_bin(value, &kdata->output, &kdata->output_len);
1489     if (strcmp(keyword, "Ctrl") == 0)
1490         return pkey_test_ctrl(t, kdata->ctx, value);
1491     return 0;
1492 }
1493
1494 static int pkey_test_run(EVP_TEST *t)
1495 {
1496     PKEY_DATA *expected = t->data;
1497     unsigned char *got = NULL;
1498     size_t got_len;
1499     EVP_PKEY_CTX *copy = NULL;
1500
1501     if (expected->keyop(expected->ctx, NULL, &got_len,
1502                         expected->input, expected->input_len) <= 0
1503             || !TEST_ptr(got = OPENSSL_malloc(got_len))) {
1504         t->err = "KEYOP_LENGTH_ERROR";
1505         goto err;
1506     }
1507     if (expected->keyop(expected->ctx, got, &got_len,
1508                         expected->input, expected->input_len) <= 0) {
1509         t->err = "KEYOP_ERROR";
1510         goto err;
1511     }
1512     if (!memory_err_compare(t, "KEYOP_MISMATCH",
1513                             expected->output, expected->output_len,
1514                             got, got_len))
1515         goto err;
1516
1517     t->err = NULL;
1518     OPENSSL_free(got);
1519     got = NULL;
1520
1521     /* Repeat the test on a copy. */
1522     if (!TEST_ptr(copy = EVP_PKEY_CTX_dup(expected->ctx))) {
1523         t->err = "INTERNAL_ERROR";
1524         goto err;
1525     }
1526     if (expected->keyop(copy, NULL, &got_len, expected->input,
1527                         expected->input_len) <= 0
1528             || !TEST_ptr(got = OPENSSL_malloc(got_len))) {
1529         t->err = "KEYOP_LENGTH_ERROR";
1530         goto err;
1531     }
1532     if (expected->keyop(copy, got, &got_len, expected->input,
1533                         expected->input_len) <= 0) {
1534         t->err = "KEYOP_ERROR";
1535         goto err;
1536     }
1537     if (!memory_err_compare(t, "KEYOP_MISMATCH",
1538                             expected->output, expected->output_len,
1539                             got, got_len))
1540         goto err;
1541
1542  err:
1543     OPENSSL_free(got);
1544     EVP_PKEY_CTX_free(copy);
1545     return 1;
1546 }
1547
1548 static int sign_test_init(EVP_TEST *t, const char *name)
1549 {
1550     return pkey_test_init(t, name, 0, EVP_PKEY_sign_init, EVP_PKEY_sign);
1551 }
1552
1553 static const EVP_TEST_METHOD psign_test_method = {
1554     "Sign",
1555     sign_test_init,
1556     pkey_test_cleanup,
1557     pkey_test_parse,
1558     pkey_test_run
1559 };
1560
1561 static int verify_recover_test_init(EVP_TEST *t, const char *name)
1562 {
1563     return pkey_test_init(t, name, 1, EVP_PKEY_verify_recover_init,
1564                           EVP_PKEY_verify_recover);
1565 }
1566
1567 static const EVP_TEST_METHOD pverify_recover_test_method = {
1568     "VerifyRecover",
1569     verify_recover_test_init,
1570     pkey_test_cleanup,
1571     pkey_test_parse,
1572     pkey_test_run
1573 };
1574
1575 static int decrypt_test_init(EVP_TEST *t, const char *name)
1576 {
1577     return pkey_test_init(t, name, 0, EVP_PKEY_decrypt_init,
1578                           EVP_PKEY_decrypt);
1579 }
1580
1581 static const EVP_TEST_METHOD pdecrypt_test_method = {
1582     "Decrypt",
1583     decrypt_test_init,
1584     pkey_test_cleanup,
1585     pkey_test_parse,
1586     pkey_test_run
1587 };
1588
1589 static int verify_test_init(EVP_TEST *t, const char *name)
1590 {
1591     return pkey_test_init(t, name, 1, EVP_PKEY_verify_init, 0);
1592 }
1593
1594 static int verify_test_run(EVP_TEST *t)
1595 {
1596     PKEY_DATA *kdata = t->data;
1597
1598     if (EVP_PKEY_verify(kdata->ctx, kdata->output, kdata->output_len,
1599                         kdata->input, kdata->input_len) <= 0)
1600         t->err = "VERIFY_ERROR";
1601     return 1;
1602 }
1603
1604 static const EVP_TEST_METHOD pverify_test_method = {
1605     "Verify",
1606     verify_test_init,
1607     pkey_test_cleanup,
1608     pkey_test_parse,
1609     verify_test_run
1610 };
1611
1612 static int pderive_test_init(EVP_TEST *t, const char *name)
1613 {
1614     return pkey_test_init(t, name, 0, EVP_PKEY_derive_init, 0);
1615 }
1616
1617 static int pderive_test_parse(EVP_TEST *t,
1618                               const char *keyword, const char *value)
1619 {
1620     PKEY_DATA *kdata = t->data;
1621
1622     if (strcmp(keyword, "PeerKey") == 0) {
1623         EVP_PKEY *peer;
1624         if (find_key(&peer, value, public_keys) == 0)
1625             return -1;
1626         if (EVP_PKEY_derive_set_peer(kdata->ctx, peer) <= 0)
1627             return -1;
1628         return 1;
1629     }
1630     if (strcmp(keyword, "SharedSecret") == 0)
1631         return parse_bin(value, &kdata->output, &kdata->output_len);
1632     if (strcmp(keyword, "Ctrl") == 0)
1633         return pkey_test_ctrl(t, kdata->ctx, value);
1634     return 0;
1635 }
1636
1637 static int pderive_test_run(EVP_TEST *t)
1638 {
1639     PKEY_DATA *expected = t->data;
1640     unsigned char *got = NULL;
1641     size_t got_len;
1642
1643     if (EVP_PKEY_derive(expected->ctx, NULL, &got_len) <= 0) {
1644         t->err = "DERIVE_ERROR";
1645         goto err;
1646     }
1647     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1648         t->err = "DERIVE_ERROR";
1649         goto err;
1650     }
1651     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
1652         t->err = "DERIVE_ERROR";
1653         goto err;
1654     }
1655     if (!memory_err_compare(t, "SHARED_SECRET_MISMATCH",
1656                             expected->output, expected->output_len,
1657                             got, got_len))
1658         goto err;
1659
1660     t->err = NULL;
1661  err:
1662     OPENSSL_free(got);
1663     return 1;
1664 }
1665
1666 static const EVP_TEST_METHOD pderive_test_method = {
1667     "Derive",
1668     pderive_test_init,
1669     pkey_test_cleanup,
1670     pderive_test_parse,
1671     pderive_test_run
1672 };
1673
1674
1675 /**
1676  **  PBE TESTS
1677  **/
1678
1679 typedef enum pbe_type_enum {
1680     PBE_TYPE_INVALID = 0,
1681     PBE_TYPE_SCRYPT, PBE_TYPE_PBKDF2, PBE_TYPE_PKCS12
1682 } PBE_TYPE;
1683
1684 typedef struct pbe_data_st {
1685     PBE_TYPE pbe_type;
1686         /* scrypt parameters */
1687     uint64_t N, r, p, maxmem;
1688         /* PKCS#12 parameters */
1689     int id, iter;
1690     const EVP_MD *md;
1691         /* password */
1692     unsigned char *pass;
1693     size_t pass_len;
1694         /* salt */
1695     unsigned char *salt;
1696     size_t salt_len;
1697         /* Expected output */
1698     unsigned char *key;
1699     size_t key_len;
1700 } PBE_DATA;
1701
1702 #ifndef OPENSSL_NO_SCRYPT
1703 /* Parse unsigned decimal 64 bit integer value */
1704 static int parse_uint64(const char *value, uint64_t *pr)
1705 {
1706     const char *p = value;
1707
1708     if (!TEST_true(*p)) {
1709         TEST_info("Invalid empty integer value");
1710         return -1;
1711     }
1712     for (*pr = 0; *p; ) {
1713         if (*pr > UINT64_MAX / 10) {
1714             TEST_error("Integer overflow in string %s", value);
1715             return -1;
1716         }
1717         *pr *= 10;
1718         if (!TEST_true(isdigit((unsigned char)*p))) {
1719             TEST_error("Invalid character in string %s", value);
1720             return -1;
1721         }
1722         *pr += *p - '0';
1723         p++;
1724     }
1725     return 1;
1726 }
1727
1728 static int scrypt_test_parse(EVP_TEST *t,
1729                              const char *keyword, const char *value)
1730 {
1731     PBE_DATA *pdata = t->data;
1732
1733     if (strcmp(keyword, "N") == 0)
1734         return parse_uint64(value, &pdata->N);
1735     if (strcmp(keyword, "p") == 0)
1736         return parse_uint64(value, &pdata->p);
1737     if (strcmp(keyword, "r") == 0)
1738         return parse_uint64(value, &pdata->r);
1739     if (strcmp(keyword, "maxmem") == 0)
1740         return parse_uint64(value, &pdata->maxmem);
1741     return 0;
1742 }
1743 #endif
1744
1745 static int pbkdf2_test_parse(EVP_TEST *t,
1746                              const char *keyword, const char *value)
1747 {
1748     PBE_DATA *pdata = t->data;
1749
1750     if (strcmp(keyword, "iter") == 0) {
1751         pdata->iter = atoi(value);
1752         if (pdata->iter <= 0)
1753             return -1;
1754         return 1;
1755     }
1756     if (strcmp(keyword, "MD") == 0) {
1757         pdata->md = EVP_get_digestbyname(value);
1758         if (pdata->md == NULL)
1759             return -1;
1760         return 1;
1761     }
1762     return 0;
1763 }
1764
1765 static int pkcs12_test_parse(EVP_TEST *t,
1766                              const char *keyword, const char *value)
1767 {
1768     PBE_DATA *pdata = t->data;
1769
1770     if (strcmp(keyword, "id") == 0) {
1771         pdata->id = atoi(value);
1772         if (pdata->id <= 0)
1773             return -1;
1774         return 1;
1775     }
1776     return pbkdf2_test_parse(t, keyword, value);
1777 }
1778
1779 static int pbe_test_init(EVP_TEST *t, const char *alg)
1780 {
1781     PBE_DATA *pdat;
1782     PBE_TYPE pbe_type = PBE_TYPE_INVALID;
1783
1784     if (is_kdf_disabled(alg)) {
1785         TEST_info("skipping, '%s' is disabled", alg);
1786         t->skip = 1;
1787         return 1;
1788     }
1789     if (strcmp(alg, "scrypt") == 0) {
1790         pbe_type = PBE_TYPE_SCRYPT;
1791     } else if (strcmp(alg, "pbkdf2") == 0) {
1792         pbe_type = PBE_TYPE_PBKDF2;
1793     } else if (strcmp(alg, "pkcs12") == 0) {
1794         pbe_type = PBE_TYPE_PKCS12;
1795     } else {
1796         TEST_error("Unknown pbe algorithm %s", alg);
1797     }
1798     pdat = OPENSSL_zalloc(sizeof(*pdat));
1799     pdat->pbe_type = pbe_type;
1800     t->data = pdat;
1801     return 1;
1802 }
1803
1804 static void pbe_test_cleanup(EVP_TEST *t)
1805 {
1806     PBE_DATA *pdat = t->data;
1807
1808     OPENSSL_free(pdat->pass);
1809     OPENSSL_free(pdat->salt);
1810     OPENSSL_free(pdat->key);
1811 }
1812
1813 static int pbe_test_parse(EVP_TEST *t,
1814                           const char *keyword, const char *value)
1815 {
1816     PBE_DATA *pdata = t->data;
1817
1818     if (strcmp(keyword, "Password") == 0)
1819         return parse_bin(value, &pdata->pass, &pdata->pass_len);
1820     if (strcmp(keyword, "Salt") == 0)
1821         return parse_bin(value, &pdata->salt, &pdata->salt_len);
1822     if (strcmp(keyword, "Key") == 0)
1823         return parse_bin(value, &pdata->key, &pdata->key_len);
1824     if (pdata->pbe_type == PBE_TYPE_PBKDF2)
1825         return pbkdf2_test_parse(t, keyword, value);
1826     else if (pdata->pbe_type == PBE_TYPE_PKCS12)
1827         return pkcs12_test_parse(t, keyword, value);
1828 #ifndef OPENSSL_NO_SCRYPT
1829     else if (pdata->pbe_type == PBE_TYPE_SCRYPT)
1830         return scrypt_test_parse(t, keyword, value);
1831 #endif
1832     return 0;
1833 }
1834
1835 static int pbe_test_run(EVP_TEST *t)
1836 {
1837     PBE_DATA *expected = t->data;
1838     unsigned char *key;
1839     EVP_MD *fetched_digest = NULL;
1840     OPENSSL_CTX *save_libctx;
1841
1842     save_libctx = OPENSSL_CTX_set0_default(libctx);
1843
1844     if (!TEST_ptr(key = OPENSSL_malloc(expected->key_len))) {
1845         t->err = "INTERNAL_ERROR";
1846         goto err;
1847     }
1848     if (expected->pbe_type == PBE_TYPE_PBKDF2) {
1849         if (PKCS5_PBKDF2_HMAC((char *)expected->pass, expected->pass_len,
1850                               expected->salt, expected->salt_len,
1851                               expected->iter, expected->md,
1852                               expected->key_len, key) == 0) {
1853             t->err = "PBKDF2_ERROR";
1854             goto err;
1855         }
1856 #ifndef OPENSSL_NO_SCRYPT
1857     } else if (expected->pbe_type == PBE_TYPE_SCRYPT) {
1858         if (EVP_PBE_scrypt((const char *)expected->pass, expected->pass_len,
1859                             expected->salt, expected->salt_len,
1860                             expected->N, expected->r, expected->p,
1861                             expected->maxmem, key, expected->key_len) == 0) {
1862             t->err = "SCRYPT_ERROR";
1863             goto err;
1864         }
1865 #endif
1866     } else if (expected->pbe_type == PBE_TYPE_PKCS12) {
1867         fetched_digest = EVP_MD_fetch(libctx, EVP_MD_name(expected->md), NULL);
1868         if (fetched_digest == NULL) {
1869             t->err = "PKCS12_ERROR";
1870             goto err;
1871         }
1872         if (PKCS12_key_gen_uni(expected->pass, expected->pass_len,
1873                                expected->salt, expected->salt_len,
1874                                expected->id, expected->iter, expected->key_len,
1875                                key, fetched_digest) == 0) {
1876             t->err = "PKCS12_ERROR";
1877             goto err;
1878         }
1879     }
1880     if (!memory_err_compare(t, "KEY_MISMATCH", expected->key, expected->key_len,
1881                             key, expected->key_len))
1882         goto err;
1883
1884     t->err = NULL;
1885 err:
1886     EVP_MD_free(fetched_digest);
1887     OPENSSL_free(key);
1888     OPENSSL_CTX_set0_default(save_libctx);
1889     return 1;
1890 }
1891
1892 static const EVP_TEST_METHOD pbe_test_method = {
1893     "PBE",
1894     pbe_test_init,
1895     pbe_test_cleanup,
1896     pbe_test_parse,
1897     pbe_test_run
1898 };
1899
1900
1901 /**
1902  **  BASE64 TESTS
1903  **/
1904
1905 typedef enum {
1906     BASE64_CANONICAL_ENCODING = 0,
1907     BASE64_VALID_ENCODING = 1,
1908     BASE64_INVALID_ENCODING = 2
1909 } base64_encoding_type;
1910
1911 typedef struct encode_data_st {
1912     /* Input to encoding */
1913     unsigned char *input;
1914     size_t input_len;
1915     /* Expected output */
1916     unsigned char *output;
1917     size_t output_len;
1918     base64_encoding_type encoding;
1919 } ENCODE_DATA;
1920
1921 static int encode_test_init(EVP_TEST *t, const char *encoding)
1922 {
1923     ENCODE_DATA *edata;
1924
1925     if (!TEST_ptr(edata = OPENSSL_zalloc(sizeof(*edata))))
1926         return 0;
1927     if (strcmp(encoding, "canonical") == 0) {
1928         edata->encoding = BASE64_CANONICAL_ENCODING;
1929     } else if (strcmp(encoding, "valid") == 0) {
1930         edata->encoding = BASE64_VALID_ENCODING;
1931     } else if (strcmp(encoding, "invalid") == 0) {
1932         edata->encoding = BASE64_INVALID_ENCODING;
1933         if (!TEST_ptr(t->expected_err = OPENSSL_strdup("DECODE_ERROR")))
1934             goto err;
1935     } else {
1936         TEST_error("Bad encoding: %s."
1937                    " Should be one of {canonical, valid, invalid}",
1938                    encoding);
1939         goto err;
1940     }
1941     t->data = edata;
1942     return 1;
1943 err:
1944     OPENSSL_free(edata);
1945     return 0;
1946 }
1947
1948 static void encode_test_cleanup(EVP_TEST *t)
1949 {
1950     ENCODE_DATA *edata = t->data;
1951
1952     OPENSSL_free(edata->input);
1953     OPENSSL_free(edata->output);
1954     memset(edata, 0, sizeof(*edata));
1955 }
1956
1957 static int encode_test_parse(EVP_TEST *t,
1958                              const char *keyword, const char *value)
1959 {
1960     ENCODE_DATA *edata = t->data;
1961
1962     if (strcmp(keyword, "Input") == 0)
1963         return parse_bin(value, &edata->input, &edata->input_len);
1964     if (strcmp(keyword, "Output") == 0)
1965         return parse_bin(value, &edata->output, &edata->output_len);
1966     return 0;
1967 }
1968
1969 static int encode_test_run(EVP_TEST *t)
1970 {
1971     ENCODE_DATA *expected = t->data;
1972     unsigned char *encode_out = NULL, *decode_out = NULL;
1973     int output_len, chunk_len;
1974     EVP_ENCODE_CTX *decode_ctx = NULL, *encode_ctx = NULL;
1975
1976     if (!TEST_ptr(decode_ctx = EVP_ENCODE_CTX_new())) {
1977         t->err = "INTERNAL_ERROR";
1978         goto err;
1979     }
1980
1981     if (expected->encoding == BASE64_CANONICAL_ENCODING) {
1982
1983         if (!TEST_ptr(encode_ctx = EVP_ENCODE_CTX_new())
1984                 || !TEST_ptr(encode_out =
1985                         OPENSSL_malloc(EVP_ENCODE_LENGTH(expected->input_len))))
1986             goto err;
1987
1988         EVP_EncodeInit(encode_ctx);
1989         if (!TEST_true(EVP_EncodeUpdate(encode_ctx, encode_out, &chunk_len,
1990                                         expected->input, expected->input_len)))
1991             goto err;
1992
1993         output_len = chunk_len;
1994
1995         EVP_EncodeFinal(encode_ctx, encode_out + chunk_len, &chunk_len);
1996         output_len += chunk_len;
1997
1998         if (!memory_err_compare(t, "BAD_ENCODING",
1999                                 expected->output, expected->output_len,
2000                                 encode_out, output_len))
2001             goto err;
2002     }
2003
2004     if (!TEST_ptr(decode_out =
2005                 OPENSSL_malloc(EVP_DECODE_LENGTH(expected->output_len))))
2006         goto err;
2007
2008     EVP_DecodeInit(decode_ctx);
2009     if (EVP_DecodeUpdate(decode_ctx, decode_out, &chunk_len, expected->output,
2010                          expected->output_len) < 0) {
2011         t->err = "DECODE_ERROR";
2012         goto err;
2013     }
2014     output_len = chunk_len;
2015
2016     if (EVP_DecodeFinal(decode_ctx, decode_out + chunk_len, &chunk_len) != 1) {
2017         t->err = "DECODE_ERROR";
2018         goto err;
2019     }
2020     output_len += chunk_len;
2021
2022     if (expected->encoding != BASE64_INVALID_ENCODING
2023             && !memory_err_compare(t, "BAD_DECODING",
2024                                    expected->input, expected->input_len,
2025                                    decode_out, output_len)) {
2026         t->err = "BAD_DECODING";
2027         goto err;
2028     }
2029
2030     t->err = NULL;
2031  err:
2032     OPENSSL_free(encode_out);
2033     OPENSSL_free(decode_out);
2034     EVP_ENCODE_CTX_free(decode_ctx);
2035     EVP_ENCODE_CTX_free(encode_ctx);
2036     return 1;
2037 }
2038
2039 static const EVP_TEST_METHOD encode_test_method = {
2040     "Encoding",
2041     encode_test_init,
2042     encode_test_cleanup,
2043     encode_test_parse,
2044     encode_test_run,
2045 };
2046
2047
2048 /**
2049  **  RAND TESTS
2050  **/
2051 #define MAX_RAND_REPEATS    15
2052
2053 typedef struct rand_data_pass_st {
2054     unsigned char *entropy;
2055     unsigned char *reseed_entropy;
2056     unsigned char *nonce;
2057     unsigned char *pers;
2058     unsigned char *reseed_addin;
2059     unsigned char *addinA;
2060     unsigned char *addinB;
2061     unsigned char *pr_entropyA;
2062     unsigned char *pr_entropyB;
2063     unsigned char *output;
2064     size_t entropy_len, nonce_len, pers_len, addinA_len, addinB_len,
2065            pr_entropyA_len, pr_entropyB_len, output_len, reseed_entropy_len,
2066            reseed_addin_len;
2067 } RAND_DATA_PASS;
2068
2069 typedef struct rand_data_st {
2070     /* Context for this operation */
2071     EVP_RAND_CTX *ctx;
2072     EVP_RAND_CTX *parent;
2073     int n;
2074     int prediction_resistance;
2075     int use_df;
2076     unsigned int generate_bits;
2077     char *cipher;
2078     char *digest;
2079
2080     /* Expected output */
2081     RAND_DATA_PASS data[MAX_RAND_REPEATS];
2082 } RAND_DATA;
2083
2084 static int rand_test_init(EVP_TEST *t, const char *name)
2085 {
2086     RAND_DATA *rdata;
2087     EVP_RAND *rand;
2088     OSSL_PARAM params[2] = { OSSL_PARAM_END, OSSL_PARAM_END };
2089     unsigned int strength = 256;
2090
2091     if (!TEST_ptr(rdata = OPENSSL_zalloc(sizeof(*rdata))))
2092         return 0;
2093
2094     rand = EVP_RAND_fetch(libctx, "TEST-RAND", NULL);
2095     if (rand == NULL)
2096         goto err;
2097     rdata->parent = EVP_RAND_CTX_new(rand, NULL);
2098     EVP_RAND_free(rand);
2099     if (rdata->parent == NULL)
2100         goto err;
2101
2102     *params = OSSL_PARAM_construct_uint(OSSL_RAND_PARAM_STRENGTH, &strength);
2103     if (!EVP_RAND_set_ctx_params(rdata->parent, params))
2104         goto err;
2105
2106     rand = EVP_RAND_fetch(libctx, name, NULL);
2107     if (rand == NULL)
2108         goto err;
2109     rdata->ctx = EVP_RAND_CTX_new(rand, rdata->parent);
2110     EVP_RAND_free(rand);
2111     if (rdata->ctx == NULL)
2112         goto err;
2113
2114     rdata->n = -1;
2115     t->data = rdata;
2116     return 1;
2117  err:
2118     EVP_RAND_CTX_free(rdata->parent);
2119     OPENSSL_free(rdata);
2120     return 0;
2121 }
2122
2123 static void rand_test_cleanup(EVP_TEST *t)
2124 {
2125     RAND_DATA *rdata = t->data;
2126     int i;
2127
2128     OPENSSL_free(rdata->cipher);
2129     OPENSSL_free(rdata->digest);
2130
2131     for (i = 0; i <= rdata->n; i++) {
2132         OPENSSL_free(rdata->data[i].entropy);
2133         OPENSSL_free(rdata->data[i].reseed_entropy);
2134         OPENSSL_free(rdata->data[i].nonce);
2135         OPENSSL_free(rdata->data[i].pers);
2136         OPENSSL_free(rdata->data[i].reseed_addin);
2137         OPENSSL_free(rdata->data[i].addinA);
2138         OPENSSL_free(rdata->data[i].addinB);
2139         OPENSSL_free(rdata->data[i].pr_entropyA);
2140         OPENSSL_free(rdata->data[i].pr_entropyB);
2141         OPENSSL_free(rdata->data[i].output);
2142     }
2143     EVP_RAND_CTX_free(rdata->ctx);
2144     EVP_RAND_CTX_free(rdata->parent);
2145 }
2146
2147 static int rand_test_parse(EVP_TEST *t,
2148                           const char *keyword, const char *value)
2149 {
2150     RAND_DATA *rdata = t->data;
2151     RAND_DATA_PASS *item;
2152     const char *p;
2153     int n;
2154
2155     if ((p = strchr(keyword, '.')) != NULL) {
2156         n = atoi(++p);
2157         if (n >= MAX_RAND_REPEATS)
2158             return 0;
2159         if (n > rdata->n)
2160             rdata->n = n;
2161         item = rdata->data + n;
2162         if (strncmp(keyword, "Entropy.", sizeof("Entropy")) == 0)
2163             return parse_bin(value, &item->entropy, &item->entropy_len);
2164         if (strncmp(keyword, "ReseedEntropy.", sizeof("ReseedEntropy")) == 0)
2165             return parse_bin(value, &item->reseed_entropy,
2166                              &item->reseed_entropy_len);
2167         if (strncmp(keyword, "Nonce.", sizeof("Nonce")) == 0)
2168             return parse_bin(value, &item->nonce, &item->nonce_len);
2169         if (strncmp(keyword, "PersonalisationString.",
2170                     sizeof("PersonalisationString")) == 0)
2171             return parse_bin(value, &item->pers, &item->pers_len);
2172         if (strncmp(keyword, "ReseedAdditionalInput.",
2173                     sizeof("ReseedAdditionalInput")) == 0)
2174             return parse_bin(value, &item->reseed_addin,
2175                              &item->reseed_addin_len);
2176         if (strncmp(keyword, "AdditionalInputA.",
2177                     sizeof("AdditionalInputA")) == 0)
2178             return parse_bin(value, &item->addinA, &item->addinA_len);
2179         if (strncmp(keyword, "AdditionalInputB.",
2180                     sizeof("AdditionalInputB")) == 0)
2181             return parse_bin(value, &item->addinB, &item->addinB_len);
2182         if (strncmp(keyword, "EntropyPredictionResistanceA.",
2183                     sizeof("EntropyPredictionResistanceA")) == 0)
2184             return parse_bin(value, &item->pr_entropyA, &item->pr_entropyA_len);
2185         if (strncmp(keyword, "EntropyPredictionResistanceB.",
2186                     sizeof("EntropyPredictionResistanceB")) == 0)
2187             return parse_bin(value, &item->pr_entropyB, &item->pr_entropyB_len);
2188         if (strncmp(keyword, "Output.", sizeof("Output")) == 0)
2189             return parse_bin(value, &item->output, &item->output_len);
2190     } else {
2191         if (strcmp(keyword, "Cipher") == 0)
2192             return TEST_ptr(rdata->cipher = OPENSSL_strdup(value));
2193         if (strcmp(keyword, "Digest") == 0)
2194             return TEST_ptr(rdata->digest = OPENSSL_strdup(value));
2195         if (strcmp(keyword, "DerivationFunction") == 0) {
2196             rdata->use_df = atoi(value) != 0;
2197             return 1;
2198         }
2199         if (strcmp(keyword, "GenerateBits") == 0) {
2200             if ((n = atoi(value)) <= 0 || n % 8 != 0)
2201                 return 0;
2202             rdata->generate_bits = (unsigned int)n;
2203             return 1;
2204         }
2205         if (strcmp(keyword, "PredictionResistance") == 0) {
2206             rdata->prediction_resistance = atoi(value) != 0;
2207             return 1;
2208         }
2209     }
2210     return 0;
2211 }
2212
2213 static int rand_test_run(EVP_TEST *t)
2214 {
2215     RAND_DATA *expected = t->data;
2216     RAND_DATA_PASS *item;
2217     unsigned char *got;
2218     size_t got_len = expected->generate_bits / 8;
2219     OSSL_PARAM params[5], *p = params;
2220     int i = -1, ret = 0;
2221     unsigned int strength;
2222     unsigned char *z;
2223
2224     if (!TEST_ptr(got = OPENSSL_malloc(got_len)))
2225         return 0;
2226
2227     *p++ = OSSL_PARAM_construct_int(OSSL_DRBG_PARAM_USE_DF, &expected->use_df);
2228     if (expected->cipher != NULL)
2229         *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_CIPHER,
2230                                                 expected->cipher, 0);
2231     if (expected->digest != NULL)
2232         *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_DIGEST,
2233                                                 expected->digest, 0);
2234     *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_MAC, "HMAC", 0);
2235     *p = OSSL_PARAM_construct_end();
2236     if (!TEST_true(EVP_RAND_set_ctx_params(expected->ctx, params)))
2237         goto err;
2238
2239     strength = EVP_RAND_strength(expected->ctx);
2240     for (i = 0; i <= expected->n; i++) {
2241         item = expected->data + i;
2242
2243         p = params;
2244         z = item->entropy != NULL ? item->entropy : (unsigned char *)"";
2245         *p++ = OSSL_PARAM_construct_octet_string(OSSL_RAND_PARAM_TEST_ENTROPY,
2246                                                  z, item->entropy_len);
2247         z = item->nonce != NULL ? item->nonce : (unsigned char *)"";
2248         *p++ = OSSL_PARAM_construct_octet_string(OSSL_RAND_PARAM_TEST_NONCE,
2249                                                  z, item->nonce_len);
2250         *p = OSSL_PARAM_construct_end();
2251         if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params))
2252                 || !TEST_true(EVP_RAND_instantiate(expected->parent, strength,
2253                                                    0, NULL, 0)))
2254             goto err;
2255
2256         z = item->pers != NULL ? item->pers : (unsigned char *)"";
2257         if (!TEST_true(EVP_RAND_instantiate
2258                            (expected->ctx, strength,
2259                             expected->prediction_resistance, z,
2260                             item->pers_len)))
2261             goto err;
2262
2263         if (item->reseed_entropy != NULL) {
2264             params[0] = OSSL_PARAM_construct_octet_string
2265                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->reseed_entropy,
2266                             item->reseed_entropy_len);
2267             params[1] = OSSL_PARAM_construct_end();
2268             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2269                 goto err;
2270
2271             if (!TEST_true(EVP_RAND_reseed
2272                                (expected->ctx, expected->prediction_resistance,
2273                                 NULL, 0, item->reseed_addin,
2274                                 item->reseed_addin_len)))
2275                 goto err;
2276         }
2277         if (item->pr_entropyA != NULL) {
2278             params[0] = OSSL_PARAM_construct_octet_string
2279                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->pr_entropyA,
2280                             item->pr_entropyA_len);
2281             params[1] = OSSL_PARAM_construct_end();
2282             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2283                 goto err;
2284         }
2285         if (!TEST_true(EVP_RAND_generate
2286                            (expected->ctx, got, got_len,
2287                             strength, expected->prediction_resistance,
2288                             item->addinA, item->addinA_len)))
2289             goto err;
2290
2291         if (item->pr_entropyB != NULL) {
2292             params[0] = OSSL_PARAM_construct_octet_string
2293                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->pr_entropyB,
2294                             item->pr_entropyB_len);
2295             params[1] = OSSL_PARAM_construct_end();
2296             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2297                 return 0;
2298         }
2299         if (!TEST_true(EVP_RAND_generate
2300                            (expected->ctx, got, got_len,
2301                             strength, expected->prediction_resistance,
2302                             item->addinB, item->addinB_len)))
2303             goto err;
2304         if (!TEST_mem_eq(got, got_len, item->output, item->output_len))
2305             goto err;
2306         if (!TEST_true(EVP_RAND_uninstantiate(expected->ctx))
2307                 || !TEST_true(EVP_RAND_uninstantiate(expected->parent))
2308                 || !TEST_true(EVP_RAND_verify_zeroization(expected->ctx))
2309                 || !TEST_int_eq(EVP_RAND_state(expected->ctx),
2310                                 EVP_RAND_STATE_UNINITIALISED))
2311             goto err;
2312     }
2313     t->err = NULL;
2314     ret = 1;
2315
2316  err:
2317     if (ret == 0 && i >= 0)
2318         TEST_info("Error in test case %d of %d\n", i, expected->n + 1);
2319     OPENSSL_free(got);
2320     return ret;
2321 }
2322
2323 static const EVP_TEST_METHOD rand_test_method = {
2324     "RAND",
2325     rand_test_init,
2326     rand_test_cleanup,
2327     rand_test_parse,
2328     rand_test_run
2329 };
2330
2331
2332 /**
2333  **  KDF TESTS
2334  **/
2335 typedef struct kdf_data_st {
2336     /* Context for this operation */
2337     EVP_KDF_CTX *ctx;
2338     /* Expected output */
2339     unsigned char *output;
2340     size_t output_len;
2341     OSSL_PARAM params[20];
2342     OSSL_PARAM *p;
2343 } KDF_DATA;
2344
2345 /*
2346  * Perform public key operation setup: lookup key, allocated ctx and call
2347  * the appropriate initialisation function
2348  */
2349 static int kdf_test_init(EVP_TEST *t, const char *name)
2350 {
2351     KDF_DATA *kdata;
2352     EVP_KDF *kdf;
2353
2354     if (is_kdf_disabled(name)) {
2355         TEST_info("skipping, '%s' is disabled", name);
2356         t->skip = 1;
2357         return 1;
2358     }
2359
2360     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
2361         return 0;
2362     kdata->p = kdata->params;
2363     *kdata->p = OSSL_PARAM_construct_end();
2364
2365     kdf = EVP_KDF_fetch(libctx, name, NULL);
2366     if (kdf == NULL) {
2367         OPENSSL_free(kdata);
2368         return 0;
2369     }
2370     kdata->ctx = EVP_KDF_CTX_new(kdf);
2371     EVP_KDF_free(kdf);
2372     if (kdata->ctx == NULL) {
2373         OPENSSL_free(kdata);
2374         return 0;
2375     }
2376     t->data = kdata;
2377     return 1;
2378 }
2379
2380 static void kdf_test_cleanup(EVP_TEST *t)
2381 {
2382     KDF_DATA *kdata = t->data;
2383     OSSL_PARAM *p;
2384
2385     for (p = kdata->params; p->key != NULL; p++)
2386         OPENSSL_free(p->data);
2387     OPENSSL_free(kdata->output);
2388     EVP_KDF_CTX_free(kdata->ctx);
2389 }
2390
2391 static int kdf_test_ctrl(EVP_TEST *t, EVP_KDF_CTX *kctx,
2392                          const char *value)
2393 {
2394     KDF_DATA *kdata = t->data;
2395     int rv;
2396     char *p, *name;
2397     const OSSL_PARAM *defs = EVP_KDF_settable_ctx_params(EVP_KDF_CTX_kdf(kctx));
2398
2399     if (!TEST_ptr(name = OPENSSL_strdup(value)))
2400         return 0;
2401     p = strchr(name, ':');
2402     if (p != NULL)
2403         *p++ = '\0';
2404
2405     rv = OSSL_PARAM_allocate_from_text(kdata->p, defs, name, p,
2406                                        p != NULL ? strlen(p) : 0, NULL);
2407     *++kdata->p = OSSL_PARAM_construct_end();
2408     if (!rv) {
2409         t->err = "KDF_PARAM_ERROR";
2410         OPENSSL_free(name);
2411         return 0;
2412     }
2413     if (p != NULL && strcmp(name, "digest") == 0) {
2414         if (is_digest_disabled(p)) {
2415             TEST_info("skipping, '%s' is disabled", p);
2416             t->skip = 1;
2417         }
2418     }
2419     if (p != NULL && strcmp(name, "cipher") == 0) {
2420         if (is_cipher_disabled(p)) {
2421             TEST_info("skipping, '%s' is disabled", p);
2422             t->skip = 1;
2423         }
2424     }
2425     OPENSSL_free(name);
2426     return 1;
2427 }
2428
2429 static int kdf_test_parse(EVP_TEST *t,
2430                           const char *keyword, const char *value)
2431 {
2432     KDF_DATA *kdata = t->data;
2433
2434     if (strcmp(keyword, "Output") == 0)
2435         return parse_bin(value, &kdata->output, &kdata->output_len);
2436     if (strncmp(keyword, "Ctrl", 4) == 0)
2437         return kdf_test_ctrl(t, kdata->ctx, value);
2438     return 0;
2439 }
2440
2441 static int kdf_test_run(EVP_TEST *t)
2442 {
2443     KDF_DATA *expected = t->data;
2444     unsigned char *got = NULL;
2445     size_t got_len = expected->output_len;
2446
2447     if (!EVP_KDF_CTX_set_params(expected->ctx, expected->params)) {
2448         t->err = "KDF_CTRL_ERROR";
2449         return 1;
2450     }
2451     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2452         t->err = "INTERNAL_ERROR";
2453         goto err;
2454     }
2455     if (EVP_KDF_derive(expected->ctx, got, got_len) <= 0) {
2456         t->err = "KDF_DERIVE_ERROR";
2457         goto err;
2458     }
2459     if (!memory_err_compare(t, "KDF_MISMATCH",
2460                             expected->output, expected->output_len,
2461                             got, got_len))
2462         goto err;
2463
2464     t->err = NULL;
2465
2466  err:
2467     OPENSSL_free(got);
2468     return 1;
2469 }
2470
2471 static const EVP_TEST_METHOD kdf_test_method = {
2472     "KDF",
2473     kdf_test_init,
2474     kdf_test_cleanup,
2475     kdf_test_parse,
2476     kdf_test_run
2477 };
2478
2479 /**
2480  **  PKEY KDF TESTS
2481  **/
2482
2483 typedef struct pkey_kdf_data_st {
2484     /* Context for this operation */
2485     EVP_PKEY_CTX *ctx;
2486     /* Expected output */
2487     unsigned char *output;
2488     size_t output_len;
2489 } PKEY_KDF_DATA;
2490
2491 /*
2492  * Perform public key operation setup: lookup key, allocated ctx and call
2493  * the appropriate initialisation function
2494  */
2495 static int pkey_kdf_test_init(EVP_TEST *t, const char *name)
2496 {
2497     PKEY_KDF_DATA *kdata = NULL;
2498
2499     if (is_kdf_disabled(name)) {
2500         TEST_info("skipping, '%s' is disabled", name);
2501         t->skip = 1;
2502         return 1;
2503     }
2504
2505     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
2506         return 0;
2507
2508     kdata->ctx = EVP_PKEY_CTX_new_from_name(libctx, name, NULL);
2509     if (kdata->ctx == NULL
2510         || EVP_PKEY_derive_init(kdata->ctx) <= 0)
2511         goto err;
2512
2513     t->data = kdata;
2514     return 1;
2515 err:
2516     EVP_PKEY_CTX_free(kdata->ctx);
2517     OPENSSL_free(kdata);
2518     return 0;
2519 }
2520
2521 static void pkey_kdf_test_cleanup(EVP_TEST *t)
2522 {
2523     PKEY_KDF_DATA *kdata = t->data;
2524
2525     OPENSSL_free(kdata->output);
2526     EVP_PKEY_CTX_free(kdata->ctx);
2527 }
2528
2529 static int pkey_kdf_test_parse(EVP_TEST *t,
2530                                const char *keyword, const char *value)
2531 {
2532     PKEY_KDF_DATA *kdata = t->data;
2533
2534     if (strcmp(keyword, "Output") == 0)
2535         return parse_bin(value, &kdata->output, &kdata->output_len);
2536     if (strncmp(keyword, "Ctrl", 4) == 0)
2537         return pkey_test_ctrl(t, kdata->ctx, value);
2538     return 0;
2539 }
2540
2541 static int pkey_kdf_test_run(EVP_TEST *t)
2542 {
2543     PKEY_KDF_DATA *expected = t->data;
2544     unsigned char *got = NULL;
2545     size_t got_len = expected->output_len;
2546
2547     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2548         t->err = "INTERNAL_ERROR";
2549         goto err;
2550     }
2551     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
2552         t->err = "KDF_DERIVE_ERROR";
2553         goto err;
2554     }
2555     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
2556         t->err = "KDF_MISMATCH";
2557         goto err;
2558     }
2559     t->err = NULL;
2560
2561  err:
2562     OPENSSL_free(got);
2563     return 1;
2564 }
2565
2566 static const EVP_TEST_METHOD pkey_kdf_test_method = {
2567     "PKEYKDF",
2568     pkey_kdf_test_init,
2569     pkey_kdf_test_cleanup,
2570     pkey_kdf_test_parse,
2571     pkey_kdf_test_run
2572 };
2573
2574 /**
2575  **  KEYPAIR TESTS
2576  **/
2577
2578 typedef struct keypair_test_data_st {
2579     EVP_PKEY *privk;
2580     EVP_PKEY *pubk;
2581 } KEYPAIR_TEST_DATA;
2582
2583 static int keypair_test_init(EVP_TEST *t, const char *pair)
2584 {
2585     KEYPAIR_TEST_DATA *data;
2586     int rv = 0;
2587     EVP_PKEY *pk = NULL, *pubk = NULL;
2588     char *pub, *priv = NULL;
2589
2590     /* Split private and public names. */
2591     if (!TEST_ptr(priv = OPENSSL_strdup(pair))
2592             || !TEST_ptr(pub = strchr(priv, ':'))) {
2593         t->err = "PARSING_ERROR";
2594         goto end;
2595     }
2596     *pub++ = '\0';
2597
2598     if (!TEST_true(find_key(&pk, priv, private_keys))) {
2599         TEST_info("Can't find private key: %s", priv);
2600         t->err = "MISSING_PRIVATE_KEY";
2601         goto end;
2602     }
2603     if (!TEST_true(find_key(&pubk, pub, public_keys))) {
2604         TEST_info("Can't find public key: %s", pub);
2605         t->err = "MISSING_PUBLIC_KEY";
2606         goto end;
2607     }
2608
2609     if (pk == NULL && pubk == NULL) {
2610         /* Both keys are listed but unsupported: skip this test */
2611         t->skip = 1;
2612         rv = 1;
2613         goto end;
2614     }
2615
2616     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
2617         goto end;
2618     data->privk = pk;
2619     data->pubk = pubk;
2620     t->data = data;
2621     rv = 1;
2622     t->err = NULL;
2623
2624 end:
2625     OPENSSL_free(priv);
2626     return rv;
2627 }
2628
2629 static void keypair_test_cleanup(EVP_TEST *t)
2630 {
2631     OPENSSL_free(t->data);
2632     t->data = NULL;
2633 }
2634
2635 /*
2636  * For tests that do not accept any custom keywords.
2637  */
2638 static int void_test_parse(EVP_TEST *t, const char *keyword, const char *value)
2639 {
2640     return 0;
2641 }
2642
2643 static int keypair_test_run(EVP_TEST *t)
2644 {
2645     int rv = 0;
2646     const KEYPAIR_TEST_DATA *pair = t->data;
2647
2648     if (pair->privk == NULL || pair->pubk == NULL) {
2649         /*
2650          * this can only happen if only one of the keys is not set
2651          * which means that one of them was unsupported while the
2652          * other isn't: hence a key type mismatch.
2653          */
2654         t->err = "KEYPAIR_TYPE_MISMATCH";
2655         rv = 1;
2656         goto end;
2657     }
2658
2659     if ((rv = EVP_PKEY_eq(pair->privk, pair->pubk)) != 1 ) {
2660         if ( 0 == rv ) {
2661             t->err = "KEYPAIR_MISMATCH";
2662         } else if ( -1 == rv ) {
2663             t->err = "KEYPAIR_TYPE_MISMATCH";
2664         } else if ( -2 == rv ) {
2665             t->err = "UNSUPPORTED_KEY_COMPARISON";
2666         } else {
2667             TEST_error("Unexpected error in key comparison");
2668             rv = 0;
2669             goto end;
2670         }
2671         rv = 1;
2672         goto end;
2673     }
2674
2675     rv = 1;
2676     t->err = NULL;
2677
2678 end:
2679     return rv;
2680 }
2681
2682 static const EVP_TEST_METHOD keypair_test_method = {
2683     "PrivPubKeyPair",
2684     keypair_test_init,
2685     keypair_test_cleanup,
2686     void_test_parse,
2687     keypair_test_run
2688 };
2689
2690 /**
2691  **  KEYGEN TEST
2692  **/
2693
2694 typedef struct keygen_test_data_st {
2695     EVP_PKEY_CTX *genctx; /* Keygen context to use */
2696     char *keyname; /* Key name to store key or NULL */
2697 } KEYGEN_TEST_DATA;
2698
2699 static int keygen_test_init(EVP_TEST *t, const char *alg)
2700 {
2701     KEYGEN_TEST_DATA *data;
2702     EVP_PKEY_CTX *genctx;
2703     int nid = OBJ_sn2nid(alg);
2704
2705     if (nid == NID_undef) {
2706         nid = OBJ_ln2nid(alg);
2707         if (nid == NID_undef)
2708             return 0;
2709     }
2710
2711     if (is_pkey_disabled(alg)) {
2712         t->skip = 1;
2713         return 1;
2714     }
2715     if (!TEST_ptr(genctx = EVP_PKEY_CTX_new_from_name(libctx, alg, NULL)))
2716         goto err;
2717
2718     if (EVP_PKEY_keygen_init(genctx) <= 0) {
2719         t->err = "KEYGEN_INIT_ERROR";
2720         goto err;
2721     }
2722
2723     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
2724         goto err;
2725     data->genctx = genctx;
2726     data->keyname = NULL;
2727     t->data = data;
2728     t->err = NULL;
2729     return 1;
2730
2731 err:
2732     EVP_PKEY_CTX_free(genctx);
2733     return 0;
2734 }
2735
2736 static void keygen_test_cleanup(EVP_TEST *t)
2737 {
2738     KEYGEN_TEST_DATA *keygen = t->data;
2739
2740     EVP_PKEY_CTX_free(keygen->genctx);
2741     OPENSSL_free(keygen->keyname);
2742     OPENSSL_free(t->data);
2743     t->data = NULL;
2744 }
2745
2746 static int keygen_test_parse(EVP_TEST *t,
2747                              const char *keyword, const char *value)
2748 {
2749     KEYGEN_TEST_DATA *keygen = t->data;
2750
2751     if (strcmp(keyword, "KeyName") == 0)
2752         return TEST_ptr(keygen->keyname = OPENSSL_strdup(value));
2753     if (strcmp(keyword, "Ctrl") == 0)
2754         return pkey_test_ctrl(t, keygen->genctx, value);
2755     return 0;
2756 }
2757
2758 static int keygen_test_run(EVP_TEST *t)
2759 {
2760     KEYGEN_TEST_DATA *keygen = t->data;
2761     EVP_PKEY *pkey = NULL;
2762     int rv = 1;
2763
2764     if (EVP_PKEY_keygen(keygen->genctx, &pkey) <= 0) {
2765         t->err = "KEYGEN_GENERATE_ERROR";
2766         goto err;
2767     }
2768
2769     if (!evp_pkey_is_provided(pkey)) {
2770         TEST_info("Warning: legacy key generated %s", keygen->keyname);
2771         goto err;
2772     }
2773     if (keygen->keyname != NULL) {
2774         KEY_LIST *key;
2775
2776         rv = 0;
2777         if (find_key(NULL, keygen->keyname, private_keys)) {
2778             TEST_info("Duplicate key %s", keygen->keyname);
2779             goto err;
2780         }
2781
2782         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
2783             goto err;
2784         key->name = keygen->keyname;
2785         keygen->keyname = NULL;
2786         key->key = pkey;
2787         key->next = private_keys;
2788         private_keys = key;
2789         rv = 1;
2790     } else {
2791         EVP_PKEY_free(pkey);
2792     }
2793
2794     t->err = NULL;
2795
2796 err:
2797     return rv;
2798 }
2799
2800 static const EVP_TEST_METHOD keygen_test_method = {
2801     "KeyGen",
2802     keygen_test_init,
2803     keygen_test_cleanup,
2804     keygen_test_parse,
2805     keygen_test_run,
2806 };
2807
2808 /**
2809  **  DIGEST SIGN+VERIFY TESTS
2810  **/
2811
2812 typedef struct {
2813     int is_verify; /* Set to 1 if verifying */
2814     int is_oneshot; /* Set to 1 for one shot operation */
2815     const EVP_MD *md; /* Digest to use */
2816     EVP_MD_CTX *ctx; /* Digest context */
2817     EVP_PKEY_CTX *pctx;
2818     STACK_OF(EVP_TEST_BUFFER) *input; /* Input data: streaming */
2819     unsigned char *osin; /* Input data if one shot */
2820     size_t osin_len; /* Input length data if one shot */
2821     unsigned char *output; /* Expected output */
2822     size_t output_len; /* Expected output length */
2823 } DIGESTSIGN_DATA;
2824
2825 static int digestsigver_test_init(EVP_TEST *t, const char *alg, int is_verify,
2826                                   int is_oneshot)
2827 {
2828     const EVP_MD *md = NULL;
2829     DIGESTSIGN_DATA *mdat;
2830
2831     if (strcmp(alg, "NULL") != 0) {
2832         if (is_digest_disabled(alg)) {
2833             t->skip = 1;
2834             return 1;
2835         }
2836         md = EVP_get_digestbyname(alg);
2837         if (md == NULL)
2838             return 0;
2839     }
2840     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
2841         return 0;
2842     mdat->md = md;
2843     if (!TEST_ptr(mdat->ctx = EVP_MD_CTX_new())) {
2844         OPENSSL_free(mdat);
2845         return 0;
2846     }
2847     mdat->is_verify = is_verify;
2848     mdat->is_oneshot = is_oneshot;
2849     t->data = mdat;
2850     return 1;
2851 }
2852
2853 static int digestsign_test_init(EVP_TEST *t, const char *alg)
2854 {
2855     return digestsigver_test_init(t, alg, 0, 0);
2856 }
2857
2858 static void digestsigver_test_cleanup(EVP_TEST *t)
2859 {
2860     DIGESTSIGN_DATA *mdata = t->data;
2861
2862     EVP_MD_CTX_free(mdata->ctx);
2863     sk_EVP_TEST_BUFFER_pop_free(mdata->input, evp_test_buffer_free);
2864     OPENSSL_free(mdata->osin);
2865     OPENSSL_free(mdata->output);
2866     OPENSSL_free(mdata);
2867     t->data = NULL;
2868 }
2869
2870 static int digestsigver_test_parse(EVP_TEST *t,
2871                                    const char *keyword, const char *value)
2872 {
2873     DIGESTSIGN_DATA *mdata = t->data;
2874
2875     if (strcmp(keyword, "Key") == 0) {
2876         EVP_PKEY *pkey = NULL;
2877         int rv = 0;
2878         const char *name = mdata->md == NULL ? NULL : EVP_MD_name(mdata->md);
2879
2880         if (mdata->is_verify)
2881             rv = find_key(&pkey, value, public_keys);
2882         if (rv == 0)
2883             rv = find_key(&pkey, value, private_keys);
2884         if (rv == 0 || pkey == NULL) {
2885             t->skip = 1;
2886             return 1;
2887         }
2888         if (mdata->is_verify) {
2889             if (!EVP_DigestVerifyInit_with_libctx(mdata->ctx, &mdata->pctx,
2890                                                   name, libctx, NULL, pkey))
2891                 t->err = "DIGESTVERIFYINIT_ERROR";
2892             return 1;
2893         }
2894         if (!EVP_DigestSignInit_with_libctx(mdata->ctx, &mdata->pctx,
2895                                             name, libctx, NULL, pkey))
2896             t->err = "DIGESTSIGNINIT_ERROR";
2897         return 1;
2898     }
2899
2900     if (strcmp(keyword, "Input") == 0) {
2901         if (mdata->is_oneshot)
2902             return parse_bin(value, &mdata->osin, &mdata->osin_len);
2903         return evp_test_buffer_append(value, &mdata->input);
2904     }
2905     if (strcmp(keyword, "Output") == 0)
2906         return parse_bin(value, &mdata->output, &mdata->output_len);
2907
2908     if (!mdata->is_oneshot) {
2909         if (strcmp(keyword, "Count") == 0)
2910             return evp_test_buffer_set_count(value, mdata->input);
2911         if (strcmp(keyword, "Ncopy") == 0)
2912             return evp_test_buffer_ncopy(value, mdata->input);
2913     }
2914     if (strcmp(keyword, "Ctrl") == 0) {
2915         if (mdata->pctx == NULL)
2916             return -1;
2917         return pkey_test_ctrl(t, mdata->pctx, value);
2918     }
2919     return 0;
2920 }
2921
2922 static int digestsign_update_fn(void *ctx, const unsigned char *buf,
2923                                 size_t buflen)
2924 {
2925     return EVP_DigestSignUpdate(ctx, buf, buflen);
2926 }
2927
2928 static int digestsign_test_run(EVP_TEST *t)
2929 {
2930     DIGESTSIGN_DATA *expected = t->data;
2931     unsigned char *got = NULL;
2932     size_t got_len;
2933
2934     if (!evp_test_buffer_do(expected->input, digestsign_update_fn,
2935                             expected->ctx)) {
2936         t->err = "DIGESTUPDATE_ERROR";
2937         goto err;
2938     }
2939
2940     if (!EVP_DigestSignFinal(expected->ctx, NULL, &got_len)) {
2941         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
2942         goto err;
2943     }
2944     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2945         t->err = "MALLOC_FAILURE";
2946         goto err;
2947     }
2948     if (!EVP_DigestSignFinal(expected->ctx, got, &got_len)) {
2949         t->err = "DIGESTSIGNFINAL_ERROR";
2950         goto err;
2951     }
2952     if (!memory_err_compare(t, "SIGNATURE_MISMATCH",
2953                             expected->output, expected->output_len,
2954                             got, got_len))
2955         goto err;
2956
2957     t->err = NULL;
2958  err:
2959     OPENSSL_free(got);
2960     return 1;
2961 }
2962
2963 static const EVP_TEST_METHOD digestsign_test_method = {
2964     "DigestSign",
2965     digestsign_test_init,
2966     digestsigver_test_cleanup,
2967     digestsigver_test_parse,
2968     digestsign_test_run
2969 };
2970
2971 static int digestverify_test_init(EVP_TEST *t, const char *alg)
2972 {
2973     return digestsigver_test_init(t, alg, 1, 0);
2974 }
2975
2976 static int digestverify_update_fn(void *ctx, const unsigned char *buf,
2977                                   size_t buflen)
2978 {
2979     return EVP_DigestVerifyUpdate(ctx, buf, buflen);
2980 }
2981
2982 static int digestverify_test_run(EVP_TEST *t)
2983 {
2984     DIGESTSIGN_DATA *mdata = t->data;
2985
2986     if (!evp_test_buffer_do(mdata->input, digestverify_update_fn, mdata->ctx)) {
2987         t->err = "DIGESTUPDATE_ERROR";
2988         return 1;
2989     }
2990
2991     if (EVP_DigestVerifyFinal(mdata->ctx, mdata->output,
2992                               mdata->output_len) <= 0)
2993         t->err = "VERIFY_ERROR";
2994     return 1;
2995 }
2996
2997 static const EVP_TEST_METHOD digestverify_test_method = {
2998     "DigestVerify",
2999     digestverify_test_init,
3000     digestsigver_test_cleanup,
3001     digestsigver_test_parse,
3002     digestverify_test_run
3003 };
3004
3005 static int oneshot_digestsign_test_init(EVP_TEST *t, const char *alg)
3006 {
3007     return digestsigver_test_init(t, alg, 0, 1);
3008 }
3009
3010 static int oneshot_digestsign_test_run(EVP_TEST *t)
3011 {
3012     DIGESTSIGN_DATA *expected = t->data;
3013     unsigned char *got = NULL;
3014     size_t got_len;
3015
3016     if (!EVP_DigestSign(expected->ctx, NULL, &got_len,
3017                         expected->osin, expected->osin_len)) {
3018         t->err = "DIGESTSIGN_LENGTH_ERROR";
3019         goto err;
3020     }
3021     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
3022         t->err = "MALLOC_FAILURE";
3023         goto err;
3024     }
3025     if (!EVP_DigestSign(expected->ctx, got, &got_len,
3026                         expected->osin, expected->osin_len)) {
3027         t->err = "DIGESTSIGN_ERROR";
3028         goto err;
3029     }
3030     if (!memory_err_compare(t, "SIGNATURE_MISMATCH",
3031                             expected->output, expected->output_len,
3032                             got, got_len))
3033         goto err;
3034
3035     t->err = NULL;
3036  err:
3037     OPENSSL_free(got);
3038     return 1;
3039 }
3040
3041 static const EVP_TEST_METHOD oneshot_digestsign_test_method = {
3042     "OneShotDigestSign",
3043     oneshot_digestsign_test_init,
3044     digestsigver_test_cleanup,
3045     digestsigver_test_parse,
3046     oneshot_digestsign_test_run
3047 };
3048
3049 static int oneshot_digestverify_test_init(EVP_TEST *t, const char *alg)
3050 {
3051     return digestsigver_test_init(t, alg, 1, 1);
3052 }
3053
3054 static int oneshot_digestverify_test_run(EVP_TEST *t)
3055 {
3056     DIGESTSIGN_DATA *mdata = t->data;
3057
3058     if (EVP_DigestVerify(mdata->ctx, mdata->output, mdata->output_len,
3059                          mdata->osin, mdata->osin_len) <= 0)
3060         t->err = "VERIFY_ERROR";
3061     return 1;
3062 }
3063
3064 static const EVP_TEST_METHOD oneshot_digestverify_test_method = {
3065     "OneShotDigestVerify",
3066     oneshot_digestverify_test_init,
3067     digestsigver_test_cleanup,
3068     digestsigver_test_parse,
3069     oneshot_digestverify_test_run
3070 };
3071
3072
3073 /**
3074  **  PARSING AND DISPATCH
3075  **/
3076
3077 static const EVP_TEST_METHOD *evp_test_list[] = {
3078     &rand_test_method,
3079     &cipher_test_method,
3080     &digest_test_method,
3081     &digestsign_test_method,
3082     &digestverify_test_method,
3083     &encode_test_method,
3084     &kdf_test_method,
3085     &pkey_kdf_test_method,
3086     &keypair_test_method,
3087     &keygen_test_method,
3088     &mac_test_method,
3089     &oneshot_digestsign_test_method,
3090     &oneshot_digestverify_test_method,
3091     &pbe_test_method,
3092     &pdecrypt_test_method,
3093     &pderive_test_method,
3094     &psign_test_method,
3095     &pverify_recover_test_method,
3096     &pverify_test_method,
3097     NULL
3098 };
3099
3100 static const EVP_TEST_METHOD *find_test(const char *name)
3101 {
3102     const EVP_TEST_METHOD **tt;
3103
3104     for (tt = evp_test_list; *tt; tt++) {
3105         if (strcmp(name, (*tt)->name) == 0)
3106             return *tt;
3107     }
3108     return NULL;
3109 }
3110
3111 static void clear_test(EVP_TEST *t)
3112 {
3113     test_clearstanza(&t->s);
3114     ERR_clear_error();
3115     if (t->data != NULL) {
3116         if (t->meth != NULL)
3117             t->meth->cleanup(t);
3118         OPENSSL_free(t->data);
3119         t->data = NULL;
3120     }
3121     OPENSSL_free(t->expected_err);
3122     t->expected_err = NULL;
3123     OPENSSL_free(t->reason);
3124     t->reason = NULL;
3125
3126     /* Text literal. */
3127     t->err = NULL;
3128     t->skip = 0;
3129     t->meth = NULL;
3130 }
3131
3132 /* Check for errors in the test structure; return 1 if okay, else 0. */
3133 static int check_test_error(EVP_TEST *t)
3134 {
3135     unsigned long err;
3136     const char *reason;
3137
3138     if (t->err == NULL && t->expected_err == NULL)
3139         return 1;
3140     if (t->err != NULL && t->expected_err == NULL) {
3141         if (t->aux_err != NULL) {
3142             TEST_info("%s:%d: Source of above error (%s); unexpected error %s",
3143                       t->s.test_file, t->s.start, t->aux_err, t->err);
3144         } else {
3145             TEST_info("%s:%d: Source of above error; unexpected error %s",
3146                       t->s.test_file, t->s.start, t->err);
3147         }
3148         return 0;
3149     }
3150     if (t->err == NULL && t->expected_err != NULL) {
3151         TEST_info("%s:%d: Succeeded but was expecting %s",
3152                   t->s.test_file, t->s.start, t->expected_err);
3153         return 0;
3154     }
3155
3156     if (strcmp(t->err, t->expected_err) != 0) {
3157         TEST_info("%s:%d: Expected %s got %s",
3158                   t->s.test_file, t->s.start, t->expected_err, t->err);
3159         return 0;
3160     }
3161
3162     if (t->reason == NULL)
3163         return 1;
3164
3165     if (t->reason == NULL) {
3166         TEST_info("%s:%d: Test is missing function or reason code",
3167                   t->s.test_file, t->s.start);
3168         return 0;
3169     }
3170
3171     err = ERR_peek_error();
3172     if (err == 0) {
3173         TEST_info("%s:%d: Expected error \"%s\" not set",
3174                   t->s.test_file, t->s.start, t->reason);
3175         return 0;
3176     }
3177
3178     reason = ERR_reason_error_string(err);
3179     if (reason == NULL) {
3180         TEST_info("%s:%d: Expected error \"%s\", no strings available."
3181                   " Assuming ok.",
3182                   t->s.test_file, t->s.start, t->reason);
3183         return 1;
3184     }
3185
3186     if (strcmp(reason, t->reason) == 0)
3187         return 1;
3188
3189     TEST_info("%s:%d: Expected error \"%s\", got \"%s\"",
3190               t->s.test_file, t->s.start, t->reason, reason);
3191
3192     return 0;
3193 }
3194
3195 /* Run a parsed test. Log a message and return 0 on error. */
3196 static int run_test(EVP_TEST *t)
3197 {
3198     if (t->meth == NULL)
3199         return 1;
3200     t->s.numtests++;
3201     if (t->skip) {
3202         t->s.numskip++;
3203     } else {
3204         /* run the test */
3205         if (t->err == NULL && t->meth->run_test(t) != 1) {
3206             TEST_info("%s:%d %s error",
3207                       t->s.test_file, t->s.start, t->meth->name);
3208             return 0;
3209         }
3210         if (!check_test_error(t)) {
3211             TEST_openssl_errors();
3212             t->s.errors++;
3213         }
3214     }
3215
3216     /* clean it up */
3217     return 1;
3218 }
3219
3220 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst)
3221 {
3222     for (; lst != NULL; lst = lst->next) {
3223         if (strcmp(lst->name, name) == 0) {
3224             if (ppk != NULL)
3225                 *ppk = lst->key;
3226             return 1;
3227         }
3228     }
3229     return 0;
3230 }
3231
3232 static void free_key_list(KEY_LIST *lst)
3233 {
3234     while (lst != NULL) {
3235         KEY_LIST *next = lst->next;
3236
3237         EVP_PKEY_free(lst->key);
3238         OPENSSL_free(lst->name);
3239         OPENSSL_free(lst);
3240         lst = next;
3241     }
3242 }
3243
3244 /*
3245  * Is the key type an unsupported algorithm?
3246  */
3247 static int key_unsupported(void)
3248 {
3249     long err = ERR_peek_error();
3250
3251     if (ERR_GET_LIB(err) == ERR_LIB_EVP
3252             && (ERR_GET_REASON(err) == EVP_R_UNSUPPORTED_ALGORITHM
3253                 || ERR_GET_REASON(err) == EVP_R_FETCH_FAILED)) {
3254         ERR_clear_error();
3255         return 1;
3256     }
3257 #ifndef OPENSSL_NO_EC
3258     /*
3259      * If EC support is enabled we should catch also EC_R_UNKNOWN_GROUP as an
3260      * hint to an unsupported algorithm/curve (e.g. if binary EC support is
3261      * disabled).
3262      */
3263     if (ERR_GET_LIB(err) == ERR_LIB_EC
3264         && ERR_GET_REASON(err) == EC_R_UNKNOWN_GROUP) {
3265         ERR_clear_error();
3266         return 1;
3267     }
3268 #endif /* OPENSSL_NO_EC */
3269     return 0;
3270 }
3271
3272 /* NULL out the value from |pp| but return it.  This "steals" a pointer. */
3273 static char *take_value(PAIR *pp)
3274 {
3275     char *p = pp->value;
3276
3277     pp->value = NULL;
3278     return p;
3279 }
3280
3281 /*
3282  * Return 1 if one of the providers named in the string is available.
3283  * The provider names are separated with whitespace.
3284  * NOTE: destructive function, it inserts '\0' after each provider name.
3285  */
3286 static int prov_available(char *providers)
3287 {
3288     char *p;
3289     int more = 1;
3290
3291     while (more) {
3292         for (; isspace(*providers); providers++)
3293             continue;
3294         if (*providers == '\0')
3295             break;               /* End of the road */
3296         for (p = providers; *p != '\0' && !isspace(*p); p++)
3297             continue;
3298         if (*p == '\0')
3299             more = 0;
3300         else
3301             *p = '\0';
3302         if (OSSL_PROVIDER_available(libctx, providers))
3303             return 1;            /* Found one */
3304     }
3305     return 0;
3306 }
3307
3308 /* Read and parse one test.  Return 0 if failure, 1 if okay. */
3309 static int parse(EVP_TEST *t)
3310 {
3311     KEY_LIST *key, **klist;
3312     EVP_PKEY *pkey;
3313     PAIR *pp;
3314     int i, skip_availablein = 0;
3315
3316 top:
3317     do {
3318         if (BIO_eof(t->s.fp))
3319             return EOF;
3320         clear_test(t);
3321         if (!test_readstanza(&t->s))
3322             return 0;
3323     } while (t->s.numpairs == 0);
3324     pp = &t->s.pairs[0];
3325
3326     /* Are we adding a key? */
3327     klist = NULL;
3328     pkey = NULL;
3329 start:
3330     if (strcmp(pp->key, "PrivateKey") == 0) {
3331         pkey = PEM_read_bio_PrivateKey_ex(t->s.key, NULL, 0, NULL, libctx, NULL);
3332         if (pkey == NULL && !key_unsupported()) {
3333             EVP_PKEY_free(pkey);
3334             TEST_info("Can't read private key %s", pp->value);
3335             TEST_openssl_errors();
3336             return 0;
3337         }
3338         klist = &private_keys;
3339     } else if (strcmp(pp->key, "PublicKey") == 0) {
3340         pkey = PEM_read_bio_PUBKEY(t->s.key, NULL, 0, NULL);
3341         if (pkey == NULL && !key_unsupported()) {
3342             EVP_PKEY_free(pkey);
3343             TEST_info("Can't read public key %s", pp->value);
3344             TEST_openssl_errors();
3345             return 0;
3346         }
3347         klist = &public_keys;
3348     } else if (strcmp(pp->key, "PrivateKeyRaw") == 0
3349                || strcmp(pp->key, "PublicKeyRaw") == 0 ) {
3350         char *strnid = NULL, *keydata = NULL;
3351         unsigned char *keybin;
3352         size_t keylen;
3353         int nid;
3354
3355         if (strcmp(pp->key, "PrivateKeyRaw") == 0)
3356             klist = &private_keys;
3357         else
3358             klist = &public_keys;
3359
3360         strnid = strchr(pp->value, ':');
3361         if (strnid != NULL) {
3362             *strnid++ = '\0';
3363             keydata = strchr(strnid, ':');
3364             if (keydata != NULL)
3365                 *keydata++ = '\0';
3366         }
3367         if (keydata == NULL) {
3368             TEST_info("Failed to parse %s value", pp->key);
3369             return 0;
3370         }
3371
3372         nid = OBJ_txt2nid(strnid);
3373         if (nid == NID_undef) {
3374             TEST_info("Unrecognised algorithm NID");
3375             return 0;
3376         }
3377         if (!parse_bin(keydata, &keybin, &keylen)) {
3378             TEST_info("Failed to create binary key");
3379             return 0;
3380         }
3381         if (klist == &private_keys)
3382             pkey = EVP_PKEY_new_raw_private_key_with_libctx(libctx, strnid, NULL,
3383                                                             keybin, keylen);
3384         else
3385             pkey = EVP_PKEY_new_raw_public_key_with_libctx(libctx, strnid, NULL,
3386                                                            keybin, keylen);
3387         if (pkey == NULL && !key_unsupported()) {
3388             TEST_info("Can't read %s data", pp->key);
3389             OPENSSL_free(keybin);
3390             TEST_openssl_errors();
3391             return 0;
3392         }
3393         OPENSSL_free(keybin);
3394     } else if (strcmp(pp->key, "Availablein") == 0) {
3395         if (!prov_available(pp->value)) {
3396             TEST_info("skipping, '%s' provider not available: %s:%d",
3397                       pp->value, t->s.test_file, t->s.start);
3398                 t->skip = 1;
3399                 return 0;
3400         }
3401         skip_availablein++;
3402         pp++;
3403         goto start;
3404     }
3405
3406     /* If we have a key add to list */
3407     if (klist != NULL) {
3408         if (find_key(NULL, pp->value, *klist)) {
3409             TEST_info("Duplicate key %s", pp->value);
3410             return 0;
3411         }
3412         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
3413             return 0;
3414         key->name = take_value(pp);
3415         key->key = pkey;
3416         key->next = *klist;
3417         *klist = key;
3418
3419         /* Go back and start a new stanza. */
3420         if ((t->s.numpairs - skip_availablein) != 1)
3421             TEST_info("Line %d: missing blank line\n", t->s.curr);
3422         goto top;
3423     }
3424
3425     /* Find the test, based on first keyword. */
3426     if (!TEST_ptr(t->meth = find_test(pp->key)))
3427         return 0;
3428     if (!t->meth->init(t, pp->value)) {
3429         TEST_error("unknown %s: %s\n", pp->key, pp->value);
3430         return 0;
3431     }
3432     if (t->skip == 1) {
3433         /* TEST_info("skipping %s %s", pp->key, pp->value); */
3434         return 0;
3435     }
3436
3437     for (pp++, i = 1; i < (t->s.numpairs - skip_availablein); pp++, i++) {
3438         if (strcmp(pp->key, "Availablein") == 0) {
3439             TEST_info("Line %d: 'Availablein' should be the first option",
3440                       t->s.curr);
3441             return 0;
3442         } else if (strcmp(pp->key, "Result") == 0) {
3443             if (t->expected_err != NULL) {
3444                 TEST_info("Line %d: multiple result lines", t->s.curr);
3445                 return 0;
3446             }
3447             t->expected_err = take_value(pp);
3448         } else if (strcmp(pp->key, "Function") == 0) {
3449             /* Ignore old line. */
3450         } else if (strcmp(pp->key, "Reason") == 0) {
3451             if (t->reason != NULL) {
3452                 TEST_info("Line %d: multiple reason lines", t->s.curr);
3453                 return 0;
3454             }
3455             t->reason = take_value(pp);
3456         } else {
3457             /* Must be test specific line: try to parse it */
3458             int rv = t->meth->parse(t, pp->key, pp->value);
3459
3460             if (rv == 0) {
3461                 TEST_info("Line %d: unknown keyword %s", t->s.curr, pp->key);
3462                 return 0;
3463             }
3464             if (rv < 0) {
3465                 TEST_info("Line %d: error processing keyword %s = %s\n",
3466                           t->s.curr, pp->key, pp->value);
3467                 return 0;
3468             }
3469         }
3470     }
3471
3472     return 1;
3473 }
3474
3475 static int run_file_tests(int i)
3476 {
3477     EVP_TEST *t;
3478     const char *testfile = test_get_argument(i);
3479     int c;
3480
3481     if (!TEST_ptr(t = OPENSSL_zalloc(sizeof(*t))))
3482         return 0;
3483     if (!test_start_file(&t->s, testfile)) {
3484         OPENSSL_free(t);
3485         return 0;
3486     }
3487
3488     while (!BIO_eof(t->s.fp)) {
3489         c = parse(t);
3490         if (t->skip) {
3491             t->s.numskip++;
3492             continue;
3493         }
3494         if (c == 0 || !run_test(t)) {
3495             t->s.errors++;
3496             break;
3497         }
3498     }
3499     test_end_file(&t->s);
3500     clear_test(t);
3501
3502     free_key_list(public_keys);
3503     free_key_list(private_keys);
3504     BIO_free(t->s.key);
3505     c = t->s.errors;
3506     OPENSSL_free(t);
3507     return c == 0;
3508 }
3509
3510 const OPTIONS *test_get_options(void)
3511 {
3512     static const OPTIONS test_options[] = {
3513         OPT_TEST_OPTIONS_WITH_EXTRA_USAGE("[file...]\n"),
3514         { "config", OPT_CONFIG_FILE, '<',
3515           "The configuration file to use for the libctx" },
3516         { OPT_HELP_STR, 1, '-',
3517           "file\tFile to run tests on.\n" },
3518         { NULL }
3519     };
3520     return test_options;
3521 }
3522
3523 int setup_tests(void)
3524 {
3525     size_t n;
3526     char *config_file = NULL;
3527
3528     OPTION_CHOICE o;
3529
3530     while ((o = opt_next()) != OPT_EOF) {
3531         switch (o) {
3532         case OPT_CONFIG_FILE:
3533             config_file = opt_arg();
3534             break;
3535         case OPT_TEST_CASES:
3536            break;
3537         default:
3538         case OPT_ERR:
3539             return 0;
3540         }
3541     }
3542
3543     /*
3544      * Load the 'null' provider into the default library context to ensure that
3545      * the the tests do not fallback to using the default provider.
3546      */
3547     prov_null = OSSL_PROVIDER_load(NULL, "null");
3548     if (prov_null == NULL) {
3549         opt_printf_stderr("Failed to load null provider into default libctx\n");
3550         return 0;
3551     }
3552
3553     /* load the provider via configuration into the created library context */
3554     libctx = OPENSSL_CTX_new();
3555     if (libctx == NULL
3556         || !OPENSSL_CTX_load_config(libctx, config_file)) {
3557         TEST_error("Failed to load config %s\n", config_file);
3558         return 0;
3559     }
3560
3561     n = test_get_argument_count();
3562     if (n == 0)
3563         return 0;
3564
3565     ADD_ALL_TESTS(run_file_tests, n);
3566     return 1;
3567 }
3568
3569 void cleanup_tests(void)
3570 {
3571     OSSL_PROVIDER_unload(prov_null);
3572     OPENSSL_CTX_free(libctx);
3573 }
3574
3575 #define STR_STARTS_WITH(str, pre) strncasecmp(pre, str, strlen(pre)) == 0
3576 #define STR_ENDS_WITH(str, pre)                                                \
3577 strlen(str) < strlen(pre) ? 0 : (strcasecmp(pre, str + strlen(str) - strlen(pre)) == 0)
3578
3579 static int is_digest_disabled(const char *name)
3580 {
3581 #ifdef OPENSSL_NO_BLAKE2
3582     if (STR_STARTS_WITH(name, "BLAKE"))
3583         return 1;
3584 #endif
3585 #ifdef OPENSSL_NO_MD2
3586     if (strcasecmp(name, "MD2") == 0)
3587         return 1;
3588 #endif
3589 #ifdef OPENSSL_NO_MDC2
3590     if (strcasecmp(name, "MDC2") == 0)
3591         return 1;
3592 #endif
3593 #ifdef OPENSSL_NO_MD4
3594     if (strcasecmp(name, "MD4") == 0)
3595         return 1;
3596 #endif
3597 #ifdef OPENSSL_NO_MD5
3598     if (strcasecmp(name, "MD5") == 0)
3599         return 1;
3600 #endif
3601 #ifdef OPENSSL_NO_RMD160
3602     if (strcasecmp(name, "RIPEMD160") == 0)
3603         return 1;
3604 #endif
3605 #ifdef OPENSSL_NO_SM3
3606     if (strcasecmp(name, "SM3") == 0)
3607         return 1;
3608 #endif
3609 #ifdef OPENSSL_NO_WHIRLPOOL
3610     if (strcasecmp(name, "WHIRLPOOL") == 0)
3611         return 1;
3612 #endif
3613     return 0;
3614 }
3615
3616 static int is_pkey_disabled(const char *name)
3617 {
3618 #ifdef OPENSSL_NO_RSA
3619     if (STR_STARTS_WITH(name, "RSA"))
3620         return 1;
3621 #endif
3622 #ifdef OPENSSL_NO_EC
3623     if (STR_STARTS_WITH(name, "EC"))
3624         return 1;
3625 #endif
3626 #ifdef OPENSSL_NO_DH
3627     if (STR_STARTS_WITH(name, "DH"))
3628         return 1;
3629 #endif
3630 #ifdef OPENSSL_NO_DSA
3631     if (STR_STARTS_WITH(name, "DSA"))
3632         return 1;
3633 #endif
3634     return 0;
3635 }
3636
3637 static int is_mac_disabled(const char *name)
3638 {
3639 #ifdef OPENSSL_NO_BLAKE2
3640     if (STR_STARTS_WITH(name, "BLAKE2BMAC")
3641         || STR_STARTS_WITH(name, "BLAKE2SMAC"))
3642         return 1;
3643 #endif
3644 #ifdef OPENSSL_NO_CMAC
3645     if (STR_STARTS_WITH(name, "CMAC"))
3646         return 1;
3647 #endif
3648 #ifdef OPENSSL_NO_POLY1305
3649     if (STR_STARTS_WITH(name, "Poly1305"))
3650         return 1;
3651 #endif
3652 #ifdef OPENSSL_NO_SIPHASH
3653     if (STR_STARTS_WITH(name, "SipHash"))
3654         return 1;
3655 #endif
3656     return 0;
3657 }
3658 static int is_kdf_disabled(const char *name)
3659 {
3660 #ifdef OPENSSL_NO_SCRYPT
3661     if (STR_ENDS_WITH(name, "SCRYPT"))
3662         return 1;
3663 #endif
3664 #ifdef OPENSSL_NO_CMS
3665     if (strcasecmp(name, "X942KDF") == 0)
3666         return 1;
3667 #endif /* OPENSSL_NO_CMS */
3668     return 0;
3669 }
3670
3671 static int is_cipher_disabled(const char *name)
3672 {
3673 #ifdef OPENSSL_NO_ARIA
3674     if (STR_STARTS_WITH(name, "ARIA"))
3675         return 1;
3676 #endif
3677 #ifdef OPENSSL_NO_BF
3678     if (STR_STARTS_WITH(name, "BF"))
3679         return 1;
3680 #endif
3681 #ifdef OPENSSL_NO_CAMELLIA
3682     if (STR_STARTS_WITH(name, "CAMELLIA"))
3683         return 1;
3684 #endif
3685 #ifdef OPENSSL_NO_CAST
3686     if (STR_STARTS_WITH(name, "CAST"))
3687         return 1;
3688 #endif
3689 #ifdef OPENSSL_NO_CHACHA
3690     if (STR_STARTS_WITH(name, "CHACHA"))
3691         return 1;
3692 #endif
3693 #ifdef OPENSSL_NO_POLY1305
3694     if (STR_ENDS_WITH(name, "Poly1305"))
3695         return 1;
3696 #endif
3697 #ifdef OPENSSL_NO_DES
3698     if (STR_STARTS_WITH(name, "DES"))
3699         return 1;
3700 #endif
3701 #ifdef OPENSSL_NO_OCB
3702     if (STR_ENDS_WITH(name, "OCB"))
3703         return 1;
3704 #endif
3705 #ifdef OPENSSL_NO_IDEA
3706     if (STR_STARTS_WITH(name, "IDEA"))
3707         return 1;
3708 #endif
3709 #ifdef OPENSSL_NO_RC2
3710     if (STR_STARTS_WITH(name, "RC2"))
3711         return 1;
3712 #endif
3713 #ifdef OPENSSL_NO_RC4
3714     if (STR_STARTS_WITH(name, "RC4"))
3715         return 1;
3716 #endif
3717 #ifdef OPENSSL_NO_RC5
3718     if (STR_STARTS_WITH(name, "RC5"))
3719         return 1;
3720 #endif
3721 #ifdef OPENSSL_NO_SEED
3722     if (STR_STARTS_WITH(name, "SEED"))
3723         return 1;
3724 #endif
3725 #ifdef OPENSSL_NO_SIV
3726     if (STR_ENDS_WITH(name, "SIV"))
3727         return 1;
3728 #endif
3729 #ifdef OPENSSL_NO_SM4
3730     if (STR_STARTS_WITH(name, "SM4"))
3731         return 1;
3732 #endif
3733     return 0;
3734 }