test/evp_test.c

   1 /*
   2  * Copyright 2015-2020 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the Apache License 2.0 (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 #include <stdio.h>
  11 #include <string.h>
  12 #include <stdlib.h>
  13 #include <ctype.h>
  14 #include "../e_os.h" /* strcasecmp */
  15 #include <openssl/evp.h>
  16 #include <openssl/pem.h>
  17 #include <openssl/err.h>
  18 #include <openssl/provider.h>
  19 #include <openssl/x509v3.h>
  20 #include <openssl/pkcs12.h>
  21 #include <openssl/kdf.h>
  22 #include <openssl/params.h>
  23 #include <openssl/core_names.h>
  24 #include "internal/numbers.h"
  25 #include "internal/nelem.h"
  26 #include "crypto/evp.h"
  27 #include "testutil.h"
  28 #include "evp_test.h"
  29
  30 DEFINE_STACK_OF_STRING()
  31
  32 #define AAD_NUM 4
  33
  34 typedef struct evp_test_method_st EVP_TEST_METHOD;
  35
  36 /* Structure holding test information */
  37 typedef struct evp_test_st {
  38     STANZA s;                     /* Common test stanza */
  39     char *name;
  40     int skip;                     /* Current test should be skipped */
  41     const EVP_TEST_METHOD *meth;  /* method for this test */
  42     const char *err, *aux_err;    /* Error string for test */
  43     char *expected_err;           /* Expected error value of test */
  44     char *reason;                 /* Expected error reason string */
  45     void *data;                   /* test specific data */
  46 } EVP_TEST;
  47
  48 /* Test method structure */
  49 struct evp_test_method_st {
  50     /* Name of test as it appears in file */
  51     const char *name;
  52     /* Initialise test for "alg" */
  53     int (*init) (EVP_TEST * t, const char *alg);
  54     /* Clean up method */
  55     void (*cleanup) (EVP_TEST * t);
  56     /* Test specific name value pair processing */
  57     int (*parse) (EVP_TEST * t, const char *name, const char *value);
  58     /* Run the test itself */
  59     int (*run_test) (EVP_TEST * t);
  60 };
  61
  62 /* Linked list of named keys. */
  63 typedef struct key_list_st {
  64     char *name;
  65     EVP_PKEY *key;
  66     struct key_list_st *next;
  67 } KEY_LIST;
  68
  69 typedef enum OPTION_choice {
  70     OPT_ERR = -1,
  71     OPT_EOF = 0,
  72     OPT_CONFIG_FILE,
  73     OPT_TEST_ENUM
  74 } OPTION_CHOICE;
  75
  76 static OSSL_PROVIDER *prov_null = NULL;
  77 static OPENSSL_CTX *libctx = NULL;
  78
  79 /* List of public and private keys */
  80 static KEY_LIST *private_keys;
  81 static KEY_LIST *public_keys;
  82
  83 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst);
  84 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen);
  85 static int is_digest_disabled(const char *name);
  86 static int is_pkey_disabled(const char *name);
  87 static int is_mac_disabled(const char *name);
  88 static int is_cipher_disabled(const char *name);
  89 static int is_kdf_disabled(const char *name);
  90
  91 /*
  92  * Compare two memory regions for equality, returning zero if they differ.
  93  * However, if there is expected to be an error and the actual error
  94  * matches then the memory is expected to be different so handle this
  95  * case without producing unnecessary test framework output.
  96  */
  97 static int memory_err_compare(EVP_TEST *t, const char *err,
  98                               const void *expected, size_t expected_len,
  99                               const void *got, size_t got_len)
 100 {
 101     int r;
 102
 103     if (t->expected_err != NULL && strcmp(t->expected_err, err) == 0)
 104         r = !TEST_mem_ne(expected, expected_len, got, got_len);
 105     else
 106         r = TEST_mem_eq(expected, expected_len, got, got_len);
 107     if (!r)
 108         t->err = err;
 109     return r;
 110 }
 111
 112 /*
 113  * Structure used to hold a list of blocks of memory to test
 114  * calls to "update" like functions.
 115  */
 116 struct evp_test_buffer_st {
 117     unsigned char *buf;
 118     size_t buflen;
 119     size_t count;
 120     int count_set;
 121 };
 122
 123 static void evp_test_buffer_free(EVP_TEST_BUFFER *db)
 124 {
 125     if (db != NULL) {
 126         OPENSSL_free(db->buf);
 127         OPENSSL_free(db);
 128     }
 129 }
 130
 131 /* append buffer to a list */
 132 static int evp_test_buffer_append(const char *value,
 133                                   STACK_OF(EVP_TEST_BUFFER) **sk)
 134 {
 135     EVP_TEST_BUFFER *db = NULL;
 136
 137     if (!TEST_ptr(db = OPENSSL_malloc(sizeof(*db))))
 138         goto err;
 139
 140     if (!parse_bin(value, &db->buf, &db->buflen))
 141         goto err;
 142     db->count = 1;
 143     db->count_set = 0;
 144
 145     if (*sk == NULL && !TEST_ptr(*sk = sk_EVP_TEST_BUFFER_new_null()))
 146         goto err;
 147     if (!sk_EVP_TEST_BUFFER_push(*sk, db))
 148         goto err;
 149
 150     return 1;
 151
 152 err:
 153     evp_test_buffer_free(db);
 154     return 0;
 155 }
 156
 157 /* replace last buffer in list with copies of itself */
 158 static int evp_test_buffer_ncopy(const char *value,
 159                                  STACK_OF(EVP_TEST_BUFFER) *sk)
 160 {
 161     EVP_TEST_BUFFER *db;
 162     unsigned char *tbuf, *p;
 163     size_t tbuflen;
 164     int ncopy = atoi(value);
 165     int i;
 166
 167     if (ncopy <= 0)
 168         return 0;
 169     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
 170         return 0;
 171     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
 172
 173     tbuflen = db->buflen * ncopy;
 174     if (!TEST_ptr(tbuf = OPENSSL_malloc(tbuflen)))
 175         return 0;
 176     for (i = 0, p = tbuf; i < ncopy; i++, p += db->buflen)
 177         memcpy(p, db->buf, db->buflen);
 178
 179     OPENSSL_free(db->buf);
 180     db->buf = tbuf;
 181     db->buflen = tbuflen;
 182     return 1;
 183 }
 184
 185 /* set repeat count for last buffer in list */
 186 static int evp_test_buffer_set_count(const char *value,
 187                                      STACK_OF(EVP_TEST_BUFFER) *sk)
 188 {
 189     EVP_TEST_BUFFER *db;
 190     int count = atoi(value);
 191
 192     if (count <= 0)
 193         return 0;
 194
 195     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
 196         return 0;
 197
 198     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
 199     if (db->count_set != 0)
 200         return 0;
 201
 202     db->count = (size_t)count;
 203     db->count_set = 1;
 204     return 1;
 205 }
 206
 207 /* call "fn" with each element of the list in turn */
 208 static int evp_test_buffer_do(STACK_OF(EVP_TEST_BUFFER) *sk,
 209                               int (*fn)(void *ctx,
 210                                         const unsigned char *buf,
 211                                         size_t buflen),
 212                               void *ctx)
 213 {
 214     int i;
 215
 216     for (i = 0; i < sk_EVP_TEST_BUFFER_num(sk); i++) {
 217         EVP_TEST_BUFFER *tb = sk_EVP_TEST_BUFFER_value(sk, i);
 218         size_t j;
 219
 220         for (j = 0; j < tb->count; j++) {
 221             if (fn(ctx, tb->buf, tb->buflen) <= 0)
 222                 return 0;
 223         }
 224     }
 225     return 1;
 226 }
 227
 228 /*
 229  * Unescape some sequences in string literals (only \n for now).
 230  * Return an allocated buffer, set |out_len|.  If |input_len|
 231  * is zero, get an empty buffer but set length to zero.
 232  */
 233 static unsigned char* unescape(const char *input, size_t input_len,
 234                                size_t *out_len)
 235 {
 236     unsigned char *ret, *p;
 237     size_t i;
 238
 239     if (input_len == 0) {
 240         *out_len = 0;
 241         return OPENSSL_zalloc(1);
 242     }
 243
 244     /* Escaping is non-expanding; over-allocate original size for simplicity. */
 245     if (!TEST_ptr(ret = p = OPENSSL_malloc(input_len)))
 246         return NULL;
 247
 248     for (i = 0; i < input_len; i++) {
 249         if (*input == '\\') {
 250             if (i == input_len - 1 || *++input != 'n') {
 251                 TEST_error("Bad escape sequence in file");
 252                 goto err;
 253             }
 254             *p++ = '\n';
 255             i++;
 256             input++;
 257         } else {
 258             *p++ = *input++;
 259         }
 260     }
 261
 262     *out_len = p - ret;
 263     return ret;
 264
 265  err:
 266     OPENSSL_free(ret);
 267     return NULL;
 268 }
 269
 270 /*
 271  * For a hex string "value" convert to a binary allocated buffer.
 272  * Return 1 on success or 0 on failure.
 273  */
 274 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen)
 275 {
 276     long len;
 277
 278     /* Check for NULL literal */
 279     if (strcmp(value, "NULL") == 0) {
 280         *buf = NULL;
 281         *buflen = 0;
 282         return 1;
 283     }
 284
 285     /* Check for empty value */
 286     if (*value == '\0') {
 287         /*
 288          * Don't return NULL for zero length buffer. This is needed for
 289          * some tests with empty keys: HMAC_Init_ex() expects a non-NULL key
 290          * buffer even if the key length is 0, in order to detect key reset.
 291          */
 292         *buf = OPENSSL_malloc(1);
 293         if (*buf == NULL)
 294             return 0;
 295         **buf = 0;
 296         *buflen = 0;
 297         return 1;
 298     }
 299
 300     /* Check for string literal */
 301     if (value[0] == '"') {
 302         size_t vlen = strlen(++value);
 303
 304         if (vlen == 0 || value[vlen - 1] != '"')
 305             return 0;
 306         vlen--;
 307         *buf = unescape(value, vlen, buflen);
 308         return *buf == NULL ? 0 : 1;
 309     }
 310
 311     /* Otherwise assume as hex literal and convert it to binary buffer */
 312     if (!TEST_ptr(*buf = OPENSSL_hexstr2buf(value, &len))) {
 313         TEST_info("Can't convert %s", value);
 314         TEST_openssl_errors();
 315         return -1;
 316     }
 317     /* Size of input buffer means we'll never overflow */
 318     *buflen = len;
 319     return 1;
 320 }
 321
 322 /**
 323  **  MESSAGE DIGEST TESTS
 324  **/
 325
 326 typedef struct digest_data_st {
 327     /* Digest this test is for */
 328     const EVP_MD *digest;
 329     EVP_MD *fetched_digest;
 330     /* Input to digest */
 331     STACK_OF(EVP_TEST_BUFFER) *input;
 332     /* Expected output */
 333     unsigned char *output;
 334     size_t output_len;
 335     /* Padding type */
 336     int pad_type;
 337 } DIGEST_DATA;
 338
 339 static int digest_test_init(EVP_TEST *t, const char *alg)
 340 {
 341     DIGEST_DATA *mdat;
 342     const EVP_MD *digest;
 343     EVP_MD *fetched_digest;
 344
 345     if (is_digest_disabled(alg)) {
 346         TEST_info("skipping, '%s' is disabled", alg);
 347         t->skip = 1;
 348         return 1;
 349     }
 350
 351     if ((digest = fetched_digest = EVP_MD_fetch(libctx, alg, NULL)) == NULL
 352         && (digest = EVP_get_digestbyname(alg)) == NULL)
 353         return 0;
 354     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
 355         return 0;
 356     t->data = mdat;
 357     mdat->digest = digest;
 358     mdat->fetched_digest = fetched_digest;
 359     mdat->pad_type = 0;
 360     if (fetched_digest != NULL)
 361         TEST_info("%s is fetched", alg);
 362     return 1;
 363 }
 364
 365 static void digest_test_cleanup(EVP_TEST *t)
 366 {
 367     DIGEST_DATA *mdat = t->data;
 368
 369     sk_EVP_TEST_BUFFER_pop_free(mdat->input, evp_test_buffer_free);
 370     OPENSSL_free(mdat->output);
 371     EVP_MD_free(mdat->fetched_digest);
 372 }
 373
 374 static int digest_test_parse(EVP_TEST *t,
 375                              const char *keyword, const char *value)
 376 {
 377     DIGEST_DATA *mdata = t->data;
 378
 379     if (strcmp(keyword, "Input") == 0)
 380         return evp_test_buffer_append(value, &mdata->input);
 381     if (strcmp(keyword, "Output") == 0)
 382         return parse_bin(value, &mdata->output, &mdata->output_len);
 383     if (strcmp(keyword, "Count") == 0)
 384         return evp_test_buffer_set_count(value, mdata->input);
 385     if (strcmp(keyword, "Ncopy") == 0)
 386         return evp_test_buffer_ncopy(value, mdata->input);
 387     if (strcmp(keyword, "Padding") == 0)
 388         return (mdata->pad_type = atoi(value)) > 0;
 389     return 0;
 390 }
 391
 392 static int digest_update_fn(void *ctx, const unsigned char *buf, size_t buflen)
 393 {
 394     return EVP_DigestUpdate(ctx, buf, buflen);
 395 }
 396
 397 static int digest_test_run(EVP_TEST *t)
 398 {
 399     DIGEST_DATA *expected = t->data;
 400     EVP_MD_CTX *mctx;
 401     unsigned char *got = NULL;
 402     unsigned int got_len;
 403     OSSL_PARAM params[2];
 404
 405     t->err = "TEST_FAILURE";
 406     if (!TEST_ptr(mctx = EVP_MD_CTX_new()))
 407         goto err;
 408
 409     got = OPENSSL_malloc(expected->output_len > EVP_MAX_MD_SIZE ?
 410                          expected->output_len : EVP_MAX_MD_SIZE);
 411     if (!TEST_ptr(got))
 412         goto err;
 413
 414     if (!EVP_DigestInit_ex(mctx, expected->digest, NULL)) {
 415         t->err = "DIGESTINIT_ERROR";
 416         goto err;
 417     }
 418     if (expected->pad_type > 0) {
 419         params[0] = OSSL_PARAM_construct_int(OSSL_DIGEST_PARAM_PAD_TYPE,
 420                                               &expected->pad_type);
 421         params[1] = OSSL_PARAM_construct_end();
 422         if (!TEST_int_gt(EVP_MD_CTX_set_params(mctx, params), 0)) {
 423             t->err = "PARAMS_ERROR";
 424             goto err;
 425         }
 426     }
 427     if (!evp_test_buffer_do(expected->input, digest_update_fn, mctx)) {
 428         t->err = "DIGESTUPDATE_ERROR";
 429         goto err;
 430     }
 431
 432     if (EVP_MD_flags(expected->digest) & EVP_MD_FLAG_XOF) {
 433         EVP_MD_CTX *mctx_cpy;
 434         char dont[] = "touch";
 435
 436         if (!TEST_ptr(mctx_cpy = EVP_MD_CTX_new())) {
 437             goto err;
 438         }
 439         if (!EVP_MD_CTX_copy(mctx_cpy, mctx)) {
 440             EVP_MD_CTX_free(mctx_cpy);
 441             goto err;
 442         }
 443         if (!EVP_DigestFinalXOF(mctx_cpy, (unsigned char *)dont, 0)) {
 444             EVP_MD_CTX_free(mctx_cpy);
 445             t->err = "DIGESTFINALXOF_ERROR";
 446             goto err;
 447         }
 448         if (!TEST_str_eq(dont, "touch")) {
 449             EVP_MD_CTX_free(mctx_cpy);
 450             t->err = "DIGESTFINALXOF_ERROR";
 451             goto err;
 452         }
 453         EVP_MD_CTX_free(mctx_cpy);
 454
 455         got_len = expected->output_len;
 456         if (!EVP_DigestFinalXOF(mctx, got, got_len)) {
 457             t->err = "DIGESTFINALXOF_ERROR";
 458             goto err;
 459         }
 460     } else {
 461         if (!EVP_DigestFinal(mctx, got, &got_len)) {
 462             t->err = "DIGESTFINAL_ERROR";
 463             goto err;
 464         }
 465     }
 466     if (!TEST_int_eq(expected->output_len, got_len)) {
 467         t->err = "DIGEST_LENGTH_MISMATCH";
 468         goto err;
 469     }
 470     if (!memory_err_compare(t, "DIGEST_MISMATCH",
 471                             expected->output, expected->output_len,
 472                             got, got_len))
 473         goto err;
 474
 475     t->err = NULL;
 476
 477  err:
 478     OPENSSL_free(got);
 479     EVP_MD_CTX_free(mctx);
 480     return 1;
 481 }
 482
 483 static const EVP_TEST_METHOD digest_test_method = {
 484     "Digest",
 485     digest_test_init,
 486     digest_test_cleanup,
 487     digest_test_parse,
 488     digest_test_run
 489 };
 490
 491 /**
 492 ***  CIPHER TESTS
 493 **/
 494
 495 typedef struct cipher_data_st {
 496     const EVP_CIPHER *cipher;
 497     EVP_CIPHER *fetched_cipher;
 498     int enc;
 499     /* EVP_CIPH_GCM_MODE, EVP_CIPH_CCM_MODE or EVP_CIPH_OCB_MODE if AEAD */
 500     int aead;
 501     unsigned char *key;
 502     size_t key_len;
 503     size_t key_bits; /* Used by RC2 */
 504     unsigned char *iv;
 505     unsigned int rounds;
 506     size_t iv_len;
 507     unsigned char *plaintext;
 508     size_t plaintext_len;
 509     unsigned char *ciphertext;
 510     size_t ciphertext_len;
 511     /* GCM, CCM, OCB and SIV only */
 512     unsigned char *aad[AAD_NUM];
 513     size_t aad_len[AAD_NUM];
 514     unsigned char *tag;
 515     const char *cts_mode;
 516     size_t tag_len;
 517     int tag_late;
 518 } CIPHER_DATA;
 519
 520 static int cipher_test_init(EVP_TEST *t, const char *alg)
 521 {
 522     const EVP_CIPHER *cipher;
 523     EVP_CIPHER *fetched_cipher;
 524     CIPHER_DATA *cdat;
 525     int m;
 526
 527     if (is_cipher_disabled(alg)) {
 528         t->skip = 1;
 529         TEST_info("skipping, '%s' is disabled", alg);
 530         return 1;
 531     }
 532
 533     if ((cipher = fetched_cipher = EVP_CIPHER_fetch(libctx, alg, NULL)) == NULL
 534         && (cipher = EVP_get_cipherbyname(alg)) == NULL)
 535         return 0;
 536
 537     cdat = OPENSSL_zalloc(sizeof(*cdat));
 538     cdat->cipher = cipher;
 539     cdat->fetched_cipher = fetched_cipher;
 540     cdat->enc = -1;
 541     m = EVP_CIPHER_mode(cipher);
 542     if (m == EVP_CIPH_GCM_MODE
 543             || m == EVP_CIPH_OCB_MODE
 544             || m == EVP_CIPH_SIV_MODE
 545             || m == EVP_CIPH_CCM_MODE)
 546         cdat->aead = m;
 547     else if (EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)
 548         cdat->aead = -1;
 549     else
 550         cdat->aead = 0;
 551
 552     t->data = cdat;
 553     if (fetched_cipher != NULL)
 554         TEST_info("%s is fetched", alg);
 555     return 1;
 556 }
 557
 558 static void cipher_test_cleanup(EVP_TEST *t)
 559 {
 560     int i;
 561     CIPHER_DATA *cdat = t->data;
 562
 563     OPENSSL_free(cdat->key);
 564     OPENSSL_free(cdat->iv);
 565     OPENSSL_free(cdat->ciphertext);
 566     OPENSSL_free(cdat->plaintext);
 567     for (i = 0; i < AAD_NUM; i++)
 568         OPENSSL_free(cdat->aad[i]);
 569     OPENSSL_free(cdat->tag);
 570     EVP_CIPHER_free(cdat->fetched_cipher);
 571 }
 572
 573 static int cipher_test_parse(EVP_TEST *t, const char *keyword,
 574                              const char *value)
 575 {
 576     CIPHER_DATA *cdat = t->data;
 577     int i;
 578
 579     if (strcmp(keyword, "Key") == 0)
 580         return parse_bin(value, &cdat->key, &cdat->key_len);
 581     if (strcmp(keyword, "Rounds") == 0) {
 582         i = atoi(value);
 583         if (i < 0)
 584             return -1;
 585         cdat->rounds = (unsigned int)i;
 586         return 1;
 587     }
 588     if (strcmp(keyword, "IV") == 0)
 589         return parse_bin(value, &cdat->iv, &cdat->iv_len);
 590     if (strcmp(keyword, "Plaintext") == 0)
 591         return parse_bin(value, &cdat->plaintext, &cdat->plaintext_len);
 592     if (strcmp(keyword, "Ciphertext") == 0)
 593         return parse_bin(value, &cdat->ciphertext, &cdat->ciphertext_len);
 594     if (strcmp(keyword, "KeyBits") == 0) {
 595         i = atoi(value);
 596         if (i < 0)
 597             return -1;
 598         cdat->key_bits = (size_t)i;
 599         return 1;
 600     }
 601     if (cdat->aead) {
 602         if (strcmp(keyword, "AAD") == 0) {
 603             for (i = 0; i < AAD_NUM; i++) {
 604                 if (cdat->aad[i] == NULL)
 605                     return parse_bin(value, &cdat->aad[i], &cdat->aad_len[i]);
 606             }
 607             return -1;
 608         }
 609         if (strcmp(keyword, "Tag") == 0)
 610             return parse_bin(value, &cdat->tag, &cdat->tag_len);
 611         if (strcmp(keyword, "SetTagLate") == 0) {
 612             if (strcmp(value, "TRUE") == 0)
 613                 cdat->tag_late = 1;
 614             else if (strcmp(value, "FALSE") == 0)
 615                 cdat->tag_late = 0;
 616             else
 617                 return -1;
 618             return 1;
 619         }
 620     }
 621
 622     if (strcmp(keyword, "Operation") == 0) {
 623         if (strcmp(value, "ENCRYPT") == 0)
 624             cdat->enc = 1;
 625         else if (strcmp(value, "DECRYPT") == 0)
 626             cdat->enc = 0;
 627         else
 628             return -1;
 629         return 1;
 630     }
 631     if (strcmp(keyword, "CTSMode") == 0) {
 632         cdat->cts_mode = value;
 633         return 1;
 634     }
 635     return 0;
 636 }
 637
 638 static int cipher_test_enc(EVP_TEST *t, int enc,
 639                            size_t out_misalign, size_t inp_misalign, int frag)
 640 {
 641     CIPHER_DATA *expected = t->data;
 642     unsigned char *in, *expected_out, *tmp = NULL;
 643     size_t in_len, out_len, donelen = 0;
 644     int ok = 0, tmplen, chunklen, tmpflen, i;
 645     EVP_CIPHER_CTX *ctx_base = NULL;
 646     EVP_CIPHER_CTX *ctx = NULL;
 647
 648     t->err = "TEST_FAILURE";
 649     if (!TEST_ptr(ctx_base = EVP_CIPHER_CTX_new()))
 650         goto err;
 651     if (!TEST_ptr(ctx = EVP_CIPHER_CTX_new()))
 652         goto err;
 653     EVP_CIPHER_CTX_set_flags(ctx_base, EVP_CIPHER_CTX_FLAG_WRAP_ALLOW);
 654     if (enc) {
 655         in = expected->plaintext;
 656         in_len = expected->plaintext_len;
 657         expected_out = expected->ciphertext;
 658         out_len = expected->ciphertext_len;
 659     } else {
 660         in = expected->ciphertext;
 661         in_len = expected->ciphertext_len;
 662         expected_out = expected->plaintext;
 663         out_len = expected->plaintext_len;
 664     }
 665     if (inp_misalign == (size_t)-1) {
 666         /* Exercise in-place encryption */
 667         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH);
 668         if (!tmp)
 669             goto err;
 670         in = memcpy(tmp + out_misalign, in, in_len);
 671     } else {
 672         inp_misalign += 16 - ((out_misalign + in_len) & 15);
 673         /*
 674          * 'tmp' will store both output and copy of input. We make the copy
 675          * of input to specifically aligned part of 'tmp'. So we just
 676          * figured out how much padding would ensure the required alignment,
 677          * now we allocate extended buffer and finally copy the input just
 678          * past inp_misalign in expression below. Output will be written
 679          * past out_misalign...
 680          */
 681         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 682                              inp_misalign + in_len);
 683         if (!tmp)
 684             goto err;
 685         in = memcpy(tmp + out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 686                     inp_misalign, in, in_len);
 687     }
 688     if (!EVP_CipherInit_ex(ctx_base, expected->cipher, NULL, NULL, NULL, enc)) {
 689         t->err = "CIPHERINIT_ERROR";
 690         goto err;
 691     }
 692     if (expected->cts_mode != NULL) {
 693         OSSL_PARAM params[2];
 694
 695         params[0] = OSSL_PARAM_construct_utf8_string(OSSL_CIPHER_PARAM_CTS_MODE,
 696                                                      (char *)expected->cts_mode,
 697                                                      0);
 698         params[1] = OSSL_PARAM_construct_end();
 699         if (!EVP_CIPHER_CTX_set_params(ctx_base, params)) {
 700             t->err = "INVALID_CTS_MODE";
 701             goto err;
 702         }
 703     }
 704     if (expected->iv) {
 705         if (expected->aead) {
 706             if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_AEAD_SET_IVLEN,
 707                                      expected->iv_len, 0)) {
 708                 t->err = "INVALID_IV_LENGTH";
 709                 goto err;
 710             }
 711         } else if (expected->iv_len != (size_t)EVP_CIPHER_CTX_iv_length(ctx_base)) {
 712             t->err = "INVALID_IV_LENGTH";
 713             goto err;
 714         }
 715     }
 716     if (expected->aead) {
 717         unsigned char *tag;
 718         /*
 719          * If encrypting or OCB just set tag length initially, otherwise
 720          * set tag length and value.
 721          */
 722         if (enc || expected->aead == EVP_CIPH_OCB_MODE || expected->tag_late) {
 723             t->err = "TAG_LENGTH_SET_ERROR";
 724             tag = NULL;
 725         } else {
 726             t->err = "TAG_SET_ERROR";
 727             tag = expected->tag;
 728         }
 729         if (tag || expected->aead != EVP_CIPH_GCM_MODE) {
 730             if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_AEAD_SET_TAG,
 731                                      expected->tag_len, tag))
 732                 goto err;
 733         }
 734     }
 735
 736     if (expected->rounds > 0) {
 737         int  rounds = (int)expected->rounds;
 738
 739         if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_SET_RC5_ROUNDS, rounds, NULL)) {
 740             t->err = "INVALID_ROUNDS";
 741             goto err;
 742         }
 743     }
 744
 745     if (!EVP_CIPHER_CTX_set_key_length(ctx_base, expected->key_len)) {
 746         t->err = "INVALID_KEY_LENGTH";
 747         goto err;
 748     }
 749     if (expected->key_bits > 0) {
 750         int bits = (int)expected->key_bits;
 751
 752         if (!EVP_CIPHER_CTX_ctrl(ctx_base, EVP_CTRL_SET_RC2_KEY_BITS, bits, NULL)) {
 753             t->err = "INVALID KEY BITS";
 754             goto err;
 755         }
 756     }
 757     if (!EVP_CipherInit_ex(ctx_base, NULL, NULL, expected->key, expected->iv, -1)) {
 758         t->err = "KEY_SET_ERROR";
 759         goto err;
 760     }
 761
 762     /* Check that we get the same IV back */
 763     if (expected->iv != NULL) {
 764         /* Some (e.g., GCM) tests use IVs longer than EVP_MAX_IV_LENGTH. */
 765         unsigned char iv[128];
 766         if (!TEST_true(EVP_CIPHER_CTX_get_iv_state(ctx_base, iv, sizeof(iv)))
 767                 || ((EVP_CIPHER_flags(expected->cipher) & EVP_CIPH_CUSTOM_IV) == 0
 768                     && !TEST_mem_eq(expected->iv, expected->iv_len, iv,
 769                                     expected->iv_len))) {
 770             t->err = "INVALID_IV";
 771             goto err;
 772         }
 773     }
 774
 775     /* Test that the cipher dup functions correctly if it is supported */
 776     if (EVP_CIPHER_CTX_copy(ctx, ctx_base)) {
 777         EVP_CIPHER_CTX_free(ctx_base);
 778         ctx_base = NULL;
 779     } else {
 780         EVP_CIPHER_CTX_free(ctx);
 781         ctx = ctx_base;
 782     }
 783
 784     if (expected->aead == EVP_CIPH_CCM_MODE) {
 785         if (!EVP_CipherUpdate(ctx, NULL, &tmplen, NULL, out_len)) {
 786             t->err = "CCM_PLAINTEXT_LENGTH_SET_ERROR";
 787             goto err;
 788         }
 789     }
 790     if (expected->aad[0] != NULL) {
 791         t->err = "AAD_SET_ERROR";
 792         if (!frag) {
 793             for (i = 0; expected->aad[i] != NULL; i++) {
 794                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad[i],
 795                                       expected->aad_len[i]))
 796                     goto err;
 797             }
 798         } else {
 799             /*
 800              * Supply the AAD in chunks less than the block size where possible
 801              */
 802             for (i = 0; expected->aad[i] != NULL; i++) {
 803                 if (expected->aad_len[i] > 0) {
 804                     if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad[i], 1))
 805                         goto err;
 806                     donelen++;
 807                 }
 808                 if (expected->aad_len[i] > 2) {
 809                     if (!EVP_CipherUpdate(ctx, NULL, &chunklen,
 810                                           expected->aad[i] + donelen,
 811                                           expected->aad_len[i] - 2))
 812                         goto err;
 813                     donelen += expected->aad_len[i] - 2;
 814                 }
 815                 if (expected->aad_len[i] > 1
 816                     && !EVP_CipherUpdate(ctx, NULL, &chunklen,
 817                                          expected->aad[i] + donelen, 1))
 818                     goto err;
 819             }
 820         }
 821     }
 822
 823     if (!enc && (expected->aead == EVP_CIPH_OCB_MODE || expected->tag_late)) {
 824         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
 825                                  expected->tag_len, expected->tag)) {
 826             t->err = "TAG_SET_ERROR";
 827             goto err;
 828         }
 829     }
 830
 831     EVP_CIPHER_CTX_set_padding(ctx, 0);
 832     t->err = "CIPHERUPDATE_ERROR";
 833     tmplen = 0;
 834     if (!frag) {
 835         /* We supply the data all in one go */
 836         if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &tmplen, in, in_len))
 837             goto err;
 838     } else {
 839         /* Supply the data in chunks less than the block size where possible */
 840         if (in_len > 0) {
 841             if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &chunklen, in, 1))
 842                 goto err;
 843             tmplen += chunklen;
 844             in++;
 845             in_len--;
 846         }
 847         if (in_len > 1) {
 848             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
 849                                   in, in_len - 1))
 850                 goto err;
 851             tmplen += chunklen;
 852             in += in_len - 1;
 853             in_len = 1;
 854         }
 855         if (in_len > 0 ) {
 856             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
 857                                   in, 1))
 858                 goto err;
 859             tmplen += chunklen;
 860         }
 861     }
 862     if (!EVP_CipherFinal_ex(ctx, tmp + out_misalign + tmplen, &tmpflen)) {
 863         t->err = "CIPHERFINAL_ERROR";
 864         goto err;
 865     }
 866     if (!memory_err_compare(t, "VALUE_MISMATCH", expected_out, out_len,
 867                             tmp + out_misalign, tmplen + tmpflen))
 868         goto err;
 869     if (enc && expected->aead) {
 870         unsigned char rtag[16];
 871
 872         if (!TEST_size_t_le(expected->tag_len, sizeof(rtag))) {
 873             t->err = "TAG_LENGTH_INTERNAL_ERROR";
 874             goto err;
 875         }
 876         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_GET_TAG,
 877                                  expected->tag_len, rtag)) {
 878             t->err = "TAG_RETRIEVE_ERROR";
 879             goto err;
 880         }
 881         if (!memory_err_compare(t, "TAG_VALUE_MISMATCH",
 882                                 expected->tag, expected->tag_len,
 883                                 rtag, expected->tag_len))
 884             goto err;
 885     }
 886     t->err = NULL;
 887     ok = 1;
 888  err:
 889     OPENSSL_free(tmp);
 890     if (ctx != ctx_base)
 891         EVP_CIPHER_CTX_free(ctx_base);
 892     EVP_CIPHER_CTX_free(ctx);
 893     return ok;
 894 }
 895
 896 static int cipher_test_run(EVP_TEST *t)
 897 {
 898     CIPHER_DATA *cdat = t->data;
 899     int rv, frag = 0;
 900     size_t out_misalign, inp_misalign;
 901
 902     if (!cdat->key) {
 903         t->err = "NO_KEY";
 904         return 0;
 905     }
 906     if (!cdat->iv && EVP_CIPHER_iv_length(cdat->cipher)) {
 907         /* IV is optional and usually omitted in wrap mode */
 908         if (EVP_CIPHER_mode(cdat->cipher) != EVP_CIPH_WRAP_MODE) {
 909             t->err = "NO_IV";
 910             return 0;
 911         }
 912     }
 913     if (cdat->aead && !cdat->tag) {
 914         t->err = "NO_TAG";
 915         return 0;
 916     }
 917     for (out_misalign = 0; out_misalign <= 1;) {
 918         static char aux_err[64];
 919         t->aux_err = aux_err;
 920         for (inp_misalign = (size_t)-1; inp_misalign != 2; inp_misalign++) {
 921             if (inp_misalign == (size_t)-1) {
 922                 /* kludge: inp_misalign == -1 means "exercise in-place" */
 923                 BIO_snprintf(aux_err, sizeof(aux_err),
 924                              "%s in-place, %sfragmented",
 925                              out_misalign ? "misaligned" : "aligned",
 926                              frag ? "" : "not ");
 927             } else {
 928                 BIO_snprintf(aux_err, sizeof(aux_err),
 929                              "%s output and %s input, %sfragmented",
 930                              out_misalign ? "misaligned" : "aligned",
 931                              inp_misalign ? "misaligned" : "aligned",
 932                              frag ? "" : "not ");
 933             }
 934             if (cdat->enc) {
 935                 rv = cipher_test_enc(t, 1, out_misalign, inp_misalign, frag);
 936                 /* Not fatal errors: return */
 937                 if (rv != 1) {
 938                     if (rv < 0)
 939                         return 0;
 940                     return 1;
 941                 }
 942             }
 943             if (cdat->enc != 1) {
 944                 rv = cipher_test_enc(t, 0, out_misalign, inp_misalign, frag);
 945                 /* Not fatal errors: return */
 946                 if (rv != 1) {
 947                     if (rv < 0)
 948                         return 0;
 949                     return 1;
 950                 }
 951             }
 952         }
 953
 954         if (out_misalign == 1 && frag == 0) {
 955             /*
 956              * XTS, SIV, CCM and Wrap modes have special requirements about input
 957              * lengths so we don't fragment for those
 958              */
 959             if (cdat->aead == EVP_CIPH_CCM_MODE
 960                     || ((EVP_CIPHER_flags(cdat->cipher) & EVP_CIPH_FLAG_CTS) != 0)
 961                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_SIV_MODE
 962                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_XTS_MODE
 963                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_WRAP_MODE)
 964                 break;
 965             out_misalign = 0;
 966             frag++;
 967         } else {
 968             out_misalign++;
 969         }
 970     }
 971     t->aux_err = NULL;
 972
 973     return 1;
 974 }
 975
 976 static const EVP_TEST_METHOD cipher_test_method = {
 977     "Cipher",
 978     cipher_test_init,
 979     cipher_test_cleanup,
 980     cipher_test_parse,
 981     cipher_test_run
 982 };
 983
 984
 985 /**
 986  **  MAC TESTS
 987  **/
 988
 989 typedef struct mac_data_st {
 990     /* MAC type in one form or another */
 991     char *mac_name;
 992     EVP_MAC *mac;                /* for mac_test_run_mac */
 993     int type;                    /* for mac_test_run_pkey */
 994     /* Algorithm string for this MAC */
 995     char *alg;
 996     /* MAC key */
 997     unsigned char *key;
 998     size_t key_len;
 999     /* MAC IV (GMAC) */
1000     unsigned char *iv;
1001     size_t iv_len;
1002     /* Input to MAC */
1003     unsigned char *input;
1004     size_t input_len;
1005     /* Expected output */
1006     unsigned char *output;
1007     size_t output_len;
1008     unsigned char *custom;
1009     size_t custom_len;
1010     /* MAC salt (blake2) */
1011     unsigned char *salt;
1012     size_t salt_len;
1013     /* Collection of controls */
1014     STACK_OF(OPENSSL_STRING) *controls;
1015 } MAC_DATA;
1016
1017 static int mac_test_init(EVP_TEST *t, const char *alg)
1018 {
1019     EVP_MAC *mac = NULL;
1020     int type = NID_undef;
1021     MAC_DATA *mdat;
1022
1023     if (is_mac_disabled(alg)) {
1024         TEST_info("skipping, '%s' is disabled", alg);
1025         t->skip = 1;
1026         return 1;
1027     }
1028     if ((mac = EVP_MAC_fetch(libctx, alg, NULL)) == NULL) {
1029         /*
1030          * Since we didn't find an EVP_MAC, we check for known EVP_PKEY methods
1031          * For debugging purposes, we allow 'NNNN by EVP_PKEY' to force running
1032          * the EVP_PKEY method.
1033          */
1034         size_t sz = strlen(alg);
1035         static const char epilogue[] = " by EVP_PKEY";
1036
1037         if (sz >= sizeof(epilogue)
1038             && strcmp(alg + sz - (sizeof(epilogue) - 1), epilogue) == 0)
1039             sz -= sizeof(epilogue) - 1;
1040
1041         if (strncmp(alg, "HMAC", sz) == 0)
1042             type = EVP_PKEY_HMAC;
1043         else if (strncmp(alg, "CMAC", sz) == 0)
1044             type = EVP_PKEY_CMAC;
1045         else if (strncmp(alg, "Poly1305", sz) == 0)
1046             type = EVP_PKEY_POLY1305;
1047         else if (strncmp(alg, "SipHash", sz) == 0)
1048             type = EVP_PKEY_SIPHASH;
1049         else
1050             return 0;
1051     }
1052
1053     mdat = OPENSSL_zalloc(sizeof(*mdat));
1054     mdat->type = type;
1055     mdat->mac_name = OPENSSL_strdup(alg);
1056     mdat->mac = mac;
1057     mdat->controls = sk_OPENSSL_STRING_new_null();
1058     t->data = mdat;
1059     return 1;
1060 }
1061
1062 /* Because OPENSSL_free is a macro, it can't be passed as a function pointer */
1063 static void openssl_free(char *m)
1064 {
1065     OPENSSL_free(m);
1066 }
1067
1068 static void mac_test_cleanup(EVP_TEST *t)
1069 {
1070     MAC_DATA *mdat = t->data;
1071
1072     EVP_MAC_free(mdat->mac);
1073     OPENSSL_free(mdat->mac_name);
1074     sk_OPENSSL_STRING_pop_free(mdat->controls, openssl_free);
1075     OPENSSL_free(mdat->alg);
1076     OPENSSL_free(mdat->key);
1077     OPENSSL_free(mdat->iv);
1078     OPENSSL_free(mdat->custom);
1079     OPENSSL_free(mdat->salt);
1080     OPENSSL_free(mdat->input);
1081     OPENSSL_free(mdat->output);
1082 }
1083
1084 static int mac_test_parse(EVP_TEST *t,
1085                           const char *keyword, const char *value)
1086 {
1087     MAC_DATA *mdata = t->data;
1088
1089     if (strcmp(keyword, "Key") == 0)
1090         return parse_bin(value, &mdata->key, &mdata->key_len);
1091     if (strcmp(keyword, "IV") == 0)
1092         return parse_bin(value, &mdata->iv, &mdata->iv_len);
1093     if (strcmp(keyword, "Custom") == 0)
1094         return parse_bin(value, &mdata->custom, &mdata->custom_len);
1095     if (strcmp(keyword, "Salt") == 0)
1096         return parse_bin(value, &mdata->salt, &mdata->salt_len);
1097     if (strcmp(keyword, "Algorithm") == 0) {
1098         mdata->alg = OPENSSL_strdup(value);
1099         if (!mdata->alg)
1100             return -1;
1101         return 1;
1102     }
1103     if (strcmp(keyword, "Input") == 0)
1104         return parse_bin(value, &mdata->input, &mdata->input_len);
1105     if (strcmp(keyword, "Output") == 0)
1106         return parse_bin(value, &mdata->output, &mdata->output_len);
1107     if (strcmp(keyword, "Ctrl") == 0)
1108         return sk_OPENSSL_STRING_push(mdata->controls,
1109                                       OPENSSL_strdup(value)) != 0;
1110     return 0;
1111 }
1112
1113 static int mac_test_ctrl_pkey(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1114                               const char *value)
1115 {
1116     int rv;
1117     char *p, *tmpval;
1118
1119     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1120         return 0;
1121     p = strchr(tmpval, ':');
1122     if (p != NULL)
1123         *p++ = '\0';
1124     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1125     if (rv == -2)
1126         t->err = "PKEY_CTRL_INVALID";
1127     else if (rv <= 0)
1128         t->err = "PKEY_CTRL_ERROR";
1129     else
1130         rv = 1;
1131     OPENSSL_free(tmpval);
1132     return rv > 0;
1133 }
1134
1135 static int mac_test_run_pkey(EVP_TEST *t)
1136 {
1137     MAC_DATA *expected = t->data;
1138     EVP_MD_CTX *mctx = NULL;
1139     EVP_PKEY_CTX *pctx = NULL, *genctx = NULL;
1140     EVP_PKEY *key = NULL;
1141     const char *mdname = NULL;
1142     EVP_CIPHER *cipher = NULL;
1143     unsigned char *got = NULL;
1144     size_t got_len;
1145     int i;
1146
1147     if (expected->alg == NULL)
1148         TEST_info("Trying the EVP_PKEY %s test", OBJ_nid2sn(expected->type));
1149     else
1150         TEST_info("Trying the EVP_PKEY %s test with %s",
1151                   OBJ_nid2sn(expected->type), expected->alg);
1152
1153     if (expected->type == EVP_PKEY_CMAC) {
1154         if (expected->alg != NULL && is_cipher_disabled(expected->alg)) {
1155             TEST_info("skipping, PKEY CMAC '%s' is disabled", expected->alg);
1156             t->skip = 1;
1157             t->err = NULL;
1158             goto err;
1159         }
1160         if (!TEST_ptr(cipher = EVP_CIPHER_fetch(libctx, expected->alg, NULL))) {
1161             t->err = "MAC_KEY_CREATE_ERROR";
1162             goto err;
1163         }
1164         key = EVP_PKEY_new_CMAC_key_with_libctx(expected->key,
1165                                                 expected->key_len,
1166                                                 EVP_CIPHER_name(cipher),
1167                                                 libctx, NULL);
1168     } else {
1169         key = EVP_PKEY_new_raw_private_key_with_libctx(libctx,
1170                                                        OBJ_nid2sn(expected->type),
1171                                                        NULL, expected->key,
1172                                                        expected->key_len);
1173     }
1174     if (key == NULL) {
1175         t->err = "MAC_KEY_CREATE_ERROR";
1176         goto err;
1177     }
1178
1179     if (expected->type == EVP_PKEY_HMAC && expected->alg != NULL) {
1180         if (is_digest_disabled(expected->alg)) {
1181             TEST_info("skipping, HMAC '%s' is disabled", expected->alg);
1182             t->skip = 1;
1183             t->err = NULL;
1184             goto err;
1185         }
1186         mdname = expected->alg;
1187     }
1188     if (!TEST_ptr(mctx = EVP_MD_CTX_new())) {
1189         t->err = "INTERNAL_ERROR";
1190         goto err;
1191     }
1192     if (!EVP_DigestSignInit_with_libctx(mctx, &pctx, mdname, libctx, NULL, key)) {
1193         t->err = "DIGESTSIGNINIT_ERROR";
1194         goto err;
1195     }
1196     for (i = 0; i < sk_OPENSSL_STRING_num(expected->controls); i++)
1197         if (!mac_test_ctrl_pkey(t, pctx,
1198                                 sk_OPENSSL_STRING_value(expected->controls,
1199                                                         i))) {
1200             t->err = "EVPPKEYCTXCTRL_ERROR";
1201             goto err;
1202         }
1203     if (!EVP_DigestSignUpdate(mctx, expected->input, expected->input_len)) {
1204         t->err = "DIGESTSIGNUPDATE_ERROR";
1205         goto err;
1206     }
1207     if (!EVP_DigestSignFinal(mctx, NULL, &got_len)) {
1208         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
1209         goto err;
1210     }
1211     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1212         t->err = "TEST_FAILURE";
1213         goto err;
1214     }
1215     if (!EVP_DigestSignFinal(mctx, got, &got_len)
1216             || !memory_err_compare(t, "TEST_MAC_ERR",
1217                                    expected->output, expected->output_len,
1218                                    got, got_len)) {
1219         t->err = "TEST_MAC_ERR";
1220         goto err;
1221     }
1222     t->err = NULL;
1223  err:
1224     EVP_CIPHER_free(cipher);
1225     EVP_MD_CTX_free(mctx);
1226     OPENSSL_free(got);
1227     EVP_PKEY_CTX_free(genctx);
1228     EVP_PKEY_free(key);
1229     return 1;
1230 }
1231
1232 static int mac_test_run_mac(EVP_TEST *t)
1233 {
1234     MAC_DATA *expected = t->data;
1235     EVP_MAC_CTX *ctx = NULL;
1236     unsigned char *got = NULL;
1237     size_t got_len;
1238     int i;
1239     OSSL_PARAM params[21];
1240     size_t params_n = 0;
1241     size_t params_n_allocstart = 0;
1242     const OSSL_PARAM *defined_params =
1243         EVP_MAC_settable_ctx_params(expected->mac);
1244
1245     if (expected->alg == NULL)
1246         TEST_info("Trying the EVP_MAC %s test", expected->mac_name);
1247     else
1248         TEST_info("Trying the EVP_MAC %s test with %s",
1249                   expected->mac_name, expected->alg);
1250
1251     if (expected->alg != NULL) {
1252         /*
1253          * The underlying algorithm may be a cipher or a digest.
1254          * We don't know which it is, but we can ask the MAC what it
1255          * should be and bet on that.
1256          */
1257         if (OSSL_PARAM_locate_const(defined_params,
1258                                     OSSL_MAC_PARAM_CIPHER) != NULL) {
1259             params[params_n++] =
1260                 OSSL_PARAM_construct_utf8_string(OSSL_MAC_PARAM_CIPHER,
1261                                                  expected->alg, 0);
1262         } else if (OSSL_PARAM_locate_const(defined_params,
1263                                            OSSL_MAC_PARAM_DIGEST) != NULL) {
1264             params[params_n++] =
1265                 OSSL_PARAM_construct_utf8_string(OSSL_MAC_PARAM_DIGEST,
1266                                                  expected->alg, 0);
1267         } else {
1268             t->err = "MAC_BAD_PARAMS";
1269             goto err;
1270         }
1271     }
1272     if (expected->key != NULL)
1273         params[params_n++] =
1274             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_KEY,
1275                                               expected->key,
1276                                               expected->key_len);
1277     if (expected->custom != NULL)
1278         params[params_n++] =
1279             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_CUSTOM,
1280                                               expected->custom,
1281                                               expected->custom_len);
1282     if (expected->salt != NULL)
1283         params[params_n++] =
1284             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_SALT,
1285                                               expected->salt,
1286                                               expected->salt_len);
1287     if (expected->iv != NULL)
1288         params[params_n++] =
1289             OSSL_PARAM_construct_octet_string(OSSL_MAC_PARAM_IV,
1290                                               expected->iv,
1291                                               expected->iv_len);
1292
1293     /* Unknown controls.  They must match parameters that the MAC recognizes */
1294     if (params_n + sk_OPENSSL_STRING_num(expected->controls)
1295         >= OSSL_NELEM(params)) {
1296         t->err = "MAC_TOO_MANY_PARAMETERS";
1297         goto err;
1298     }
1299     params_n_allocstart = params_n;
1300     for (i = 0; i < sk_OPENSSL_STRING_num(expected->controls); i++) {
1301         char *tmpkey, *tmpval;
1302         char *value = sk_OPENSSL_STRING_value(expected->controls, i);
1303
1304         if (!TEST_ptr(tmpkey = OPENSSL_strdup(value))) {
1305             t->err = "MAC_PARAM_ERROR";
1306             goto err;
1307         }
1308         tmpval = strchr(tmpkey, ':');
1309         if (tmpval != NULL)
1310             *tmpval++ = '\0';
1311
1312         if (tmpval == NULL
1313             || !OSSL_PARAM_allocate_from_text(&params[params_n],
1314                                               defined_params,
1315                                               tmpkey, tmpval,
1316                                               strlen(tmpval), NULL)) {
1317             OPENSSL_free(tmpkey);
1318             t->err = "MAC_PARAM_ERROR";
1319             goto err;
1320         }
1321         params_n++;
1322
1323         OPENSSL_free(tmpkey);
1324     }
1325     params[params_n] = OSSL_PARAM_construct_end();
1326
1327     if ((ctx = EVP_MAC_CTX_new(expected->mac)) == NULL) {
1328         t->err = "MAC_CREATE_ERROR";
1329         goto err;
1330     }
1331
1332     if (!EVP_MAC_CTX_set_params(ctx, params)) {
1333         t->err = "MAC_BAD_PARAMS";
1334         goto err;
1335     }
1336     if (!EVP_MAC_init(ctx)) {
1337         t->err = "MAC_INIT_ERROR";
1338         goto err;
1339     }
1340     if (!EVP_MAC_update(ctx, expected->input, expected->input_len)) {
1341         t->err = "MAC_UPDATE_ERROR";
1342         goto err;
1343     }
1344     if (!EVP_MAC_final(ctx, NULL, &got_len, 0)) {
1345         t->err = "MAC_FINAL_LENGTH_ERROR";
1346         goto err;
1347     }
1348     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1349         t->err = "TEST_FAILURE";
1350         goto err;
1351     }
1352     if (!EVP_MAC_final(ctx, got, &got_len, got_len)
1353         || !memory_err_compare(t, "TEST_MAC_ERR",
1354                                expected->output, expected->output_len,
1355                                got, got_len)) {
1356         t->err = "TEST_MAC_ERR";
1357         goto err;
1358     }
1359     t->err = NULL;
1360  err:
1361     while (params_n-- > params_n_allocstart) {
1362         OPENSSL_free(params[params_n].data);
1363     }
1364     EVP_MAC_CTX_free(ctx);
1365     OPENSSL_free(got);
1366     return 1;
1367 }
1368
1369 static int mac_test_run(EVP_TEST *t)
1370 {
1371     MAC_DATA *expected = t->data;
1372
1373     if (expected->mac != NULL)
1374         return mac_test_run_mac(t);
1375     return mac_test_run_pkey(t);
1376 }
1377
1378 static const EVP_TEST_METHOD mac_test_method = {
1379     "MAC",
1380     mac_test_init,
1381     mac_test_cleanup,
1382     mac_test_parse,
1383     mac_test_run
1384 };
1385
1386
1387 /**
1388  **  PUBLIC KEY TESTS
1389  **  These are all very similar and share much common code.
1390  **/
1391
1392 typedef struct pkey_data_st {
1393     /* Context for this operation */
1394     EVP_PKEY_CTX *ctx;
1395     /* Key operation to perform */
1396     int (*keyop) (EVP_PKEY_CTX *ctx,
1397                   unsigned char *sig, size_t *siglen,
1398                   const unsigned char *tbs, size_t tbslen);
1399     /* Input to MAC */
1400     unsigned char *input;
1401     size_t input_len;
1402     /* Expected output */
1403     unsigned char *output;
1404     size_t output_len;
1405 } PKEY_DATA;
1406
1407 /*
1408  * Perform public key operation setup: lookup key, allocated ctx and call
1409  * the appropriate initialisation function
1410  */
1411 static int pkey_test_init(EVP_TEST *t, const char *name,
1412                           int use_public,
1413                           int (*keyopinit) (EVP_PKEY_CTX *ctx),
1414                           int (*keyop)(EVP_PKEY_CTX *ctx,
1415                                        unsigned char *sig, size_t *siglen,
1416                                        const unsigned char *tbs,
1417                                        size_t tbslen))
1418 {
1419     PKEY_DATA *kdata;
1420     EVP_PKEY *pkey = NULL;
1421     int rv = 0;
1422
1423     if (use_public)
1424         rv = find_key(&pkey, name, public_keys);
1425     if (rv == 0)
1426         rv = find_key(&pkey, name, private_keys);
1427     if (rv == 0 || pkey == NULL) {
1428         TEST_info("skipping, key '%s' is disabled", name);
1429         t->skip = 1;
1430         return 1;
1431     }
1432
1433     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata)))) {
1434         EVP_PKEY_free(pkey);
1435         return 0;
1436     }
1437     kdata->keyop = keyop;
1438     if (!TEST_ptr(kdata->ctx = EVP_PKEY_CTX_new_from_pkey(libctx, pkey, NULL))) {
1439         EVP_PKEY_free(pkey);
1440         OPENSSL_free(kdata);
1441         return 0;
1442     }
1443     if (keyopinit(kdata->ctx) <= 0)
1444         t->err = "KEYOP_INIT_ERROR";
1445     t->data = kdata;
1446     return 1;
1447 }
1448
1449 static void pkey_test_cleanup(EVP_TEST *t)
1450 {
1451     PKEY_DATA *kdata = t->data;
1452
1453     OPENSSL_free(kdata->input);
1454     OPENSSL_free(kdata->output);
1455     EVP_PKEY_CTX_free(kdata->ctx);
1456 }
1457
1458 static int pkey_test_ctrl(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1459                           const char *value)
1460 {
1461     int rv;
1462     char *p, *tmpval;
1463
1464     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1465         return 0;
1466     p = strchr(tmpval, ':');
1467     if (p != NULL)
1468         *p++ = '\0';
1469     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1470     if (rv == -2) {
1471         t->err = "PKEY_CTRL_INVALID";
1472         rv = 1;
1473     } else if (p != NULL && rv <= 0) {
1474         if (is_digest_disabled(p) || is_cipher_disabled(p)) {
1475             TEST_info("skipping, '%s' is disabled", p);
1476             t->skip = 1;
1477             rv = 1;
1478         } else {
1479             t->err = "PKEY_CTRL_ERROR";
1480             rv = 1;
1481         }
1482     }
1483     OPENSSL_free(tmpval);
1484     return rv > 0;
1485 }
1486
1487 static int pkey_test_parse(EVP_TEST *t,
1488                            const char *keyword, const char *value)
1489 {
1490     PKEY_DATA *kdata = t->data;
1491     if (strcmp(keyword, "Input") == 0)
1492         return parse_bin(value, &kdata->input, &kdata->input_len);
1493     if (strcmp(keyword, "Output") == 0)
1494         return parse_bin(value, &kdata->output, &kdata->output_len);
1495     if (strcmp(keyword, "Ctrl") == 0)
1496         return pkey_test_ctrl(t, kdata->ctx, value);
1497     return 0;
1498 }
1499
1500 static int pkey_test_run(EVP_TEST *t)
1501 {
1502     PKEY_DATA *expected = t->data;
1503     unsigned char *got = NULL;
1504     size_t got_len;
1505     EVP_PKEY_CTX *copy = NULL;
1506
1507     if (expected->keyop(expected->ctx, NULL, &got_len,
1508                         expected->input, expected->input_len) <= 0
1509             || !TEST_ptr(got = OPENSSL_malloc(got_len))) {
1510         t->err = "KEYOP_LENGTH_ERROR";
1511         goto err;
1512     }
1513     if (expected->keyop(expected->ctx, got, &got_len,
1514                         expected->input, expected->input_len) <= 0) {
1515         t->err = "KEYOP_ERROR";
1516         goto err;
1517     }
1518     if (!memory_err_compare(t, "KEYOP_MISMATCH",
1519                             expected->output, expected->output_len,
1520                             got, got_len))
1521         goto err;
1522
1523     t->err = NULL;
1524     OPENSSL_free(got);
1525     got = NULL;
1526
1527     /* Repeat the test on a copy. */
1528     if (!TEST_ptr(copy = EVP_PKEY_CTX_dup(expected->ctx))) {
1529         t->err = "INTERNAL_ERROR";
1530         goto err;
1531     }
1532     if (expected->keyop(copy, NULL, &got_len, expected->input,
1533                         expected->input_len) <= 0
1534             || !TEST_ptr(got = OPENSSL_malloc(got_len))) {
1535         t->err = "KEYOP_LENGTH_ERROR";
1536         goto err;
1537     }
1538     if (expected->keyop(copy, got, &got_len, expected->input,
1539                         expected->input_len) <= 0) {
1540         t->err = "KEYOP_ERROR";
1541         goto err;
1542     }
1543     if (!memory_err_compare(t, "KEYOP_MISMATCH",
1544                             expected->output, expected->output_len,
1545                             got, got_len))
1546         goto err;
1547
1548  err:
1549     OPENSSL_free(got);
1550     EVP_PKEY_CTX_free(copy);
1551     return 1;
1552 }
1553
1554 static int sign_test_init(EVP_TEST *t, const char *name)
1555 {
1556     return pkey_test_init(t, name, 0, EVP_PKEY_sign_init, EVP_PKEY_sign);
1557 }
1558
1559 static const EVP_TEST_METHOD psign_test_method = {
1560     "Sign",
1561     sign_test_init,
1562     pkey_test_cleanup,
1563     pkey_test_parse,
1564     pkey_test_run
1565 };
1566
1567 static int verify_recover_test_init(EVP_TEST *t, const char *name)
1568 {
1569     return pkey_test_init(t, name, 1, EVP_PKEY_verify_recover_init,
1570                           EVP_PKEY_verify_recover);
1571 }
1572
1573 static const EVP_TEST_METHOD pverify_recover_test_method = {
1574     "VerifyRecover",
1575     verify_recover_test_init,
1576     pkey_test_cleanup,
1577     pkey_test_parse,
1578     pkey_test_run
1579 };
1580
1581 static int decrypt_test_init(EVP_TEST *t, const char *name)
1582 {
1583     return pkey_test_init(t, name, 0, EVP_PKEY_decrypt_init,
1584                           EVP_PKEY_decrypt);
1585 }
1586
1587 static const EVP_TEST_METHOD pdecrypt_test_method = {
1588     "Decrypt",
1589     decrypt_test_init,
1590     pkey_test_cleanup,
1591     pkey_test_parse,
1592     pkey_test_run
1593 };
1594
1595 static int verify_test_init(EVP_TEST *t, const char *name)
1596 {
1597     return pkey_test_init(t, name, 1, EVP_PKEY_verify_init, 0);
1598 }
1599
1600 static int verify_test_run(EVP_TEST *t)
1601 {
1602     PKEY_DATA *kdata = t->data;
1603
1604     if (EVP_PKEY_verify(kdata->ctx, kdata->output, kdata->output_len,
1605                         kdata->input, kdata->input_len) <= 0)
1606         t->err = "VERIFY_ERROR";
1607     return 1;
1608 }
1609
1610 static const EVP_TEST_METHOD pverify_test_method = {
1611     "Verify",
1612     verify_test_init,
1613     pkey_test_cleanup,
1614     pkey_test_parse,
1615     verify_test_run
1616 };
1617
1618 static int pderive_test_init(EVP_TEST *t, const char *name)
1619 {
1620     return pkey_test_init(t, name, 0, EVP_PKEY_derive_init, 0);
1621 }
1622
1623 static int pderive_test_parse(EVP_TEST *t,
1624                               const char *keyword, const char *value)
1625 {
1626     PKEY_DATA *kdata = t->data;
1627
1628     if (strcmp(keyword, "PeerKey") == 0) {
1629         EVP_PKEY *peer;
1630         if (find_key(&peer, value, public_keys) == 0)
1631             return -1;
1632         if (EVP_PKEY_derive_set_peer(kdata->ctx, peer) <= 0)
1633             return -1;
1634         return 1;
1635     }
1636     if (strcmp(keyword, "SharedSecret") == 0)
1637         return parse_bin(value, &kdata->output, &kdata->output_len);
1638     if (strcmp(keyword, "Ctrl") == 0)
1639         return pkey_test_ctrl(t, kdata->ctx, value);
1640     return 0;
1641 }
1642
1643 static int pderive_test_run(EVP_TEST *t)
1644 {
1645     PKEY_DATA *expected = t->data;
1646     unsigned char *got = NULL;
1647     size_t got_len;
1648
1649     if (EVP_PKEY_derive(expected->ctx, NULL, &got_len) <= 0) {
1650         t->err = "DERIVE_ERROR";
1651         goto err;
1652     }
1653     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1654         t->err = "DERIVE_ERROR";
1655         goto err;
1656     }
1657     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
1658         t->err = "DERIVE_ERROR";
1659         goto err;
1660     }
1661     if (!memory_err_compare(t, "SHARED_SECRET_MISMATCH",
1662                             expected->output, expected->output_len,
1663                             got, got_len))
1664         goto err;
1665
1666     t->err = NULL;
1667  err:
1668     OPENSSL_free(got);
1669     return 1;
1670 }
1671
1672 static const EVP_TEST_METHOD pderive_test_method = {
1673     "Derive",
1674     pderive_test_init,
1675     pkey_test_cleanup,
1676     pderive_test_parse,
1677     pderive_test_run
1678 };
1679
1680
1681 /**
1682  **  PBE TESTS
1683  **/
1684
1685 typedef enum pbe_type_enum {
1686     PBE_TYPE_INVALID = 0,
1687     PBE_TYPE_SCRYPT, PBE_TYPE_PBKDF2, PBE_TYPE_PKCS12
1688 } PBE_TYPE;
1689
1690 typedef struct pbe_data_st {
1691     PBE_TYPE pbe_type;
1692         /* scrypt parameters */
1693     uint64_t N, r, p, maxmem;
1694         /* PKCS#12 parameters */
1695     int id, iter;
1696     const EVP_MD *md;
1697         /* password */
1698     unsigned char *pass;
1699     size_t pass_len;
1700         /* salt */
1701     unsigned char *salt;
1702     size_t salt_len;
1703         /* Expected output */
1704     unsigned char *key;
1705     size_t key_len;
1706 } PBE_DATA;
1707
1708 #ifndef OPENSSL_NO_SCRYPT
1709 /* Parse unsigned decimal 64 bit integer value */
1710 static int parse_uint64(const char *value, uint64_t *pr)
1711 {
1712     const char *p = value;
1713
1714     if (!TEST_true(*p)) {
1715         TEST_info("Invalid empty integer value");
1716         return -1;
1717     }
1718     for (*pr = 0; *p; ) {
1719         if (*pr > UINT64_MAX / 10) {
1720             TEST_error("Integer overflow in string %s", value);
1721             return -1;
1722         }
1723         *pr *= 10;
1724         if (!TEST_true(isdigit((unsigned char)*p))) {
1725             TEST_error("Invalid character in string %s", value);
1726             return -1;
1727         }
1728         *pr += *p - '0';
1729         p++;
1730     }
1731     return 1;
1732 }
1733
1734 static int scrypt_test_parse(EVP_TEST *t,
1735                              const char *keyword, const char *value)
1736 {
1737     PBE_DATA *pdata = t->data;
1738
1739     if (strcmp(keyword, "N") == 0)
1740         return parse_uint64(value, &pdata->N);
1741     if (strcmp(keyword, "p") == 0)
1742         return parse_uint64(value, &pdata->p);
1743     if (strcmp(keyword, "r") == 0)
1744         return parse_uint64(value, &pdata->r);
1745     if (strcmp(keyword, "maxmem") == 0)
1746         return parse_uint64(value, &pdata->maxmem);
1747     return 0;
1748 }
1749 #endif
1750
1751 static int pbkdf2_test_parse(EVP_TEST *t,
1752                              const char *keyword, const char *value)
1753 {
1754     PBE_DATA *pdata = t->data;
1755
1756     if (strcmp(keyword, "iter") == 0) {
1757         pdata->iter = atoi(value);
1758         if (pdata->iter <= 0)
1759             return -1;
1760         return 1;
1761     }
1762     if (strcmp(keyword, "MD") == 0) {
1763         pdata->md = EVP_get_digestbyname(value);
1764         if (pdata->md == NULL)
1765             return -1;
1766         return 1;
1767     }
1768     return 0;
1769 }
1770
1771 static int pkcs12_test_parse(EVP_TEST *t,
1772                              const char *keyword, const char *value)
1773 {
1774     PBE_DATA *pdata = t->data;
1775
1776     if (strcmp(keyword, "id") == 0) {
1777         pdata->id = atoi(value);
1778         if (pdata->id <= 0)
1779             return -1;
1780         return 1;
1781     }
1782     return pbkdf2_test_parse(t, keyword, value);
1783 }
1784
1785 static int pbe_test_init(EVP_TEST *t, const char *alg)
1786 {
1787     PBE_DATA *pdat;
1788     PBE_TYPE pbe_type = PBE_TYPE_INVALID;
1789
1790     if (is_kdf_disabled(alg)) {
1791         TEST_info("skipping, '%s' is disabled", alg);
1792         t->skip = 1;
1793         return 1;
1794     }
1795     if (strcmp(alg, "scrypt") == 0) {
1796         pbe_type = PBE_TYPE_SCRYPT;
1797     } else if (strcmp(alg, "pbkdf2") == 0) {
1798         pbe_type = PBE_TYPE_PBKDF2;
1799     } else if (strcmp(alg, "pkcs12") == 0) {
1800         pbe_type = PBE_TYPE_PKCS12;
1801     } else {
1802         TEST_error("Unknown pbe algorithm %s", alg);
1803     }
1804     pdat = OPENSSL_zalloc(sizeof(*pdat));
1805     pdat->pbe_type = pbe_type;
1806     t->data = pdat;
1807     return 1;
1808 }
1809
1810 static void pbe_test_cleanup(EVP_TEST *t)
1811 {
1812     PBE_DATA *pdat = t->data;
1813
1814     OPENSSL_free(pdat->pass);
1815     OPENSSL_free(pdat->salt);
1816     OPENSSL_free(pdat->key);
1817 }
1818
1819 static int pbe_test_parse(EVP_TEST *t,
1820                           const char *keyword, const char *value)
1821 {
1822     PBE_DATA *pdata = t->data;
1823
1824     if (strcmp(keyword, "Password") == 0)
1825         return parse_bin(value, &pdata->pass, &pdata->pass_len);
1826     if (strcmp(keyword, "Salt") == 0)
1827         return parse_bin(value, &pdata->salt, &pdata->salt_len);
1828     if (strcmp(keyword, "Key") == 0)
1829         return parse_bin(value, &pdata->key, &pdata->key_len);
1830     if (pdata->pbe_type == PBE_TYPE_PBKDF2)
1831         return pbkdf2_test_parse(t, keyword, value);
1832     else if (pdata->pbe_type == PBE_TYPE_PKCS12)
1833         return pkcs12_test_parse(t, keyword, value);
1834 #ifndef OPENSSL_NO_SCRYPT
1835     else if (pdata->pbe_type == PBE_TYPE_SCRYPT)
1836         return scrypt_test_parse(t, keyword, value);
1837 #endif
1838     return 0;
1839 }
1840
1841 static int pbe_test_run(EVP_TEST *t)
1842 {
1843     PBE_DATA *expected = t->data;
1844     unsigned char *key;
1845     EVP_MD *fetched_digest = NULL;
1846     OPENSSL_CTX *save_libctx;
1847
1848     save_libctx = OPENSSL_CTX_set0_default(libctx);
1849
1850     if (!TEST_ptr(key = OPENSSL_malloc(expected->key_len))) {
1851         t->err = "INTERNAL_ERROR";
1852         goto err;
1853     }
1854     if (expected->pbe_type == PBE_TYPE_PBKDF2) {
1855         if (PKCS5_PBKDF2_HMAC((char *)expected->pass, expected->pass_len,
1856                               expected->salt, expected->salt_len,
1857                               expected->iter, expected->md,
1858                               expected->key_len, key) == 0) {
1859             t->err = "PBKDF2_ERROR";
1860             goto err;
1861         }
1862 #ifndef OPENSSL_NO_SCRYPT
1863     } else if (expected->pbe_type == PBE_TYPE_SCRYPT) {
1864         if (EVP_PBE_scrypt((const char *)expected->pass, expected->pass_len,
1865                             expected->salt, expected->salt_len,
1866                             expected->N, expected->r, expected->p,
1867                             expected->maxmem, key, expected->key_len) == 0) {
1868             t->err = "SCRYPT_ERROR";
1869             goto err;
1870         }
1871 #endif
1872     } else if (expected->pbe_type == PBE_TYPE_PKCS12) {
1873         fetched_digest = EVP_MD_fetch(libctx, EVP_MD_name(expected->md), NULL);
1874         if (fetched_digest == NULL) {
1875             t->err = "PKCS12_ERROR";
1876             goto err;
1877         }
1878         if (PKCS12_key_gen_uni(expected->pass, expected->pass_len,
1879                                expected->salt, expected->salt_len,
1880                                expected->id, expected->iter, expected->key_len,
1881                                key, fetched_digest) == 0) {
1882             t->err = "PKCS12_ERROR";
1883             goto err;
1884         }
1885     }
1886     if (!memory_err_compare(t, "KEY_MISMATCH", expected->key, expected->key_len,
1887                             key, expected->key_len))
1888         goto err;
1889
1890     t->err = NULL;
1891 err:
1892     EVP_MD_free(fetched_digest);
1893     OPENSSL_free(key);
1894     OPENSSL_CTX_set0_default(save_libctx);
1895     return 1;
1896 }
1897
1898 static const EVP_TEST_METHOD pbe_test_method = {
1899     "PBE",
1900     pbe_test_init,
1901     pbe_test_cleanup,
1902     pbe_test_parse,
1903     pbe_test_run
1904 };
1905
1906
1907 /**
1908  **  BASE64 TESTS
1909  **/
1910
1911 typedef enum {
1912     BASE64_CANONICAL_ENCODING = 0,
1913     BASE64_VALID_ENCODING = 1,
1914     BASE64_INVALID_ENCODING = 2
1915 } base64_encoding_type;
1916
1917 typedef struct encode_data_st {
1918     /* Input to encoding */
1919     unsigned char *input;
1920     size_t input_len;
1921     /* Expected output */
1922     unsigned char *output;
1923     size_t output_len;
1924     base64_encoding_type encoding;
1925 } ENCODE_DATA;
1926
1927 static int encode_test_init(EVP_TEST *t, const char *encoding)
1928 {
1929     ENCODE_DATA *edata;
1930
1931     if (!TEST_ptr(edata = OPENSSL_zalloc(sizeof(*edata))))
1932         return 0;
1933     if (strcmp(encoding, "canonical") == 0) {
1934         edata->encoding = BASE64_CANONICAL_ENCODING;
1935     } else if (strcmp(encoding, "valid") == 0) {
1936         edata->encoding = BASE64_VALID_ENCODING;
1937     } else if (strcmp(encoding, "invalid") == 0) {
1938         edata->encoding = BASE64_INVALID_ENCODING;
1939         if (!TEST_ptr(t->expected_err = OPENSSL_strdup("DECODE_ERROR")))
1940             goto err;
1941     } else {
1942         TEST_error("Bad encoding: %s."
1943                    " Should be one of {canonical, valid, invalid}",
1944                    encoding);
1945         goto err;
1946     }
1947     t->data = edata;
1948     return 1;
1949 err:
1950     OPENSSL_free(edata);
1951     return 0;
1952 }
1953
1954 static void encode_test_cleanup(EVP_TEST *t)
1955 {
1956     ENCODE_DATA *edata = t->data;
1957
1958     OPENSSL_free(edata->input);
1959     OPENSSL_free(edata->output);
1960     memset(edata, 0, sizeof(*edata));
1961 }
1962
1963 static int encode_test_parse(EVP_TEST *t,
1964                              const char *keyword, const char *value)
1965 {
1966     ENCODE_DATA *edata = t->data;
1967
1968     if (strcmp(keyword, "Input") == 0)
1969         return parse_bin(value, &edata->input, &edata->input_len);
1970     if (strcmp(keyword, "Output") == 0)
1971         return parse_bin(value, &edata->output, &edata->output_len);
1972     return 0;
1973 }
1974
1975 static int encode_test_run(EVP_TEST *t)
1976 {
1977     ENCODE_DATA *expected = t->data;
1978     unsigned char *encode_out = NULL, *decode_out = NULL;
1979     int output_len, chunk_len;
1980     EVP_ENCODE_CTX *decode_ctx = NULL, *encode_ctx = NULL;
1981
1982     if (!TEST_ptr(decode_ctx = EVP_ENCODE_CTX_new())) {
1983         t->err = "INTERNAL_ERROR";
1984         goto err;
1985     }
1986
1987     if (expected->encoding == BASE64_CANONICAL_ENCODING) {
1988
1989         if (!TEST_ptr(encode_ctx = EVP_ENCODE_CTX_new())
1990                 || !TEST_ptr(encode_out =
1991                         OPENSSL_malloc(EVP_ENCODE_LENGTH(expected->input_len))))
1992             goto err;
1993
1994         EVP_EncodeInit(encode_ctx);
1995         if (!TEST_true(EVP_EncodeUpdate(encode_ctx, encode_out, &chunk_len,
1996                                         expected->input, expected->input_len)))
1997             goto err;
1998
1999         output_len = chunk_len;
2000
2001         EVP_EncodeFinal(encode_ctx, encode_out + chunk_len, &chunk_len);
2002         output_len += chunk_len;
2003
2004         if (!memory_err_compare(t, "BAD_ENCODING",
2005                                 expected->output, expected->output_len,
2006                                 encode_out, output_len))
2007             goto err;
2008     }
2009
2010     if (!TEST_ptr(decode_out =
2011                 OPENSSL_malloc(EVP_DECODE_LENGTH(expected->output_len))))
2012         goto err;
2013
2014     EVP_DecodeInit(decode_ctx);
2015     if (EVP_DecodeUpdate(decode_ctx, decode_out, &chunk_len, expected->output,
2016                          expected->output_len) < 0) {
2017         t->err = "DECODE_ERROR";
2018         goto err;
2019     }
2020     output_len = chunk_len;
2021
2022     if (EVP_DecodeFinal(decode_ctx, decode_out + chunk_len, &chunk_len) != 1) {
2023         t->err = "DECODE_ERROR";
2024         goto err;
2025     }
2026     output_len += chunk_len;
2027
2028     if (expected->encoding != BASE64_INVALID_ENCODING
2029             && !memory_err_compare(t, "BAD_DECODING",
2030                                    expected->input, expected->input_len,
2031                                    decode_out, output_len)) {
2032         t->err = "BAD_DECODING";
2033         goto err;
2034     }
2035
2036     t->err = NULL;
2037  err:
2038     OPENSSL_free(encode_out);
2039     OPENSSL_free(decode_out);
2040     EVP_ENCODE_CTX_free(decode_ctx);
2041     EVP_ENCODE_CTX_free(encode_ctx);
2042     return 1;
2043 }
2044
2045 static const EVP_TEST_METHOD encode_test_method = {
2046     "Encoding",
2047     encode_test_init,
2048     encode_test_cleanup,
2049     encode_test_parse,
2050     encode_test_run,
2051 };
2052
2053
2054 /**
2055  **  RAND TESTS
2056  **/
2057 #define MAX_RAND_REPEATS    15
2058
2059 typedef struct rand_data_pass_st {
2060     unsigned char *entropy;
2061     unsigned char *reseed_entropy;
2062     unsigned char *nonce;
2063     unsigned char *pers;
2064     unsigned char *reseed_addin;
2065     unsigned char *addinA;
2066     unsigned char *addinB;
2067     unsigned char *pr_entropyA;
2068     unsigned char *pr_entropyB;
2069     unsigned char *output;
2070     size_t entropy_len, nonce_len, pers_len, addinA_len, addinB_len,
2071            pr_entropyA_len, pr_entropyB_len, output_len, reseed_entropy_len,
2072            reseed_addin_len;
2073 } RAND_DATA_PASS;
2074
2075 typedef struct rand_data_st {
2076     /* Context for this operation */
2077     EVP_RAND_CTX *ctx;
2078     EVP_RAND_CTX *parent;
2079     int n;
2080     int prediction_resistance;
2081     int use_df;
2082     unsigned int generate_bits;
2083     char *cipher;
2084     char *digest;
2085
2086     /* Expected output */
2087     RAND_DATA_PASS data[MAX_RAND_REPEATS];
2088 } RAND_DATA;
2089
2090 static int rand_test_init(EVP_TEST *t, const char *name)
2091 {
2092     RAND_DATA *rdata;
2093     EVP_RAND *rand;
2094     OSSL_PARAM params[2] = { OSSL_PARAM_END, OSSL_PARAM_END };
2095     unsigned int strength = 256;
2096
2097     if (!TEST_ptr(rdata = OPENSSL_zalloc(sizeof(*rdata))))
2098         return 0;
2099
2100     /* TEST-RAND is available in the FIPS provider but not with "fips=yes" */
2101     rand = EVP_RAND_fetch(libctx, "TEST-RAND", "-fips");
2102     if (rand == NULL)
2103         goto err;
2104     rdata->parent = EVP_RAND_CTX_new(rand, NULL);
2105     EVP_RAND_free(rand);
2106     if (rdata->parent == NULL)
2107         goto err;
2108
2109     *params = OSSL_PARAM_construct_uint(OSSL_RAND_PARAM_STRENGTH, &strength);
2110     if (!EVP_RAND_set_ctx_params(rdata->parent, params))
2111         goto err;
2112
2113     rand = EVP_RAND_fetch(libctx, name, NULL);
2114     if (rand == NULL)
2115         goto err;
2116     rdata->ctx = EVP_RAND_CTX_new(rand, rdata->parent);
2117     EVP_RAND_free(rand);
2118     if (rdata->ctx == NULL)
2119         goto err;
2120
2121     rdata->n = -1;
2122     t->data = rdata;
2123     return 1;
2124  err:
2125     EVP_RAND_CTX_free(rdata->parent);
2126     OPENSSL_free(rdata);
2127     return 0;
2128 }
2129
2130 static void rand_test_cleanup(EVP_TEST *t)
2131 {
2132     RAND_DATA *rdata = t->data;
2133     int i;
2134
2135     OPENSSL_free(rdata->cipher);
2136     OPENSSL_free(rdata->digest);
2137
2138     for (i = 0; i <= rdata->n; i++) {
2139         OPENSSL_free(rdata->data[i].entropy);
2140         OPENSSL_free(rdata->data[i].reseed_entropy);
2141         OPENSSL_free(rdata->data[i].nonce);
2142         OPENSSL_free(rdata->data[i].pers);
2143         OPENSSL_free(rdata->data[i].reseed_addin);
2144         OPENSSL_free(rdata->data[i].addinA);
2145         OPENSSL_free(rdata->data[i].addinB);
2146         OPENSSL_free(rdata->data[i].pr_entropyA);
2147         OPENSSL_free(rdata->data[i].pr_entropyB);
2148         OPENSSL_free(rdata->data[i].output);
2149     }
2150     EVP_RAND_CTX_free(rdata->ctx);
2151     EVP_RAND_CTX_free(rdata->parent);
2152 }
2153
2154 static int rand_test_parse(EVP_TEST *t,
2155                           const char *keyword, const char *value)
2156 {
2157     RAND_DATA *rdata = t->data;
2158     RAND_DATA_PASS *item;
2159     const char *p;
2160     int n;
2161
2162     if ((p = strchr(keyword, '.')) != NULL) {
2163         n = atoi(++p);
2164         if (n >= MAX_RAND_REPEATS)
2165             return 0;
2166         if (n > rdata->n)
2167             rdata->n = n;
2168         item = rdata->data + n;
2169         if (strncmp(keyword, "Entropy.", sizeof("Entropy")) == 0)
2170             return parse_bin(value, &item->entropy, &item->entropy_len);
2171         if (strncmp(keyword, "ReseedEntropy.", sizeof("ReseedEntropy")) == 0)
2172             return parse_bin(value, &item->reseed_entropy,
2173                              &item->reseed_entropy_len);
2174         if (strncmp(keyword, "Nonce.", sizeof("Nonce")) == 0)
2175             return parse_bin(value, &item->nonce, &item->nonce_len);
2176         if (strncmp(keyword, "PersonalisationString.",
2177                     sizeof("PersonalisationString")) == 0)
2178             return parse_bin(value, &item->pers, &item->pers_len);
2179         if (strncmp(keyword, "ReseedAdditionalInput.",
2180                     sizeof("ReseedAdditionalInput")) == 0)
2181             return parse_bin(value, &item->reseed_addin,
2182                              &item->reseed_addin_len);
2183         if (strncmp(keyword, "AdditionalInputA.",
2184                     sizeof("AdditionalInputA")) == 0)
2185             return parse_bin(value, &item->addinA, &item->addinA_len);
2186         if (strncmp(keyword, "AdditionalInputB.",
2187                     sizeof("AdditionalInputB")) == 0)
2188             return parse_bin(value, &item->addinB, &item->addinB_len);
2189         if (strncmp(keyword, "EntropyPredictionResistanceA.",
2190                     sizeof("EntropyPredictionResistanceA")) == 0)
2191             return parse_bin(value, &item->pr_entropyA, &item->pr_entropyA_len);
2192         if (strncmp(keyword, "EntropyPredictionResistanceB.",
2193                     sizeof("EntropyPredictionResistanceB")) == 0)
2194             return parse_bin(value, &item->pr_entropyB, &item->pr_entropyB_len);
2195         if (strncmp(keyword, "Output.", sizeof("Output")) == 0)
2196             return parse_bin(value, &item->output, &item->output_len);
2197     } else {
2198         if (strcmp(keyword, "Cipher") == 0)
2199             return TEST_ptr(rdata->cipher = OPENSSL_strdup(value));
2200         if (strcmp(keyword, "Digest") == 0)
2201             return TEST_ptr(rdata->digest = OPENSSL_strdup(value));
2202         if (strcmp(keyword, "DerivationFunction") == 0) {
2203             rdata->use_df = atoi(value) != 0;
2204             return 1;
2205         }
2206         if (strcmp(keyword, "GenerateBits") == 0) {
2207             if ((n = atoi(value)) <= 0 || n % 8 != 0)
2208                 return 0;
2209             rdata->generate_bits = (unsigned int)n;
2210             return 1;
2211         }
2212         if (strcmp(keyword, "PredictionResistance") == 0) {
2213             rdata->prediction_resistance = atoi(value) != 0;
2214             return 1;
2215         }
2216     }
2217     return 0;
2218 }
2219
2220 static int rand_test_run(EVP_TEST *t)
2221 {
2222     RAND_DATA *expected = t->data;
2223     RAND_DATA_PASS *item;
2224     unsigned char *got;
2225     size_t got_len = expected->generate_bits / 8;
2226     OSSL_PARAM params[5], *p = params;
2227     int i = -1, ret = 0;
2228     unsigned int strength;
2229     unsigned char *z;
2230
2231     if (!TEST_ptr(got = OPENSSL_malloc(got_len)))
2232         return 0;
2233
2234     *p++ = OSSL_PARAM_construct_int(OSSL_DRBG_PARAM_USE_DF, &expected->use_df);
2235     if (expected->cipher != NULL)
2236         *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_CIPHER,
2237                                                 expected->cipher, 0);
2238     if (expected->digest != NULL)
2239         *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_DIGEST,
2240                                                 expected->digest, 0);
2241     *p++ = OSSL_PARAM_construct_utf8_string(OSSL_DRBG_PARAM_MAC, "HMAC", 0);
2242     *p = OSSL_PARAM_construct_end();
2243     if (!TEST_true(EVP_RAND_set_ctx_params(expected->ctx, params)))
2244         goto err;
2245
2246     strength = EVP_RAND_strength(expected->ctx);
2247     for (i = 0; i <= expected->n; i++) {
2248         item = expected->data + i;
2249
2250         p = params;
2251         z = item->entropy != NULL ? item->entropy : (unsigned char *)"";
2252         *p++ = OSSL_PARAM_construct_octet_string(OSSL_RAND_PARAM_TEST_ENTROPY,
2253                                                  z, item->entropy_len);
2254         z = item->nonce != NULL ? item->nonce : (unsigned char *)"";
2255         *p++ = OSSL_PARAM_construct_octet_string(OSSL_RAND_PARAM_TEST_NONCE,
2256                                                  z, item->nonce_len);
2257         *p = OSSL_PARAM_construct_end();
2258         if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params))
2259                 || !TEST_true(EVP_RAND_instantiate(expected->parent, strength,
2260                                                    0, NULL, 0)))
2261             goto err;
2262
2263         z = item->pers != NULL ? item->pers : (unsigned char *)"";
2264         if (!TEST_true(EVP_RAND_instantiate
2265                            (expected->ctx, strength,
2266                             expected->prediction_resistance, z,
2267                             item->pers_len)))
2268             goto err;
2269
2270         if (item->reseed_entropy != NULL) {
2271             params[0] = OSSL_PARAM_construct_octet_string
2272                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->reseed_entropy,
2273                             item->reseed_entropy_len);
2274             params[1] = OSSL_PARAM_construct_end();
2275             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2276                 goto err;
2277
2278             if (!TEST_true(EVP_RAND_reseed
2279                                (expected->ctx, expected->prediction_resistance,
2280                                 NULL, 0, item->reseed_addin,
2281                                 item->reseed_addin_len)))
2282                 goto err;
2283         }
2284         if (item->pr_entropyA != NULL) {
2285             params[0] = OSSL_PARAM_construct_octet_string
2286                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->pr_entropyA,
2287                             item->pr_entropyA_len);
2288             params[1] = OSSL_PARAM_construct_end();
2289             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2290                 goto err;
2291         }
2292         if (!TEST_true(EVP_RAND_generate
2293                            (expected->ctx, got, got_len,
2294                             strength, expected->prediction_resistance,
2295                             item->addinA, item->addinA_len)))
2296             goto err;
2297
2298         if (item->pr_entropyB != NULL) {
2299             params[0] = OSSL_PARAM_construct_octet_string
2300                            (OSSL_RAND_PARAM_TEST_ENTROPY, item->pr_entropyB,
2301                             item->pr_entropyB_len);
2302             params[1] = OSSL_PARAM_construct_end();
2303             if (!TEST_true(EVP_RAND_set_ctx_params(expected->parent, params)))
2304                 return 0;
2305         }
2306         if (!TEST_true(EVP_RAND_generate
2307                            (expected->ctx, got, got_len,
2308                             strength, expected->prediction_resistance,
2309                             item->addinB, item->addinB_len)))
2310             goto err;
2311         if (!TEST_mem_eq(got, got_len, item->output, item->output_len))
2312             goto err;
2313         if (!TEST_true(EVP_RAND_uninstantiate(expected->ctx))
2314                 || !TEST_true(EVP_RAND_uninstantiate(expected->parent))
2315                 || !TEST_true(EVP_RAND_verify_zeroization(expected->ctx))
2316                 || !TEST_int_eq(EVP_RAND_state(expected->ctx),
2317                                 EVP_RAND_STATE_UNINITIALISED))
2318             goto err;
2319     }
2320     t->err = NULL;
2321     ret = 1;
2322
2323  err:
2324     if (ret == 0 && i >= 0)
2325         TEST_info("Error in test case %d of %d\n", i, expected->n + 1);
2326     OPENSSL_free(got);
2327     return ret;
2328 }
2329
2330 static const EVP_TEST_METHOD rand_test_method = {
2331     "RAND",
2332     rand_test_init,
2333     rand_test_cleanup,
2334     rand_test_parse,
2335     rand_test_run
2336 };
2337
2338
2339 /**
2340  **  KDF TESTS
2341  **/
2342 typedef struct kdf_data_st {
2343     /* Context for this operation */
2344     EVP_KDF_CTX *ctx;
2345     /* Expected output */
2346     unsigned char *output;
2347     size_t output_len;
2348     OSSL_PARAM params[20];
2349     OSSL_PARAM *p;
2350 } KDF_DATA;
2351
2352 /*
2353  * Perform public key operation setup: lookup key, allocated ctx and call
2354  * the appropriate initialisation function
2355  */
2356 static int kdf_test_init(EVP_TEST *t, const char *name)
2357 {
2358     KDF_DATA *kdata;
2359     EVP_KDF *kdf;
2360
2361     if (is_kdf_disabled(name)) {
2362         TEST_info("skipping, '%s' is disabled", name);
2363         t->skip = 1;
2364         return 1;
2365     }
2366
2367     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
2368         return 0;
2369     kdata->p = kdata->params;
2370     *kdata->p = OSSL_PARAM_construct_end();
2371
2372     kdf = EVP_KDF_fetch(libctx, name, NULL);
2373     if (kdf == NULL) {
2374         OPENSSL_free(kdata);
2375         return 0;
2376     }
2377     kdata->ctx = EVP_KDF_CTX_new(kdf);
2378     EVP_KDF_free(kdf);
2379     if (kdata->ctx == NULL) {
2380         OPENSSL_free(kdata);
2381         return 0;
2382     }
2383     t->data = kdata;
2384     return 1;
2385 }
2386
2387 static void kdf_test_cleanup(EVP_TEST *t)
2388 {
2389     KDF_DATA *kdata = t->data;
2390     OSSL_PARAM *p;
2391
2392     for (p = kdata->params; p->key != NULL; p++)
2393         OPENSSL_free(p->data);
2394     OPENSSL_free(kdata->output);
2395     EVP_KDF_CTX_free(kdata->ctx);
2396 }
2397
2398 static int kdf_test_ctrl(EVP_TEST *t, EVP_KDF_CTX *kctx,
2399                          const char *value)
2400 {
2401     KDF_DATA *kdata = t->data;
2402     int rv;
2403     char *p, *name;
2404     const OSSL_PARAM *defs = EVP_KDF_settable_ctx_params(EVP_KDF_CTX_kdf(kctx));
2405
2406     if (!TEST_ptr(name = OPENSSL_strdup(value)))
2407         return 0;
2408     p = strchr(name, ':');
2409     if (p != NULL)
2410         *p++ = '\0';
2411
2412     rv = OSSL_PARAM_allocate_from_text(kdata->p, defs, name, p,
2413                                        p != NULL ? strlen(p) : 0, NULL);
2414     *++kdata->p = OSSL_PARAM_construct_end();
2415     if (!rv) {
2416         t->err = "KDF_PARAM_ERROR";
2417         OPENSSL_free(name);
2418         return 0;
2419     }
2420     if (p != NULL && strcmp(name, "digest") == 0) {
2421         if (is_digest_disabled(p)) {
2422             TEST_info("skipping, '%s' is disabled", p);
2423             t->skip = 1;
2424         }
2425     }
2426     if (p != NULL && strcmp(name, "cipher") == 0) {
2427         if (is_cipher_disabled(p)) {
2428             TEST_info("skipping, '%s' is disabled", p);
2429             t->skip = 1;
2430         }
2431     }
2432     OPENSSL_free(name);
2433     return 1;
2434 }
2435
2436 static int kdf_test_parse(EVP_TEST *t,
2437                           const char *keyword, const char *value)
2438 {
2439     KDF_DATA *kdata = t->data;
2440
2441     if (strcmp(keyword, "Output") == 0)
2442         return parse_bin(value, &kdata->output, &kdata->output_len);
2443     if (strncmp(keyword, "Ctrl", 4) == 0)
2444         return kdf_test_ctrl(t, kdata->ctx, value);
2445     return 0;
2446 }
2447
2448 static int kdf_test_run(EVP_TEST *t)
2449 {
2450     KDF_DATA *expected = t->data;
2451     unsigned char *got = NULL;
2452     size_t got_len = expected->output_len;
2453
2454     if (!EVP_KDF_CTX_set_params(expected->ctx, expected->params)) {
2455         t->err = "KDF_CTRL_ERROR";
2456         return 1;
2457     }
2458     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2459         t->err = "INTERNAL_ERROR";
2460         goto err;
2461     }
2462     if (EVP_KDF_derive(expected->ctx, got, got_len) <= 0) {
2463         t->err = "KDF_DERIVE_ERROR";
2464         goto err;
2465     }
2466     if (!memory_err_compare(t, "KDF_MISMATCH",
2467                             expected->output, expected->output_len,
2468                             got, got_len))
2469         goto err;
2470
2471     t->err = NULL;
2472
2473  err:
2474     OPENSSL_free(got);
2475     return 1;
2476 }
2477
2478 static const EVP_TEST_METHOD kdf_test_method = {
2479     "KDF",
2480     kdf_test_init,
2481     kdf_test_cleanup,
2482     kdf_test_parse,
2483     kdf_test_run
2484 };
2485
2486 /**
2487  **  PKEY KDF TESTS
2488  **/
2489
2490 typedef struct pkey_kdf_data_st {
2491     /* Context for this operation */
2492     EVP_PKEY_CTX *ctx;
2493     /* Expected output */
2494     unsigned char *output;
2495     size_t output_len;
2496 } PKEY_KDF_DATA;
2497
2498 /*
2499  * Perform public key operation setup: lookup key, allocated ctx and call
2500  * the appropriate initialisation function
2501  */
2502 static int pkey_kdf_test_init(EVP_TEST *t, const char *name)
2503 {
2504     PKEY_KDF_DATA *kdata = NULL;
2505
2506     if (is_kdf_disabled(name)) {
2507         TEST_info("skipping, '%s' is disabled", name);
2508         t->skip = 1;
2509         return 1;
2510     }
2511
2512     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
2513         return 0;
2514
2515     kdata->ctx = EVP_PKEY_CTX_new_from_name(libctx, name, NULL);
2516     if (kdata->ctx == NULL
2517         || EVP_PKEY_derive_init(kdata->ctx) <= 0)
2518         goto err;
2519
2520     t->data = kdata;
2521     return 1;
2522 err:
2523     EVP_PKEY_CTX_free(kdata->ctx);
2524     OPENSSL_free(kdata);
2525     return 0;
2526 }
2527
2528 static void pkey_kdf_test_cleanup(EVP_TEST *t)
2529 {
2530     PKEY_KDF_DATA *kdata = t->data;
2531
2532     OPENSSL_free(kdata->output);
2533     EVP_PKEY_CTX_free(kdata->ctx);
2534 }
2535
2536 static int pkey_kdf_test_parse(EVP_TEST *t,
2537                                const char *keyword, const char *value)
2538 {
2539     PKEY_KDF_DATA *kdata = t->data;
2540
2541     if (strcmp(keyword, "Output") == 0)
2542         return parse_bin(value, &kdata->output, &kdata->output_len);
2543     if (strncmp(keyword, "Ctrl", 4) == 0)
2544         return pkey_test_ctrl(t, kdata->ctx, value);
2545     return 0;
2546 }
2547
2548 static int pkey_kdf_test_run(EVP_TEST *t)
2549 {
2550     PKEY_KDF_DATA *expected = t->data;
2551     unsigned char *got = NULL;
2552     size_t got_len = expected->output_len;
2553
2554     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2555         t->err = "INTERNAL_ERROR";
2556         goto err;
2557     }
2558     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
2559         t->err = "KDF_DERIVE_ERROR";
2560         goto err;
2561     }
2562     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
2563         t->err = "KDF_MISMATCH";
2564         goto err;
2565     }
2566     t->err = NULL;
2567
2568  err:
2569     OPENSSL_free(got);
2570     return 1;
2571 }
2572
2573 static const EVP_TEST_METHOD pkey_kdf_test_method = {
2574     "PKEYKDF",
2575     pkey_kdf_test_init,
2576     pkey_kdf_test_cleanup,
2577     pkey_kdf_test_parse,
2578     pkey_kdf_test_run
2579 };
2580
2581 /**
2582  **  KEYPAIR TESTS
2583  **/
2584
2585 typedef struct keypair_test_data_st {
2586     EVP_PKEY *privk;
2587     EVP_PKEY *pubk;
2588 } KEYPAIR_TEST_DATA;
2589
2590 static int keypair_test_init(EVP_TEST *t, const char *pair)
2591 {
2592     KEYPAIR_TEST_DATA *data;
2593     int rv = 0;
2594     EVP_PKEY *pk = NULL, *pubk = NULL;
2595     char *pub, *priv = NULL;
2596
2597     /* Split private and public names. */
2598     if (!TEST_ptr(priv = OPENSSL_strdup(pair))
2599             || !TEST_ptr(pub = strchr(priv, ':'))) {
2600         t->err = "PARSING_ERROR";
2601         goto end;
2602     }
2603     *pub++ = '\0';
2604
2605     if (!TEST_true(find_key(&pk, priv, private_keys))) {
2606         TEST_info("Can't find private key: %s", priv);
2607         t->err = "MISSING_PRIVATE_KEY";
2608         goto end;
2609     }
2610     if (!TEST_true(find_key(&pubk, pub, public_keys))) {
2611         TEST_info("Can't find public key: %s", pub);
2612         t->err = "MISSING_PUBLIC_KEY";
2613         goto end;
2614     }
2615
2616     if (pk == NULL && pubk == NULL) {
2617         /* Both keys are listed but unsupported: skip this test */
2618         t->skip = 1;
2619         rv = 1;
2620         goto end;
2621     }
2622
2623     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
2624         goto end;
2625     data->privk = pk;
2626     data->pubk = pubk;
2627     t->data = data;
2628     rv = 1;
2629     t->err = NULL;
2630
2631 end:
2632     OPENSSL_free(priv);
2633     return rv;
2634 }
2635
2636 static void keypair_test_cleanup(EVP_TEST *t)
2637 {
2638     OPENSSL_free(t->data);
2639     t->data = NULL;
2640 }
2641
2642 /*
2643  * For tests that do not accept any custom keywords.
2644  */
2645 static int void_test_parse(EVP_TEST *t, const char *keyword, const char *value)
2646 {
2647     return 0;
2648 }
2649
2650 static int keypair_test_run(EVP_TEST *t)
2651 {
2652     int rv = 0;
2653     const KEYPAIR_TEST_DATA *pair = t->data;
2654
2655     if (pair->privk == NULL || pair->pubk == NULL) {
2656         /*
2657          * this can only happen if only one of the keys is not set
2658          * which means that one of them was unsupported while the
2659          * other isn't: hence a key type mismatch.
2660          */
2661         t->err = "KEYPAIR_TYPE_MISMATCH";
2662         rv = 1;
2663         goto end;
2664     }
2665
2666     if ((rv = EVP_PKEY_eq(pair->privk, pair->pubk)) != 1 ) {
2667         if ( 0 == rv ) {
2668             t->err = "KEYPAIR_MISMATCH";
2669         } else if ( -1 == rv ) {
2670             t->err = "KEYPAIR_TYPE_MISMATCH";
2671         } else if ( -2 == rv ) {
2672             t->err = "UNSUPPORTED_KEY_COMPARISON";
2673         } else {
2674             TEST_error("Unexpected error in key comparison");
2675             rv = 0;
2676             goto end;
2677         }
2678         rv = 1;
2679         goto end;
2680     }
2681
2682     rv = 1;
2683     t->err = NULL;
2684
2685 end:
2686     return rv;
2687 }
2688
2689 static const EVP_TEST_METHOD keypair_test_method = {
2690     "PrivPubKeyPair",
2691     keypair_test_init,
2692     keypair_test_cleanup,
2693     void_test_parse,
2694     keypair_test_run
2695 };
2696
2697 /**
2698  **  KEYGEN TEST
2699  **/
2700
2701 typedef struct keygen_test_data_st {
2702     EVP_PKEY_CTX *genctx; /* Keygen context to use */
2703     char *keyname; /* Key name to store key or NULL */
2704 } KEYGEN_TEST_DATA;
2705
2706 static int keygen_test_init(EVP_TEST *t, const char *alg)
2707 {
2708     KEYGEN_TEST_DATA *data;
2709     EVP_PKEY_CTX *genctx;
2710     int nid = OBJ_sn2nid(alg);
2711
2712     if (nid == NID_undef) {
2713         nid = OBJ_ln2nid(alg);
2714         if (nid == NID_undef)
2715             return 0;
2716     }
2717
2718     if (is_pkey_disabled(alg)) {
2719         t->skip = 1;
2720         return 1;
2721     }
2722     if (!TEST_ptr(genctx = EVP_PKEY_CTX_new_from_name(libctx, alg, NULL)))
2723         goto err;
2724
2725     if (EVP_PKEY_keygen_init(genctx) <= 0) {
2726         t->err = "KEYGEN_INIT_ERROR";
2727         goto err;
2728     }
2729
2730     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
2731         goto err;
2732     data->genctx = genctx;
2733     data->keyname = NULL;
2734     t->data = data;
2735     t->err = NULL;
2736     return 1;
2737
2738 err:
2739     EVP_PKEY_CTX_free(genctx);
2740     return 0;
2741 }
2742
2743 static void keygen_test_cleanup(EVP_TEST *t)
2744 {
2745     KEYGEN_TEST_DATA *keygen = t->data;
2746
2747     EVP_PKEY_CTX_free(keygen->genctx);
2748     OPENSSL_free(keygen->keyname);
2749     OPENSSL_free(t->data);
2750     t->data = NULL;
2751 }
2752
2753 static int keygen_test_parse(EVP_TEST *t,
2754                              const char *keyword, const char *value)
2755 {
2756     KEYGEN_TEST_DATA *keygen = t->data;
2757
2758     if (strcmp(keyword, "KeyName") == 0)
2759         return TEST_ptr(keygen->keyname = OPENSSL_strdup(value));
2760     if (strcmp(keyword, "Ctrl") == 0)
2761         return pkey_test_ctrl(t, keygen->genctx, value);
2762     return 0;
2763 }
2764
2765 static int keygen_test_run(EVP_TEST *t)
2766 {
2767     KEYGEN_TEST_DATA *keygen = t->data;
2768     EVP_PKEY *pkey = NULL;
2769     int rv = 1;
2770
2771     if (EVP_PKEY_keygen(keygen->genctx, &pkey) <= 0) {
2772         t->err = "KEYGEN_GENERATE_ERROR";
2773         goto err;
2774     }
2775
2776     if (!evp_pkey_is_provided(pkey)) {
2777         TEST_info("Warning: legacy key generated %s", keygen->keyname);
2778         goto err;
2779     }
2780     if (keygen->keyname != NULL) {
2781         KEY_LIST *key;
2782
2783         rv = 0;
2784         if (find_key(NULL, keygen->keyname, private_keys)) {
2785             TEST_info("Duplicate key %s", keygen->keyname);
2786             goto err;
2787         }
2788
2789         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
2790             goto err;
2791         key->name = keygen->keyname;
2792         keygen->keyname = NULL;
2793         key->key = pkey;
2794         key->next = private_keys;
2795         private_keys = key;
2796         rv = 1;
2797     } else {
2798         EVP_PKEY_free(pkey);
2799     }
2800
2801     t->err = NULL;
2802
2803 err:
2804     return rv;
2805 }
2806
2807 static const EVP_TEST_METHOD keygen_test_method = {
2808     "KeyGen",
2809     keygen_test_init,
2810     keygen_test_cleanup,
2811     keygen_test_parse,
2812     keygen_test_run,
2813 };
2814
2815 /**
2816  **  DIGEST SIGN+VERIFY TESTS
2817  **/
2818
2819 typedef struct {
2820     int is_verify; /* Set to 1 if verifying */
2821     int is_oneshot; /* Set to 1 for one shot operation */
2822     const EVP_MD *md; /* Digest to use */
2823     EVP_MD_CTX *ctx; /* Digest context */
2824     EVP_PKEY_CTX *pctx;
2825     STACK_OF(EVP_TEST_BUFFER) *input; /* Input data: streaming */
2826     unsigned char *osin; /* Input data if one shot */
2827     size_t osin_len; /* Input length data if one shot */
2828     unsigned char *output; /* Expected output */
2829     size_t output_len; /* Expected output length */
2830 } DIGESTSIGN_DATA;
2831
2832 static int digestsigver_test_init(EVP_TEST *t, const char *alg, int is_verify,
2833                                   int is_oneshot)
2834 {
2835     const EVP_MD *md = NULL;
2836     DIGESTSIGN_DATA *mdat;
2837
2838     if (strcmp(alg, "NULL") != 0) {
2839         if (is_digest_disabled(alg)) {
2840             t->skip = 1;
2841             return 1;
2842         }
2843         md = EVP_get_digestbyname(alg);
2844         if (md == NULL)
2845             return 0;
2846     }
2847     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
2848         return 0;
2849     mdat->md = md;
2850     if (!TEST_ptr(mdat->ctx = EVP_MD_CTX_new())) {
2851         OPENSSL_free(mdat);
2852         return 0;
2853     }
2854     mdat->is_verify = is_verify;
2855     mdat->is_oneshot = is_oneshot;
2856     t->data = mdat;
2857     return 1;
2858 }
2859
2860 static int digestsign_test_init(EVP_TEST *t, const char *alg)
2861 {
2862     return digestsigver_test_init(t, alg, 0, 0);
2863 }
2864
2865 static void digestsigver_test_cleanup(EVP_TEST *t)
2866 {
2867     DIGESTSIGN_DATA *mdata = t->data;
2868
2869     EVP_MD_CTX_free(mdata->ctx);
2870     sk_EVP_TEST_BUFFER_pop_free(mdata->input, evp_test_buffer_free);
2871     OPENSSL_free(mdata->osin);
2872     OPENSSL_free(mdata->output);
2873     OPENSSL_free(mdata);
2874     t->data = NULL;
2875 }
2876
2877 static int digestsigver_test_parse(EVP_TEST *t,
2878                                    const char *keyword, const char *value)
2879 {
2880     DIGESTSIGN_DATA *mdata = t->data;
2881
2882     if (strcmp(keyword, "Key") == 0) {
2883         EVP_PKEY *pkey = NULL;
2884         int rv = 0;
2885         const char *name = mdata->md == NULL ? NULL : EVP_MD_name(mdata->md);
2886
2887         if (mdata->is_verify)
2888             rv = find_key(&pkey, value, public_keys);
2889         if (rv == 0)
2890             rv = find_key(&pkey, value, private_keys);
2891         if (rv == 0 || pkey == NULL) {
2892             t->skip = 1;
2893             return 1;
2894         }
2895         if (mdata->is_verify) {
2896             if (!EVP_DigestVerifyInit_with_libctx(mdata->ctx, &mdata->pctx,
2897                                                   name, libctx, NULL, pkey))
2898                 t->err = "DIGESTVERIFYINIT_ERROR";
2899             return 1;
2900         }
2901         if (!EVP_DigestSignInit_with_libctx(mdata->ctx, &mdata->pctx,
2902                                             name, libctx, NULL, pkey))
2903             t->err = "DIGESTSIGNINIT_ERROR";
2904         return 1;
2905     }
2906
2907     if (strcmp(keyword, "Input") == 0) {
2908         if (mdata->is_oneshot)
2909             return parse_bin(value, &mdata->osin, &mdata->osin_len);
2910         return evp_test_buffer_append(value, &mdata->input);
2911     }
2912     if (strcmp(keyword, "Output") == 0)
2913         return parse_bin(value, &mdata->output, &mdata->output_len);
2914
2915     if (!mdata->is_oneshot) {
2916         if (strcmp(keyword, "Count") == 0)
2917             return evp_test_buffer_set_count(value, mdata->input);
2918         if (strcmp(keyword, "Ncopy") == 0)
2919             return evp_test_buffer_ncopy(value, mdata->input);
2920     }
2921     if (strcmp(keyword, "Ctrl") == 0) {
2922         if (mdata->pctx == NULL)
2923             return -1;
2924         return pkey_test_ctrl(t, mdata->pctx, value);
2925     }
2926     return 0;
2927 }
2928
2929 static int digestsign_update_fn(void *ctx, const unsigned char *buf,
2930                                 size_t buflen)
2931 {
2932     return EVP_DigestSignUpdate(ctx, buf, buflen);
2933 }
2934
2935 static int digestsign_test_run(EVP_TEST *t)
2936 {
2937     DIGESTSIGN_DATA *expected = t->data;
2938     unsigned char *got = NULL;
2939     size_t got_len;
2940
2941     if (!evp_test_buffer_do(expected->input, digestsign_update_fn,
2942                             expected->ctx)) {
2943         t->err = "DIGESTUPDATE_ERROR";
2944         goto err;
2945     }
2946
2947     if (!EVP_DigestSignFinal(expected->ctx, NULL, &got_len)) {
2948         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
2949         goto err;
2950     }
2951     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2952         t->err = "MALLOC_FAILURE";
2953         goto err;
2954     }
2955     if (!EVP_DigestSignFinal(expected->ctx, got, &got_len)) {
2956         t->err = "DIGESTSIGNFINAL_ERROR";
2957         goto err;
2958     }
2959     if (!memory_err_compare(t, "SIGNATURE_MISMATCH",
2960                             expected->output, expected->output_len,
2961                             got, got_len))
2962         goto err;
2963
2964     t->err = NULL;
2965  err:
2966     OPENSSL_free(got);
2967     return 1;
2968 }
2969
2970 static const EVP_TEST_METHOD digestsign_test_method = {
2971     "DigestSign",
2972     digestsign_test_init,
2973     digestsigver_test_cleanup,
2974     digestsigver_test_parse,
2975     digestsign_test_run
2976 };
2977
2978 static int digestverify_test_init(EVP_TEST *t, const char *alg)
2979 {
2980     return digestsigver_test_init(t, alg, 1, 0);
2981 }
2982
2983 static int digestverify_update_fn(void *ctx, const unsigned char *buf,
2984                                   size_t buflen)
2985 {
2986     return EVP_DigestVerifyUpdate(ctx, buf, buflen);
2987 }
2988
2989 static int digestverify_test_run(EVP_TEST *t)
2990 {
2991     DIGESTSIGN_DATA *mdata = t->data;
2992
2993     if (!evp_test_buffer_do(mdata->input, digestverify_update_fn, mdata->ctx)) {
2994         t->err = "DIGESTUPDATE_ERROR";
2995         return 1;
2996     }
2997
2998     if (EVP_DigestVerifyFinal(mdata->ctx, mdata->output,
2999                               mdata->output_len) <= 0)
3000         t->err = "VERIFY_ERROR";
3001     return 1;
3002 }
3003
3004 static const EVP_TEST_METHOD digestverify_test_method = {
3005     "DigestVerify",
3006     digestverify_test_init,
3007     digestsigver_test_cleanup,
3008     digestsigver_test_parse,
3009     digestverify_test_run
3010 };
3011
3012 static int oneshot_digestsign_test_init(EVP_TEST *t, const char *alg)
3013 {
3014     return digestsigver_test_init(t, alg, 0, 1);
3015 }
3016
3017 static int oneshot_digestsign_test_run(EVP_TEST *t)
3018 {
3019     DIGESTSIGN_DATA *expected = t->data;
3020     unsigned char *got = NULL;
3021     size_t got_len;
3022
3023     if (!EVP_DigestSign(expected->ctx, NULL, &got_len,
3024                         expected->osin, expected->osin_len)) {
3025         t->err = "DIGESTSIGN_LENGTH_ERROR";
3026         goto err;
3027     }
3028     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
3029         t->err = "MALLOC_FAILURE";
3030         goto err;
3031     }
3032     if (!EVP_DigestSign(expected->ctx, got, &got_len,
3033                         expected->osin, expected->osin_len)) {
3034         t->err = "DIGESTSIGN_ERROR";
3035         goto err;
3036     }
3037     if (!memory_err_compare(t, "SIGNATURE_MISMATCH",
3038                             expected->output, expected->output_len,
3039                             got, got_len))
3040         goto err;
3041
3042     t->err = NULL;
3043  err:
3044     OPENSSL_free(got);
3045     return 1;
3046 }
3047
3048 static const EVP_TEST_METHOD oneshot_digestsign_test_method = {
3049     "OneShotDigestSign",
3050     oneshot_digestsign_test_init,
3051     digestsigver_test_cleanup,
3052     digestsigver_test_parse,
3053     oneshot_digestsign_test_run
3054 };
3055
3056 static int oneshot_digestverify_test_init(EVP_TEST *t, const char *alg)
3057 {
3058     return digestsigver_test_init(t, alg, 1, 1);
3059 }
3060
3061 static int oneshot_digestverify_test_run(EVP_TEST *t)
3062 {
3063     DIGESTSIGN_DATA *mdata = t->data;
3064
3065     if (EVP_DigestVerify(mdata->ctx, mdata->output, mdata->output_len,
3066                          mdata->osin, mdata->osin_len) <= 0)
3067         t->err = "VERIFY_ERROR";
3068     return 1;
3069 }
3070
3071 static const EVP_TEST_METHOD oneshot_digestverify_test_method = {
3072     "OneShotDigestVerify",
3073     oneshot_digestverify_test_init,
3074     digestsigver_test_cleanup,
3075     digestsigver_test_parse,
3076     oneshot_digestverify_test_run
3077 };
3078
3079
3080 /**
3081  **  PARSING AND DISPATCH
3082  **/
3083
3084 static const EVP_TEST_METHOD *evp_test_list[] = {
3085     &rand_test_method,
3086     &cipher_test_method,
3087     &digest_test_method,
3088     &digestsign_test_method,
3089     &digestverify_test_method,
3090     &encode_test_method,
3091     &kdf_test_method,
3092     &pkey_kdf_test_method,
3093     &keypair_test_method,
3094     &keygen_test_method,
3095     &mac_test_method,
3096     &oneshot_digestsign_test_method,
3097     &oneshot_digestverify_test_method,
3098     &pbe_test_method,
3099     &pdecrypt_test_method,
3100     &pderive_test_method,
3101     &psign_test_method,
3102     &pverify_recover_test_method,
3103     &pverify_test_method,
3104     NULL
3105 };
3106
3107 static const EVP_TEST_METHOD *find_test(const char *name)
3108 {
3109     const EVP_TEST_METHOD **tt;
3110
3111     for (tt = evp_test_list; *tt; tt++) {
3112         if (strcmp(name, (*tt)->name) == 0)
3113             return *tt;
3114     }
3115     return NULL;
3116 }
3117
3118 static void clear_test(EVP_TEST *t)
3119 {
3120     test_clearstanza(&t->s);
3121     ERR_clear_error();
3122     if (t->data != NULL) {
3123         if (t->meth != NULL)
3124             t->meth->cleanup(t);
3125         OPENSSL_free(t->data);
3126         t->data = NULL;
3127     }
3128     OPENSSL_free(t->expected_err);
3129     t->expected_err = NULL;
3130     OPENSSL_free(t->reason);
3131     t->reason = NULL;
3132
3133     /* Text literal. */
3134     t->err = NULL;
3135     t->skip = 0;
3136     t->meth = NULL;
3137 }
3138
3139 /* Check for errors in the test structure; return 1 if okay, else 0. */
3140 static int check_test_error(EVP_TEST *t)
3141 {
3142     unsigned long err;
3143     const char *reason;
3144
3145     if (t->err == NULL && t->expected_err == NULL)
3146         return 1;
3147     if (t->err != NULL && t->expected_err == NULL) {
3148         if (t->aux_err != NULL) {
3149             TEST_info("%s:%d: Source of above error (%s); unexpected error %s",
3150                       t->s.test_file, t->s.start, t->aux_err, t->err);
3151         } else {
3152             TEST_info("%s:%d: Source of above error; unexpected error %s",
3153                       t->s.test_file, t->s.start, t->err);
3154         }
3155         return 0;
3156     }
3157     if (t->err == NULL && t->expected_err != NULL) {
3158         TEST_info("%s:%d: Succeeded but was expecting %s",
3159                   t->s.test_file, t->s.start, t->expected_err);
3160         return 0;
3161     }
3162
3163     if (strcmp(t->err, t->expected_err) != 0) {
3164         TEST_info("%s:%d: Expected %s got %s",
3165                   t->s.test_file, t->s.start, t->expected_err, t->err);
3166         return 0;
3167     }
3168
3169     if (t->reason == NULL)
3170         return 1;
3171
3172     if (t->reason == NULL) {
3173         TEST_info("%s:%d: Test is missing function or reason code",
3174                   t->s.test_file, t->s.start);
3175         return 0;
3176     }
3177
3178     err = ERR_peek_error();
3179     if (err == 0) {
3180         TEST_info("%s:%d: Expected error \"%s\" not set",
3181                   t->s.test_file, t->s.start, t->reason);
3182         return 0;
3183     }
3184
3185     reason = ERR_reason_error_string(err);
3186     if (reason == NULL) {
3187         TEST_info("%s:%d: Expected error \"%s\", no strings available."
3188                   " Assuming ok.",
3189                   t->s.test_file, t->s.start, t->reason);
3190         return 1;
3191     }
3192
3193     if (strcmp(reason, t->reason) == 0)
3194         return 1;
3195
3196     TEST_info("%s:%d: Expected error \"%s\", got \"%s\"",
3197               t->s.test_file, t->s.start, t->reason, reason);
3198
3199     return 0;
3200 }
3201
3202 /* Run a parsed test. Log a message and return 0 on error. */
3203 static int run_test(EVP_TEST *t)
3204 {
3205     if (t->meth == NULL)
3206         return 1;
3207     t->s.numtests++;
3208     if (t->skip) {
3209         t->s.numskip++;
3210     } else {
3211         /* run the test */
3212         if (t->err == NULL && t->meth->run_test(t) != 1) {
3213             TEST_info("%s:%d %s error",
3214                       t->s.test_file, t->s.start, t->meth->name);
3215             return 0;
3216         }
3217         if (!check_test_error(t)) {
3218             TEST_openssl_errors();
3219             t->s.errors++;
3220         }
3221     }
3222
3223     /* clean it up */
3224     return 1;
3225 }
3226
3227 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst)
3228 {
3229     for (; lst != NULL; lst = lst->next) {
3230         if (strcmp(lst->name, name) == 0) {
3231             if (ppk != NULL)
3232                 *ppk = lst->key;
3233             return 1;
3234         }
3235     }
3236     return 0;
3237 }
3238
3239 static void free_key_list(KEY_LIST *lst)
3240 {
3241     while (lst != NULL) {
3242         KEY_LIST *next = lst->next;
3243
3244         EVP_PKEY_free(lst->key);
3245         OPENSSL_free(lst->name);
3246         OPENSSL_free(lst);
3247         lst = next;
3248     }
3249 }
3250
3251 /*
3252  * Is the key type an unsupported algorithm?
3253  */
3254 static int key_unsupported(void)
3255 {
3256     long err = ERR_peek_last_error();
3257
3258     if (ERR_GET_LIB(err) == ERR_LIB_EVP
3259             && (ERR_GET_REASON(err) == EVP_R_UNSUPPORTED_ALGORITHM
3260                 || ERR_GET_REASON(err) == EVP_R_FETCH_FAILED)) {
3261         ERR_clear_error();
3262         return 1;
3263     }
3264 #ifndef OPENSSL_NO_EC
3265     /*
3266      * If EC support is enabled we should catch also EC_R_UNKNOWN_GROUP as an
3267      * hint to an unsupported algorithm/curve (e.g. if binary EC support is
3268      * disabled).
3269      */
3270     if (ERR_GET_LIB(err) == ERR_LIB_EC
3271         && (ERR_GET_REASON(err) == EC_R_UNKNOWN_GROUP
3272             || ERR_GET_REASON(err) == EC_R_INVALID_CURVE)) {
3273         ERR_clear_error();
3274         return 1;
3275     }
3276 #endif /* OPENSSL_NO_EC */
3277     return 0;
3278 }
3279
3280 /* NULL out the value from |pp| but return it.  This "steals" a pointer. */
3281 static char *take_value(PAIR *pp)
3282 {
3283     char *p = pp->value;
3284
3285     pp->value = NULL;
3286     return p;
3287 }
3288
3289 /*
3290  * Return 1 if one of the providers named in the string is available.
3291  * The provider names are separated with whitespace.
3292  * NOTE: destructive function, it inserts '\0' after each provider name.
3293  */
3294 static int prov_available(char *providers)
3295 {
3296     char *p;
3297     int more = 1;
3298
3299     while (more) {
3300         for (; isspace(*providers); providers++)
3301             continue;
3302         if (*providers == '\0')
3303             break;               /* End of the road */
3304         for (p = providers; *p != '\0' && !isspace(*p); p++)
3305             continue;
3306         if (*p == '\0')
3307             more = 0;
3308         else
3309             *p = '\0';
3310         if (OSSL_PROVIDER_available(libctx, providers))
3311             return 1;            /* Found one */
3312     }
3313     return 0;
3314 }
3315
3316 /* Read and parse one test.  Return 0 if failure, 1 if okay. */
3317 static int parse(EVP_TEST *t)
3318 {
3319     KEY_LIST *key, **klist;
3320     EVP_PKEY *pkey;
3321     PAIR *pp;
3322     int i, skip_availablein = 0;
3323
3324 top:
3325     do {
3326         if (BIO_eof(t->s.fp))
3327             return EOF;
3328         clear_test(t);
3329         if (!test_readstanza(&t->s))
3330             return 0;
3331     } while (t->s.numpairs == 0);
3332     pp = &t->s.pairs[0];
3333
3334     /* Are we adding a key? */
3335     klist = NULL;
3336     pkey = NULL;
3337 start:
3338     if (strcmp(pp->key, "PrivateKey") == 0) {
3339         pkey = PEM_read_bio_PrivateKey_ex(t->s.key, NULL, 0, NULL, libctx, NULL);
3340         if (pkey == NULL && !key_unsupported()) {
3341             EVP_PKEY_free(pkey);
3342             TEST_info("Can't read private key %s", pp->value);
3343             TEST_openssl_errors();
3344             return 0;
3345         }
3346         klist = &private_keys;
3347     } else if (strcmp(pp->key, "PublicKey") == 0) {
3348         pkey = PEM_read_bio_PUBKEY_ex(t->s.key, NULL, 0, NULL, libctx, NULL);
3349         if (pkey == NULL && !key_unsupported()) {
3350             EVP_PKEY_free(pkey);
3351             TEST_info("Can't read public key %s", pp->value);
3352             TEST_openssl_errors();
3353             return 0;
3354         }
3355         klist = &public_keys;
3356     } else if (strcmp(pp->key, "PrivateKeyRaw") == 0
3357                || strcmp(pp->key, "PublicKeyRaw") == 0 ) {
3358         char *strnid = NULL, *keydata = NULL;
3359         unsigned char *keybin;
3360         size_t keylen;
3361         int nid;
3362
3363         if (strcmp(pp->key, "PrivateKeyRaw") == 0)
3364             klist = &private_keys;
3365         else
3366             klist = &public_keys;
3367
3368         strnid = strchr(pp->value, ':');
3369         if (strnid != NULL) {
3370             *strnid++ = '\0';
3371             keydata = strchr(strnid, ':');
3372             if (keydata != NULL)
3373                 *keydata++ = '\0';
3374         }
3375         if (keydata == NULL) {
3376             TEST_info("Failed to parse %s value", pp->key);
3377             return 0;
3378         }
3379
3380         nid = OBJ_txt2nid(strnid);
3381         if (nid == NID_undef) {
3382             TEST_info("Unrecognised algorithm NID");
3383             return 0;
3384         }
3385         if (!parse_bin(keydata, &keybin, &keylen)) {
3386             TEST_info("Failed to create binary key");
3387             return 0;
3388         }
3389         if (klist == &private_keys)
3390             pkey = EVP_PKEY_new_raw_private_key_with_libctx(libctx, strnid, NULL,
3391                                                             keybin, keylen);
3392         else
3393             pkey = EVP_PKEY_new_raw_public_key_with_libctx(libctx, strnid, NULL,
3394                                                            keybin, keylen);
3395         if (pkey == NULL && !key_unsupported()) {
3396             TEST_info("Can't read %s data", pp->key);
3397             OPENSSL_free(keybin);
3398             TEST_openssl_errors();
3399             return 0;
3400         }
3401         OPENSSL_free(keybin);
3402     } else if (strcmp(pp->key, "Availablein") == 0) {
3403         if (!prov_available(pp->value)) {
3404             TEST_info("skipping, '%s' provider not available: %s:%d",
3405                       pp->value, t->s.test_file, t->s.start);
3406                 t->skip = 1;
3407                 return 0;
3408         }
3409         skip_availablein++;
3410         pp++;
3411         goto start;
3412     }
3413
3414     /* If we have a key add to list */
3415     if (klist != NULL) {
3416         if (find_key(NULL, pp->value, *klist)) {
3417             TEST_info("Duplicate key %s", pp->value);
3418             return 0;
3419         }
3420         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
3421             return 0;
3422         key->name = take_value(pp);
3423         key->key = pkey;
3424         key->next = *klist;
3425         *klist = key;
3426
3427         /* Go back and start a new stanza. */
3428         if ((t->s.numpairs - skip_availablein) != 1)
3429             TEST_info("Line %d: missing blank line\n", t->s.curr);
3430         goto top;
3431     }
3432
3433     /* Find the test, based on first keyword. */
3434     if (!TEST_ptr(t->meth = find_test(pp->key)))
3435         return 0;
3436     if (!t->meth->init(t, pp->value)) {
3437         TEST_error("unknown %s: %s\n", pp->key, pp->value);
3438         return 0;
3439     }
3440     if (t->skip == 1) {
3441         /* TEST_info("skipping %s %s", pp->key, pp->value); */
3442         return 0;
3443     }
3444
3445     for (pp++, i = 1; i < (t->s.numpairs - skip_availablein); pp++, i++) {
3446         if (strcmp(pp->key, "Availablein") == 0) {
3447             TEST_info("Line %d: 'Availablein' should be the first option",
3448                       t->s.curr);
3449             return 0;
3450         } else if (strcmp(pp->key, "Result") == 0) {
3451             if (t->expected_err != NULL) {
3452                 TEST_info("Line %d: multiple result lines", t->s.curr);
3453                 return 0;
3454             }
3455             t->expected_err = take_value(pp);
3456         } else if (strcmp(pp->key, "Function") == 0) {
3457             /* Ignore old line. */
3458         } else if (strcmp(pp->key, "Reason") == 0) {
3459             if (t->reason != NULL) {
3460                 TEST_info("Line %d: multiple reason lines", t->s.curr);
3461                 return 0;
3462             }
3463             t->reason = take_value(pp);
3464         } else {
3465             /* Must be test specific line: try to parse it */
3466             int rv = t->meth->parse(t, pp->key, pp->value);
3467
3468             if (rv == 0) {
3469                 TEST_info("Line %d: unknown keyword %s", t->s.curr, pp->key);
3470                 return 0;
3471             }
3472             if (rv < 0) {
3473                 TEST_info("Line %d: error processing keyword %s = %s\n",
3474                           t->s.curr, pp->key, pp->value);
3475                 return 0;
3476             }
3477         }
3478     }
3479
3480     return 1;
3481 }
3482
3483 static int run_file_tests(int i)
3484 {
3485     EVP_TEST *t;
3486     const char *testfile = test_get_argument(i);
3487     int c;
3488
3489     if (!TEST_ptr(t = OPENSSL_zalloc(sizeof(*t))))
3490         return 0;
3491     if (!test_start_file(&t->s, testfile)) {
3492         OPENSSL_free(t);
3493         return 0;
3494     }
3495
3496     while (!BIO_eof(t->s.fp)) {
3497         c = parse(t);
3498         if (t->skip) {
3499             t->s.numskip++;
3500             continue;
3501         }
3502         if (c == 0 || !run_test(t)) {
3503             t->s.errors++;
3504             break;
3505         }
3506     }
3507     test_end_file(&t->s);
3508     clear_test(t);
3509
3510     free_key_list(public_keys);
3511     free_key_list(private_keys);
3512     BIO_free(t->s.key);
3513     c = t->s.errors;
3514     OPENSSL_free(t);
3515     return c == 0;
3516 }
3517
3518 const OPTIONS *test_get_options(void)
3519 {
3520     static const OPTIONS test_options[] = {
3521         OPT_TEST_OPTIONS_WITH_EXTRA_USAGE("[file...]\n"),
3522         { "config", OPT_CONFIG_FILE, '<',
3523           "The configuration file to use for the libctx" },
3524         { OPT_HELP_STR, 1, '-',
3525           "file\tFile to run tests on.\n" },
3526         { NULL }
3527     };
3528     return test_options;
3529 }
3530
3531 int setup_tests(void)
3532 {
3533     size_t n;
3534     char *config_file = NULL;
3535
3536     OPTION_CHOICE o;
3537
3538     while ((o = opt_next()) != OPT_EOF) {
3539         switch (o) {
3540         case OPT_CONFIG_FILE:
3541             config_file = opt_arg();
3542             break;
3543         case OPT_TEST_CASES:
3544            break;
3545         default:
3546         case OPT_ERR:
3547             return 0;
3548         }
3549     }
3550
3551     /*
3552      * Load the 'null' provider into the default library context to ensure that
3553      * the the tests do not fallback to using the default provider.
3554      */
3555     prov_null = OSSL_PROVIDER_load(NULL, "null");
3556     if (prov_null == NULL) {
3557         opt_printf_stderr("Failed to load null provider into default libctx\n");
3558         return 0;
3559     }
3560
3561     /* load the provider via configuration into the created library context */
3562     libctx = OPENSSL_CTX_new();
3563     if (libctx == NULL
3564         || !OPENSSL_CTX_load_config(libctx, config_file)) {
3565         TEST_error("Failed to load config %s\n", config_file);
3566         return 0;
3567     }
3568
3569     n = test_get_argument_count();
3570     if (n == 0)
3571         return 0;
3572
3573     ADD_ALL_TESTS(run_file_tests, n);
3574     return 1;
3575 }
3576
3577 void cleanup_tests(void)
3578 {
3579     OSSL_PROVIDER_unload(prov_null);
3580     OPENSSL_CTX_free(libctx);
3581 }
3582
3583 #define STR_STARTS_WITH(str, pre) strncasecmp(pre, str, strlen(pre)) == 0
3584 #define STR_ENDS_WITH(str, pre)                                                \
3585 strlen(str) < strlen(pre) ? 0 : (strcasecmp(pre, str + strlen(str) - strlen(pre)) == 0)
3586
3587 static int is_digest_disabled(const char *name)
3588 {
3589 #ifdef OPENSSL_NO_BLAKE2
3590     if (STR_STARTS_WITH(name, "BLAKE"))
3591         return 1;
3592 #endif
3593 #ifdef OPENSSL_NO_MD2
3594     if (strcasecmp(name, "MD2") == 0)
3595         return 1;
3596 #endif
3597 #ifdef OPENSSL_NO_MDC2
3598     if (strcasecmp(name, "MDC2") == 0)
3599         return 1;
3600 #endif
3601 #ifdef OPENSSL_NO_MD4
3602     if (strcasecmp(name, "MD4") == 0)
3603         return 1;
3604 #endif
3605 #ifdef OPENSSL_NO_MD5
3606     if (strcasecmp(name, "MD5") == 0)
3607         return 1;
3608 #endif
3609 #ifdef OPENSSL_NO_RMD160
3610     if (strcasecmp(name, "RIPEMD160") == 0)
3611         return 1;
3612 #endif
3613 #ifdef OPENSSL_NO_SM3
3614     if (strcasecmp(name, "SM3") == 0)
3615         return 1;
3616 #endif
3617 #ifdef OPENSSL_NO_WHIRLPOOL
3618     if (strcasecmp(name, "WHIRLPOOL") == 0)
3619         return 1;
3620 #endif
3621     return 0;
3622 }
3623
3624 static int is_pkey_disabled(const char *name)
3625 {
3626 #ifdef OPENSSL_NO_RSA
3627     if (STR_STARTS_WITH(name, "RSA"))
3628         return 1;
3629 #endif
3630 #ifdef OPENSSL_NO_EC
3631     if (STR_STARTS_WITH(name, "EC"))
3632         return 1;
3633 #endif
3634 #ifdef OPENSSL_NO_DH
3635     if (STR_STARTS_WITH(name, "DH"))
3636         return 1;
3637 #endif
3638 #ifdef OPENSSL_NO_DSA
3639     if (STR_STARTS_WITH(name, "DSA"))
3640         return 1;
3641 #endif
3642     return 0;
3643 }
3644
3645 static int is_mac_disabled(const char *name)
3646 {
3647 #ifdef OPENSSL_NO_BLAKE2
3648     if (STR_STARTS_WITH(name, "BLAKE2BMAC")
3649         || STR_STARTS_WITH(name, "BLAKE2SMAC"))
3650         return 1;
3651 #endif
3652 #ifdef OPENSSL_NO_CMAC
3653     if (STR_STARTS_WITH(name, "CMAC"))
3654         return 1;
3655 #endif
3656 #ifdef OPENSSL_NO_POLY1305
3657     if (STR_STARTS_WITH(name, "Poly1305"))
3658         return 1;
3659 #endif
3660 #ifdef OPENSSL_NO_SIPHASH
3661     if (STR_STARTS_WITH(name, "SipHash"))
3662         return 1;
3663 #endif
3664     return 0;
3665 }
3666 static int is_kdf_disabled(const char *name)
3667 {
3668 #ifdef OPENSSL_NO_SCRYPT
3669     if (STR_ENDS_WITH(name, "SCRYPT"))
3670         return 1;
3671 #endif
3672 #ifdef OPENSSL_NO_CMS
3673     if (strcasecmp(name, "X942KDF") == 0)
3674         return 1;
3675 #endif /* OPENSSL_NO_CMS */
3676     return 0;
3677 }
3678
3679 static int is_cipher_disabled(const char *name)
3680 {
3681 #ifdef OPENSSL_NO_ARIA
3682     if (STR_STARTS_WITH(name, "ARIA"))
3683         return 1;
3684 #endif
3685 #ifdef OPENSSL_NO_BF
3686     if (STR_STARTS_WITH(name, "BF"))
3687         return 1;
3688 #endif
3689 #ifdef OPENSSL_NO_CAMELLIA
3690     if (STR_STARTS_WITH(name, "CAMELLIA"))
3691         return 1;
3692 #endif
3693 #ifdef OPENSSL_NO_CAST
3694     if (STR_STARTS_WITH(name, "CAST"))
3695         return 1;
3696 #endif
3697 #ifdef OPENSSL_NO_CHACHA
3698     if (STR_STARTS_WITH(name, "CHACHA"))
3699         return 1;
3700 #endif
3701 #ifdef OPENSSL_NO_POLY1305
3702     if (STR_ENDS_WITH(name, "Poly1305"))
3703         return 1;
3704 #endif
3705 #ifdef OPENSSL_NO_DES
3706     if (STR_STARTS_WITH(name, "DES"))
3707         return 1;
3708 #endif
3709 #ifdef OPENSSL_NO_OCB
3710     if (STR_ENDS_WITH(name, "OCB"))
3711         return 1;
3712 #endif
3713 #ifdef OPENSSL_NO_IDEA
3714     if (STR_STARTS_WITH(name, "IDEA"))
3715         return 1;
3716 #endif
3717 #ifdef OPENSSL_NO_RC2
3718     if (STR_STARTS_WITH(name, "RC2"))
3719         return 1;
3720 #endif
3721 #ifdef OPENSSL_NO_RC4
3722     if (STR_STARTS_WITH(name, "RC4"))
3723         return 1;
3724 #endif
3725 #ifdef OPENSSL_NO_RC5
3726     if (STR_STARTS_WITH(name, "RC5"))
3727         return 1;
3728 #endif
3729 #ifdef OPENSSL_NO_SEED
3730     if (STR_STARTS_WITH(name, "SEED"))
3731         return 1;
3732 #endif
3733 #ifdef OPENSSL_NO_SIV
3734     if (STR_ENDS_WITH(name, "SIV"))
3735         return 1;
3736 #endif
3737 #ifdef OPENSSL_NO_SM4
3738     if (STR_STARTS_WITH(name, "SM4"))
3739         return 1;
3740 #endif
3741     return 0;
3742 }